igb: Properly set RX ring in use upon enter/exit polling mode

kernel -- virtio: Implement virtio-layer lwkt_serializer for devices

* Switch virtio device targets (currently only -blk) to use a
  serializer for synchronizing per-target state. Thread the
  serializer through virtqueue_notify (release around kick) and
  into the bus interrupt setup code.

* Remove dump support from virtio-blk for now; it doesn't work and
  results in further panics from an incorrectly setup bio.

* Other cleanups of virtio-blk (de-indirect locks).

buildworld - Attempt to fix m4 bootstrapping issue (2)

* m4 depends on flex which exec's (depends on) m4.

* Change m4 to not depend on flex and reorder the [b]yacc build to run
  before m4.  M4's lex file is now manually generated and made part of
  the source archive, and the Makefile simply compiles the .c version
  instead of trying to run flex.

  Any future update to m4 will require it's lex file to be manually
  lex'd.  Too bad, that's the way it goes.  M4 is a piece of crap and
  flex is an even bigger piece of crap for needing to exec M4.  I'm not
  going to play with this stuff more than I need to to make things compile.

* Remove conditionals from m4 .y and .l files.  They were wrong because
  they weren't necessarily reflective of which lexer was being run,
  and now they aren't needed at all.

kernel - Do not allow (devfs) devices to be force-unmounted

* Do not force-unmount devfs devices.  Even more importantly, don't
  force-unmount devfs devices and then try to force-vflush them.

  Filesystems have always been responsible for flushing their underlying
  block devices.

  These situations occur during halt/reboot.

* Fixes at least one issue when hammer's volume-add is used to specify
  a block device in /dev which is then added to the root mount.  This
  created a situation where the /dev vs / unmount order breaks.

* Should also prevent e.g. the console or other vty hangers-on from being
  destroyed out from under active descriptors during a halt or reboot.

buildworld - Attempt to fix m4 bootstrapping issue

* Set the M4 environment variable to force the buildworld to use the
  bootstrap version of M4 in all passes.  This removes the need to
  manually build/install the m4 binary due to the recent major tools
  refresh.

* Force build ordering for some of the bootstrap utilities, particularly
  the m4 binary, so the binary is available to help build other bootstrap
  tools later on.

m4.1: Remove some unneeded arguments to .Nm

Remove some more %D remains here and there.

tcp: Limit new segements burst to 4 during extended limited transmit

TOP wasn't reporting correctly CPU states without -M

Adding code to get averages and updating man page.

This commit fixes issue #2447

tcp: Add comment about "fairsend"

ifconfig: IFF_OACTIVE and IFF_POLLING are gone

sockio: Sort SIOC into numerical order

While im here, add comment about used SIOC in non-continuous SIOC block

if: Update comment about polling cpuid ioctl variables, which is deprecated

udp6: Remove pcb from wildcard table before calling in_pcbconnect

DragonFly-bug: http://bugs.dragonflybsd.org/issues/2485

kernel - Fix improper tmpfs resource limit check

* Fix an improper check that was causing tmpfs to blow up when used as
  backing store for a VN device.

Reported-by: tuxillo

kernel/amr: Extend the visibility of AMR_DEBUG.

Half the code was missing the setting of AMR_DEBUG in the config file
because its visibility was reduced to amr.c only.

Reported-by: tuxillo

Replace few more cases where %D format string is used.

Also remove a reference to %D in kvcprintf's comment.

tcp: Improve sender-sender and sender-receiver fairness on the same netisr

Yield to other senders or receivers on the same netisr if the current TCP
stream has sent certain amount of segments (currently 4) and is going to
burst more segments.  sysctl net.inet.tcp.fairsend could be used to tune
how many segements are allowed to burst.  For TSO capable devices, their
TSO aggregate size limit could also affect the number of segments allowed
to burst.  Set net.inet.tcp.fairsend to 0 will allow single TCP stream to
burst as much as it wants (the old TCP sender's behaviour).

"Fairsend" is performed at the places that do not affect segment sending
during congestion control:
- User requested output path
- ACK input path

Measured improvement in the following setup:

+---+            +---+
|   |<-----------| B |
|   |            +---+
| A |
|   |            +---+
|   |----------->| C |
+---+            +---+

A (i7-2600, w/ HT enabled), 82571EB
B (e3-1230, w/ HT enabled), 82574L
C (e3-1230, w/ HT enabled), 82574L
The performance stats are gathered from 'systat -if 1'

When A runs 8 TCP senders to C and 8 TCP receivers from B, sending
performance are same ~975Mbps, however, the receiving performance before
this commit stumbles between 670Mbps and 850Mbps; w/ "fairsend" receiving
performance stays at 981Mbps.

When A runs 16 TCP senders to C and 16 TCP receivers from B, sending
performance are same ~975Mbps, however, the receiving performance before
this commit goes from 960Mbps to 980Mbps; w/ "fairsend" receiving
performance stays at 981Mbps stably.

When there are more senders and receivers running on A, there is no
noticable performance difference on either sending or receiving between
non-"fairsend" and "fairsend", because senders are no longer being able
to do continuous large burst.

"Fairsend" also improves Jain's fairness index between various amount of
senders (8 ~ 128) a little bit (sending only tests).

tcp/tso: Add per-device TSO aggregation size limit

- Prevent possible TSO large burst, when it is inappropriate (plenty of
  >24 segements bursts were observered, even when 32 parallel sending TCP
  streams are running on the same GigE NIC).
  TSO large burst has following drawbacks on a single TX queue, even on
  the devices that are multiple TX queues capable:
  o  Delay other senders' packet transmission quite a lot.
  o  Has negative effect on TCP receivers, which sends ACKs.
  o  Cause buffer bloat in software sending queues, whose upper limit is
     based on "packet count".
  o  Packet scheduler's decision could be less effective.
  On the other hand, TSO large burst could improve CPU usage.
- Improve fairness between multiple TX queues on the devices that are
  multiple TX queues capable but only fetch data on TSO large packet
  boundary instead of TCP segment boundary.

Drivers could supply their own TSO aggregation size limit.  If driver
does not set it, the default value is 6000 (4 segments if MTU is 1500).
The default value increases CPU usage a little bit: on i7-2600 w/ HT
enabled, single TCP sending stream, CPU usage increases from 14%~17%
to 17%~20%.

User could configure TSO aggregation size limit by using ifconfig(8):
ifconfig ifaceX tsolen _n_

kernel/nexus: Remove some unneeded includes.

kernel/802_11: Put a couple more ethstr[] under IEEE80211_DEBUG.

libdmsg: Mark some return values unused.

libfetch: Remove an unused variable.

bmake: Mark a return value unused.

libdmsg: last{dist,rnss} are used with REQUIRE_SYMMETRICAL only.

While here, also remove two unused variables.

m4/ngctl/ppp: Silence gcc47 -Wcast-qual warnings.

hotplugd(8): Remove some compat defines and add comments about it.

Fix buildkernel for lex/yacc upgrades, too.

m4: define yylex based on __DragonFly_version

The old lex wants it and emits errors if it's not there.
The new lex doesn't want it, and emits warnings if it is there.
On gcc44, the build breaks on an error.
To make both happy, switch it on based on recent __DragonFly_version bump.

Bump __DragonFly_version to be 100% everyone can upgrade

atc game: lex cleanup

Fix warnings from byacc import.

Update build for byacc import.

Merge branch 'vendor/BYACC'

Import byacc-20121003.

This is a significant update for yacc that's being maintained by Thomas
Dickey at http://invisible-island.net/byacc/.

Revert "gcc4x: Update README to remove format.c from patched list"

This reverts commit fc18d536e167227d9010b0ce3420f5d21aba5799.

%D was removed, true, but c-format.c is still patched.

Relocate Flexlexer.h to /usr/include

FlexLexer was placed in /usr/include/c++ but this is not the normal
location nor is it a search path for either base compiler.  I believe
this is a legacy that should have been changed when the c++ search
path changed.

flex cleanup, silence errors

On the poudriere jail build, it was impossible to build world due to
flex errors.  I don't know what is different about the environments --
perhaps one has -Werror and the other doesn't.

In any case, the new flex makes a lot of complaints due to internally
generated functions, etc, and this cleans them all up at once.

kernel/wlan_acl: Put two more ethstr[] under IEEE80211_DEBUG.

kernel/netgraph7: Use kether_ntoa().

kernel/netgraph7: Fix cluster_limit argument to objcache_create_mbacked().

kernel/netgraph7: Add a missing header to the Makefile.

kernel/netgraph7: Remove <sys/ktr.h>. There's no DragonFly KTR here.

kernel: Fix the build of the SOEKRIS kernel config.

It's the only one that has if_ath and 80211 in the kernel and ATH_DEBUG
and IEEE80211_DEBUG isn't set at the same time. So it caught a few
ethstr[] that were not yet under the proper #ifdef.

flex/lex: Activate flex 2.5.37, deactivate lex 2.5.4

Flex is a bootstrap tool.  This swaps the new flex for the old lex.
The old lex subdirectory should stay in place for around a week in case
we need to revert this change for any reason.

flex: Add world makefiles, but don't tie it into build yet.

flex: Add local modifications and DragonFly READMEs

The quality of the latest flex 2.5.37 release is pretty poor.  The
man page displayed the wrong version, the code doesn't compile with
GCC 4.7, the new lerrs_fatal function missing a protocol and then
given the wrong type once when it was called.  Some of the errors
could have been fixed with higher WARNS settings but these patches
applied over the flex vendor branch should fix the bugs.

The standard DragonFly README files are added at the same time.

Merge branch 'vendor/FLEX'

Import flex-2.5.37 to new vendor branch

am-utils: Patch for recent flex

To prepare for the import of the latest flex, am-utils needs a tweak.
This allows both the old flex and the new flex to build it.  It is the
only software that failed to build out of the box with the new flex.

.gitignore: Remove build products from list

The following patterns were previously active.
They have been commented out because the system "make" will pick up build
products in the source tree causing strange build failures.  The benefit
of avoiding an accidental commit of a binary is quickly offset by the
liability of chasing build failures caused by "invisible" files.  This
has burned a few people already and even the source of bug reports.

*.[psS]o
!/contrib/nvi/docs/USD.doc/vi.ref/index.so
!/contrib/nvi/docs/USD.doc/vi.ref/ref.so
*.a
!/bin/csh/USD.doc/csh.a
*.o

gcc4x: Update README to remove format.c from patched list

This is the result of %D format being removed by swildner yesterday.

Remove %D conversion from kprintf(9) and the GCCs.

It has been removed also from libstand's printf.

While useful, these non-standard conversions have the downside that
each compiler needs adjusting to support proper printf format warnings
for them.

We have now a kether_ntoa() function to serve the purpose of %D

kern - More work replacing %D

Use hexncpy() for special cases where, for example,
a different separator might be needed.

libkern - Add new function hexncpy.

kern - Utilize new way of printing MAC addresses.

kether_aton() function is being used to return a buffer
with the human readable notation of an ethernet address.

kern - Add kether_ntoa, kether_aton functions.

- kether_aton() converts a human readable MAC string to an
  ethernet address.
- kether_ntoa() converts ethernet addresses into human readable
  MAC string.

Human readable notation is specified in IEEE 802.

share/mk/sys.mk: Remove X11BASE definition

X11BASE is defined in pkgsrc mk files; it is not necessary to predefine
it in DragonFly's sys.mk.  Doing so will break support for dports.

Add regression tests for m4.

Obtained-from:  FreeBSD

m4: Sync with FreeBSD.

This improves compat with GNU m4 and brings the code closer to NetBSD
and OpenBSD.

Obtained-from:  FreeBSD

kernel/usb4bsd: Fix sizeof().

tws(4): Add MSI support.

sys/param.h: Bump __DragonFly_version due to fpsave area changes

if: Optimize ifnet_serialize_array_ function a little bit

IFNET_SERIALIZE_ALL is only used on init, stop and configuration path,
which is much less often then IFNET_SERIALIZE_TX; use __predict_false
for IFNET_SERIALIZE_ALL.

if: Remove unused IFNET serializer enum, macros and functions.

if: Multiple TX queue support step 3 of 3; map CPUID to subqueue

Add CPUID to subqueue mapping method to ifaltq.  Driver could provide
its own CPUID to subqueue mapping method through ifnet.if_mapsubq,
which is used when ALTQ's packet scheduler is not enabled.  ALTQ's
packet schedulers always map CPUID to the default subqueue.

if: Remove unused if_start_nmsg from ifnet

While im here, adjust comment in ifnet a little bit

if: Multiple TX queue support step 2 of many

ifnet_{serialize,deserialize,tryserialize}_tx and hardware TX serializer
asserion macros now require subqueue, so the proper hardware TX queue's
serializer could be held, released and asserted.

if: Free subqueue memory upon if_detach

if: Multiple TX queue support step 1 of many; introduce ifaltq subqueue

Put the plain queue information, e.g. queue header and tail, serializer,
packet staging scoreboard and ifnet.if_start schedule netmsg etc. into
its own structure (subqueue).  ifaltq structure could have multiple of
subqueues based on the count that drivers can specify.

Subqueue's enqueue, dequeue, purging and states updating are protected
by the subqueue's serializer, so for hardwares supporting multiple TX
queues, contention on queuing operation could be greatly reduced.

The subqueue is passed to if_start to let the driver know which hardware
TX queue to work on.  Only the related driver's TX queue serializer will
be held, so for hardwares supporting multiple TX queues, contention on
driver's TX queue serializer could be greatly reduced.

Bunch of ifsq_ prefixed functions are added, which is used to perform
various operations on subqueues.  Commonly used ifq_ prefixed functions
are still kept mainly for the drivers which do not support multiple TX
queues (well, these functions also ease the netif/ convertion in this
step :).

All of the pseudo network devices under sys/net are converted to use the
new subqueue operation.  netproto/802_11 is converted too.  igb(4) is
converted to use the new subqueue operation, the rest of the network
drivers are only changed for the if_start interface modification.

For ALTQs which have packet scheduler enabled, only the first subqueue
is used (*).

(*) Whether we should utilize multiple TX queues if ALTQ's packet scheduler
is enabled is quite questionable.  Mainly because hardware's multiple TX
queue packet dequeue mechanism could have negative impact on ALTQ's packet
scheduler's decision.

Updated the tip URL for the mailing list archives.

kernel - Fix signal FP save/restore issues when AVX is enabled

* The kernel was not saving/restoring the full FP context when entering into
  or returning from a signal, leading to corrupt FP registers even when
  AVX is not used, when AVX is enabled in the kernel.

  ANY SIGNAL COULD CORRUPT THE FP STATE.

* Fixed by adjusting the on-user-stack fpsave area sizes and operation.

* This unfortunately changes a number of user visible structures.
  ucontext_t, mcontext_t, sigcontext, sigframe.

  It is POSSIBLE that most userland use cases will be unaffected, but I'm
  not holding my breath.

Major-Sleuthing-by: ftigeot
Testing-by: ftigeot, dillon

virtio.4: virtio_pci has no own manpage. Also use .Nm for self-reference.

hammer - Change depth limit warning kprintf to krateprintf

* Limit a warning kprintf to 1hz.

kernel: Silence gcc47's -Wcast-qual warnings.

kernel: Remove some unused variables in the rest of the kernel tree.

kernel: Remove some unused variables in the serial drivers.

kernel: Remove some more unused variables in the network drivers.

kernel/net: Remove some unused variables.

kernel/sound: Remove some unused variables.

kernel/netinet: Remove some unused variables.

kernel/vfs: Remove some unused variables.

kernel/bus: Remove some unused variables and put others in #ifdef...

kernel: Remove some unused variables in RAID and disk drivers.

kernel/nfs: Add a 'break' for readability and remove unneeded semicolon.

kernel/netproto: Remove some unused variables.

kernel/802_11: Remove unused variables.

kernel/tcp_{input,output}: Remove some unused variables.

kernel/linprocs: Remove some unused variables.

kernel/aac: sge64 is only used on x86_64.

kernel: Replace the remaining __amd64__ with __x86_64__ for consistency.

kernel/hammer: Remove unused variables and add __debugvar.

Add manual pages for virtio (taken from FreeBSD with modifications).

kernel/virtio: Make it compilable into the kernel.

Submitted-by: vsrinivas

Build fixes.

kernel -- Tie virtio, virtio-blk into build.

kernel/virtio: Some cleanup (Makefiles and gcc47 warnings).

Rename vtblk_intr_task to vtblk_complete.

kernel -- Import virtio & virtio-block drivers.

virtio-blk provides a paravirtualized storage controller, with one
disk per virtio device.

This driver is based on Tim Bisson's port of FreeBSD's virtio and
virtio-blk devices. Differences from Tim's port:

* Import all FreeBSD updates from 4/16 on.
* Remove indirect descriptor support from virtio device.
* Mark devices as D_MPSAFE; removes mplock around disk routines, they
  are all correctly self-synchronized.
* Implement devstat support.
* Move I/O completion routine to threaded taskqueue.
* Do not hold target spinlock around virtqueue notify.
* Move objcache caches to kmalloc.

if: Move if_start_nmsg into ifaltq; prepare multiple TX queue support

While im here, also rename some functions to be consistent in naming
convention.

pktgen: Allow pktgenctl to specify # of packets to be queued onto TX queue