flex: Add local modifications and DragonFly READMEs

The quality of the latest flex 2.5.37 release is pretty poor.  The
man page displayed the wrong version, the code doesn't compile with
GCC 4.7, the new lerrs_fatal function missing a protocol and then
given the wrong type once when it was called.  Some of the errors
could have been fixed with higher WARNS settings but these patches
applied over the flex vendor branch should fix the bugs.

The standard DragonFly README files are added at the same time.

Merge branch 'vendor/FLEX'

Import flex-2.5.37 to new vendor branch

am-utils: Patch for recent flex

To prepare for the import of the latest flex, am-utils needs a tweak.
This allows both the old flex and the new flex to build it.  It is the
only software that failed to build out of the box with the new flex.

.gitignore: Remove build products from list

The following patterns were previously active.
They have been commented out because the system "make" will pick up build
products in the source tree causing strange build failures.  The benefit
of avoiding an accidental commit of a binary is quickly offset by the
liability of chasing build failures caused by "invisible" files.  This
has burned a few people already and even the source of bug reports.

*.[psS]o
!/contrib/nvi/docs/USD.doc/vi.ref/index.so
!/contrib/nvi/docs/USD.doc/vi.ref/ref.so
*.a
!/bin/csh/USD.doc/csh.a
*.o

gcc4x: Update README to remove format.c from patched list

This is the result of %D format being removed by swildner yesterday.

Remove %D conversion from kprintf(9) and the GCCs.

It has been removed also from libstand's printf.

While useful, these non-standard conversions have the downside that
each compiler needs adjusting to support proper printf format warnings
for them.

We have now a kether_ntoa() function to serve the purpose of %D

kern - More work replacing %D

Use hexncpy() for special cases where, for example,
a different separator might be needed.

libkern - Add new function hexncpy.

kern - Utilize new way of printing MAC addresses.

kether_aton() function is being used to return a buffer
with the human readable notation of an ethernet address.

kern - Add kether_ntoa, kether_aton functions.

- kether_aton() converts a human readable MAC string to an
  ethernet address.
- kether_ntoa() converts ethernet addresses into human readable
  MAC string.

Human readable notation is specified in IEEE 802.

share/mk/sys.mk: Remove X11BASE definition

X11BASE is defined in pkgsrc mk files; it is not necessary to predefine
it in DragonFly's sys.mk.  Doing so will break support for dports.

Add regression tests for m4.

Obtained-from:  FreeBSD

m4: Sync with FreeBSD.

This improves compat with GNU m4 and brings the code closer to NetBSD
and OpenBSD.

Obtained-from:  FreeBSD

kernel/usb4bsd: Fix sizeof().

tws(4): Add MSI support.

sys/param.h: Bump __DragonFly_version due to fpsave area changes

if: Optimize ifnet_serialize_array_ function a little bit

IFNET_SERIALIZE_ALL is only used on init, stop and configuration path,
which is much less often then IFNET_SERIALIZE_TX; use __predict_false
for IFNET_SERIALIZE_ALL.

if: Remove unused IFNET serializer enum, macros and functions.

if: Multiple TX queue support step 3 of 3; map CPUID to subqueue

Add CPUID to subqueue mapping method to ifaltq.  Driver could provide
its own CPUID to subqueue mapping method through ifnet.if_mapsubq,
which is used when ALTQ's packet scheduler is not enabled.  ALTQ's
packet schedulers always map CPUID to the default subqueue.

if: Remove unused if_start_nmsg from ifnet

While im here, adjust comment in ifnet a little bit

if: Multiple TX queue support step 2 of many

ifnet_{serialize,deserialize,tryserialize}_tx and hardware TX serializer
asserion macros now require subqueue, so the proper hardware TX queue's
serializer could be held, released and asserted.

if: Free subqueue memory upon if_detach

if: Multiple TX queue support step 1 of many; introduce ifaltq subqueue

Put the plain queue information, e.g. queue header and tail, serializer,
packet staging scoreboard and ifnet.if_start schedule netmsg etc. into
its own structure (subqueue).  ifaltq structure could have multiple of
subqueues based on the count that drivers can specify.

Subqueue's enqueue, dequeue, purging and states updating are protected
by the subqueue's serializer, so for hardwares supporting multiple TX
queues, contention on queuing operation could be greatly reduced.

The subqueue is passed to if_start to let the driver know which hardware
TX queue to work on.  Only the related driver's TX queue serializer will
be held, so for hardwares supporting multiple TX queues, contention on
driver's TX queue serializer could be greatly reduced.

Bunch of ifsq_ prefixed functions are added, which is used to perform
various operations on subqueues.  Commonly used ifq_ prefixed functions
are still kept mainly for the drivers which do not support multiple TX
queues (well, these functions also ease the netif/ convertion in this
step :).

All of the pseudo network devices under sys/net are converted to use the
new subqueue operation.  netproto/802_11 is converted too.  igb(4) is
converted to use the new subqueue operation, the rest of the network
drivers are only changed for the if_start interface modification.

For ALTQs which have packet scheduler enabled, only the first subqueue
is used (*).

(*) Whether we should utilize multiple TX queues if ALTQ's packet scheduler
is enabled is quite questionable.  Mainly because hardware's multiple TX
queue packet dequeue mechanism could have negative impact on ALTQ's packet
scheduler's decision.

Updated the tip URL for the mailing list archives.

kernel - Fix signal FP save/restore issues when AVX is enabled

* The kernel was not saving/restoring the full FP context when entering into
  or returning from a signal, leading to corrupt FP registers even when
  AVX is not used, when AVX is enabled in the kernel.

  ANY SIGNAL COULD CORRUPT THE FP STATE.

* Fixed by adjusting the on-user-stack fpsave area sizes and operation.

* This unfortunately changes a number of user visible structures.
  ucontext_t, mcontext_t, sigcontext, sigframe.

  It is POSSIBLE that most userland use cases will be unaffected, but I'm
  not holding my breath.

Major-Sleuthing-by: ftigeot
Testing-by: ftigeot, dillon

virtio.4: virtio_pci has no own manpage. Also use .Nm for self-reference.

hammer - Change depth limit warning kprintf to krateprintf

* Limit a warning kprintf to 1hz.

kernel: Silence gcc47's -Wcast-qual warnings.

kernel: Remove some unused variables in the rest of the kernel tree.

kernel: Remove some unused variables in the serial drivers.

kernel: Remove some more unused variables in the network drivers.

kernel/net: Remove some unused variables.

kernel/sound: Remove some unused variables.

kernel/netinet: Remove some unused variables.

kernel/vfs: Remove some unused variables.

kernel/bus: Remove some unused variables and put others in #ifdef...

kernel: Remove some unused variables in RAID and disk drivers.

kernel/nfs: Add a 'break' for readability and remove unneeded semicolon.

kernel/netproto: Remove some unused variables.

kernel/802_11: Remove unused variables.

kernel/tcp_{input,output}: Remove some unused variables.

kernel/linprocs: Remove some unused variables.

kernel/aac: sge64 is only used on x86_64.

kernel: Replace the remaining __amd64__ with __x86_64__ for consistency.

kernel/hammer: Remove unused variables and add __debugvar.

Add manual pages for virtio (taken from FreeBSD with modifications).

kernel/virtio: Make it compilable into the kernel.

Submitted-by: vsrinivas

Build fixes.

kernel -- Tie virtio, virtio-blk into build.

kernel/virtio: Some cleanup (Makefiles and gcc47 warnings).

Rename vtblk_intr_task to vtblk_complete.

kernel -- Import virtio & virtio-block drivers.

virtio-blk provides a paravirtualized storage controller, with one
disk per virtio device.

This driver is based on Tim Bisson's port of FreeBSD's virtio and
virtio-blk devices. Differences from Tim's port:

* Import all FreeBSD updates from 4/16 on.
* Remove indirect descriptor support from virtio device.
* Mark devices as D_MPSAFE; removes mplock around disk routines, they
  are all correctly self-synchronized.
* Implement devstat support.
* Move I/O completion routine to threaded taskqueue.
* Do not hold target spinlock around virtqueue notify.
* Move objcache caches to kmalloc.

if: Move if_start_nmsg into ifaltq; prepare multiple TX queue support

While im here, also rename some functions to be consistent in naming
convention.

pktgen: Allow pktgenctl to specify # of packets to be queued onto TX queue

if: Move if_cpuid into ifaltq; prepare multiple TX queues support

if_cpuid and if_npoll_cpuid are merged and moved into ifaltq as
altq_cpuid, which indicates the owner CPU of the tx queue.  Since
we already have code in if_start_dispatch() to catching tx queue
owner CPU changes, this merging is quite safe.

kernel/netinet6: Remove some unused variables.

kernel: Remove some unused variables in kern/, opencrypto/ and platform/.

kernel/disk: Remove some unused variables and add __debugvar.

kernel/dm: Remove some unused variables.

Also start using a previously unused variable in dm_target_crypt.

igb: Save TX interrupt CPUID into tx_ring struct

This will be used to unify the ifnet.if_cpuid and ifnet.if_npoll_cpuid

jme: Always save TX interrupt CPUID

This will be used to unify the ifnet.if_cpuid and ifnet.if_npoll_cpuid

kernel/posix scheduling: Style, indentation, etc.

kernel: COMPAT_DF12 is valid for vkernel (32 bit) too.

libc - Add poor man's cache coloring optimization to nmalloc module.

* A series of large allocations in excess of 32KB will be offset by 4K from
  each other.  This fixes performance issues on SandyBridge and later cpus
  related to large matrix operations.

  This eats an extra 4K of VM for such allocations but does not eat any
  additional real memory.

* Greatly improves large FP matrix benchmarks.  Real-world effects are more
  questionable.

* The Sandybridge and later cpus use a virtually indexed, physically tagged
  L1 cache, and tend to be sensitive to substantially different memory
  addresses winding up on the same cache line.  Matrix operations (primarily
  benchmarks) can cause these sorts of effects.

Reported-by: alexh

libc - Revert to nmalloc for now

* Disable dmalloc on 64-bit systems, use nmalloc for everything for now.
  dmalloc appears to have some severe fragmentation and/or leak issues
  in long running programs (aka xulrunner) which are worse than nmalloc.

kernel: Remove some unused variables in gpio/spic/cardbus/ndis.

kernel: Remove some unused variables in netgraph/netgraph7.

Stop removing bsd.port.*.mk via 'make upgrade'.

kernel: Remove some unused variables in bktr(4) and cxm(4).

kernel: Remove unused variables in ACPI code (and add a __debugvar).

kernel: Move sys/dev/acpica5 to sys/dev/acpica.

The 5 used to indicate that it was imported from FreeBSD 5 but that
doesn't matter anymore.

In-discussion-with: sephe

kernel: Remove some unused variables in network drivers.

kprintf(9): Implement optional 'precision' for numbers.

Previously, it was parsed but ignored. Some third-party modules
(e.g., APCICA) prefer this format over zero padding flag '0'.

Before this commit:

ACPI Warning: 32/64X FACS address mismatch in FADT - 0x3F611E40/0x       03F611D40, using 32 (20110527/tbfadt-589)

After this commit:

ACPI Warning: 32/64X FACS address mismatch in FADT - 0x3F611E40/0x000000003F611D40, using 32 (20110527/tbfadt-589)

Taken-from: FreeBSD (r209836 and r209949)

kernel: The NPX_DEBUG kernel option is pc32 specific, too.

kernel: The COMPAT_DF12 kernel option is pc32 specific.

if: if_start_need_schedule -> ifq_ifstart_need_schedule

Consistent function naming as other related functions

if: Add if_devstart_sched to schedule ifnet.if_start call

Mainly to hide ifnet.if_start_nmsg from drivers, avoid code duplication
and ease upcoming multiple tx queues work.

if: if_start_schedule -> ifq_ifstart_schedule

The argument is changed to ifaltq; this eases further changes to
add multiple tx queues support.

ifq: Add ifq_get_stage to loacte proper altq_stage data

ifq: Add ifq_{is,set,clr}_started to access/modify altq_started

ifq: Update comment in net/ifq_var.h

if: Update IF_ macros comment

net: Don't use IF_{EN,DE}QUEUE on ifnet.if_snd

wi: Don't use IF_ macros on ifnet.if_snd

de: Don't use IF_ macros on ifnet.if_snd

ral: Don't use IF_ macros on ifnet.if_snd

iwi: Dont' use IF_ macros on ifnet.if_snd

net: Don't use IF_DROP on ifnet.if_snd

ef: Don't use IF_ queue macros on ifnet.if_snd

tun: Don't use IF_DROP on ifnet.if_snd

npx: Always embed saveymm in savefpu and remove dependency on opt_cpu.h

- pcb and mdglobaldata size will not change depending on CPU_DISABLE_AVX
- Modules' makefiles need not to be modified (well, almost all modules)

x86_64/options: Indentation

if: Remove deprecated if_handoff and related macros

ppp: Don't use IF_HANDOFF, use IF_ENQUEUE instead.

This nukes the last reference of the IF_HANDOFF

netgraph7/fec: Don't use IF_ macros on ifnet.if_snd

if: Remove IFF_POLLING from kernel space.

User space macro is kept for compatibility.  Adjust comment a little bit.

x86_64 - support for AVX instructions

 * CPU will be checked for XSAVE and AVX support on boot. If both are
   found, they will be enabled.

 * If enabled, the kernel will use the XSAVE and XRSTOR instructions to
   save and restore FPU, SSE and AVX registers.

Originally-Submitted-by: Adam Sakareassen (with modifications)

if: Move IFF_OACTIVE bit into ifaltq; prepare multiple TX queues support

ifaltq.altq_hw_oactive is now used to record that NIC's TX queue is full.
IFF_OACTIVE is removed from kernel.  User space IFF_OACTIVE is kept for
compability.

ifaltq.altq_hw_oactive should not be accessed directly.  Following set of
functions are provided and should be used:
ifq_is_oactive(ifnet.if_snd)  - Whether NIC's TX queue is full or not
ifq_set_oactive(ifnet.if_snd) - NIC's TX queue is full
ifq_clr_oactive(ifnet.if_snd) - NIC's TX queue is no longer full

Remove some emacs variable settings.