Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

usb4bsd: Add uether dependency for compiling udav into the kernel.

usb4bsd: Fix the compilation of the remaining drivers into the kernel.

usb4bsd: Fix some compilation warnings.

usb4bsd: Allow some parts to be built into the kernel.

This is for the core support, and for uhci, ohci, ehci and xhci.

To do this, replace:

  device usb

with

  device "usb4bsd"

in the config. The quotes are needed at the moment to cope with a
weakness in our config(8) that needs fixing.

Based-on-patch-submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

kernel/mii_layer: Little indentation fix.

usb4bsd: Port network devices (uether, udav, axe) and hook into build.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Port input devices (uep, uhid, ukbd, ums) and hook into build.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Fixes, fixes, fixes.

* Fix a panic when trying to free null pointer in usb_free_device.

* Fix a panic due to wrong assignment of locks.

* Fix kqueue handling.

* Add debug helpers.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Implement umass scsi probing on attach.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Bring in FreeBSD's uaudio driver.

This is based on FreeBSD SVN r231881.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Separate building of the old USB modules.

Don't build the old USB driver modules when WANT_USB4BSD is set.

Also, do some cleanup in some of the Makefiles, while I'm here.

usb4bsd: Cleanup pass.

* Adjust indentation, whitespace and typos.

* Uniformly use #if 0 to deactivate code instead of C comments.

usb4bsd: Hook usb, ehci, ohci, uhci, xhci, umass, and usfs into the build.

Adds some missing Makefiles and adjusts others.

With this commit, the corresponding modules all build when WANT_USB4BSD
is set, but they are not guaranteed to work. More bugs will be fixed in
subsequent commits.

The new USB code can't yet be built into the kernel.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Perform the usual porting on the controller, storage and core code.

malloc -> kmalloc, printf -> kprintf, locking, and so forth.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Generate usbdevs.h and usbdevs_data.h.

Also, rename devlist2h.awk to usbdevs2h.awk and remove our CVS ID in
Makefile.usbdevs.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

<bus/pci/pcireg.h>: Add a definition for XHCI programming interface.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Hook the userland part into the build.

Define a new make.conf(5) variable, WANT_USB4BSD, which (if set) causes
the new USB's userland to be built (similar to WANT_NETGRAPH7).

usb4bsd: Adjust header paths in libusbhid, usbhidctl, and public headers.

Also remove some __FBSDID's.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

usb4bsd: Bring in FreeBSD's libusbhid, usbhidctl and USB kernel code.

In order to make it live peacefully along with our old USB code, name
all directories with new USB code *u4b* instead of *usb*.

This is FreeBSD SVN r231881.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

acpi/pstate: Be lenient about wrong # of processors in the power domain

Some stupid BIOSes seem to consider two logic CPUs (hyperthreading) as
one CPU.  Don't bail out; just print some error messages.

Reported-by: dillon@

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel - Use atomic op for usched_global_cpumask

* Use atomic op for usched_global_cpumask in the cpu init code.  This
  code is serialized anyway, I think, but it is best to be safe.

* Add cpu_ccfence() to ensure that the compiler does not reorder the
  clearing of the mask in the cpusync code.

jme: Cache align software TX/RX descriptor data

cachealign: Fix __VM_CACHELINE_ALIGN

With-Input-from: dillon@

ktr: Use __cachealign to align ktr_cpu

The version of __VM_CACHELINE_ALIGN will not properly pad struct to
the cache line size.

Reviewed-by: dillon@

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

aesni: Utilize kmalloc M_POWEROF2

kernel - Remove debugging from i386 pmap

* Remove i386 pmap debugging kprintf.

kernel - Add MODULE_VERSION for if_ale

* Seems to solve boot-time lockup when if_ale is built into the kernel
  AND also specified in /boot/loader.conf

* Related issues now being reviewed by swildner

kernel - Probable fix to vm_fault: PG_BUSY panic on i386

* The info structure for the pmap_inval*() API is only initialized
  conditionally as an optimization.

* There was a case where the info structure was being used without
  first being initialized which matches reported panics (essentially
  a pipe buffer page in kernel memory is swapped out and the faulted back
  in during a uiomove).

Reported-by: vsrinivas, marino, several others

kernel - Fix missing LWKT token init in linprocfs

* Fix missing LWKT token init in linprocfs.  linprocfs_init() was not
  being called.

Reported-by: marino

kernel - Adjust cache_fullpath() API

* Add another argument to explicitly specify the base directory that the
  path is to be relative to.

kmalloc: Streamline the code a little bit

kmalloc: Fix comment

kmalloc: Use powerof2() to detect power-of-2 size

kmalloc: No need to call fls if the size is already power-of-2 aligned

Reduce code complexity

kmalloc_cachealign: Utilize kmalloc() chunk size aligned property

Avoid power-of-2 rounding up if the to-be-used zone is already
aligned properly.

Suggested-by: dillon@

kmalloc: Add comment about alignment property

kmalloc: Make allocation zone's chunk size align

Remove no longer used macros.

Discussed-with: dillon@
Submitted-by: dillon@

jme: Put TX related stuffs into struct jme_txdata

While I'm here, add more comment

jme: Move uncommonly accessed fields to the end of the struct

Branching 3.2/3.3

kernel - Fix UP build for usched_dfly.c

* Fix UP build errors

Reported-by: multiple

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

vkernel - Properly initialize pool tokens.

 * There was no call to init_locks() in vkernel's initialization
   code, so provide one.

 * As pool tokens weren't initialized, the attempt to copy its
   t_desc in lwkt_getalltokens() resulted in a panic. This should
   be fixed now.

 * Add a KASSERT() so that uninitialized tokens will panic the system.

Suggested by: swildner

kmalloc.9: Document M_POWEROF2.

kmalloc: Use 'fls' to round up the size to the nearest power of 2

On average tests conducted on Intel i3, i7 and xeon-e3 in x86_64 mode,
fls version is 3 times faster than the simple loop version.

Submitted-by: vsrinivas@
Also M_POWEROF2 flag is used to do the nearest power of 2 size rounding
up, instead of a seperate function (was kmalloc_powerof2)

Suggested-by: sjg@, vsrinivas@

libgcc.a47: build with -fpic

The vendor makefile builds libgcc.a with the PIC flag.  The x86_64
platform needs it for packages that need need to link to libgcc.a

build - Unbreak world

* Fix issue w/ last commit

Submitted-by: marino

Use GCC's builtin offset_of as the first option

Other than C++ code, the GCC offsetof builtin was never getting used.
The version that did get expanded could not be used for array
declarations on GCC 4.5 and later because it wasn't considered a
constant expression by those later GCC compilers.

The first symptom was seen when building world with GCC 4.6, but the
the offsetof expansion was finally identified as the cause of the
problem while discussion PostgreSQL 9.1 build failures on DragonFly.
Since DragonFly was the only platform exibiting the behavior, the
problem was narrowed down to the offsetof macro or the compiler itself.
Fixing the macro allowed the unpatched pgsql to compile.

Thanks-to: Tom Lane

ifpoll: Utilize kmalloc_cachealign()

busdma: Panic if the kmalloc_powerof2() fails to meet the dma requirement

busdma: Utilize kmalloc_powerof2()

igb: Use kmalloc_cachealign to allocate rx ring, tx ring and msix data

kmalloc: Add kmalloc_powerof2() and kmalloc_cachealign()

kmalloc_powerof2()
    Ensures that the returned address will be power of 2 aligned.

kmalloc_cachealign()
    Ensures that the returned address will be cacheline size aligned.
    It is useful to allocate structs declared with __cachealign
    attribute.

These two function probably should _not_ be used on the hot code path
due to the computational cost to find the nearest power of 2 size.

igb: Cache align msix, rx and tx data

igb: Remove unused code

igb: Change polling(4) support to ifpoll support

For 82576, this means that all of the 16 RX rings could be enabled
and fully utilized; even in MSI-X mode, only 8 RX rings could be
used.

kernel/ixgbe: Remove double definition.

ixgbe: Define missing DEBUGOUT# macros.

DEBUGOUT[45] are not yet used but are being defined pre-emptively
to avoid future build breakage

Obtained-from: FreeBSD

kernel/hammer: Staticize hammer_skip_redo.

It's just used in hammer_recover.c.

re: Don't enable MSI by default

igb: Initialize if_name so functions used on if_init could use if_printf

Remove some more GCC 4.1 specific files via 'make upgrade'.

re(4): Use MSI if device supports it.

RT8168E supports MSI.

kernel - Acquire vm_token in pmap_remove_all() (3)

* Correct bug in last commit, resident_count adjustment has to be
  moved past the revalidation.

kernel - Acquire vm_token in pmap_remove_all() (2)

* Remove this, the token is already acquired in all pmap_remove_all()
  paths.

* Instead, try catching the problem in pmap_remove_all(m) by re-validating
  the pv_entry (essentially detecting a removal race).

kernel - (fix syntax error last commit)

* i386 pmap.c

kernel - Acquire vm_token in pmap_remove_all()

* Kitchen sink try to fix the wire_count panic, acquire vm_token
  in pmap_remove_all().

kernel - Fix edge case with machdep.pmap_mmu_optimize on x86-64

* Fix two edge cases when enabling or disabling machdep.pmap_mmu_optimize,
  causing a shared page table page to be reverted to a local page table page
  and vise-versa.

* Remove debugging kprintf()s

Reported-by: thesjg

gcc47: Remove a gcc-aux leftover.

bsd.prog.mk: Avoid redefining $PROG target

In rare cases, the PROG target is intentionally redefined before
including bsd.prog.mk, but when that happens a target redefinition
warning is emitting.  This adds a check for a pre-existing $PROG
target before attempting to define it.

It stops warnings from being emitted when loader and loader_tftp
are built.

gcc47: Restore cross-build capability

The internal specs of gcc47 featured an hardcoded standard include
directory which prevented cross-target builds.  The same mistake also
caused the "crosstools" compiler in a native build to look at the host
system includes instead of the world_{TARGET}/usr/includes directory.
As a result, the cross-build would break as soon as GCC47 was used to
build its own libraries.

A stage-specific prefix was added to the internal specs directory
definition that restored cross-target building capability.

ixgbe: Do not use mbuf jumbo clusters

* They caused crashes when using jumbo frames; the root of the issue should
  probably be investigated further but the driver works perfectly with this
  change.

* Single-stream TCP performance has been measured up to 9.89 Gb/s with
  mtu=16114

Makefile.inc1: Unbreak buildworld

There was a bootstrap problem with gcc47.
For systems without gcc47 (which is almost all of them), the buildworld
failed on the first gcc47 libraries which require gcc47 to build.  The
gnu/lib/gcc47/csu target was duplicated and the makefile was attempting
to build it before gcc47 was installed.

kernel: Fix a few more mbuf MB_* vs. kmalloc M_* flag misuses.

libstdc++47: fix wrong vec.o inclusion

The vec.cc file never got compiled for libstdc++.  The gcc/vec.c object
file was getting included into the library instead.  This change
effectively renames vec.cc to avoid name clashes.

This also allows gcc47 to completely build world.

mtree: Use spaces for indentation.

ixgbe: Use MB_DONTWAIT with mbuf operations

* M_NOWAIT is only valid with kmalloc(9)

bsd.sys.mk: Remove -Werror flag from gcc47 builds

While most of the breakage caused by new GCC47 warnings have been fixed,
swildner would prefer to complete the task and review the previously
and hastily submitted warning fixes at his leisure.

To accommodate this, the -Werror flag is removed when gcc47 is used to
build so the new warnings will pass by harmlessly.  swildner will
restore the -Werror flag when his task is complete.

gcc47 warnings: A few more fixes

usr.bin/make pass -fno-address, NO_WERROR=true
usr.bin/monitor modified source file
usr.bin/netstat modified source file (2)
usr.bin/sdpquery WARNS=2, pass -fno-unused-but-set-variable

Make has several evaluations that gcc47 believes will always
(without exception) evaluate to true or false.  Likely gcc47 is not
detecting some cases correctly, so -Wno-address was passed to it.
However, -Werror overrides it, so NO_WERROR had to be set on this
Makefile.

The remaining GCC warnings will be left for swildner to handle.
The -Werror flag will be suppress for GCC47 until further notice.

libstdc++47: Fix c++config.h race

With high job numbers, sometimes c++config.h would get included before
it finished getting generated.  Solve this race by using "depend all"
which should ensure c++config.h gets generated before anything else
in libstdc++ starts to build.

Switch on gcc47 and switch off gcc41

Replace GCC 4.1 with GCC 4.7.  The primary compiler remains GCC 4.4
and the source and makefiles for GCC 4.1 remain intact so it can be
brought back if necessary.  All references to GCC 4.1 in documentation
where updated to reflect version 4.7.

A full world build is probably required after this point.

gcc47: Add DragonFly READMEs and world makefiles

GCC47: Add local modifications

The majority of these changes are new files required to build GCC on
DragonFly.  They are identical to the lang/gcc-aux modifications.  Of
interest:

1) The modification to c-format.c is a carry-over from GCC44. It
   maintains support for the DragonFly-specific %b and %D conversions.
2) The modification to tree-inline.c is a carry-over from GCC44. It
   maintains the suppression of "unlikely call" inline warnings.
3) The gcc driver was modified to strip out all the bad paths in its
   search path.  gcc -print-search-dirs is now short and accurate.

Merge branch 'vendor/GCC47'

Import gcc-4.7.2 to new vendor branch

gcc47 build fixes: Unused-but-set-variable + more warnings

The following programs fail to build with gcc47 due to the new
unused-but-set-variable warning.  They've been fixed in various ways.
The ones set with WARNS=3 suppress cast-qual warning
There is a single enum-compare error too.

This effort is not complete.

bin/csh pass -Wno-unused-but-set-variable
bin/mined source file modified
bin/sh set WARNS=3
crypto/openssh source file modified (2)
gnu/lib/libdialog source file modified
gnu/usr.bin/gdb/kgdb source file modified
gnu/usr.bin/rcs  source file modified
lib/libalias source file modified
lib/libdevstat source file modified
lib/libdm set WARNS=3
lib/libevtr source file modified
lib/libldns pass -Wno-unused-but-set-variable
lib/libncp source file modified
lib/libpam set WARNS=3
lib/libsmdb pass -Wno-unused-but-set-variable
lib/libstand source file modified (4)
lib/libtcplay source file modified
lib/libthread_xu source file modified (2)
libexec/rshd source file modified
libexec/telnetd source file modified
libexec/ypxfr pass -Wno-enum-compare
sbin/atm/fore_dnld source file modified
sbin/atm/ilmid source file modified
sbin/atm/camcontrol source file modifief (2)
sbin/ccdconfig source file modified
sbin/cryptdisks source file modified
sbin/ffsinfo source file modified
sbin/fsirand source file modified
sbin/growfs source file modified
sbin/hammer source file modified
sbin/ldconfig source file modified (real bug here?)
sbin/mount source file modified
sbin/mount_ufs source file modified
sbin/mount_extfs source file modified
sbin/mountd source file modified
sbin/natd source file modified
sbin/newfs source file modified
sbin/ping6 set WARNS=3, source modified
sbin/rcorder source file modified
sbin/reboot source file modified (real bug here?)
sbin/udevd source file modified
sbin/usched source file modified
sbin/vinum source file modified
sys/boot/common  source file modified
sys/boot/pc32/loader source file modified
usr.bin/brandelf source file modified
usr.bin/bzip2 pass -Wno-unused-but-set-variable
usr.bin/dfregress source file modified
usr.bin/ee source file modified
usr.bin/less pass -Wno-unused-but-set-variable

jme: Factor out jme_rx_restart

jme: Rework MSI-X mapping, so RX MSI-X need not read register

RX empty event rarely happens (I didn't see it even if the card is
sinking full speed tiny packets on one RX ring).  Put the RX empty
events into independent MSI-X, so the hot path RX MSI-X need not
read register at all.

jme: Remove unused macros

jme: Make sure only rx desc empty is cleared in status register

jme: Move colesce parameters setup out of sysctl tree creation

jme: Change polling(4) support to ifpoll support

While I'm here, fix the disable/enable intr handing.

Fix buildworld with NO_GCC41.

The Makefile logic was kinda broken and gmp/mpfr were built only when
gcc41 was being built (i.e., when NO_GCC41 was not specified).

Instead, just build them in any case.

ixgbe: Purge queue on inactive interfaces

* The transmission code needs to process all queued packets in one way or
  another; if this is not done, the kernel will busy loop

* Fix a kernel freeze issue when bringing up network interfaces not having
  an active link (cable not plugged...)

Revert "Makefile.usr - Switch to pkgsrc-2012Q2."

This reverts commit f22a9489615d510c36982f39cd47f93d42a1c0aa.

This does not match the current batch of pkgsrc binaries.
Also, pkgsrc-2012Q3 is due out in the next 24 hours.

Makefile.usr - Switch to pkgsrc-2012Q2.

ixgbe: Remove useless locking directives