amr(4): Some bugfixes.

* Add a missing devstat_end_transaction_buf(). Makes device stats actually
  work.

* Add a couple of missing cam_simq_release() calls.

kernel - Adjustments to if_igb

* Change the spin lock to a token.  A spinlock is inappropriate here because
  the thread can block with it held (resulting in a panic).

* Use rid 0 when allocating a legacy interrupt, fixing an issue where
  the interrupt bus resource could not be allocated.

kernel - Set wmesg when spinning on a token or the mplock

* When spinning on a token or the mplock set the wmesg so it shows up
  in ps and top output.

utilities - Fix top formatting when > 9 cpus present

* Change %1x format to %02d

installer - Increase administrative swap size limit to 512G

* Increase from 8G to 512G (which is the x86-64 default swap size limit).
  8G was too small either way.  Maybe the installer-enforced administrative
  limit should just be removed entirely.

Bring in an igb(4) manual page (from FreeBSD).

manual pages: Punctuation and whitespace cleanup.

kernel - Fix MP system call performance regression

* The userland scheduler was unconditionally calling lwkt_switch()
  via userexit() (i.e. on every system call), creating unnecessary
  overhead and possibly also triggering a bsd4 scheduler event
  requiring a common spinlock.

* Rearrange the code slightly to reduce instances where lwkt_switch()
  is called.  We want to try to keep instances where a higher priority
  LWKT thread is potentially runnable or when the LWKT fairq accumulator
  for the current thread has been exhausted.

* This removes system call overhead multiplication on MP systems.  For
  example, on a 48-core box system call overhead when all 48 cpus are
  busy doing getuid() loops went from 10uS back down to 270nS (which
  is near the single-cpu test results).

kernel - Add support for up to 63 cpus & 512G of ram for 64-bit builds (3)

* Correct compile-time errors in vkernel64 build.

kernel - Simplify AP CPU reporting on x86-64

* Simplify the AP CPU kprintf()s to reduce console spew.

kernel - Add support for up to 63 cpus & 512G of ram for 64-bit builds (2)

* Fix mis-translation in previous commit

style(9) - Prefer a lack of case '?' fallthrough for getopt

* This also coincides with the example in getopt(3)

Discussed-with: swildner@

Merge branch 'malloc_constructor'

Merge branch 'GCI2010'

vkernel - Add usage()

* Adds a new argument -h, which prints extended usage information

* Prints typical usage information (same as manpage) when no arguments are
  specified or an invalid argument is given. Otherwise, error output is the
  same as before.

* Convert to sysexits(3)

Sponsored-By: Google Code-In

kernel - Add support for up to 63 cpus & 512G of ram for 64-bit builds.

* Increase SMP_MAXCPU to 63 for 64-bit builds.

* cpumask_t is 64 bits on 64-bit builds now.  It remains 32 bits on 32-bit
  builds.

* Add #define's for atomic_set_cpumask(), atomic_clear_cpumask, and
  atomic_cmpset_cpumask().  Replace all use cases on cpu masks with
  these functions.

* Add CPUMASK(), BSRCPUMASK(), and BSFCPUMASK() macros.  Replace all
  use cases on cpu masks with these functions.

  In particular note that (1 << cpu) just doesn't work with a 64-bit
  cpumask.

  Numerous bits of assembly also had to be adjusted to use e.g. btq instead
  of btl, etc.

* Change __uint32_t declarations that were meant to be cpu masks to use
  cpumask_t (most already have).

  Also change other bits of code which work on cpu masks to be more agnostic.
  For example, poll_cpumask0 and lwp_cpumask.

* 64-bit atomic ops cannot use "iq", they must use "r", because most x86-64
  do NOT have 64-bit immediate value support.

* Rearrange initial kernel memory allocations to start from KvaStart and
  not KERNBASE, because only 2GB of KVM is available after KERNBASE.

  Certain VM allocations with > 32G of ram can exceed 2GB.  For example,
  vm_page_array[].  2GB was not enough.

* Remove numerous mdglobaldata fields that are not used.

* Align CPU_prvspace[] for now.  Eventually it will be moved into a
  mapped area.  Reserve sufficient space at MPPTDI now, but it is
  still unused.

* When pre-allocating kernel page table PD entries calculate the number
  of page table pages at KvaStart and at KERNBASE separately, since
  the KVA space starting at KERNBASE caps out at 2GB.

* Change kmem_init() and vm_page_startup() to not take memory range
  arguments.  Instead the globals (virtual_start and virtual_end) are
  manipualted directly.

periodic(8): Adjust the bsdstats script to use drill(1) instead of dig(1).

The check_dns() check is still wrong which is due to the setting of
IFS but until scrappy@ reports back, I won't touch that. For the
moment, it will succeed, but would also not fail in check_dns() if
the network was down.

Reported-by: Tim Darby <t+dfbsd@timdarby.net>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1927>

mfiutil(8): Fix a in the interval argument to the 'patrol auto' command.

swapcache.8: Fix typos.

devattr(8): Fix weird style and perform some general cleanup.

Fix installworld.

bitstring(3): Describe bit_fls and bit_nsearch.

bitstring.h: Add bit_fls to complement bit_ffs and bit_nsearch.

Import vm_map_findspace(9) manpage from FreeBSD and add flags/align arguments.

Kernel configs: Move twa(4) to the right place, too.

Clean up and sort the RAID sections in our configs.

kernel: Serial numbers have to be either 2 chars minimum or not be a blank.

The hptiop(4) controller's logical disks have a " " (single space)
serial number, which caused /dev/serno/_ to be created.

hptiop(4): Fix device description.

hptiop(4): Add the hptiop(4) RAID driver.

The driver supports the following adapters:

* HighPoint RocketRAID 3020
* HighPoint RocketRAID 3120
* HighPoint RocketRAID 3122
* HighPoint RocketRAID 3220
* HighPoint RocketRAID 3320
* HighPoint RocketRAID 3410
* HighPoint RocketRAID 3510
* HighPoint RocketRAID 3511
* HighPoint RocketRAID 3520
* HighPoint RocketRAID 3521
* HighPoint RocketRAID 3522
* HighPoint RocketRAID 3540
* HighPoint RocketRAID 4320

It was tested with the 3120.

Many thanks to FreeBSD, from which this code was obtained.

periodic/security: fix warnings on a system with no packages installed

devattr - a tool to expose the libdevattr functionality

kernel - Enable e1000 / igb netif in module build

* Add if_igb to the module build, via e1000.

kernel - 64-bit memory & ncpus work

* Create a macro and bsr function for cpu masks in preparation for
  making cpumask_t 64 bits on 64-bit builds.  cpumask_t is still
  32 bits in this commit.

* Expand SMP_MAXCPUS to 31 for 64-bit builds in preparation for
  eventually expanding it to 63.

* Fix an array overflow when probing ncpus on 64-bit.

* Increase the boot-time kmap entries to accomodate large numbers of
  cpus.

* Clean up a few places where integer overflows could occur on
  64-bit machines with large amounts of ram.

  For the moment we are limited to 32G.  This will change in a
  followup commit.

kernel - Fix lapic mask for > 16 apic ids

* The lapic mask in the MP startup was only allowing for 16 apic ids,
  adjust the mask to allow for all 256.

* Supermicro now boots w/12 cpus and probably 24.  More work required
  to get it to boot w/48.

amr(4): Return the correct error.

error was not being set for two functions, and if these failed, 0 was
incorrectly returned.

aac(4) & mfi(4): Fix masking bug.

When masking direct and processor devices during an inquiry, properly
preserve the upper bits of the first data byte.

Taken-from: FreeBSD

mfi(4): Shorten some lines.

Taken-from: FreeBSD

kernel - Provide descriptions for many net.inet sysctl's

* Switch net.inet.ip.dispatch_* to RD from RW

Submitted-by: Taras Klaskovsky
Sponsored-by: Google Code-In

kernel - mlockall: Return EINVAL for invalid flags combinations.

Reported by: swildner

Add a missing file for building libiconv into the kernel.

Make more things (HPFS, *_ICONV) buildable into the kernel.

test - Add test case for prior select(2)/EOF bug

* This test reproduces the problem fixed in commit:
  57b24f4ee66aaaa59b54e9577b93253cf435672f

Issue: http://bugs.dragonflybsd.org/issue1809
Submitted-by: Johannes Hofmann

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Dec  4, 2010
Mares:   Nov 24, 2010

Fix a typo and add PMAP_DEBUG to LINT.

kernel - remove extra crit_exit()

Those are leftover from 080c00e6fcafedf719b52e5de548a005201b0218 .

installer: Fix a bug when /boot (HAMMER) or / (UFS) is are to be encrypted.

The installer will warn that this is not possible, but previously left the
encryption flag set. Clear it.

docs - Expand the swapcache(8) manual page

* Add a description for static and dynamic wear leveling and write-combining

kernel: Remove some PC98 remains.

These were either not caught when we removed support, or they came back
in later.

kernel - Remove unneeded critical sections from VM code, add pmap asserts

* Various bits of VM code now only need vm_token and no longer need
  a critical section.

* Add pmap_page_assertzero() assertions in a couple of places when
  PMAP_DEBUG is enabled.

* Add PMAP_DEBUG as a global kernel config option.

* Be a bit more conservative and clear PG_ZERO for all page table
  pages and not just terminal page table pages.  When such pages
  are finally freed they will be zero again due to the way the
  pmap code works but don't make that assumption.

kernel - Document ordering requirement in lwkt_cpusync_remote2()

* Add a cpu_ccfence() to document necessary ordering but assume
  that the atomic op following handles the actual requirement.

  This is essentially a nop.

Add sha256/512 support to libcrypt, change default

* Add sha256 and sha512 support to libcrypt.

* Change the default password hash to sha256.

* All old passwords will of course still works, but all new ones will be
  created using sha256.

Sponsored-by: Google Code-In

amr(4): Sync with FreeBSD.

This adds support for various new devices (full list is in the manual
page), among other things.

Reported-by: Tomaz Borstnar <tomaz.borstnar@over.net>
               Jonas Trollvik <jontro@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue305>

mfi(4): Add missing dev_ops_remove_minor().

kernel - Fix bug in x86-64 version of bzeront()

* The x86-64 bzeront code was subtracting the wrong value from the count
  when looping.  Note that prior to this commit the code was not being
  used anyway.

* Rearrange the way movnti support is detected and enable for x86-64.

dm - undo my pointless moving of dm.h

* There was no need to move dm.h, we can just use <dev/disk/dm/dm.h>.

* And since we can do the above, we can also get rid of the strange
  Makefile CFLAGS magic I added.

* Also undo the removal on upgrade of /usr/include/dev/disk/dm/dm.h and
  instead remove sys/dm.h

Reported-by: Sascha Wildner

Remove <dev/disk/dm/dm.h> via make upgrade. It's <sys/dm.h> now.

style.9: Somehow, half of the usage() example was missing. Fix it.

Noticed-by: sjg

kernel - Provide descriptions for many net.inet6 sysctl's

Submitted-by: Taras Klaskovsky
Sponsored-by: Google Code-In

mfi(4): Make mfi_linux.ko compile (maybe it even works).

I haven't tested this yet.

vga/vesa: Use hexdump() instead of cooking our own.

Add a hexdump(9) manual page (taken from FreeBSD).

kernel - Fix mbuf header exhaustion w/ degenerate unix domain socket case

* Increase the number of mbuf headers to accomodate a degenerate
  fd-passing case with chains of unix domain sockets, one fd per
  socket.

* This does not address other mbuf exhaustion issues which can crop
  up in a user ddos attack due to the default number of fds a user
  is allowed to own.

Reported-by: Venkatesh Srinivas <me@endeavour.zapto.org>

kernel - Fix deep stack recursion in unix domain socket garbage collection

* A chain of unix domain sockets with the previous fd passed into the
  next one can cause a kernel stack overflow.

* Flatten the portion of the gc which would otherwise recurse by placing
  the fp on a list instead of calling a nested closef(), then running
  the closes at the top level.

Reported-by: Venkatesh Srinivas <me@endeavour.zapto.org>

installer - encrypted root fix for new modules

* With the new modularized dm, dm_target_crypt will have to be loaded
  explicitly if the module_path is not reachable in the moment the crypt
  target is needed.

* Simply write dm_target_crypt_load="YES" to the installed loader.conf
  so that there are no nasty surprises.

Reported-by: Sascha Wildner

dm - Modularize it fully

* Move each of the targets (except error and zero) into a subdirectory
  in targets/.

* Change the macro DM_TARGET_MODULE to also let the module depend on dm.

* Add a new macro DM_TARGET_BUILTIN, which must be used instead of
  DM_TARGET_MODULE for targets that are compiled into the main dm.ko
  instead of a separate module. Not doing this will prevent dm.ko from
  unloading.

* Enable automatic loading of target modules if they aren't builtin or
  loaded yet. Automatically loaded modules can be unloaded via kldunload
  safely via a little hack (see source).

* NOTE: automatic loading doesn't always work. /boot must be mounted
  already, so if you are planning on encrypting your swap or similar
  stuff, you need to *EXPLICITLY* load dm_target_crypt.ko via the
  loader.

* NOTE: PLEASE NOTE THE NOTE ABOVE!

* Fix a little issue with dm_target_crypt that would print "unloaded"
  even if it wouldn't unload.

* Change the name of dm_target_stripe to dm_target_striped, since the
  target is actually called "striped".

* Move dm.h to sys/sys/dm.h

* Get rid of files.dm, a leftover from the import

Unbreak buildworld.

kernel - Replace broken mp lock in bounce pages swi_vm() with spinlock

* Replace old non-MPSAFE crit section and mplock code with a spinlock

* x86-64 was not registering swi_vm(), add that code in.

Reported-by: Venkatesh Srinivas <me@endeavour.zapto.org>

kernel - Fix NFS race

* The nfsnode code could in very rare circumstances double-vput a vnode,
  creating havoc.

kernel - vm_mmap: Remove Advertising clause and DragonFly CVSID.

mmcsd(4): Enhance readability by using a variable for the buf pointer.

hammer.8: Fix typo.

mfi(4): Add device statistics.

condvar - Constify

mfi(4): Remove the unused MFI_DECODE_LOG option.

mfi(4): Add the mfi(4) RAID driver and the mfiutil(8) configuration tool.

The driver supports the following adapters:

* LSI MegaRAID SAS 1078
* LSI MegaRAID SAS 8408E
* LSI MegaRAID SAS 8480E
* LSI MegaRAID SAS 9260
* Dell PERC5
* Dell PERC6
* IBM ServeRAID M5015 SAS/SATA
* IBM ServeRAID-MR10i
* Intel RAID Controller SROMBSAS18E

It was tested with the LSI MegaRAID SAS 8408E card.

Many thanks to FreeBSD, from which this code was obtained.

kernel: Bring in hexdump() from FreeBSD.

mlockall.2: Fix month name and remove trailing whitespace.

Merge branch 'GCI2010'

kernel - Provide descriptions for lwkt.* and debug.* sysctl's

* Take the opportunity to chop a few dead sysctl's as well

Submitted-by: Taras Klaskovsky
Sponsored-by: Google Code-In

Merge branch 'master' of git://crater.dragonflybsd.org/dragonfly

unp_connect() - Use euid/egid for access checks via VOP_EACCESS().

Fixes socket access for set[ug]id applications by using the euid/egid
rather than the uid/gid.

Reported-By: Tim Darby <t+dfbsd@timdarby.net>

kernel - Run pfil hooks for bridged packets

* The pfil hooks were not being run in all cases for bridged packets.

Submitted-by: Rumko <rumcic@gmail.com>

kernel - tmpfs - Remove mplock in tmpfs_read().

Import mlockall(2)/munlockall(2) manpage from OpenBSD and modify for Dfly.

dm - access io_cnt atomically

* Now that we are using shared locks at some points, only update the
  io_cnt atomically, otherwise we can mess things up.

dm - misc minor cleanup

* remove dead code, weird white spaces and fix comments.

dm - remove convoluted string comparison methods

dm - minor cleanup

* Fix a bit of indenting, add a comment.

* Remove useless and pointless (just as redundant as using both of those
  words) code.

dm - use shared/exclusive lockmgr for table access

* Use shared/exclusive lockmgr locks for table access instead of this
  random mess of exclusive lockmgr locks, reference counts and condvars.

dm - properly encapsulate disable_dev

condvar - add cv_has_waiters()

nmalloc - Remove startup locking

* A spinlock is no longer needed for malloc_init, it is run as a constructor
  now, as such it is run before any other threads are started.

cdefs - Use proper GCC version

kernel - Document an odd case in vm_page.c

* Document cases from the buffer cache where a vm_page's clean/dirty bits
  might be modified without busying the related vm_page.  vm_token is still
  held through the operation.

HAMMER VFS - Fix HAMMER_INODE_XDIRTY flags / state assertion

* The HAMMER_INODE_XDIRTY flag was not being immediately synchronized
  with the state of ip->rec_tree in one case and the delay could create
  a window of opportunity where an assertion would get hit.

* Remove the window of opportunity, the assertion no longer gets hit.

Reported-by: YONETANI Tomokazu <qhwt.dfly@les.ath.cx>

kernel - x86-64 - normalize the location of the pcb/md_regs and remove gd_rsp0

* Normalize the location of the pcb and related user process register
  frame for traps and system calls.

* The pcb is now 16-byte aligned at the top of the kernel thread's stack
  and md_regs is placed just below it.

* We no longer reserve 16 bytes for a 8086 emulation frame.

* Change the md_regs assignment in the trap code to an assertion that the
  value is correct.

* Remove gd_rsp0, use the value from common_tss.tss_rsp0 instead (which
  is the same).

kernel - Hold vm_token() for certain buf/bio/vm_page interactions

* Hold the vm_token when messing around with page valid and dirty bits
  in buffer cache operations.  Such race conditions are possible but would
  be very rare.

* Fix inconsistent use of bio2.bio_offset when swapcache intercepts an
  I/O operation.  When this case occurs the normal filesystem VOP_STRATEGY
  function will not be called and any assumption that bio2.bio_offset
  will represent a block device offset will be invalid.

  To deal with this case swapcache will re-set bio_offset to NOOFFSET.
  Filesystems use this value to determine that no block device offset
  has been cached for a logical file block.

Reported-by: Jan Lentfer <Jan.Lentfer@web.de> (bio_offset issue)

kernel - Fix MP race in signotify_remote()

* In rare cases it is possible for a process to hop multiple cpus while
  a signal is trying to chase the process.  Adjust signotify_remote() to
  deal with the case.

kernel - Fix NFS stall and likely also x86-64 seg-fault issue

* The nfs node hash code was not MPSAFE due to its use of a global
  hash table.  This could lead to a stall condition due to the
  global hash table losing track of its manual lock.  For now use a
  token to interlock hash table access and replace the manual lock
  with a lockmgr lock.

* This appears to have also fixed the long-standing random seg-fault
  issue with x86-64, where a buildworld loop would seg-fault every once
  in a while for no apparent reason.  /usr/src on my test box has always
  been NFS mounted but was never considered a possible contributor to
  the problem.

  If NFS loses track of related nfs nodes or races operations on underlying
  vnodes while expecting their storage to remain stable it is possible
  for a random vnode to become corrupt.  How this could translate to a
  completely random seg-fault is not entirely understood but I surmise
  the unrelated cc1's binary mmap could become corrupt.

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk> (nfs issue)

kernel - Provide descriptions for vm.stats.* sysctl's

Submitted-by: Taras Klaskovsky
Sponsored-by: Google Code-In