Add __printflike's where possible and fix all related bugs & issues.

kernel - Fix maximum file size limit for NFSv3

* Remove throwback from an older era where the buffer cache used 32 bit
  block numbers.

* Maximum file size for NFSv3 is not 2^63-1

Reported-by: Rick Macklem <rmacklem@uoguelph.ca>

kernel - Fix an inefficiency in wait*()

* The exit code was not taking into account the fact that a parent
  process might race an exiting child, causing a tsleep(... "lwpzomb", hz)
  to delay an entire second.

  Issue the proper wakeup in all cases where p->p_nthreads drops to 1 or 0.

* Improves buildworld performance a little.

pf: statekey needs to be initialized for IPv6, too.

This fixes the panic described in issue1956.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Merge branch 'master' of /repository/git/dragonfly

kernel - Fix minor build error when building without INVARIANTS

* Fix an unused variable when building without INVARIANTS that was
  tripping up the kernel compile.

kernel -- tmpfs: Make tmpfs_strategy MPSAFE.

tmpfs_strategy now acquires only the per-mount token directly.

kernel -- tmpfs: Make tmpfs_read() MPSAFE.

tmpfs_read() no longer takes the MPlock or per-mount token via the VOP
callbacks. It obtains the mount token itself around the uncached read path.

HAMMER VFS - Remove B-Tree allocation hints, add double_buffer option.

* Remove the allocation hints when allocating b-tree nodes and
  remove over-full test in the blockmap allocator for b-tree and
  meta-data elements.

  The hinting and leaving some space unused in the big-blocks did
  not improve performance.  Write performance is actually slightly
  better when new allocations are made linearly.

* Either way we have to depend on the reblocker to reorganize the
  B-Tree.

* Add a sysctl vfs.hammer.double_buffer, defaulting to off.  This
  is currently used for debugging and testing live-dedup.

  Normally only small-data blocks are run through the device vnode's
  buffer cache (allowing us to consolidate many small data blocks
  within the device vnode's buffer cache), and large data blocks are
  read directly into the file vnode's buffer.

  Turning on double_buffer cases ALL file data to run through the
  device vnode's buffer cache, resulting in double data caching
  which is not normally useful, so leave this off for now.  It will
  not improve performance.

bus_dma.9: Document the recently added flags for bus_dma_tag_create().

HAMMER VFS - Unlock around uiomove

* Unlock the uncached read path's lock and the write path's lock
  around the uiomove().  The cached read path is already unlocked
  around the uiomove().

* Results in a marginal improvement in concurrency.  Full buffers (64K)
  are large enough to warrent the unlock/relock.

kernel - Fix very annoying lockup (SMP)

* Fix an extremely annoying lockup that took a week+ to find.  The cpusync
  code is rather fragile and any for (;;) or while (1) style loops in the
  kernel can trip it up and cause a deadlock.  These loops are careful to
  call lwkt_process_ipiq() to ensure that cpusync processing occurs.

  However, there is a race in the LWKT thread migration code where a thread
  deschedules itself on one cpu and schedules itself on another via a remote
  ipi.  The target cpu expects the thread's TDF_RUNNING state to clear and
  will loop until that happens.

  An IPI could sneak itself into the deschedule/lwkt_switch() path and
  deadlock against a cpusync, preventing the thread from leaving the
  TDF_RUNNING state.

  The solution is to ensure that lwkt_process_ipiq() is *NOT* run in
  the lwkt_switch() path if the calling thread has descheduled itself.

* The original bug could be reproduced by running blogbench in one window
  and a while (1) ps axl shell script in another.

* Add DEBUG_PUSH_INFO(msg)/DEBUG_POP_INFO() macros which record (msg)
  in the globaldata structure as a debugging aid.

* Remove unused platform/pc64/x86_64/systimer.c file.  The entire contents
  of this file was #ifdef'd out and its functionality is handled elsewhere
  by the lapic timer code.

* #if 0 out numerous debugging bits but don't remove the code because it
  is extremely useful for finding lockup conditions.

kernel - Enhance getcacheblk() (improve saturated write performance (3)).

* Change getcacheblk() to use getblk() instead of findblk() when the
  block size is known, allowing a cached buffer to be reinstantiated
  from VM backing store in the MPSAFE path.

  Well, mostly MPSAFE, the vm_token is still acquired, but this is still
  much faster than what HAMMER does when the buffer is not in-cache.

* This more than doubles blogbench performance w/HAMMER and further reduces
  concurrent read vs write conflicts.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Improve saturated write performance (2).

* Change the dirty io buffer lists from TAILQs to Red-Black trees.

* The dirty io buffers are sorted by disk address on a flush-group by
  flush-group basis and I/O writes are initiated in sorted order.

  This significantly improves write I/O throughput to normal HDs.
  Essentially what is happening here is that the sheer number of
  unsorted buffers are overwhelming the HDs own caches.  Having HAMMER
  pre-sort the buffers, of which there can be upwards of 100MBs worth,
  allow the HD to write more optimally.

HAMMER VFS - Improve saturated write performance.

* Change vfs.hammer.limit_reclaim to auto-scale to 1/10 the maximum
  number of vnodes, instead of using a fixed value of 4000.  On a
  typical i386 box this will be around ~10000 and on a typical x86-64
  box this will be ~50000.

* Greatly reduce the vfs.hammer.autoflush default from 2000 inodes
  to 500 inodes.

  This results in better locality of reference within the flush groups
  and better pipelining when the reclaim limit is approached (when the
  vnode cache is saturated).

* Refactor the sequencing of the hammer_flush_group structure, fixing
  a number of issues which caused the structures to hold an inconsistent
  number of inodes.

* Refactor the flusher's sequence space management.

* Blogbench performance is greatly improved, as is mixed random read/write
  I/O in general.

  Note, however, that typical production operations do not involve
  hundreds of thousands of files and will not be impacted as much.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Remove prototype of disksort().

kernel -- kref: Add KREF_DEC macro to allow braced blocks for destructors.

Convert sfbuf to use braced blocks on unref.

HAMMER VFS - Change default hammer fs version from 4 to 5

* change the default hammer fs from 4 to 5.  newfs_hammer calls with
  newly built worlds will now create version 5 by default.

  The version 5 filesystem media format supports de-dup.

HAMMER VFS - Implement Version 6 features as WIP (work in progress)

* Add a new directory hash which generates segmented CRC and then adds
  them together for the filename.

  This tends to result in a directory key offset instead of a complete
  re-randomization when a temporary file extension is renamed to its base
  filename.

  Numerous programs create temporary files and then rename them.  This
  tends to maintain inode number / directory name entry ordering a bit
  better.

* This is a work in progress version.  Production systems should not upgrade
  their HAMMER filesystem to version 6 at this time.

kernel64 - Add some lapic timer based debugging (disabled by default)

* Adjust the Xtimer interrupt to unconditionally call
  lapic_timer_always() regardless of the critical section state.

* Create a procedure lapic_timer_always() on x86-64 which is #if 0'd
  out by default with some on-screen debugging that can be used to
  help find system lockups.

kernel - Do a better job with the filesystem background sync

* Adjust code for MNT_LAZY, MNT_NOWAIT, and MNT_WAITOK to reflect
  the fact that they are three different flags and not enumeration
  constants.

* HAMMER now sets VMSC_ONEPASS for MNT_LAZY syncs (background filesystem
  sync).  This generally reduces instances where the background sync
  winds up running continuously when heavy filesystem ops saturate
  the disk.  Fewer vnodes dirtied after the sync is initiated will get
  caught up in the sync.

kernel - Refactor VMSC_ONEPASS

* Refactor the VMSC_ONEPASS flag to only iterate the current number
  of vnodes associated with a mount point, instead of 2x the vnodes.
  This makes 'sync' a bit more consistent in the face of heavy filesystem
  activity.

kernel - Ensure rover in vfs_cache is not optimized.

* Add a cpu_ccfence() to ensure that the static rover variable is
  not optimized by the compiler.

kernel - refactor cpusync and pmap_inval code, fix lockup

* Simplify the cpusync API.  The API now has only one initialization call,
  one simplified rollup call, and two primary calls handling a single
  function callback (instead of three callbacks).

  cpusync_interlock() interlocks the specified set of cpus and ensures they
  are running in a safe place, cpusync_deinterlock() executes the initialized
  function on the cpu set and does not return until all cpus have completed
  the operation.

* Simplify the pmap_inval per-platform API.  pmap_inval_interlock() and
  pmap_inval_deinterlock() now reflect similar functionality to the cpusync
  API.  pmap/pte operations are now synchronized when pmap_inval_deinterlock()
  is called and not when pmap_inval_done() is called, reducing the range of
  code which can execute while the cpu set is held quiescent.

  pmap_inval_flush() has been removed.  Critical section handling has also
  been rearranged slightly in the pmap_inval* and cpusync* APIs.

* Fixes a cpusync lockup which occurs when the x86-64 pmap and pmap_inval
  code is used to hold a cpu mask quiescent across complex subsystem calls.
  Primarily accomplished by moving the synchronization out of
  pmap_inval_flush() and into pmap_inval_deinterlock().

x86_64: Put the x86_64 specific "seg-fault..." message under bootverbose.

Reported-by: John Marino

intr: Support upto 192 IDT entries in ipl and intr vector asm code

Remove 32bits gd_fpending mask and add 32bits gd_ipending mask array
which has 6 elements.  This allows 192 intrs to be pending.

192 is chosen, because the first 32 entries in IDT is reserved, while
the last 32 entries in IDT are used for IPIs.

This paves the way toward correcting interrupt routing using MPTable
or ACPI and supporting MSI and MSI-X

apic: Remove no longer applicable comment

intr: Don't pass the vector name to INTR_HANDLER

intr: We no longer have the fast version of intrs

icu: Strip extra blank lines

icu: Remove no onger applicable comment

intr_abi: Reindent

Revert "Revert "IO APIC: Assign pins dedicated to PCI in the early stage.""

This reverts commit 4612bd39e96dec8f15117c89cbaa12c6bdfb75d2.

pf: It's opt_carp.h not use_carp.h

Bring in sephe's recent intr/apic work to x86_64.

The following commits:

6ab7c3a intr: Clean up comment of Local APIC TPR
84bf7d5 intr: Remove unused TRP macros
e4a4c49 intr: Remove unused typedef
507bf37 intr: Make sure that changing IPI offset will also update related TPR
072d9b3 intr: Move IO/APIC IDT vector offset into isa/intr_machdep.h
7b32a0a apic: Remove unused macros and duplicated comment
2ce3ae8 apic: Remove unused macros
26408d7 intr: Remove call_fast_unpend() declaration
87e3ca2 intr: Start hardware interrupt at IDT_OFFSET
90a567f apic: Clear all entries in int table

pci: MPTable pcib/hostb should not be used, if !apic_io_enable

MP Table is not parsed at all if !apic_io_enable

[Recent work by sephe brought in from i386.]

kernel: Uncomment aacp in the configs.

tws.4: Bump some dates.

Add tws(4), a driver for the LSI 3ware 9750 series SATA/SAS RAID controllers.

It should support the following controllers:

* LSI 3ware SAS 9750-4i
* LSI 3ware SAS 9750-4i4e
* LSI 3ware SAS 9750-8i
* LSI 3ware SAS 9750-8e
* LSI 3ware SAS 9750-16i4e
* LSI 3ware SAS 9750-24i4e

It was tested with the 9750-4i.

Many thanks to LSI Corporation. The driver is a port of their FreeBSD driver
that comes on the Installation CD (manual page added by me).

Thanks to vsrinivas and sephe for helping with finding and fixing a busdma
locking issue.

busdma: Free map, if bus_dmamap_create() fails

busdma: Make sure bounce zone's sysctl tree is created before destroying it

busdma: Free bounce zone if any error happens during bus_dma_tag_create()

busdma: Add PROTECTED bus_dma_tag_create() flag.

PROTECTED
  All of the functions called with the dma_tag are already protected by
  the caller, so busdma code need not to protect the internal data
  structures.  Panic, if the "defered dmamap load callback" is going to
  happen.

When used along with PRIVBZONE, ALLOCALL and ALLOCNOW, it could greatly
reduce the work load of fixing all of the drivers that mal-use busdma
functions.

busdma: Add PRIVBZONE and ALLOCALL bus_dma_tag_create() flags.

PRIVBZONE
  Use a private bounce zone instead of a shared one.  A private bounce
  zone will vanish if the dma_tag is destroyed.

ALLOCALL
  Allocate all required resources (mainly bounce buffer), if any
  allocation failes, bus_dmamap_create() will fail.

Using PRIVBZONE alone could possiblely reduce the contention between
driver instances.

Using PRIVBZONE and ALLOCALL could promise that the "defered dmamap
load callback" will not happen.  This could be used to ease some driver
work and reduce the work load to fix the existing drivers which may
(incorrectly) rely on or may not expect the "defered dmamap load
callback" semantic of bus_dmamap_load().

Revert "Remove the broken burncd(8)."

This reverts commit fd6f482a63584f75b8a119c8815ad384815c990a.

A number of people disagreed with this commit, so I'm reverting
it.

The reason I removed burncd(8) was that it didn't work here at
all and that others (on IRC) had reported the same. So bring it
back for now so we can re-evaluate.

pthread.h: Fix prototypes.

We need to remove the condition of _POSIX_THREAD_PROCESS_SHARED for the
pshared prototypes.  Otherwise, programs have to include unistd.h (to
get the definition of _POSIX_THREAD_PROCESS_SHARED) before pthread.h.
This is not the way to do things.

This fixes at least kde4, and I'm sure there's others.

aac(4): Use bio (not bp) for the bio pointer.

aac(4): Update to version 2.1.9-1 (current FreeBSD).

This brings in support for ~40 additional controllers of the family. See
the manual page for the full list.

It also fixes dumping to aac(4).

Tested with a Dell PERC 320/DC.

Reported-by: Archimedes Gaviola <archimedes.gaviola@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1391>

xargs(1): Add -P option for parallel mode.

Submitted-by: Axel Scheepers <axel@axel.truedestiny.net>
Taken-from:    FreeBSD
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1953>

Remove the broken burncd(8).

There's cdrecord from pkgsrc/sysutils/cdrtools (which also comes on our
LiveCD).

finger - Fix seg-fault

* Fix a seg-fault where finger was improperly assuming that w->tty and w->host
  where char arrays when in fact they were simply char pointers.

Reported-by: Robin Carey <robin.carey1@googlemail.com>

hptmv(4): Save some unneeded variables in the locking functions.

hptmv(4): Fix shutting down.

This didn't work at all. pAdapter->eh was never assigned to and the event
handler for deregistering was wrong, too.

So the driver ended up deregistering all callbacks of the shutdown_final
handler during shutdown_post_sync.

vkernel - Fix corrupt tailq (vkernel64 only)

* Properly remove an exiting thread from any tsleep queue it might be
  enqueued on (due to tsleep_interlock() use cases) prior to exiting.

* Fixes tailq corruption which can occur with threaded programs.

* Fix is only applicable to vkernel64.  All other platforms already
  properly remove the thread.

* Assert that an exiting thread has been removed from any sleep queue
  before freeing it in kern_exit.c to catch any future cases.

hammer - Describe live_dedup_cache_size sysctl

HAMMER - Add live_dedup_cache_size sysctl

* There is now a hammer_live_dedup_cache_size variable which can be
  set via sysctl vfs.hammer.live_dedup_cache_size.  The default is 4096.

* A better solution is to make it scale automatically according to
  nbufs or a number of vnodes.

hammer - Furnish descriptions for the live dedup sysctl's

platform - Allow building without COMPAT_DF12

Add hptmv(4), a driver for HighPoint RocketRAID 182x controllers.

It was tested with an 1820A card.

Thanks to HighPoint and FreeBSD (from which it was ported).

Make some space in sys/dev/raid/Makefile.

network - Fix pf build when no INET6

  * Definition of struct ip6_hdr is not included when no INET6, #ifdef
    out the code that uses it.

kernel - Fix vkernel lwp stuck thread bug

* Fix a tsleep hz / 100 which calculates to 0 due to the vkernel's 20hz
  tick rate.  This could cause threads running under the vkernel to get
  stuck.

HAMMER VFS - Increase directory object cache

* Increase from 1024 to 2048 allocation blocks.

HAMMER VFS - Fix TAILQ bug

* Fix two cases where an ocp (object id allocation cache block for
  directories) is kfree()'d without removing it from hmp->objid_cache_list.
  These could cause a panic or lockup.

* Increase the inode allocation / directory hash matching bitmap fill
  level from 50% to 75%.

* Properly account hmp->objid_cache_count in hammer_destroy_objid_cache().

HAMMER - Add live dedup sysctl and support

* Adds *experimental* live dedup (aka efficient cp) support

* sysctl vfs.hammer.live_dedup
    0 - disabled (default)
    1 - enabled, populate dedup cache on reads
    2 - enabled, populate dedup cache on reads and writes

<dev/netif/wi/if_wavelan_ieee.h>: Uncomment wi_req.

This, in conjunction with a few patches I submitted to pkgsrc, will
eventually fix building the following packages:

net/gtk_wicontrol
net/wimon
net/wistumbler
net/wistumbler2
net/xfce4-wavelan-plugin (and thereby meta/xfce4-extras)

hammer(8) rebalance: change default saturation_percentage a few more places

hammer(8) - Take in account the saturation level passed to rebalance.

Also change the default saturation level from 75% to 85%.

kernel: Remove support for the Xerox Network Systems (NS) protocol.

It was previously removed from LINT with commit 67bf99c4 and its removal
was also announced here:

http://leaf.dragonflybsd.org/mailarchive/kernel/2010-09/msg00025.html

To be on the safe side, bump _DragonFly_version due to /usr/include/netns
going away. In the unlikely event of something breaking in pkgsrc we'll
have a version to patch against, if needed.

bluetooth(4): Fix loading bluetooth without pf.

bluetooth(4) was previously using pf(4)'s pool_* macros. Now that pool_get()
has been turned into a function in pf(4), this is no longer possible, since
the bluetooth(4) module would have to depend on the pf(4) module for that.

To unbreak module loading, convert all calls to these macros to the zone(9)
calls which they really are.

aibs(4): Add missing module dependency.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - s/so_pru_control/so_pru_control_direct/

* This enables building without COMPAT_43

Rearrange the previous commit a bit and fix a pathname.

pf: Do not install pfsync man pages, as we lack support for it.

pf: Update man pages, too

Fix 64 bit build.

Bump the copyright years.

\o/  H A P P Y  N E W  Y E A R !  \o/

twe(4): Update to version 1.50.01.002.

This adds support for the 7000/8000 series adapters (some of which
are SATA controllers).

See the manual page for the full list of supported devices.

The update was tested with a 6200 card.

Taken-from: FreeBSD
Thanks-to:  lentferj for providing a controller for testing

remove pfsync option from LINT

        * pfsync is now build as part of pf directly

pf: Update packetfilter to OpenBSD 4.4

        * As correct pf function depends directly on pfsync now
          compile if_pfsyn.c into pf.ko. pflog is already part
          of pf.ko.

        * Activate pfsync function by default. It's not a kernel
          option anymore, but pfsync is very unlikley to work.
          Anyway our ifconfig is missing all pfsync related options.
          I will try to make pfsync working again after upgrading to
          pf from OpenBSD 4.5 as pfsync changes completley then
          and is not compatible anymore with prior versions.

        * Also make the module unloading sane in if_pflog.c

        Thanks to Alex Hornung and Aggelos Economopoulos for debugging.

apic: Clear all entries in int table

This fixes the case where missing 8259 entry and missing IRQ15
happen simultaneously

intr: Start hardware interrupt at IDT_OFFSET

intr: Remove call_fast_unpend() declaration

This function is not implemented at all.

apic: Remove unused macros

apic: Remove unused macros and duplicated comment

intr: Move IO/APIC IDT vector offset into isa/intr_machdep.h

intr: Make sure that changing IPI offset will also update related TPR

While I'm here, reorganize various IPI offsets

intr: Remove unused typedef

intr: Remove unused TRP macros

intr: Clean up comment of Local APIC TPR

pci: MPTable pcib/hostb should not be used, if !apic_io_enable

MP Table is not parsed at all if !apic_io_enable

ldns: Re-Add lost README files

ldns/drill: Update local files to 1.6.7

Update to ldns-1.6.7

HAMMER - Remove unused variable

Although assigned (so GCC was silent), the 'blockmap' variable is
unused in hammer_blockmap_free(), hammer_blockmap_dedup() and
hammer_blockmap_finalize() functions.

Nuke forward_fastint_remote(), which has never been used.