hammer2 - Implement automatic reconnect

* Somehow the actual commit wound up in a merge
  e1648a68d2a340848f1c8ec7bd695c6285927392.

* When the hammer2 service daemon starts it now scans all hammer2 mount
  points and attempts to reconnect itself to each one.

  This allows the sysop to kill the hammer2 service daemon, which will
  remote the machine's mounts from the cluster, and then later restart
  it to add the machine's mounts back into the cluster.

* Fix a pthread detachment bug.  Some pthreads are not tracked and have
  to detach themselves to avoid a libpthread memory leak.

hammer2: More hammer2 msg cleanup, get reconnect ioctl working

* Fix state machine sequencing issues when shutting down a connection.  We
  have to properly simulate DELETE messages for any open transactional
  states and give the function callbacks time to do there stuff.

* Properly respond to DELETE messages for LNK_CONN and LNK_SPAN transactions.

* Stabilize the RECLUSTER ioctl.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hptrr.4: Remove unneeded .Pp

pflogd(8): Raise WARNS to 5.

libm & rtld: Ansify some remaining functions.

hammer2 - Config notifications, cleanup HAMMER2 VFS API

* A hammer2 volume has a PERSISTENT table of 256 entries in the media
  volume header for specifying how the cluster connects together.  Various
  hammer2 directives can list, add, or remove entries from this table.

  This table will be used for several different aspects of the filesystem
  and one of them is to tell the userland hammer2 service daemon what
  other machines to connect to.  That is, we want the cluster configuration
  to be persistently stored as part of a HAMMER2 filesystem.

* Add a notification message from the kernel to the daemon whenever this
  table id modified.  The kernel will also spam the contents of the table
  to the daemon when it first connects to the daemon.

  The service daemon tracks the table and will connect to (or disconnect
  from) the listed targets in real time.  In addition, the service daemon
  will retry a failed connection (or failed DNS lookup) forever as long
  as the entry is intact.  The idea being that a machine in the cluster
  will recover once transitory failures are resolved.

  This is a bit messy at the moment as two pthreads have to be created for
  each connection... one to handle connect, disconnect, and retry operations
  and the other to handle the actual message stream over the connection.

* Clean up the HAMMER2 VFS code's messaging APIs a bit, bringing them
  closer to the hammer2 userland APIs (though of course there will
  always be major differences).

* Adjust the hammer2 VFS to try to clean up open transactional states
  when a socket failure occurs before proceeding with a umount, so the
  related functional states can be triggered and cleaned up.

* Added an ioctl to reconnect a hammer2 mount to the userland hammer2
  service daemon (not yet used).  This will allow us to kill and restart
  the daemon and have it recover the communications pipes between itself
  and the HAMMER2 mounts in the kernel.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

/usr/src/Makefile: Remove duplicate target.

hammer2 - Message span tree work

* Trivially optimize out the sending of a SPAN back across the same
  connection it was received from.

hammer2 - Message routing work

* Further API simplification

* Start adding router infrastructure to the kernel VFS

* Looks like we will need a 'source' and 'target' field in
  the message header after all (replaces the single 'spanid' field),
  in order to track the reply VC as a message is relayed.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

bce: Add TSO support

Obatined-from: FreeBSD

With following modification:
These chips can handle ip.ip_len and tcphdr.th_sum, if they are setup
according to Microsoft LSO specification, so ip.ip_len should not be
cleared and tcphdr.th_sum should be left as it is.

According-to: bnx2

bce: Remove debug stuffs from polling code

bce: Remove debug stuffs from output path

tuxload - Minor modifications.

- Add some output.
- First create the files, then mmap() them

hammer2 - further crypto cleanup

 * put the symmetric crypto algorithms (so far only GCM) into a table.
   The algorithm is currently chosen via a define (HAMMER2_CRYPTO_ALGO),
   but in the future it would be trivial to make it a runtime setting.

 * Link the crypto chunk size to HAMMER2_MSG_ALIGN, since we want the
   chunks as big as possible, but not so big that a message gets stuck.

bce: Set RX interrupt rate ~6000Hz

bce: Don't loop in the interrupt handler to drain TX/RX

bce: Remove debug stuffs on RX/TX interrupt path

bce: Remove debugging stuffs in interrupt handler

hammer2 - Message routing work

* Make hammer2_router a separately allocated structure so we can use
  it as a persistent entity when its related hammer2_iocom, h2span_link,
  or h2span_relay structure gets ripped out.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hammer2 - make gcm IV counter endian-agnostic

hammer2 - error out on enc/dec errors

hammer2 - Fix nact assertion

* An nact assertion was getting hit because of an assumption that
  the assertion caused not to be correct.  Fix the assumption.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

posix_memalign.3: Document aligned_alloc().

hammer2 - AES GCM support

hammer2 - Major crypto API cleanup

* For now always read aux_data in via the FIFO, remove the
  direct-to-message read().

* Cleanup the crypto API

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

libc: Add a copyright to aligned_alloc.c

malloc.3: Remove a ,

ixgbe(4): Sync with FreeBSD

Update to the ixgbe driver:
  - Add a couple of new devices
  - Flow control changes in shared and core code
  - Bug fix to Flow Director for 82598
  - Shared code sync to internal with required core change

ixgbe: compilation fix for debug routines

The driver didn't build when DBG was set to 1.

at_quick_exit.3: Add an ERRORS section.

Submitted-by: vsrinivas

libc: Add a copyright to quick_exit.c

Reported-by: vsrinivas

<stdlib.h>: Adjust the visibility of our C11 functions.

Add at_quick_exit(3) and quick_exit(3) manual pages.

Taken-from: FreeBSD

mdoc: Let us refer to C11 in manual pages with ".St -isoC-2011".

xterm: Remove ability to restore console after man, less, etc.

Having a man page disappear before the read the end (if it indeed appears
at all) is pretty annoying.  Equally annoying is using the "more" command
on a file with few lines only to see nothing.  The default behavior of
xterm console had few fans.

This removes the smcup and rmcup codes from xterm-basic, the basis for
the xterm console definitions.  Now man pages are left on the screen
after viewing, and the pagers work as expected.

emx: Status change is protected by main serializer

No need to hold all of the serializers during a status poll

hammer2 - SPAN protocol work, router work

* Fix SPAN relay sort and sequencing bugs.

* Start reworking the APIs to accomodate routed messages.  Start by
  creating a hammer2_router structure and adjusting most of the msg
  functions to pass it instead of the iocom.

* Fix hammer2_state races by moving the state allocation to
  hammer2_msg_alloc() instead of hammer2_msg_write(). This gives
  code a chance to assign the state->any.* field without having to
  worry about the state getting ripped out from under us.

hammer2 - SPAN protocol work

* Because we allow loops in the graph the loss of a feeder node can
  result in a tail-chasing loop of SPAN updates with an ever-growing
  distance parameter.

  To deal with this a spanning tree distance limit is required, beyond
  which no propagation occurs which terminates the chase.  The tail
  then catches up to the head and the node is finally removed from
  the spanning tree entirely.

  This fixes the propagation of spanning tree deletions e.g. when we
  umount a HAMMER2 PFS.

* Fix a state insertion bug.  A structure was being inserted into the
  red-black tree before the required fields were being initialized.
  Corrects a SPAN propagation fault.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

cut(1): Add back -w (split on whitespace functionality).

Reported-by: Tim Darby <t+dfbsd@timdarby.net>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2385>

hammer2 - userland API / span work

* Fix a stall bug in the streaming write code

* Add some pretty-printing support for debug output.  Also remove
  a ton of debug messages.

* Add a remote shell 'tree' command to dump the spanning tree.

* Cleanup some of the state handling and error codes.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

cut: Sync with FreeBSD

Addresses:
http://bugs.dragonflybsd.org/issues/2385
reported-by: Tim Darby

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hpt27xx(4): Use NULL for pointers.

Add the hpt27xx(4) driver for HighPoint RocketRAID 27xx SAS controllers.

The manual page mentions the following adapters to be supported:

* RocketRAID 271x
* RocketRAID 272x
* RocketRAID 274x
* RocketRAID 276x
* RocketRAID 278x

I have tested it with a RocketRAID 2720.

Taken-from: FreeBSD

bnx: Disable RX max BDs based interrupt moderation

The RX max coalesce BDs is limited to 255, which means that the chip will
generate ~5800 interrupts/s when it sinks 1.48Mpps tiny packets.  However,
interrupt rate at 4000Hz is already enough for the chip to sink 1.48Mpps
tiny packets, so ticks based RX interrupt moderation should be prefered.

bnx: Allow TX/RX max coalesce BDs to be 0; mainly for debugging

bnx: Correct debug messages

bnx: Rearrange the code to check the spare TX descripors first

While im here, remove the useless fragmentation checksum code, which
is never supported by this driver

bnx: Increase spare TX descriptors to 33 to incorporate TSO segment

emx: emx_timer() only requires main serializer

em/emx: Fix up detach path

- We could release management control only if PCI BAR is mapped
- Release multicase array memory

hammer2 - SPAN protocol work

* Initial implementation of the LNK_SPAN protocol between two hammer
  service daemons running on different machines.  There's still lots to do.

  mount x P PFSs (P pipes) (machine A)
|
  service daemon  (machine A) (handling P + 1 connections)
|
  INET SOCKET
|
  service daemon (machine B) (handling Q + 1 connections)
|
  mount x Q PFSs (Q pipes) (machine B)

* Service deamons starts with LNK_CONN and then interconnect SPANs.

* SPAN protocol allows any number of connections between services daemons and
  from service daemons to physical HAMMER2 mounts.

* Fixed a message write() sequencing bug

* Added some additional debug directives, and also added a remote debug
  directive to connect from one already-running service daemon to another.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

emx: Increase spare TX descriprors to 33 incorporate TSO segment

emx: Make sure that mbuf is changed before busdma sync

This should not be problem for emx, since it does not have any
busdma constraint thus no effective busdma sync will happen.

igb: Make sure that mbuf is changed before busdma sync

This should not be problem for igb, since it does not have any
busdma constraint thus no effective busdma sync will happen.

alc: Stablize this driver and fix various porting overlooks

- Use ifnet serializer to protect driver data.  This should fix the
  various panics that were observed on the network output path.
- Fix busdma setup.
- Always allocate the descriptor rings and status blocks at the lower
  4GB.  The original way will require the RX/TX bufs to be located at
  the lower 4GB, which is a great waste of bounce buffers, cpu cycles
  and memory bandwidth.
- Don't mess up M_PKTHDR on RX path.
- Allocate mbuf w/ MB_WAIT on initialization path.
- Enable MSI by default.

hammer2 - more userland msg API work

* Simplify the messaging API further.

* Add a state function callback for state machine transitions

* Open a LNK_CONN transaction on connect, allowing daemon<->daemon spanning
  tree operation (untested).

hammer2 - Correct state recording bugs in vfs

* Correct similar bugs in the vfs that were present in the userland code.

hammer2 - Add pfs-fsid, pfs-clid directive

* Add commands to retrieve specific uuid's for named PFSs.

hammer2 - spanning tree and messaging work

* Fix numerous bugs and cleanup the messaging infrastructure further.

  Fix issues with state tracking and incorrect message flags, assert that
  flags are correct.

* Fix issues with connection termination.  All active transactions must be
  completely closed from both ends before the iocom can be destroyed.

  Fix bugs in the MSGF_DELETE message simulator when a socket error occurs
  (simulating the other end closing any active transactions going over
  the iocom).

* Implement the spanning tree relay code.  The relay code is even relatively
  optimal though ultimately we need to add additional filters to make
  client<->service rendezvous's less cpu intensive.

hammer2 - Adjust LNK_SPAN/LNK_CONN

* Adjust the SPAN and CONN structures, rename 'weight' to 'dist' (for
  distance).

hammer2 - add HAMMER2IOC_PFS_LOOKUP

* Add the HAMMER2IOC_PFS_LOOKUP ioctl which looks up a specific PFS
  by name.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

ncurses: Fix pkgsrc check and use of ncurses

Without the macro SET_NEED_WCHAR_H defined, the ncurses header will not
include wchar.h which is where the wint_t type is defined.  This breaks
any program loading ncurses.h without defining this macro because several
functions use the wint_t type.

Define wint_t as int if wchar.h isn't included.  This fixes the ncurses
check on several pkgsrc configuration checks and allows the package to
build with the system ncurses.

arcmsr(4): Use cam_calc_geometry().

mpt(4): Fix a porting mistake I did in 6d259fc1.

I left in both the code of the "#if __FreeBSD_version" as well as that of
its "#else". This caused the geometry to be calculated twice.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel/dsched: Add a version parameter to the DSCHED_POLICY_MODULE macro.

hptmv(4): Use cam_calc_geometry().

Also add a dependency on cam(4).

Taken-from: FreeBSD

hptiop(4): Add some more PCI IDs.

The following adapters were added:

RocketRAID 4210
RocketRAID 4211
RocketRAID 4310
RocketRAID 4311
RocketRAID 3530
RocketRAID 3560

This commit also adds a cam(4) dependency.

Taken-from: FreeBSD

libc/rpc: Remove redundant check.

kernel/x86_64: Fix kernel build without DDB.

Reported-by: nant

hammer2 - Flesh out span code, API cleanups

* Cleanup the transactional APIs and add a few functions to help with
  simple (error code only) message replies.

* Better message protocol layering for both the kernel and userland code.

* Kernel now opens a LNK_CONN transaction which will enable the SPAN
  protocol on the link and also serve to install a PFS filter (which is
  not yet implemented).

  Upon success the kernel then initiates the SPAN.

  Basically for the kernel:

send LNK_CONN
wait for streaming reply (transaction remains open on both sides)
send LNK_SPAN

TODO: Receive/track LNK_SPANs, each representing a virtual circuit.

TODO: Track LNK_SPANs that match our PFS.

TODO: Issue higher level protocol transaction messages over these
      circuits based on VNOPS, caching, mirroring, etc.
      (transactional failures can occur when the LNK_SPAN state
      changes, forcing a retry, etc).

* Userland now accepts the LNK_CONN and uses the open transaction to
  install tracking structures for those connections participating in
  the SPAN protocol.

* Userland now installs tracking structures for received SPAN messages.

* Start fleshing out the userland side of the SPAN relay/transmit code.
  This will involve yet more structures to track which SPANs are being
  relayed over each connection, so changes can be propagated (not yet
  implemented).

  For userland the TODO is very large so no point iterating it here.

* Kernel now accepts DBG_SHELL replies (basically debug output messages)
  and will kprintf() them.  DBG_SHELL commands not yet accepted by the
  kernel.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

Ansify some function definitions that were previously overlooked.

hptrr(4): Add a __printflike().

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

open.2: Fix .Dv and combine lines.

mdoc.local: Add FreeBSD 7.3 and 8.1 which we are referencing.

hptrr.4: Move the tunable info into its own section and improve wording.

amr.4: Add missing .Bd

disklabel32/64: Add support for 'T' size specifier.

Sync zoneinfo database with tzdata2012e from ftp://ftp.iana.org/tz/releases

* australasia (Pacific/Fakaofo): Tokelau is UTC+13, not UTC+14.
    (Thanks to Steffen Thorsen.)

kernel: add a flags argument to LOCK_SYSINIT

We may not want to use LK_CAN_RECURSE in all situations

bnx: Remove unused code

kernel: add a LOCK_SYSINIT helper macro

* Inspired from FreeBSD's MTX_SYSINIT

* This will help with driver porting

kernel: Fix kernel build when compiled without INVARIANTS.

Add the hptrr(4) driver for HighPoint RocketRAID 17xx, 22xx, 23xx and 25xx.

The manual page mentions the following adapters to be supported:

* RocketRAID 172x series
* RocketRAID 174x series
* RocketRAID 2210
* RocketRAID 222x series
* RocketRAID 2240
* RocketRAID 230x series
* RocketRAID 231x series
* RocketRAID 232x series
* RocketRAID 2340
* RocketRAID 2522

I have tested it with a RocketRAID 2300.

Taken-from: FreeBSD

hptmv(4): Reduce si_iosize_max to 64KB.

This fixes busdma panics we were getting with it.

busdma-clue-by: sephe

kernel/cam: Make si_iosize_max overridable by drivers.

hptmv.4: Improve wording and s/amd64/x86_64/