Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel - Adjust UFS and HAMMER to use uiomovebp()

* Add uiomovebp(), a version of uiomove() which is aware of a locked bp
  representing the to or from buffer and can work-around issues related
  to VM faults causing recursions and deadlocks on the user buffer.

  uiomovebp() does not yet detect or handle deadlocks.  Implementing
  deadlock handling will require a certain degree of finess related to
  the vnode and bp locks and we don't want to have to do it unless we
  actually deadlock.  TODO.

* Adjust UFS, HAMMER, TMPFS, MSDOSFS, NFS, NTFS to use uiomovebp().

kernel - Change lockmgr LK_SHARED behavior to fix improper recursion return

* When obtaining a LK_SHARED lock in a situation where you already own the
  lock LK_EXCLUSIVE, lockmgr would downgrade the lock to shared.

  This creates a very serious problem when large procedural recursions get
  a lock that is already being held exclusively but request a shared lock.
  When these recursions return the original top level will find its lock is
  no longer exclusive.

* This problem occured with vnode locks when a VOP_WRITE operation on a mmap'd
  space causes a VM fault which then turns around and issues a read().
  When the fault returns the vnode wound up locked shared instead of
  exclusive.

* Fix the problem by NOT downgrading an exclusive lock to shared when
  recursing on LK_SHARED.  Simply add another count to the exclusive
  lock.

kernel - Fix incorrect dirty/reprotect code in pageout

* vm_object_page_collect_flush() was trying to re-protect VM pages that
  were still marked dirty after pageout I/O was initiated without owning
  the BUSY bit on the page.  This operation could race whatever I/O was
  going on and multiple issues.  Remove the re-protect.

  Just don't do it.  It's an unnecessary operation.  We still re-set
  PG_CLEANCHK on the page and that should be fine insofar as the pageout
  daemon goes.

* Note that the pageout_flush code protects the VM pages properly (to
  read-only) prior to initiating I/O .

* Should fix bug #2350

* Might be related to the wire-count bug considering that we were messing
  with the page's pmap without owning the BUSY bit.  Small chance.

kernel - Fix long-standing vm_map token panic

* Bug turned out to be an error path in vm_map_find().

* This bug ate a lot of hours from several people, but Antonio was able
  to instrument the token path in a way that allowed us to narrow down
  and locate the problem.

Submitted-by: tuxillo, vsrinivas
Debugging-by: tuxillo

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel - Stop KTR logging during panic

* Stop all KTR logging when a panic occurs so the KTR buffer doesn't
  get wiped out by events during the panic & core dump.  This gives
  us a KTR buf snapshot as of the panic entry.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel/linprocfs: Add a missing header for spin_{,un}lock().

kernel/linprocfs: Remove useless .PATH in the Makefile.

tcp: Stringent TSO segment length assertion.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel - Fix numerous procfs/ptrace issues (3)

* Add a safety spin-lock around adjustments to p_stops so it hopefully
  interacts better with the event processing side of things.

kernel - Fix two UFS+softupdates bugs

* The softdep sema_*() functions (the ones in ffs_softdep.c, not the sysv
  functions) were not MPSAFE for the case where the passed interlock is
  NULL.  Use a spinlock for that case.

* getdirtybuf()'s semantics were broken and could return success even
  after having released &lk with the bp still unlocked.

  Fixing this should fix most of the reported softdep panics.

kernel - Fix exit races which can lead to a corrupt p_children list

* There are a few races when getting multiple tokens where a threaded
  process is wait*()ing for exiting children from multiple threads
  at once.

  Fix the problem by serializing the operation on a per-child basis,
  and by using PHOLD/PRELE prior to acquiring the child's p_token.
  Then re-check the conditions before accepting the child.

* There is a small chance this will also reduce or fix VM on-exit races
  in i386, as this bug could result in an already-destroyed process
  being pulled off by the racing wait*().  Maybe 25% chance.

Kernel - Fix numerous procfs/ptrace issues (2)

* The last fix wasn't quite right.  Fix it for real.

Kernel - Fix numerous procfs/ptrace issues

* Fix interactions during exec and exit.  This should fix truss
  (bug 2313).

* Reset p_* fields related to tracing on last procfs close for the
  process.

tuxload - Enhace tuxload a bit.

- Support several options (file size, number of files,
  multiple tests)
- It can run forever via option -c

hammer - Add tunable vfs.hammer.skip_redo

This tunable can be used to change the behaviour of the redo
recovery in the case a HAMMER filesystem is not able to mount.

Following values are accepted:

0 - Run redo recovery normally and fail to mount if
    the operation fails (default).
1 - Run redo recovery, but don't fail to mount if the
    operation fails.
2 - Completely skip redo recovery (only for severe error
    conditions and/or debugging).

Pointed-out-by: dillon

ixgbe: Use callout_init_mp()

* The timer callout function is mpsafe and callout_init() assumes it isn't

* Replace callout_init() by callout_init_mp() and avoid grabbing the mplock

em: Add TSO support for certain PCIe chips

em: Utilize mbuf's header length to setup TX csum context

em: Change TXCSUM does not require reinitialize hardware

em: Pack boolean fields into flags

em: Increase RX/TX descriptor count to 512

bge: Allow max BDs based coalesce to be disabled

bge: Don't peek at the TX descriptor in txeof()

ixgbe: Remove the multicast spinlock

Multicast read/write is serialized by netisr0, there is no need to
add another protection layer.

Advised-by: Sepherosa Ziehau

rtld: Parse notes later (bug# 2376)

Parse notes only after object structure has been allocated.

Taken-from: FreeBSD svn 239019
DragonFly-bug: <http://bugs.dragonflybsd.org/issue/2376>

bnx: Don't peek at the TX descriptor in txeof()

Which is completely unnecessary and pollute cache badly.

emx: Pack boolean fields into flags

igb: Remove no longer referenced code

igb: Remove unused code; adjust and add comment

igb: Remove unused field

ixgbe: Remove a useless assertion

Found-by: Sascha Wildner

installer: When setting the slice type for >2TB, ignore fdisk warnings.

With disks >2TB this step will lead to some whining from fdisk(8), but
since we'll boot anyway (with 34ea800d, we resort to the media size
when a maxed out slice size is detected), just ignore any issues which
fdisk(8) reports in this case.

After this commit, installing and booting from that installation on a
disk which is >2TB will work (tested with a 3TB ahci attached drive as
well as with a 4.5TB hptrr(4) RAID).

Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/2264>
Reported-by: ftigeot

bce: Unbreak LINT building

Reminded-by: swildner@

ahci(4)/sili(4): Fix for drives >2TB.

CAM will issue the 16 byte version of the READ CAPACITY command when
maxsector is 0xffffffff:

----- scsi_da.c -----
if (maxsector == 0xffffffff) {
softc->state = DA_STATE_PROBE2;
kfree(rdcap, M_SCSIDA);
xpt_release_ccb(done_ccb);
xpt_schedule(periph, /*priority*/5);
return;
}
---------------------

However, we are subtracting 1 from it (presumably because it's a "last
sector on the device" value starting at 0) so in CAM, it ended up being
0xfffffffe, resulting in disks attached via ahci(4) and sili(4) to be
limited to 2TB.

To fix, set the local var to 0 in this case, so that after subtracting 1
from the value (cast to 32 bit) CAM gets 0xffffffff.

Fix-by: dillon

ixgbe: replace direct lockmgr calls by macros

Only 3 lines didn't use the IXGBE_CORE_LOCK/UNLOCK() abstractions

bge: Add TSO support for BCM5755 family chips

Obtained-from: FreeBSD

ixgbe(4): remove a lockinit() call

No need to initialize some lockmgr lock twice

hammer2 - Add peer_type field to LNK_CONN and LNK_SPAN

* Adds a peer_type field allowing connections to identify what they are
  (i.e. a HAMMER2 mount, a CLUSTER controller, a BLOCK device controller).

  Rename the pfs_type field in the volume header, which never made much
  sense, to peer_type, which now does make sense though for the moment
  the only value it can have is HAMER2_PEER_HAMMER2.

* Filter HAMMER2_PEER_HAMMER2 peer types by pfs_clid to reduce unnecessary
  LNK_SPAN traffic being transmitted to a HAMMER2 mount (in the kernel).

* Minor cleanup.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

boot - Fix boot probe ordering

* When boot loader support is compiled w/ UFS and HAMMER together, which
  is the default (note: HAMMER booting's never worked well)... the probe
  order was to check for the hammer volume header first and UFS second.

* Change the probe order to check for UFS first and HAMMER second.  The
  reason is that a 'newfs' (for UFS) doesn't wipe the hammer volume header
  because the ufs's newfs tries to 'skip' the partition reserved area of
  the disk.

  This is a huge throwback to the original BSD fdisk/disklabel which put
  the boot code INSIDE the 'a' partition.

* The DragonFly disklabel64 (which is now the default) does not have this
  problem so we could probably at some point adjust the UFS 'newfs' code to
  wipe the old 'reserve' area to really put a cap on the problem.

Reported-by: tuxillo

hammer2 - Implement automatic reconnect

* Somehow the actual commit wound up in a merge
  e1648a68d2a340848f1c8ec7bd695c6285927392.

* When the hammer2 service daemon starts it now scans all hammer2 mount
  points and attempts to reconnect itself to each one.

  This allows the sysop to kill the hammer2 service daemon, which will
  remote the machine's mounts from the cluster, and then later restart
  it to add the machine's mounts back into the cluster.

* Fix a pthread detachment bug.  Some pthreads are not tracked and have
  to detach themselves to avoid a libpthread memory leak.

hammer2: More hammer2 msg cleanup, get reconnect ioctl working

* Fix state machine sequencing issues when shutting down a connection.  We
  have to properly simulate DELETE messages for any open transactional
  states and give the function callbacks time to do there stuff.

* Properly respond to DELETE messages for LNK_CONN and LNK_SPAN transactions.

* Stabilize the RECLUSTER ioctl.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hptrr.4: Remove unneeded .Pp

pflogd(8): Raise WARNS to 5.

libm & rtld: Ansify some remaining functions.

hammer2 - Config notifications, cleanup HAMMER2 VFS API

* A hammer2 volume has a PERSISTENT table of 256 entries in the media
  volume header for specifying how the cluster connects together.  Various
  hammer2 directives can list, add, or remove entries from this table.

  This table will be used for several different aspects of the filesystem
  and one of them is to tell the userland hammer2 service daemon what
  other machines to connect to.  That is, we want the cluster configuration
  to be persistently stored as part of a HAMMER2 filesystem.

* Add a notification message from the kernel to the daemon whenever this
  table id modified.  The kernel will also spam the contents of the table
  to the daemon when it first connects to the daemon.

  The service daemon tracks the table and will connect to (or disconnect
  from) the listed targets in real time.  In addition, the service daemon
  will retry a failed connection (or failed DNS lookup) forever as long
  as the entry is intact.  The idea being that a machine in the cluster
  will recover once transitory failures are resolved.

  This is a bit messy at the moment as two pthreads have to be created for
  each connection... one to handle connect, disconnect, and retry operations
  and the other to handle the actual message stream over the connection.

* Clean up the HAMMER2 VFS code's messaging APIs a bit, bringing them
  closer to the hammer2 userland APIs (though of course there will
  always be major differences).

* Adjust the hammer2 VFS to try to clean up open transactional states
  when a socket failure occurs before proceeding with a umount, so the
  related functional states can be triggered and cleaned up.

* Added an ioctl to reconnect a hammer2 mount to the userland hammer2
  service daemon (not yet used).  This will allow us to kill and restart
  the daemon and have it recover the communications pipes between itself
  and the HAMMER2 mounts in the kernel.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

/usr/src/Makefile: Remove duplicate target.

hammer2 - Message span tree work

* Trivially optimize out the sending of a SPAN back across the same
  connection it was received from.

hammer2 - Message routing work

* Further API simplification

* Start adding router infrastructure to the kernel VFS

* Looks like we will need a 'source' and 'target' field in
  the message header after all (replaces the single 'spanid' field),
  in order to track the reply VC as a message is relayed.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

bce: Add TSO support

Obatined-from: FreeBSD

With following modification:
These chips can handle ip.ip_len and tcphdr.th_sum, if they are setup
according to Microsoft LSO specification, so ip.ip_len should not be
cleared and tcphdr.th_sum should be left as it is.

According-to: bnx2

bce: Remove debug stuffs from polling code

bce: Remove debug stuffs from output path

tuxload - Minor modifications.

- Add some output.
- First create the files, then mmap() them

hammer2 - further crypto cleanup

 * put the symmetric crypto algorithms (so far only GCM) into a table.
   The algorithm is currently chosen via a define (HAMMER2_CRYPTO_ALGO),
   but in the future it would be trivial to make it a runtime setting.

 * Link the crypto chunk size to HAMMER2_MSG_ALIGN, since we want the
   chunks as big as possible, but not so big that a message gets stuck.

bce: Set RX interrupt rate ~6000Hz

bce: Don't loop in the interrupt handler to drain TX/RX

bce: Remove debug stuffs on RX/TX interrupt path

bce: Remove debugging stuffs in interrupt handler

hammer2 - Message routing work

* Make hammer2_router a separately allocated structure so we can use
  it as a persistent entity when its related hammer2_iocom, h2span_link,
  or h2span_relay structure gets ripped out.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hammer2 - make gcm IV counter endian-agnostic

hammer2 - error out on enc/dec errors

hammer2 - Fix nact assertion

* An nact assertion was getting hit because of an assumption that
  the assertion caused not to be correct.  Fix the assumption.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

posix_memalign.3: Document aligned_alloc().

hammer2 - AES GCM support

hammer2 - Major crypto API cleanup

* For now always read aux_data in via the FIFO, remove the
  direct-to-message read().

* Cleanup the crypto API

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

libc: Add a copyright to aligned_alloc.c

malloc.3: Remove a ,

ixgbe(4): Sync with FreeBSD

Update to the ixgbe driver:
  - Add a couple of new devices
  - Flow control changes in shared and core code
  - Bug fix to Flow Director for 82598
  - Shared code sync to internal with required core change

ixgbe: compilation fix for debug routines

The driver didn't build when DBG was set to 1.

at_quick_exit.3: Add an ERRORS section.

Submitted-by: vsrinivas

libc: Add a copyright to quick_exit.c

Reported-by: vsrinivas

<stdlib.h>: Adjust the visibility of our C11 functions.

Add at_quick_exit(3) and quick_exit(3) manual pages.

Taken-from: FreeBSD

mdoc: Let us refer to C11 in manual pages with ".St -isoC-2011".

xterm: Remove ability to restore console after man, less, etc.

Having a man page disappear before the read the end (if it indeed appears
at all) is pretty annoying.  Equally annoying is using the "more" command
on a file with few lines only to see nothing.  The default behavior of
xterm console had few fans.

This removes the smcup and rmcup codes from xterm-basic, the basis for
the xterm console definitions.  Now man pages are left on the screen
after viewing, and the pagers work as expected.

emx: Status change is protected by main serializer

No need to hold all of the serializers during a status poll

hammer2 - SPAN protocol work, router work

* Fix SPAN relay sort and sequencing bugs.

* Start reworking the APIs to accomodate routed messages.  Start by
  creating a hammer2_router structure and adjusting most of the msg
  functions to pass it instead of the iocom.

* Fix hammer2_state races by moving the state allocation to
  hammer2_msg_alloc() instead of hammer2_msg_write(). This gives
  code a chance to assign the state->any.* field without having to
  worry about the state getting ripped out from under us.

hammer2 - SPAN protocol work

* Because we allow loops in the graph the loss of a feeder node can
  result in a tail-chasing loop of SPAN updates with an ever-growing
  distance parameter.

  To deal with this a spanning tree distance limit is required, beyond
  which no propagation occurs which terminates the chase.  The tail
  then catches up to the head and the node is finally removed from
  the spanning tree entirely.

  This fixes the propagation of spanning tree deletions e.g. when we
  umount a HAMMER2 PFS.

* Fix a state insertion bug.  A structure was being inserted into the
  red-black tree before the required fields were being initialized.
  Corrects a SPAN propagation fault.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

cut(1): Add back -w (split on whitespace functionality).

Reported-by: Tim Darby <t+dfbsd@timdarby.net>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2385>

hammer2 - userland API / span work

* Fix a stall bug in the streaming write code

* Add some pretty-printing support for debug output.  Also remove
  a ton of debug messages.

* Add a remote shell 'tree' command to dump the spanning tree.

* Cleanup some of the state handling and error codes.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

cut: Sync with FreeBSD

Addresses:
http://bugs.dragonflybsd.org/issues/2385
reported-by: Tim Darby

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hpt27xx(4): Use NULL for pointers.

Add the hpt27xx(4) driver for HighPoint RocketRAID 27xx SAS controllers.

The manual page mentions the following adapters to be supported:

* RocketRAID 271x
* RocketRAID 272x
* RocketRAID 274x
* RocketRAID 276x
* RocketRAID 278x

I have tested it with a RocketRAID 2720.

Taken-from: FreeBSD

bnx: Disable RX max BDs based interrupt moderation

The RX max coalesce BDs is limited to 255, which means that the chip will
generate ~5800 interrupts/s when it sinks 1.48Mpps tiny packets.  However,
interrupt rate at 4000Hz is already enough for the chip to sink 1.48Mpps
tiny packets, so ticks based RX interrupt moderation should be prefered.

bnx: Allow TX/RX max coalesce BDs to be 0; mainly for debugging

bnx: Correct debug messages

bnx: Rearrange the code to check the spare TX descripors first

While im here, remove the useless fragmentation checksum code, which
is never supported by this driver