HAMMER Utilities: Sync with 59A

* Add mirror-read, mirror-write, and status directives.

HAMMER 59A/Many: Mirroring related work (and one bug fix).

* BUG FIX: Fix a bug in directory hashkey generation.  The iterator could
  sometimes conflict with a key already on-disk and interfere with a pending
  deletion.  The chance of this occuring was miniscule but not 0.  Now fixed.

  The fix also revamps the directory iterator code, moving it all to one
  place and removing it from two other places.

* PRUNING CHANGE: The pruning code no longer shifts the create_tid and
  delete_tid of adjacent records to fill gaps.  This means that historical
  queries must either use snapshot softlinks or use a fine-grained
  transaction id greater then the most recent snapshot softlink.

  fine-grained historical access still works up to the first snapshot
  softlink.

* Clean up the cursor code responsible for acquiring the parent node.

* Add the core mirror ioctl read/write infrastructure.  This work is still
  in progress.

  - ioctl commands
  - pseudofs enhancements, including st_dev munging.
  - mount options
  - transaction id and object id conflictless allocation
  - initial mirror_tid recursion up the B-Tree (not finished)
  - B-Tree mirror scan optimizations to skip sub-hierarchies that do not
    need to be scanned (requires mirror_tid recursion to be 100% working).

Remove trailing space.

Missing TX_UNK -> TX_POLL conversion

TX_UNK -> TX_POLL

According-to: Linux forcedeth

Add MCP73, MCP77 and MCP79 support.

Obtained-from: Linux forcedeth

regen

Add PCI ids for nVidia MCP77 MCP73 and MCP79 NICs

MCP65 has no hardware csum offloading support.

Obtained-from: OpenBSD

Make bce(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Remove an else branch to flatten indentation. Also free up memory allocate
by asprintf.

Implement: hammer snapshot <softlink-dir> [<filesystem>]

Make bge(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Make fxp(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Make xl(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

On UP system, make sure that mbuf chain is not empty before accessing it.

Make re(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

One more place where an inode is still printed as a 32 bit quantity.

Describe flags more verbose.

ports is gone: remove use of PORTSSUPFILE.

HAMMER Utilities: Sync to 58B

* Update all utilities to deal with the cleaned up ioctl structures and
  to augment history and undo output with the non-monotonic timestamps.

HAMMER 58B/Many: Revamp ioctls, add non-monotonic timestamps, mirroring

* Revamp most of HAMMER's ioctl structures with an eye towards future
  enhancements.

* Adjust on-media structures to include a non-monotonic creation and
  deletion timestamps.  Since the transaction id no longer translates
  to a timestamp adding explicit timestamps allows the 'hammer history'
  and 'undo' utilities to still display timestamps for the change history.

* Start working on the mirroring support ioctls.

Make nfe(4) aware ETHET_INPUT_CHAIN and ETHER_INPUT2

Move mbuf chain initialization into common place.

Add vlan(4) support for ETHER_INPUT2.  It is not built by default.

VLAN_MTU works as expected on em(4)

Fix typo.

Add nohistory flag.

HAMMER Utilities: Remove time/transaction-id conversion directives.

* Remove time/tid conversion directives that no longer apply.

* Clean up usage().

HAMMER 58A/Many: Mirroring support part 1

* Implement mastership domains for transaction ids to support multi-master
  mirroring and implement mastership selection at mount time.

  Mastership domains work by having the low 4 bits of the transaction id
  specify the mastership id (0-15).  This allows the mirroring code to
  distinguish between changes originating on a particular node and changes
  mirrored from another node.

  This also ensures that filesystem objects can be created on the mirrors
  in parallel without resulting in conflicitng object ids.

* Eliminate time-based TID generation.  Just increment the TID as
  appropriate.

  NOTE: Portions of this change may be reverted at a later time depending
  on how the mirroring implementation proceeds.

* Minor code cleanups.

HAMMER Utilities: Sync with 58A

* Add the master=<number> mount option, a unique id (0-15) which uniquely
  identifies a master in a multi-master cluster.  It will initially be
  used to support multi-master mirroring.

* Rename the hammer softprune command to prune and remove the original
  prune.

* Transaction ids are no longer based on the time at all.  They used to
  be loosely based on the time but could get knocked off by bad system
  time.  Now they aren't at all.

Support S_IFDIR mknod() calls for HAMMER.  This is used by the Hammer
utility program to create pseudo-filesystem directories inside HAMMER.

Expose ether_input_oncpu()

White space

Discard packets which was lingering on msgport when receiving interface
was brought down or entered monitor mode.

Add ether_input_chain2() which could be called by ethernet NIC drivers to
deliver packets into upper layer.  Unlike ether_input_chain(), this function
only locates the msgport for the input packets, rest of the functionalities
of ether_input_chain() are performed in the protocal threads, i.e. after
packets reaches target msgports.  This function and other related functions
are put under kernel option ETHER_INPUT2, which is _not_ enabled by default.
As of this commit, vlan(4) and ipflow don't work with ether_input_chain2().

em(4) is adapted to aware ETHER_INPUT2.

Reviewed-by: dillon@, aggelos@ (early version)
# Additional comments are added to the the reviewed patch.

HAMMER Utilities: Add the 'pseudofs' directive for commit 57

* The pseudofs directive may be used to create pseudo-filesystems within
  a HAMMER filesystem.  Each such filesystem maintains its own inode
  numbering space and can be used as a replication target.  Up to 65535
  pseudo-filesystems are supported.

HAMMER 57/Many: Pseudofs support

* Finish up implementation of the localization field which is used to
  split the B-Tree up into domains.  Use the upper 16 bits as a
  pseudo filesytem selector.

* Code hammer_vop_mknod() to be able to create pseudo-filesystems.

s/Fx/Dx/

Use standard section name: ACKNOWLEDGEMENTS -> AUTHORS

Fix typo: Phenix -> Phoenix

Add an isa(4) manual page.

Derived-from: OpenBSD

Update cvs id.

Sync with FreeBSD.

Add a pnpbios(4) manpage.

Taken-from: FreeBSD

s/Fx/Dx/

Sort alphabetically.

Mention aggelos' lwn.net article.

HAMMER 56F/Many: Stabilization pass

* When data is reblocked any related direct-io offsets cached in front-end
  buffer cache buffers must be cleaned out.  This also requires running
  through any snapshotted inodes referencing the same object.

* The flusher must check that the cached B-Tree node has not been flagged
  as deleted (HAMMER_NODE_DELETED) before seeking to it.

* hammer_io_direct_read() now requires and asserts that the second-level
  cached offset in the BIO is a zone-2 offset.

* hammer_io_direct_write() no longer overwrites the second-level cached
  offset with the third level raw disk offset.  It pushes a third level
  to set the raw disk offset.

* When creating a directory entry, set the localization field for pseudo-fs
  support (which isn't quite working yet anyway so no biggy).

* Move the Red-Black tree generator for inodes from hammer_ondisk.c to
  hammer_inode.c.

Silence -Wold-style-definition.

Silence -Wold-style-definition.

Fix -Wold-style-definition warnings in the scanner skeleton.

Ansify

Fix paths.

Update FILES section.

Fix path in comment.

More copy{in,out} removal for ctloutput routines

Since either hardware or ether input code will strip packet's vlan tag,
before the packet could reach ether level ipfw filtering, we will have
to change the packet's ether type to VLAN, if the packet was vlan tagged,
so ipfw could see the correct packet mac-type.

Use __func__, instead of hardcode the function name.

White space

Minor style change

HAMMER 56E/Many: Correct bug in 56D

* Fix a bug related to fsync that could result in an infinite loop.

HAMMER 56D/Many: Media structure finalization, atime/mtime, etc.

* Move the atime and mtime fields to the end of struct hammer_inode_data.
  CRCs on hammer_inode_data no longer include atime or mtime, allowing
  them to be updated without having to update the related B-Tree node.

* Change the time format for ctime, atime, and mtime.  These 64 bit fields
  now store microseconds in real time instead of transaction ids.

* atime is now updated asynchronously, and mtime is now updated with
  UNDO records only.  Split the ITIMES flag into ATIME and MTIME and
  no longer set the DDIRTY (inode_data generally dirty) flag when the
  mtime changes.

* Finish on-media structural components for pseudo-fs support inside a
  HAMMER filesystem.

* Finish on-media structural components for adding a serial number to
  the B-Tree element structures, for mirroring support.

* Make fsync() wait for the flush to complete, issue extra flushes as
  needed to take the UNDO FIFO's start position past the fsync'd data
  so a crash does not undo it.

HAMMER Utilities: Sync with 56D

* Time fields moved and format changed to disassociate them from transaction
  ids.

Don't do copy{in,out} in ctloutput any more

Update bluetooth ctloutput functions not to use copy{in,out}

Fix a bug in cluster_read().  An error returned by the call to
VOP_BMAP() in the late read-ahead code is unrelated to the success
of the call and should be ignored.

HAMMER 56C/Many: Performance tuning - MEDIA STRUCTURES CHANGED!

* Implement variable block sizes.  Records at offsets < 1MB use 16K buffers
  while records at offsets >= 1MB use 64K buffers.  This improves performance
  primarily by reducing the number of B-Tree elements we have to stuff.

* Mess around with the deadlock handling code a bit.  It still needs
  a re-think but it works.  Implement low-priority shared locks.
  A low priority shared lock can only be acquired if no other locks are
  held by the thread.

* Implement slow-down code for the record backlog to the flusher and
  reimplement the slow-down code that deals with reclaimed inodes queued
  to the flusher.  This should hopefully fix the kernel memory exhaustion
  issues for M_HAMMER.

* Update layer2->append_off.  It isn't implemented yet but doing this now
  will prevent media incompatibilities later on when it does get implemented.

* Split hammer_blockmap_free() into hammer_blockmap_free() and
  hammer_blockmap_finalize().

* Fix a bug in the delayed-CRC handling related to reblocking.  When
  throwing away a modified buffer, pending CRC requests must also be
  thrown away.

* Fix a bug in the record overlap compare code.  If we cannot return 0
  due to an overlap because the record has been deleted, we must still
  return an appropriate formal code so the scan progresses in the
  correct direction down the red-black tree.

* Make data in the meta-data zone a meta-data buffer structure type so
  it gets synced to disk at the appropriate time.  This may be temporary,
  it's needed to deal with the atime/mtime code but another commit may
  soon make it moot.

* Bump the seqcount so cluster_read() does the right thing when reading
  into a large UIO just after opening a file.

* Do a better job calculating vap->va_bytes.  It's still fake, but its a
  more accurate fake.

* Fix an issue in the BMAP code related to ranges that do not cover the
  requested logical offset.

* Fix a bug in the blockmap code.  If a reservation is released without
  finalizing any allocations within that big-block, another zone can steal
  it out from under the current zone's next_offset, resulting in a zone
  mismatch panic.

Prototype declarations don't have an initializer.

HAMMER Utilities: Bug fixes

* The initial layer1->blocks_free was not properly accounting for
  allocations made during newfs_hammer.

Miscellanious performance adjustments to the kernel

* Add an argument to VOP_BMAP so VFSs can discern the type of operation
  the BMAP is being done for.

* Normalize the variable name denoting the blocksize to 'blksize' in
  vfs_cluster.c.

* Fix a bug in the cluster code where a stale bp->b_error could wind up
  getting returned when B_ERROR is not set.

* Do not B_AGE cluster bufs.

* Pass the block size to both cluster_read() and cluster_write() instead
  of those routines getting the block size from
  vp->v_mount->mnt_stat.f_iosize.  This allows different areas of a file
  to use a different block size.

* Properly initialize bp->b_bio2.bio_offset to doffset in cluster_read().
  This fixes an issue where VFSs were making an extra, unnecessary call
  to BMAP.

* Do not recycle vnodes on the free list until numvnodes has reached
  desiredvnodes.  Vnodes were being recycled when their resident page count
  had dropped to zero, but this is actually too early as the VFS may cache
  important information in the vnode that would otherwise require a number
  of I/O's to re-acquire.  This mainly helps HAMMER (whos inode lookups are
  fairly expensive).

* Do not VAGE vnodes.

* Remove the minvnodes test.  There is no reason not to load the vnode cache
  all the way through to its max.

* buf_cmd_t visibility for the new BMAP argument.

Provide MP_LOCK_HELD() for UP builds as well

During bridge destroy, dispatch bridge member/span deletion to netisr0

Dispatch whole bridge_ifdetach() to netisr0, since it will touch
member interface's if_bridge

- In bridge_delete_member(), release bridge's serializer when configure
  member interface to avoid possible deadlock.  Add comment about it.
  Clear member interface's if_bridge early.
- In bridge_ifdetach(), hold proper bridge interface's serializer before
  calling various deletion functions.

Change suseconds_t to long as it is in most of systems. Fixes a lot of
printf related warnings everywhere.

Noticed-by: swildner@

Minor style change

- Don't dispatch bridge 'get' ioctl to netisr0, there are copyouts down
  deep inside certain bridge ioctl functions.  Add comment about it.
- Dispatch bridge 'set' ioctl to netisr0, i.e. 'set' ioctls are serialized
  by netisr0.

Remove KKASSERT() from the code block where not all callers' CPU own
the LWP, occasionally leading to a panic because of race between CPUs.

Explained-by: dillon@

update unix domain socket option retrieval

Noticed-by: Andras Voroskoi

Remove extra parenthesis.

Move timeval struct into its own header and include it from headers where
needed or defined by standards plus from sys/types.h. This makes several
pkgsrc packages more happy.

Including just sys/types.h to use struct timeval works there in every BSD,
Linux and Solaris, so we can't just ignore it.

Also make struct timeval standards compilant in progress.

Inspired-by: FreeBSD

Link libarchive against libbz2 and libz to be compatible with upstream.
In this way third party applications linking against libarchive don't need
a special care.

HAMMER Utilities: Sync with 56B

* Change the way atime is stored.

HAMMER 56B/Many: Performance tuning - MEDIA STRUCTURES CHANGED!

* MEDIA CHANGE: The atime has been moved back into the inode data proper.
  The nlinks field has also been moved.

* PERFORMANCE: The CRC for cached B-Tree nodes was being run on every access
  instead of just the first time.  This was the cause of HAMMER's poor
  directory scanning performance and cpu-intensive write flushes.

  Adjusted to only check the CRC on the initial load into the buffer cache.

* PERFORMANCE: The CRC for modified B-Tree nodes was being regenerated every
  time the node was modified, so a large number of insertions or deletions
  modifying the same B-Tree need needlessly regenerated the CRC each time.

  Adjusted to delay generation of the CRC until just before the buffer is
  flushed to the physical media.

  Just for the record, B-Tree nodes are 4K and it takes ~25uS to run a CRC
  on them.  Needless to say removing the unnecessary calls solved a lot of
  performance issues.

* PERFORMANCE: Removed limitations in the node caching algorithms.  Now more
  then one inode can cache pointers to the same B-Tree node.

* PERFORMANCE: When calculating the parent B-Tree node we have to scan the
  element array to locate the index that points back to the child.  Use a
  power-of-2 algorithm instead of a linear scan.

* PERFORMANCE: Clean up the selection of ip->cache[0] or ip->cache[1] based
  on whether we are trying to cache the location of the inode or the
  location of the file object's data.

do early copyin / delayed copyout for socket options

Temporarly comment out message based bridge control; there are copyout deep
inside of certain bridge_ioctl functions

Release bridge serializer before calling bridge_control

- Release bridge interface's serializer when configuring member interface
- Set member interface's ifnet.if_bridge only after everything on the bridge
  has been setup
- Minor style change

Change number of TX desc back to 256.  512 TX desc does not work on 88E8036.

Reported-by: Ferruccio Zamuner <nonsolosoft@diff.org>

HAMMER Utilities: sync with 56A

* New 'hammer bstats <interval>' command to monitor B-Tree statistics.

* newfs_hammer and related code significantly changed with regards to
  media changes in commit 56A.

HAMMER 56A/Many: Performance tuning - MEDIA STRUCTURES CHANGED!

* MEDIA CHANGE: The blockmaps have been folded into the freemap.  Allocations
  are now made directly out of the freemap.  More work is expected here.

  The blockmaps are still used to sequence allocations, but no block
  number translation is required any more.  This didn't improve performance
  much but it will make it easier for future optimizations to localize
  allocations.

* PERFORMANCE: Removed the holes recording code.  Another commit will
  soon take over the functionality.

* PERFORMANCE: The flusher's slave threads now collect a number of inodes
  into a batch before starting their work, in an attempt to reduce
  deadlocks between slave threads from adjacent inodes.

* PERFORMANCE: B-Tree positional caching now works much better, greatly
  reducing the cpu overhead when accessing the filesystem.

* PERFORMANCE: Added a write-append optimization.  Do not do a
  lookup/iteration to locate records being overwritten when no such
  records should exist.  This cuts the cpu overhead of write-append
  flushes in half.

* PERFORMANCE: Add a vfs.hammer.write_mode sysctl feature to test out
  two different ways of queueing write I/O's.

* Added B-Tree statistics (hammer bstats 1).

Serialize bridge configuration operations by netisr0, so that "test and set"
member interface's if_bridge field could be safe.

Update build structure for libarchive update.

Merge from vendor branch LIBARCHIVE:
Import libarchive-2.5.4b.

Requested-by: hasso

Import libarchive-2.5.4b.

Requested-by: hasso

We must process incoming IPI messages when spinning in the thread
cpu acquisition code.  This avoids a deadlock which can occur between
the cpu whos thread is trying to exit and the cpu receiving the thread.

Reported-by: Gary Allan <dragonfly@gallan.co.uk>

The default value of net.inet6.ip6.v6only is 'on'.

Noticed-by: Jordan Gordeev <jgordeev@dir.bg>

- In if_up(), purge ifnet.if_snd before turning on IFF_UP, this is used to
  clean up packets that sneaked into ifnet.if_snd after if_down()
- Strip blank line

- Don't turn on IFF_OACTIVE when dequeuing ifnet.if_snd; it no longer
  makes sense
- If parent interface is NULL, purge ifnet.if_snd