HAMMER 59C/Many: Stabilization pass - fixes for large file issues

* Rename hammer_delete_range_all() to hammer_delete_clean().  This function
  is no longer responsible for deleting data and db records when a file
  is removed.  The normal hammer_delete_range() function now does that for
  all cases.

* Adjust hammer_delete_range() to not restart at offset 0 when it hits a
  deadlock or must defer the remainder of the operation to another flush
  cycle.  When removing very large files (greater then 500GB) the constant
  restarts resulted in exponential delays.

  Instead the function restarts near where it had left off the previous try.

* Change ip->sync_trunc_off's dynamics so it can be used to cache the
  restart offset.  The truncation state can now be left intact on the
  backend and the frontend will merge new truncations into it instead
  of replacing the truncation.

  Add a new field, ip->save_trunc_off to handle the append overwrite
  check optimization (sync_trunc_off used to be used for that, no longer).

* Fix minor bugs, and use the new bwillwrite() API.

* Remove the #if 0'd out cluster_write() code entirely (it never worked
  anyway).  The new buffer cache subsystem in the kernel allows bdwrite()
  to be used with no real penalty.

Replace the bwillwrite() subsystem to make it more fair to processes.

* Add new API functions, bwillread(), bwillwrite(), bwillinode() which
  the kernel calls when it intends to read, write, or make inode
  modifications.

* Redo the backend.  Add bd_heatup() and bd_wait().  bd_heatup() heats up
  the buf_daemon, starting it flushing before we hit any blocking conditions
  (similar to the previous algorith).

* The new bwill*() blocking functions no longer introduce escalating delays
  to keep the number of dirty buffers under control.  Instead it takes a page
  from HAMMER and estimates the load caused by the caller, then waits for a
  specific number of dirty buffers to complete their write I/O's before
  returning.  If the buffers can be retired quickly these functions will
  return more quickly.

Remove extra '.'

* Use literal displays instead of .Li

* Comment out empty section

* Sync SYNOPSIS

* Use .Pa for paths, .Xr for manual page references and .Ex for exit status

* Remove empty lines and trailing whitespace.

* Bump date for r1.26.

style(9)

Bump the sortq_lost check from 8 to 128, letting the disk optimally read or
write a larger swath before forcing through long-delayed requests.

Fix a system performance issue created by ata_sort_queue().  This function
implements an elevator sort but it also allows requests to be delayed
indefinitely when other requests continually get inserted in front of them.
HAMMER's almost log-linear writing really exposes this issue.

The fix is to count how many times a request got delayed due to an insertion.
If the count exceeds 8, the new request is placed at the end of the queue and
set as the new freeze point.

HAMMER 59B/Many: Stabilization pass - fixes for large file issues

* The flusher was trying to flush whole inodes in one pass.  If a large
  (in the 100GB range) file is deleted or truncated this single pass could
  blow out the UNDO FIFO and cause a panic.

  Detect the case and only do a partial flush, then requeue the inode to
  the next flush group and reflush.  This continues until the file is
  completely eradicated or the truncation has completed.

* In addition, the same flusher issue could exhaust the kernel's buffer
  cache with unflushable dirty buffers.  The same fix applies.

* The UNDO FIFO code was calculating available space based on the next
  flush's start position instead of the last flush's start position,
  allowing areas of the UNDO FIFO still subject to a recovery pass
  (if a crash were to occur right then) to be overwritten too soon.

* The pruner and reblocker were doing insufficient UNDO FIFO space checks
  and could blow out the UNDO FIFO.  Fixed.

Rework stop path.

Obtained-from: forcedeth

- Rename NFE_RXTX_V[32]MAGIC to NFE_RXTX_DESC_V[32].
- Change NFE_RXTX_DESC_V3 from 0x2200 to 0xc02200; it is quite interesting
  the thing actually worked.
- Add rxtxctl_desc in softc, which stores the desc type of rxtxctl.  Set
  it up during attach.
- Add power control fixes on attach and init path.

Obtained-from: forcedeth

Fix a typo so that old netgraph builds again.

- Disable WOL during attach, don't mess with it during init
- NFE_WOL_MAGIC -> NFE_WOL_ENABLE

Obtained-from: forthdeth

Add flag to indicate that the NIC does not have power control capability.
Model numbers from forcedeth.

Add nfe(4)

Suggested-by: Chris Turner <c.turner@199technologies.org>

Add man page entry for "hammer snapshot".

fxp_stop needs to be serialized

Drop out of place readline function declarations.

Stop building libreadline.

Libreadline has not been used for a while, only its headers.
Libedit now provides readline headers, so we can drop readline.

Install libedit's readline headers.

Also install compat headers which are sometimes used.

Increase the default request timeout from 5 seconds to 10 seconds.

Using advise from Volker Theile of the FreeNAS project via:
http://wiki.freebsd.org/JeremyChadwick/ATA_issues_and_troubleshooting

dummy_thr does not have to be committed and pthread_t might not even
be a pointer on some systems.

Apply patch supplied in FreeBSD-PR to ata-raid code:

"A drive that was once part of an ataraid device, when added back to the
machine that it was on, shows up as a new ataraid device. This new ataraid
device tries to use all the drives that were originally in the RAID.
Results can range from a confusion to a real mess."

Obtained-from: http://www.freebsd.org/cgi/query-pr.cgi?pr=121899&cat=kern
Author: Stef Walter <stef@memberwebs.com>

Add files and options lines for NETGRAPH7

Add additional atomic ops from FreeBSD.

Obtained-from: FreeBSD

Netgraph port from FreeBSD - initial porting work

* Use relative #include's as appropriate so the code doesn't
  dig into the original netgraph/ directory.

* Move FBSDID's and add DragonFly ids.

* Fix improper uses of M_NOWAIT.

* Fix uses of M_NOWAIT which should be MB_DONTWAIT and vise-versa
  (also forward to Julian).

* Add a dragonfly.h compatibility header.

* NOTE: m_tag_alloc() in DFly takes MB_ flags.

Fallback using a default snapshot name if just a directory is supplied
(e.g. hammer snapshot /mysnapshots will use /mysnapshots/snap-%Y%m%d-%H%M).

Merge from vendor branch NETGRAPH:
Vendor import of netgraph from FreeBSD-current 20080626

Vendor import of netgraph from FreeBSD-current 20080626

Add KTR_HAMMER

Make sure UFS disallows mknod()'s with type VDIR.

We only need to determine the softlink_dir when no filesystem is
explicitly specified.

Use strftime to produce the snapshot name, for example:

    hammer snapshot "/mysnapshots/snap-%Y-%m-%dT%H:%M:%S"

Usage is now:

    hammer snapshot <softlink-dir-fmt>
    hammer snapshot <filesystem> <softlink-dir-fmt>

Adapt usage string from cmd_prune.c.

HAMMER Utilities: Add "slave" option to hammer_mount.

* Add the "slave" mount option for hammer mounts.  This option will allow
  a mounted hammer filesystem to be a mirroring and pruning target but
  disallow user-level modifications.

Make msk(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Make bfe(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

HAMMER Utilities: Sync with 59A

* Add mirror-read, mirror-write, and status directives.

HAMMER 59A/Many: Mirroring related work (and one bug fix).

* BUG FIX: Fix a bug in directory hashkey generation.  The iterator could
  sometimes conflict with a key already on-disk and interfere with a pending
  deletion.  The chance of this occuring was miniscule but not 0.  Now fixed.

  The fix also revamps the directory iterator code, moving it all to one
  place and removing it from two other places.

* PRUNING CHANGE: The pruning code no longer shifts the create_tid and
  delete_tid of adjacent records to fill gaps.  This means that historical
  queries must either use snapshot softlinks or use a fine-grained
  transaction id greater then the most recent snapshot softlink.

  fine-grained historical access still works up to the first snapshot
  softlink.

* Clean up the cursor code responsible for acquiring the parent node.

* Add the core mirror ioctl read/write infrastructure.  This work is still
  in progress.

  - ioctl commands
  - pseudofs enhancements, including st_dev munging.
  - mount options
  - transaction id and object id conflictless allocation
  - initial mirror_tid recursion up the B-Tree (not finished)
  - B-Tree mirror scan optimizations to skip sub-hierarchies that do not
    need to be scanned (requires mirror_tid recursion to be 100% working).

Remove trailing space.

Missing TX_UNK -> TX_POLL conversion

TX_UNK -> TX_POLL

According-to: Linux forcedeth

Add MCP73, MCP77 and MCP79 support.

Obtained-from: Linux forcedeth

regen

Add PCI ids for nVidia MCP77 MCP73 and MCP79 NICs

MCP65 has no hardware csum offloading support.

Obtained-from: OpenBSD

Make bce(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Remove an else branch to flatten indentation. Also free up memory allocate
by asprintf.

Implement: hammer snapshot <softlink-dir> [<filesystem>]

Make bge(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Make fxp(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Make xl(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

On UP system, make sure that mbuf chain is not empty before accessing it.

Make re(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

One more place where an inode is still printed as a 32 bit quantity.

Describe flags more verbose.

ports is gone: remove use of PORTSSUPFILE.

HAMMER Utilities: Sync to 58B

* Update all utilities to deal with the cleaned up ioctl structures and
  to augment history and undo output with the non-monotonic timestamps.

HAMMER 58B/Many: Revamp ioctls, add non-monotonic timestamps, mirroring

* Revamp most of HAMMER's ioctl structures with an eye towards future
  enhancements.

* Adjust on-media structures to include a non-monotonic creation and
  deletion timestamps.  Since the transaction id no longer translates
  to a timestamp adding explicit timestamps allows the 'hammer history'
  and 'undo' utilities to still display timestamps for the change history.

* Start working on the mirroring support ioctls.

Make nfe(4) aware ETHET_INPUT_CHAIN and ETHER_INPUT2

Move mbuf chain initialization into common place.

Add vlan(4) support for ETHER_INPUT2.  It is not built by default.

VLAN_MTU works as expected on em(4)

Fix typo.

Add nohistory flag.

HAMMER Utilities: Remove time/transaction-id conversion directives.

* Remove time/tid conversion directives that no longer apply.

* Clean up usage().

HAMMER 58A/Many: Mirroring support part 1

* Implement mastership domains for transaction ids to support multi-master
  mirroring and implement mastership selection at mount time.

  Mastership domains work by having the low 4 bits of the transaction id
  specify the mastership id (0-15).  This allows the mirroring code to
  distinguish between changes originating on a particular node and changes
  mirrored from another node.

  This also ensures that filesystem objects can be created on the mirrors
  in parallel without resulting in conflicitng object ids.

* Eliminate time-based TID generation.  Just increment the TID as
  appropriate.

  NOTE: Portions of this change may be reverted at a later time depending
  on how the mirroring implementation proceeds.

* Minor code cleanups.

HAMMER Utilities: Sync with 58A

* Add the master=<number> mount option, a unique id (0-15) which uniquely
  identifies a master in a multi-master cluster.  It will initially be
  used to support multi-master mirroring.

* Rename the hammer softprune command to prune and remove the original
  prune.

* Transaction ids are no longer based on the time at all.  They used to
  be loosely based on the time but could get knocked off by bad system
  time.  Now they aren't at all.

Support S_IFDIR mknod() calls for HAMMER.  This is used by the Hammer
utility program to create pseudo-filesystem directories inside HAMMER.

Expose ether_input_oncpu()

White space

Discard packets which was lingering on msgport when receiving interface
was brought down or entered monitor mode.

Add ether_input_chain2() which could be called by ethernet NIC drivers to
deliver packets into upper layer.  Unlike ether_input_chain(), this function
only locates the msgport for the input packets, rest of the functionalities
of ether_input_chain() are performed in the protocal threads, i.e. after
packets reaches target msgports.  This function and other related functions
are put under kernel option ETHER_INPUT2, which is _not_ enabled by default.
As of this commit, vlan(4) and ipflow don't work with ether_input_chain2().

em(4) is adapted to aware ETHER_INPUT2.

Reviewed-by: dillon@, aggelos@ (early version)
# Additional comments are added to the the reviewed patch.

HAMMER Utilities: Add the 'pseudofs' directive for commit 57

* The pseudofs directive may be used to create pseudo-filesystems within
  a HAMMER filesystem.  Each such filesystem maintains its own inode
  numbering space and can be used as a replication target.  Up to 65535
  pseudo-filesystems are supported.

HAMMER 57/Many: Pseudofs support

* Finish up implementation of the localization field which is used to
  split the B-Tree up into domains.  Use the upper 16 bits as a
  pseudo filesytem selector.

* Code hammer_vop_mknod() to be able to create pseudo-filesystems.

s/Fx/Dx/

Use standard section name: ACKNOWLEDGEMENTS -> AUTHORS

Fix typo: Phenix -> Phoenix

Add an isa(4) manual page.

Derived-from: OpenBSD

Update cvs id.

Sync with FreeBSD.

Add a pnpbios(4) manpage.

Taken-from: FreeBSD

s/Fx/Dx/

Sort alphabetically.

Mention aggelos' lwn.net article.

HAMMER 56F/Many: Stabilization pass

* When data is reblocked any related direct-io offsets cached in front-end
  buffer cache buffers must be cleaned out.  This also requires running
  through any snapshotted inodes referencing the same object.

* The flusher must check that the cached B-Tree node has not been flagged
  as deleted (HAMMER_NODE_DELETED) before seeking to it.

* hammer_io_direct_read() now requires and asserts that the second-level
  cached offset in the BIO is a zone-2 offset.

* hammer_io_direct_write() no longer overwrites the second-level cached
  offset with the third level raw disk offset.  It pushes a third level
  to set the raw disk offset.

* When creating a directory entry, set the localization field for pseudo-fs
  support (which isn't quite working yet anyway so no biggy).

* Move the Red-Black tree generator for inodes from hammer_ondisk.c to
  hammer_inode.c.

Silence -Wold-style-definition.

Silence -Wold-style-definition.

Fix -Wold-style-definition warnings in the scanner skeleton.

Ansify

Fix paths.

Update FILES section.

Fix path in comment.

More copy{in,out} removal for ctloutput routines

Since either hardware or ether input code will strip packet's vlan tag,
before the packet could reach ether level ipfw filtering, we will have
to change the packet's ether type to VLAN, if the packet was vlan tagged,
so ipfw could see the correct packet mac-type.

Use __func__, instead of hardcode the function name.

White space

Minor style change

HAMMER 56E/Many: Correct bug in 56D

* Fix a bug related to fsync that could result in an infinite loop.

HAMMER 56D/Many: Media structure finalization, atime/mtime, etc.

* Move the atime and mtime fields to the end of struct hammer_inode_data.
  CRCs on hammer_inode_data no longer include atime or mtime, allowing
  them to be updated without having to update the related B-Tree node.

* Change the time format for ctime, atime, and mtime.  These 64 bit fields
  now store microseconds in real time instead of transaction ids.

* atime is now updated asynchronously, and mtime is now updated with
  UNDO records only.  Split the ITIMES flag into ATIME and MTIME and
  no longer set the DDIRTY (inode_data generally dirty) flag when the
  mtime changes.

* Finish on-media structural components for pseudo-fs support inside a
  HAMMER filesystem.

* Finish on-media structural components for adding a serial number to
  the B-Tree element structures, for mirroring support.

* Make fsync() wait for the flush to complete, issue extra flushes as
  needed to take the UNDO FIFO's start position past the fsync'd data
  so a crash does not undo it.