HAMMER 60E/Many: Mirroring, bug fixes

* Work on the mirror_tid propagation code.  The code now retries on
  EDEADLK so propagation is guaranteed to reach the root.

* Get most of the mirror_write code working.

* Add PFS support for NFS exports.  Change fid_reserved to fid_ext and use
  it to store the localization parameter that selects the PFS.  This isn't
  well tested yet.

* BUGFIX: Fix a bug in vol0_last_tid updates.  Flush sequences might
  not always update the field, creating issues with mirroring and snapshots.

* BUGFIX: Properly update the volume header CRC.

* CLEANUP: Fix some obj_id's that were u_int64_t's. They should be int64_t's.

* CLEANUP: #if 0 out unused code, remove other bits of unused code.

Ensure AP is associated before we return.

Otherwise further rc.d processing, eg dhclient,
can fail to get working network connection.

Fix typo.

Describe which FW package is causing error;
we have multiple FW packages in base system.

Update etc/inetd.conf:
 - uucp removed from base system 5 years ago
 - kerberosIV removed from base system 4 years ago
 - pcnfsd removed from base system 14 years ago
 - change path in examples from /usr/local/ to /usr/pkg/
   as we changed from ports to pkgsrc several years ago

Change soopt_mcopyin() and soopt_mcopyout() to not modify soopt_val and
soopt_valsize.  This fixes a "already free" panic when so_pru_ctloutput()
kfree()'s soopt_val.

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>
Reviewed-by: Aggelos Economopoulos <aoiko@cc.ece.ntua.gr>

Add Makefile that compiles serial port enabled boot loader.

Extend boot loader so that it can be compiled to work over a serial port.

Obtained-From: FreeBSD

Nuke unused macro and comment

Print chip informantion in bge_attach() instead of bge_probe()

Adjust default interrupt moderation variables

For PCI Express devices:
1) Adjust max read request size to 4Kbytes
2) Turn on FIFO_LONG_BURST in RDMA during bge_blockinit()

Though 1) does not seem to have much to do with the poor TX performance (*)
observed on PCI Express bge(4), 2) does fix the problem.

Obtained-from: tg3

# (*)
# http://lists.freebsd.org/pipermail/freebsd-net/2007-June/014373.html
# FreeBSD kern/119361

TX coalesce ticks can't be more than 1023

Obtained-from: tg3

Add bits for PCI Express device control register

Error out if no volumes are specified instead of core-dumping.

Submitted-by: Antonio Huete Jimenez <tuxillo@quantumachine.net>

HAMMER 60D/Many: Mirroring, bug fixes

* Add more mirroring infrastructure.

* Fix support for unix domain sockets.

Reported-by: Gergo Szakal <bastyaelvtars@gmail.com>,
     Rumko <rumcic@gmail.com>

If boot verbose, print asicrev, chiprev and bus type.

- Add delay in MII registers reading
- Minor style changes

Use hardware timer to simulate interrupt moderation.

hw.nfeX.imtimer -> 0  no interrupt moderation at all.
hw.nfeX.imtimer -> -Y hardware timer simulated interrupt moderation,
                      the simultated interrupt moderation timer will
                      be set to Y.
hw.nfeX.imtimer -> Y  hardware timer only interrupt moderation,
                      hardware timer will be set to Y.

Set hw.nfeX.imtimer to -125 (8000Hz) should work on most system.

With heavier interrupt moderation (e.g. hw.nfeX.imtimer to -250), it is
recommended to increase hw.nfe.rx_ring_count tunable to a higher value
(e.g. 512), since the default value (128) is obviously too small.

Split hardware capabilities and softc flags

First step to split hardware capabilities and softc flags

Nuke unused field

HAMMER 60C/many: Mirroring

* Clean up the B-Tree mirror_tid update code, rewiring it a bit
  to reduce code pollution.

* Properly detect the mirroring mode (master, slave, or no-mirror mode)
  via the pfs configuration.

HAMMER Utilities: Stabilization

* Fix a bug in mirror-copy that was causing extra process forks to occur.

Regenerate the pciconf(8) database from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Jul  1, 2008
Mares:   Jul  1, 2008

Make ip_forward public, so that it can be used from other places as well.

Ok'ed:  sephe@

HAMMER Utilities: Sync with recent work.

* The masterid and slave options are now pseudo-fs options and not general
  mount options.

HAMMER 60B/many: Stabilization

* Redo the estimated space usage calculation, it was horribly broken.
  There may still be issues with read+write memory maps.

* Fix a bug in the reblocker that allowed it to exhaust all available
  space on the media.  While the reblocker eventually compacts the media
  it can actually require additional disk space while running.

Note that file deletions in normal history retention mode do not recover
any space unless followed by pruning, and may even require additional space.
If worse comes to worse a full filesystem might have to be remounted in
nohistory mode to recover space.

Reported-by: Gergo Szakal <bastyaelvtars@gmail.com>

HAMMER Utilities: Mirroring and pseudo-fs directives

* Add mirror-read, mirror-write, and mirror-copy.

* Replace the pseudofs directive with pfs-status, pfs-create, and pfs-update.

  Create a pseudofs configuration infrastructure.  Configuration parameters
  can be specified via pfs-create and pfs-update for any HAMMER filesystem or
  HAMMER pseudo-filesystem.  This is basically how you tell HAMMER that
  a particular pfs is a master or slave, and allows both a unique and a shared
  uuid to be associated with the pfs.  The mirroring code will only mirror
  to targets with the same shared uuid as the master sourcing the data.

HAMMER 60A/many: Mirroring work

* Add a pseudo-fs structure for tracking pseudo-fs configurations.

* Add pseudo-fs status and configuration ioctls

* Fix a b-tree node deletion race that could result in an
  assertion (reported by Rumko <rumcic@gmail.com>)

Don't try to run newaliases at all.  This happens anyways on boot.

HAMMER 59J/Many: Features

* The pruning code now disposes of any disconnected inodes it encounters.
  A disconnected inode can be created when a process holds an open
  descriptor on an unlink()'d file, and the machine then crashes.

HAMMER 59I/Many: Stabilization pass

* Move calls to hammer_flusher_clean_loose_ios() to handle more cases.
  This fixes a kmalloc memory blowout that can occur when removing
  a 1.6TB file.

Fix [gs]etsockopt(IP_HDRINCL) which allows mere mortals like me to obtain
IP addresses via DHCP again.

HAMMER 59H/Many: Stabilization pass

* Fix a bug introduced in 59G that will corrupt the filesystem when it
  becomes full.  A pointer was not being NULL'd out and caused
  hammer_blockmap_reserve() to return a bogus offset when the loop
  could find no free space.

HAMMER 59G/Many: Stabilization pass (low memory issues)

Make adjustments in an attempt to remove deadlocks from the pageout and
buffer flushing paths when a system is low on memory.

* Restructure the low level storage allocator to use layer2->append_off
  and to move the blockmap lock deeper into the routine, pass the buffer
  ops.

* Do kmalloc()'s of critical structures accessed by the backend with
  M_USE_RESERVE.

* Have hammer_vop_write() call bwillwrite() unconditionally, even if
  called from the pageout daemon.  Do not release or relock the vnode
  at all.

  Theoretically bwillwrite() in the pageout path should still allow
  strategy calls from the buf_daemon threads to proceed, and not deadlock.

Reported-by: Gergo Szakal <bastyaelvtars@gmail.com>

Fix numerous pageout daemon -> buffer cache deadlocks in the main system.
These issues usually only occur on systems with small amounts of ram
but it is possible to trigger them on any system.

* Get rid of the IO_NOBWILL hack.  Just have the VN device use IO_DIRECT,
  which will clean out the buffer on completion of the write.

* Add a timeout argument to vm_wait().

* Add a thread->td_flags flag called TDF_SYSTHREAD.  kmalloc()'s made
  from designated threads are allowed to dip into the system reserve
  when allocating pages.  Only the pageout daemon and buf_daemon[_hw] use
  the flag.

* Add a new static procedure, recoverbufpages(), which explicitly tries to
  free buffers and their backing pages on the clean queue.

* Add a new static procedure, bio_page_alloc(), to do all the nasty work
  of allocating a page on behalf of a buffer cache buffer.

  This function will call vm_page_alloc() with VM_ALLOC_SYSTEM to allow
  it to dip into the system reserve.  If the allocation fails this
  function will call recoverbufpages() to try to recycle from VM pages
  from clean buffer cache buffers, and will then attempt to reallocate
  using VM_ALLOC_SYSTEM | VM_ALLOC_INTERRUPT to allow it to dip into
  the interrupt reserve as well.

  Warnings will blare on the console.  If the effort still fails we
  sleep for 1/20 of a second and retry.  The idea though is for all
  the effort above to not result in a failure at the end.

Reported-by: Gergo Szakal <bastyaelvtars@gmail.com>

We are using 4.1.2 really.

Build objc support.

Merge from vendor branch GCC:
Add objc to the gcc-4.1.2.

Add objc to the gcc-4.1.2.

HAMMER 59F/Many: Stabilization pass

* Use kmalloc_limit() to calculate a better record limit.  This fixes an
  issue on machines with limited system memory where HAMMER could blow
  out its kmalloc pool by allocating too many records.

Fix a low-memory deadlock in the VM system which can occur on systems
with small amounts of system memory.  The pageout daemon uses LK_TIMELOCK
to avoid deadlocking on a vnode so it can continue operation.  This only
works if lk_timo is non-zero, but all filesystems initialize their vnodes
with a timeout of zero so the feature is defeated.  Adjust allocvnode()
to guarantee that lk_timo is never zero.

Add a new helper function, kmalloc_limit().  This function returns
the number of bytes that can be held in a M_XXX kernel memory pool.

HAMMER 59E/Many: Stabilization pass

* Sprinkle around calls to hammer_flusher_clean_loose_ios() to clean up
  hammer buffers with no buffer cache buffer associations, so they can't
  build up and blow out kernel memory.

* Fix a bug when deleting large files where not all records were being
  properly moved to the new flush group.

* Fix a bug when truncating large files where a trunction followed by
  write()s followed by another truncation would incorrectly reorder the
  writes() in the middle to occur after the second truncation.

Fix a buf_daemon performance issue when running on machines with small
amounts of ram.  The daemon was hitting a 1/2 sleep case that it should
not have been hitting.

HAMMER 59D/Many: Stabilization pass

* Fix a panic that occurs when the crash recovery undo space is larger
  then conveniently fits in the buffer cache.

* Fix a bug in the truncation code (detected by fsx).  The bug was related
  to moving an inode from one flush group to another (which itself was done
  to fix a bug related to blowing out the buffer cache).

Clarify comment.

Fix a NULL pointer dereference when a DDB 'ps' attempts to
list a process which has no LWPs associated with it.

Fix typo in sln(4) PCI ID.

Regenerate

Fix typo in sln(4) PCI ID.

Fix an issue where CAM would attempt to illegally get a lockmgr() lock
from an interrupt via xpt_done().  Use a spin lock instead.

Fix an issue where camisr_runqueue() was not protecting sim->sim_doneq
which could then race against an interrupt via xpt_done() and corrupt
the list.

Adjust comments.

Reported-by: Jordan Gordeev <jgordeev@dir.bg>

Clean up stale comment and unused umount.

Noticed-by: swildner@

Don't run binaries in the new built root, but use host binaries instead.

This allows us to do cross-builds (older host kernel) again, which was
broken for some time now.

The mkfontdir command was not changed yet, but this is no regression.

HAMMER 59E/Many: Stabilization pass - fixes for large file issues

* Correct a bug related to inodes moving between flush groups (when
  truncating a large file).  Some records were not being moved and
  cause an assertion later on.

* Fix a leak of B_LOCKED buffers which could occur under heavy loads.
  Eventually enough build up to deadlock the buffer cache.

HAMMER 59D/Many: Sync with buffer cache changes in HEAD.

* Adjust hammer to limit dirty meta-data buffers based on total bytes
  rather then total buffers.

* Limit to 1/4 the buffer cache limit (for now)... a better solution
  is needed.

Fix hopefully all possible deadlocks that can occur when mixed block sizes
are used with the buffer cache.  The fix is simply to base the limiting
and flushing code on a byte count rather then a buffer count.

This will allow UFS to utilizes a greater number of dirty buffers and
will cause HAMMER to use fewer.  This also makes tuning the buffer cache
a whole lot easier.

HAMMER 59C/Many: Stabilization pass - fixes for large file issues

* Rename hammer_delete_range_all() to hammer_delete_clean().  This function
  is no longer responsible for deleting data and db records when a file
  is removed.  The normal hammer_delete_range() function now does that for
  all cases.

* Adjust hammer_delete_range() to not restart at offset 0 when it hits a
  deadlock or must defer the remainder of the operation to another flush
  cycle.  When removing very large files (greater then 500GB) the constant
  restarts resulted in exponential delays.

  Instead the function restarts near where it had left off the previous try.

* Change ip->sync_trunc_off's dynamics so it can be used to cache the
  restart offset.  The truncation state can now be left intact on the
  backend and the frontend will merge new truncations into it instead
  of replacing the truncation.

  Add a new field, ip->save_trunc_off to handle the append overwrite
  check optimization (sync_trunc_off used to be used for that, no longer).

* Fix minor bugs, and use the new bwillwrite() API.

* Remove the #if 0'd out cluster_write() code entirely (it never worked
  anyway).  The new buffer cache subsystem in the kernel allows bdwrite()
  to be used with no real penalty.

Replace the bwillwrite() subsystem to make it more fair to processes.

* Add new API functions, bwillread(), bwillwrite(), bwillinode() which
  the kernel calls when it intends to read, write, or make inode
  modifications.

* Redo the backend.  Add bd_heatup() and bd_wait().  bd_heatup() heats up
  the buf_daemon, starting it flushing before we hit any blocking conditions
  (similar to the previous algorith).

* The new bwill*() blocking functions no longer introduce escalating delays
  to keep the number of dirty buffers under control.  Instead it takes a page
  from HAMMER and estimates the load caused by the caller, then waits for a
  specific number of dirty buffers to complete their write I/O's before
  returning.  If the buffers can be retired quickly these functions will
  return more quickly.

Remove extra '.'

* Use literal displays instead of .Li

* Comment out empty section

* Sync SYNOPSIS

* Use .Pa for paths, .Xr for manual page references and .Ex for exit status

* Remove empty lines and trailing whitespace.

* Bump date for r1.26.

style(9)

Bump the sortq_lost check from 8 to 128, letting the disk optimally read or
write a larger swath before forcing through long-delayed requests.

Fix a system performance issue created by ata_sort_queue().  This function
implements an elevator sort but it also allows requests to be delayed
indefinitely when other requests continually get inserted in front of them.
HAMMER's almost log-linear writing really exposes this issue.

The fix is to count how many times a request got delayed due to an insertion.
If the count exceeds 8, the new request is placed at the end of the queue and
set as the new freeze point.

HAMMER 59B/Many: Stabilization pass - fixes for large file issues

* The flusher was trying to flush whole inodes in one pass.  If a large
  (in the 100GB range) file is deleted or truncated this single pass could
  blow out the UNDO FIFO and cause a panic.

  Detect the case and only do a partial flush, then requeue the inode to
  the next flush group and reflush.  This continues until the file is
  completely eradicated or the truncation has completed.

* In addition, the same flusher issue could exhaust the kernel's buffer
  cache with unflushable dirty buffers.  The same fix applies.

* The UNDO FIFO code was calculating available space based on the next
  flush's start position instead of the last flush's start position,
  allowing areas of the UNDO FIFO still subject to a recovery pass
  (if a crash were to occur right then) to be overwritten too soon.

* The pruner and reblocker were doing insufficient UNDO FIFO space checks
  and could blow out the UNDO FIFO.  Fixed.

Rework stop path.

Obtained-from: forcedeth

- Rename NFE_RXTX_V[32]MAGIC to NFE_RXTX_DESC_V[32].
- Change NFE_RXTX_DESC_V3 from 0x2200 to 0xc02200; it is quite interesting
  the thing actually worked.
- Add rxtxctl_desc in softc, which stores the desc type of rxtxctl.  Set
  it up during attach.
- Add power control fixes on attach and init path.

Obtained-from: forcedeth

Fix a typo so that old netgraph builds again.

- Disable WOL during attach, don't mess with it during init
- NFE_WOL_MAGIC -> NFE_WOL_ENABLE

Obtained-from: forthdeth

Add flag to indicate that the NIC does not have power control capability.
Model numbers from forcedeth.

Add nfe(4)

Suggested-by: Chris Turner <c.turner@199technologies.org>

Add man page entry for "hammer snapshot".

fxp_stop needs to be serialized

Drop out of place readline function declarations.

Stop building libreadline.

Libreadline has not been used for a while, only its headers.
Libedit now provides readline headers, so we can drop readline.

Install libedit's readline headers.

Also install compat headers which are sometimes used.

Increase the default request timeout from 5 seconds to 10 seconds.

Using advise from Volker Theile of the FreeNAS project via:
http://wiki.freebsd.org/JeremyChadwick/ATA_issues_and_troubleshooting

dummy_thr does not have to be committed and pthread_t might not even
be a pointer on some systems.

Apply patch supplied in FreeBSD-PR to ata-raid code:

"A drive that was once part of an ataraid device, when added back to the
machine that it was on, shows up as a new ataraid device. This new ataraid
device tries to use all the drives that were originally in the RAID.
Results can range from a confusion to a real mess."

Obtained-from: http://www.freebsd.org/cgi/query-pr.cgi?pr=121899&cat=kern
Author: Stef Walter <stef@memberwebs.com>

Add files and options lines for NETGRAPH7

Add additional atomic ops from FreeBSD.

Obtained-from: FreeBSD

Netgraph port from FreeBSD - initial porting work

* Use relative #include's as appropriate so the code doesn't
  dig into the original netgraph/ directory.

* Move FBSDID's and add DragonFly ids.

* Fix improper uses of M_NOWAIT.

* Fix uses of M_NOWAIT which should be MB_DONTWAIT and vise-versa
  (also forward to Julian).

* Add a dragonfly.h compatibility header.

* NOTE: m_tag_alloc() in DFly takes MB_ flags.

Fallback using a default snapshot name if just a directory is supplied
(e.g. hammer snapshot /mysnapshots will use /mysnapshots/snap-%Y%m%d-%H%M).

Merge from vendor branch NETGRAPH:
Vendor import of netgraph from FreeBSD-current 20080626

Vendor import of netgraph from FreeBSD-current 20080626

Add KTR_HAMMER

Make sure UFS disallows mknod()'s with type VDIR.

We only need to determine the softlink_dir when no filesystem is
explicitly specified.

Use strftime to produce the snapshot name, for example:

    hammer snapshot "/mysnapshots/snap-%Y-%m-%dT%H:%M:%S"

Usage is now:

    hammer snapshot <softlink-dir-fmt>
    hammer snapshot <filesystem> <softlink-dir-fmt>

Adapt usage string from cmd_prune.c.

HAMMER Utilities: Add "slave" option to hammer_mount.

* Add the "slave" mount option for hammer mounts.  This option will allow
  a mounted hammer filesystem to be a mirroring and pruning target but
  disallow user-level modifications.

Make msk(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

Make bfe(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

HAMMER Utilities: Sync with 59A

* Add mirror-read, mirror-write, and status directives.

HAMMER 59A/Many: Mirroring related work (and one bug fix).

* BUG FIX: Fix a bug in directory hashkey generation.  The iterator could
  sometimes conflict with a key already on-disk and interfere with a pending
  deletion.  The chance of this occuring was miniscule but not 0.  Now fixed.

  The fix also revamps the directory iterator code, moving it all to one
  place and removing it from two other places.

* PRUNING CHANGE: The pruning code no longer shifts the create_tid and
  delete_tid of adjacent records to fill gaps.  This means that historical
  queries must either use snapshot softlinks or use a fine-grained
  transaction id greater then the most recent snapshot softlink.

  fine-grained historical access still works up to the first snapshot
  softlink.

* Clean up the cursor code responsible for acquiring the parent node.

* Add the core mirror ioctl read/write infrastructure.  This work is still
  in progress.

  - ioctl commands
  - pseudofs enhancements, including st_dev munging.
  - mount options
  - transaction id and object id conflictless allocation
  - initial mirror_tid recursion up the B-Tree (not finished)
  - B-Tree mirror scan optimizations to skip sub-hierarchies that do not
    need to be scanned (requires mirror_tid recursion to be 100% working).

Remove trailing space.

Missing TX_UNK -> TX_POLL conversion