Add a vclean_unlocked() call that allows HAMMER to try to get rid of a
vnode.

Tunables are called loader tunables; fix this in a few places.

Update netstat help:
 - sync usage() with netstat.1
 - describe that -W shows MPLS label operations
 - add description of protocol families and carp(4)
 - add cross references to inet6(4) and carp(4)

Add patch from 9.3.5 to 9.3.5-P1. This is for adding randomization
for every query.

The patch for the security issues from 9.3.5 to 9.3.5-P1 (minus
win32 and doc) applies fine to HEAD contrib/bind-9.3 (which is
9.3.4-P1) other than a few RCS ident conflicts.

I made up my own version name for this for DragonFly: 9.3.4-P2.

This is for
http://www.kb.cert.org/vuls/id/800113
http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2008-1447

Note that this -P1 patch is the unoptimized version.
Also on busy recursive caching systems you may need to set limits
to allow many sockets.

This also removes comment from DragonFly's named.conf as
that is now a "warning" and is not recommended. Remove any
query-source restriction for one port or this patch will not be used.

Update LINT:
 - add reference to kernconf(5)
 - copy description of SMP from GENERIC,
espcially that APIC_IO can be laft out
 - truncate description of polling(4) & dummynet(4),
ensure reference to polling(4) & dummynet(4).
This also removed outdated description of dependency on HZ.
Corret information is in manual pages; it is best to have it in one place.
 - point out that SOFTUPDATES applies to UFS only.
 - add HAMMER to list of filesystems which cant be build as module.
 - point outthat ATA_STATIC_ID is for NATA also, not just ATA.

Add prototype for crc32_ext().

Make support for polling(4) more visible,
by including a sentence; not only a cross reference to polling(4).
bce.4 and bge.4 was missing any refence to polling(4).
Also add sentence with general reference to ifconfig(8) in manual pages missing it.

Change how `options INCLUDE_CONFIG_FILE' is fixed:
use gcc'ism, __used attribute,
instead of relying on compiler not doing global optimization.
This also doesn't introduce name space pollution.
Also add comment.

Suggested-by: corecode

HAMMER 61C/Many: Stabilization

* Clean up flusher sequencing for the mirroring, pruning, and reblocking
  code.  Check free space and don't let the buffer cache implode.

HAMMER 61B/Many: Stabilization

* Giving the sync_lock's exclusive locks priority over shared locks caused
  a 3-way deadlock, revert to using normal shared locks.

* Move the syncer_lock deeper, closer to the code that actually needs to
  hold but still paying attention to atomicy requirements.  This reduces
  lock contention and improves performance with parallel loads.

Reported-by: Michael Neumann (using his file-creator program)

Add remains from the libreadline removal.

Nuke libreadline, it's no longer being built.

Add some files that seem to have slipped during the conversion from
etc/Makefile to Makefile_upgrade.inc.

HAMMER 61A/Many: Stabilization

* Fix a buffer exhaustion issue.  When creating large numbers of empty files
  a single inode sync of the directory can exhaust the buffer cache because
  not enough other things get dirty enough to force a flush.

  Put a check in the record syncing code and do a partial finalization if
  necessary to avoid deadlocking the buffer cache.

* Fix a panic caused by a missing call to hammer_cursor_deleted_element().

Reported-by: Michael Neumann <mneumann@ntecs.de>,
     Gergo Szakal <bastyaelvtars@gmail.com>

The symlink generated during "hammer snapshot" should be "/filesystem/@@0x.."
and not "/filesystem@@0x...".

style: compare return value of getopt() against -1 rather than EOF

Add crc32_ext() - allows continuation of a 32 bit crc.

Remove unused file.

HAMMER Utilities: Sync with 60J

* Minor changes, enhance mirror-dump a bit.

HAMMER 60J/Many: Mirroring

Finish implementing the core mirroring algorithm.  The last bit was to add
support for no-history deletions on the master.  The same support also covers
masters which have pruned records away prior to the mirroring operation.
As with the work done previously, the algorithm is 100% queue-less and
has no age limitations.  You could wait a month, and then do a mirroring
update from master to slave, and the algorithm will efficiently handle it.

The basic issue that this commit tackles is what to do when records are
physically deleted from the master.  When this occurs the mirror master
cannot provide a list of records to delete to its slaves.

The solution is to use the mirror TID propagation to physically identify
swaths of the B-Tree in which a deletion MAY have taken place.  The
mirroring code uses this information to generate PASS and SKIP mrecords.

A PASS identifies a record (sans its data payload) that remains within
the identified swath and should already exist on the target.  The
mirroring target does a simultanious iteration of the same swath on the
target B-Tree and deletes records not identified by the master.

A SKIP is the heart of the algorithm's efficiency.  The same mirror TID
stored in the B-Tree can also identify large swaths of the B-Tree for which
*NO* deletions have taken place (which will be most of the B-Tree).  One
SKIP Record can identify an arbitrarily large swath.  The target uses
the SKIP record to skip that swath on the target.  No scan takes place.
SKIP records can be generated from any internal node of the B-Tree and cover
that node's entire sub-tree.

This also provides us with the feature where the retention policy can be
completely different between a master and a mirror, or between mirrors.
When the slave identifies a record that must be deleted through the above
algorithm it only needs to mark it as historically deleted, it does not
have to physically delete the record.

Update example disklabel to bigger slice,
using partition sizes from recommendation and
Hammer partition of more realistic size.

Syncronize disklabel64.8 with disklabel.8.
Delete comments on partition `c' from disklabel64.8,
as partition `c' isn't special in disklabel64 label.

Change `M' to `MB' in disklabel64 output for partition sizes,
to make unit more clear.

Update recommendation for disk partition sizes;
with current abundance of disk space it is a bad idea to make scheme too tight.

Update estimate of extra disk space for debug kernel from 10MB to 60MB.
Current extra disk space for GENERIC w/ modules is 53MB (make.conf empty),
these numbers usually grow in time (more features).

Add some cross references.

Fix sockopt syscalls for the Nth time.

- update linux sys_{g,s}etsockopt to do copy{in,out}
- make sure we don't try to kmalloc(0) (use NULL)
- only test non-NULL addresses with kva_p()

Update FILES section and add a few extra cross references.

Fix `option INCLUDE_CONFIG_FILE',
which was broken using gcc4.1.2 (default compiler).

Solution is to drop `static' for variable containing CONFIG.
Name of variable also change from config to config_INCLUDE_CONFIG_FILE,
to minimize chance of name clash, now that it is made public.
Variable isn't used, so gcc optimized it away.

HAMMER Utilities: Mirroring work

* Change the key used for the PFS config structure.

Include HAMMER file systems when checking for setuid diffs.

Add HAMMER to the list of file systems to be searched by locate.updatedb.

Clarify that the argument to -t is in seconds.

Fix error: `#' can be escaped by `\', not `\\'.

Obtained-from: FreeBSD

Fix typo.

Fix typos.

Change .Fx to .Dx where appropriate.

Fix paths;
paths changed in the past when source tree restructured.

In manual pages and LINT,
 - Fix paths;
paths changed in past when source tree restructured.
 - Change .Fx/FreeBSD to .Dx/DragonFly where appropriate.

Change name of kernel tunable from imtime to imtimer,
to match name of corresponding sysctl variable.

Update nfe.4 with support for MCP73/77/79, and
add description of sysctl variables / tunables.

Update et(4) manpage after recent change

- Recollect TX descs, if et(4) is going to enter OACTIVE state.
- Add additional parameter to et_txeof(), so that calling et_txeof() in
  et_start() will not create recursion.
- Increase TX segments per interrupt to 256 after above changes.

This gives me additional +10Kpps 64bytes packet TX performance improvement
(now 918Kpps) and interrupt rate reduction.

Update et(4) manpage according to recent changes

- Increase RX coalesced packets from 32 to 129 to avoid being livelocked when
  ~1.48Mpps 64bytes packets are injected.
- Increase RX coalescing ticks from 20 to 25 and correct the comment about its
  unit: it is 4us instead of 10us (thanks go to jsg@openbsd.org for giving me
  the informational material :).

# An interrupt is generated if
# (RX pkt count > ET_RX_INTR_NPKTS) || (timer > ET_RX_INTR_DELAY)
#
# I thought the interrupt generation condition was
# (RX pkt count > ET_RX_INTR_NPKTS) && (timer > ET_RX_INTR_DELAY)

HAMMER Utilities: Sync with 60I

* Changes in the way PFS's are created and managed.

* Replace the pfs-create directive with pfs-master and pfs-slave.

* Add more checks against stupid user errors.

* A cycle file is no longer needed when using mirror-copy.  Mirror-copy
  now uses a two-way protocol and figures out what TID ranges need to
  be copied.

HAMMER 60I/Many: Mirroring

* Flesh out the mirroring code a lot.  It is now 90% done.

* Change the way PFS's are managed.  The PFS management structure is no
  longer associated with the PFS root inode.  Instead all PFS management
  structures, for all PFSs, are associated with the master root inode.

  This allows a mirroring slave to also mirror the root inode itself.

* Remove the directory localization hacks used to link a PFS to its parent.
  PFS's are no longer linked to their parent.  Instead, a special
  @@PFS softlink is created.

* The master/slave mode must now be selected when a PFS is created and
  cannot be changed.

* PFSs are accessed via a special @@PFS softlink created in the parent
  directory.  HAMMER manipulates this special softlink in the readlink()
  command and returns a longer form to the kernel which changes whenever
  the snapshot TID changes.

  This allows updates to slave PFSs by mirroring commands to not create
  stale system caches.  Every time you CD through the special softlink
  you get the most recent completed snapshot of the PFS.

* Userland now manipulates PFS ids as a simple integer in the range 0-65535.

Add PF_MPLSOPS, route flag `m', to netstat.8.
Add mpls as -f option: `netstat -f mpls'.

Add some OLD_PKGSRC_PACKAGES again (accidentally removed in the last commit).

Build the installer as part of normal build-/installworld if WANT_INSTALLER
is set.

Clean up nrelease/Makefile to define WANT_INSTALLER if the 'installer'
target is specified.

Add description for CVS_UPDATE and update description for SUP* variables.

Make et(4) aware ETHER_INPUT_CHAIN and ETHER_INPUT2

ata(4) isn't used in GENERIC anymore.

Update file list and description.

Handle MPLS on ETHER_INPUT2 code path

Update names of rc.d diskless scripts.

Add description of DragonFly-src-supfile.
Expand TABs.

HAMMER 60H/Many: Stabilization pass

* Fix races in the in-memory/B-Tree scanning code introduced by the
  mirror_tid update code.  This fixes two assertion panics.

* Remove compile-time reminder #warning that no longer applies.
  (Sascha will be happy).

Cleanup - move a warning so it doesn't spam the screen so much, cleanup
some syntax.

Add the HAMMER filesystem to GENERIC and VKERNEL.

Add 'options MPLS' to LINT.
Remove comment.

The behavior of -m introduced in r1.4 leads to an error message upon
booting if (for example) a laptop with a mouse pad is booted with an
additional USB mouse attached and both moused_enable and usbd_enable
are set in rc.conf.

Therefore, go back to the old behavior again, which is to allow
enabling the mouse cursor more than once.

HAMMER 60G/Many: Mirroring, bug fixes

* Fix a bug in the mirror_tid propagation that could cause a delete_range
  iteration to get way way off.  B-Tree insertions were not calling
  hammer_cursor_inserted_element().

* Fix an assertion in the delete_range iteration, delete-visibility could
  cause the assert to trigger when it shouldn't.

* Add a new assertion testing that the iteration is still within the
  inode object to catch any remaining mirror_tid propagation bugs.

* Minor code documentation adjustments.

Reported-by: Gergo Szakal <bastyaelvtars@gmail.com>

Introduce experimental MPLS over ethernet support. Add 'options MPLS'
to the kernel config file to enable it. This modification increases
the footprint of each route in the FIB by 12 bytes, used to hold up
to 3 label operations per route.

Hints-from: Ayame, NiSTswitch implementations.
Reviewed-by: dillon@, sephe@, hsu@, hasso@.

UFS+softupdates can build up thousands of dirty 1K buffers and run out
of buffers before it even hits the lodirtybufspace point.  The buf_daemon
is never triggered.  This case occurs rarely but can be triggered e.g.
by a cvs update.

Add dirtybufcount back in and flush if it exceeds (nbuf / 2) to handle
this degenerate case.

Reported-by: "Sepherosa Ziehau" <sepherosa@gmail.com>

Rename fid_reserved to fid_ext.

Sync zoneinfo database with tzdata2008d from elsie.

africa:         8.11 -> 8.13
asia:           8.20 -> 8.21
australasia:    8.8  -> 8.9
europe:         8.12 -> 8.14
northamerica:   8.23 -> 8.24
southamerica:   8.19 -> 8.26
zone.tab:       8.16 -> 8.18

From Arthur David Olson's and Paul Eggert's comments:

Changes affecting current and future time stamps:

* africa: changes to reflect Mauritius' 2008-2009 DST experiment

* southamerica and zone.tab: changes to reflect Brazilian time zone
  realignments

* America/Eirunepe also changed from ACT (UTC-5) to AMT (UTC-4) on June 24

Changes affecting past time stamps:

* For Mauritius, also include the 1982/1983 DST as reported by
  Steffen Thorsen

* For America/Argentina/San_Luis, redo the history from 1990 through 2000
  to match what's in Shanks & Pottenger

The following changes should not affect externally visible behavior:

* australasia, europe and southamerica: changes by Halasz Sandor Viktor to
  fix URLs

* Redo comments about Brazil to make it clearer about what west Para contains

* Update Brazil comments to mention Decree 6,212 (2007-09-26)

* Make comments a bit more concise for Brazil and Mauritius

* Redo comments about Argentina to reflect the fact that San Luis is now
  separate

* Redo the daylight-saving rules for Berlin in 1945 to make it clearer that
  these are for the Soviet Zone, not for Berlin in general

* Redo Bahamas rules to make it clearer that the rules after 1975 are the
  same as the US

* Add comments about time in China from 1949 to 1980
  (Thanks to Thomas S. Mullaney for this.)

Do copy{in,out} early in the {g,s}etsockopt system call paths
so the rest of the kernel can assume it's dealing with a
kernel address in ->sopt_val. This means that soopt{,_m}copy{in,out}
are now seriously misnamed and should be replaced by soopt_{from,to}_*

Suggested-by: dillon@

IFF_BROADCAST will never be changed

White space

The MAC address of nfe(4), whose device id is above MCP55, is saved in
different order than older ones.  Model numbers from forthdeth.

Reported-by: Michael Neumann <mneumann@ntecs.de>

HAMMER Utilities: Sync with 60F

* Use sync_end_tid as the snapshot TID rather then sync_beg_tid.

* Initialize sync_beg_tid to 0 instead of 1 in PFS 0's pfsd structure.

* Reported the random fsid assigned by newfs_hammer to a new HAMMER
  filesystem.

HAMMER 60F/Many: Mirroring

* Properly propagate mirror_tid when splitting B-Tree nodes.

* Arrange for the fsid reported as st_dev to be based on the shared_uuid,
  so the same value is reported on the slaves as on the master.

  Munge the fsid based on the asof timestamp to try to make snapshots look
  different from current filesystems, so programs like 'diff' don't get
  confused.

  This allows one to run (tar cf - directory@@<timestamp> | md5) on a
  slave and get the same answer as he got on the master.  Note, however,
  that the tar cannot include the root directory of the PFS or master
  because the root directory inode is not mirrored (only files and directories
  underneath it), and will mess up the MD5.

* Properly update vol0_next_tid when writing to a mirroring slave.

* Attempt to regenerate the inode for the root PFS when doing a name lookup
  based on the current latest snapshot.  This may need more work.

When creating a new HAMMER filesystem also create a PFS record for it,
setting the unique and shared uuids to the fsid in the volume header.

HAMMER Utilities: Sync with 60E

* Change the cycle file to hold an entire B-Tree base key, plus an optional
  TID (used by the mirroring code).

* Flesh out the mirroring code.  Add timeout (-t) support.  Add cycle file
  support.

* When mirror-copy is used have the target sync the filesystem
  and acknowledge completion and store the completed TID in the cycle
  file.

* Incremental mirroring now works when using mirror-copy with a cycle file.

* Add mirror-dump, aka hammer mirror-read ... | hammer mirror-dump, for
  debugging.

HAMMER 60E/Many: Mirroring, bug fixes

* Work on the mirror_tid propagation code.  The code now retries on
  EDEADLK so propagation is guaranteed to reach the root.

* Get most of the mirror_write code working.

* Add PFS support for NFS exports.  Change fid_reserved to fid_ext and use
  it to store the localization parameter that selects the PFS.  This isn't
  well tested yet.

* BUGFIX: Fix a bug in vol0_last_tid updates.  Flush sequences might
  not always update the field, creating issues with mirroring and snapshots.

* BUGFIX: Properly update the volume header CRC.

* CLEANUP: Fix some obj_id's that were u_int64_t's. They should be int64_t's.

* CLEANUP: #if 0 out unused code, remove other bits of unused code.

Ensure AP is associated before we return.

Otherwise further rc.d processing, eg dhclient,
can fail to get working network connection.

Fix typo.

Describe which FW package is causing error;
we have multiple FW packages in base system.

Update etc/inetd.conf:
 - uucp removed from base system 5 years ago
 - kerberosIV removed from base system 4 years ago
 - pcnfsd removed from base system 14 years ago
 - change path in examples from /usr/local/ to /usr/pkg/
   as we changed from ports to pkgsrc several years ago

Change soopt_mcopyin() and soopt_mcopyout() to not modify soopt_val and
soopt_valsize.  This fixes a "already free" panic when so_pru_ctloutput()
kfree()'s soopt_val.

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>
Reviewed-by: Aggelos Economopoulos <aoiko@cc.ece.ntua.gr>

Add Makefile that compiles serial port enabled boot loader.

Extend boot loader so that it can be compiled to work over a serial port.

Obtained-From: FreeBSD

Nuke unused macro and comment

Print chip informantion in bge_attach() instead of bge_probe()

Adjust default interrupt moderation variables

For PCI Express devices:
1) Adjust max read request size to 4Kbytes
2) Turn on FIFO_LONG_BURST in RDMA during bge_blockinit()

Though 1) does not seem to have much to do with the poor TX performance (*)
observed on PCI Express bge(4), 2) does fix the problem.

Obtained-from: tg3

# (*)
# http://lists.freebsd.org/pipermail/freebsd-net/2007-June/014373.html
# FreeBSD kern/119361

TX coalesce ticks can't be more than 1023

Obtained-from: tg3

Add bits for PCI Express device control register

Error out if no volumes are specified instead of core-dumping.

Submitted-by: Antonio Huete Jimenez <tuxillo@quantumachine.net>

HAMMER 60D/Many: Mirroring, bug fixes

* Add more mirroring infrastructure.

* Fix support for unix domain sockets.

Reported-by: Gergo Szakal <bastyaelvtars@gmail.com>,
     Rumko <rumcic@gmail.com>

If boot verbose, print asicrev, chiprev and bus type.

- Add delay in MII registers reading
- Minor style changes

Use hardware timer to simulate interrupt moderation.

hw.nfeX.imtimer -> 0  no interrupt moderation at all.
hw.nfeX.imtimer -> -Y hardware timer simulated interrupt moderation,
                      the simultated interrupt moderation timer will
                      be set to Y.
hw.nfeX.imtimer -> Y  hardware timer only interrupt moderation,
                      hardware timer will be set to Y.

Set hw.nfeX.imtimer to -125 (8000Hz) should work on most system.

With heavier interrupt moderation (e.g. hw.nfeX.imtimer to -250), it is
recommended to increase hw.nfe.rx_ring_count tunable to a higher value
(e.g. 512), since the default value (128) is obviously too small.

Split hardware capabilities and softc flags

First step to split hardware capabilities and softc flags

Nuke unused field

HAMMER 60C/many: Mirroring

* Clean up the B-Tree mirror_tid update code, rewiring it a bit
  to reduce code pollution.

* Properly detect the mirroring mode (master, slave, or no-mirror mode)
  via the pfs configuration.

HAMMER Utilities: Stabilization

* Fix a bug in mirror-copy that was causing extra process forks to occur.

Regenerate the pciconf(8) database from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Jul  1, 2008
Mares:   Jul  1, 2008

Make ip_forward public, so that it can be used from other places as well.

Ok'ed:  sephe@

HAMMER Utilities: Sync with recent work.

* The masterid and slave options are now pseudo-fs options and not general
  mount options.

HAMMER 60B/many: Stabilization

* Redo the estimated space usage calculation, it was horribly broken.
  There may still be issues with read+write memory maps.

* Fix a bug in the reblocker that allowed it to exhaust all available
  space on the media.  While the reblocker eventually compacts the media
  it can actually require additional disk space while running.

Note that file deletions in normal history retention mode do not recover
any space unless followed by pruning, and may even require additional space.
If worse comes to worse a full filesystem might have to be remounted in
nohistory mode to recover space.

Reported-by: Gergo Szakal <bastyaelvtars@gmail.com>