HAMMER: Mirroring, misc bug fixes

* Adjust hammer_flusher_async() to queue an extra flush if called twice
  in quick succession.  This fixes the 'sync' command to properly sync
  the entire filesytem.  Previously two syncs were needed.

* Fix a bug where a user application could get stuck due to HAMMER
  losing track of an inode flush.

* Mirroring masters now use the most recent fully committed transaction
  id instead of the last flushed (but still subject to rollback) tid.

  This fixes an issue where a mirror could pass information still subject
  to crash recovery rollback to the slave.  Now only fully committed
  information is passed to the slave.

* Fix a transitory bug where the mirroring code would sometimes not
  sync the correct delete state to the slave.  The slave would always
  be corrected in the next pass, however.  Now the slave is correct
  at all times.

* Fix a bug in hammer_mirror_write() where a delete-to operation could
  livelock.

* Add a new HAMMER ioctl which waits for the committed data transaction
  id to change.  This will be used by the mirroring code to implement
  continuous streaming operation.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>,
     Michael Neumann <mneumann@crater.dragonflybsd.org>
     (the user application freeze bug)

Minor white space and style changes

Minor white space and style changes

Minor white space and style changes

Unbreak world.

Add a quick entry for the new 'gpt boot' directive.

Add a terrible hack to GPT which allows non-EFI BIOSes to boot from it.
With a freshly made gpt on a disk you can run 'gpt boot da0' (specifying
the correct whole-disk name) and GPT will do the following:

* It will create a 100MB partition #0 in the GPT

* It will fake up a slice 1 in the PMBR for the BIOS and the loader that
  aliases partition #0 in the GPT.

The BIOS and loader will see a bootable slice 1 while the kernel, once
booted, will see a GPT.  This can cause confusion because the kernel
will NOT see the fake slice 1 any more, and the partition number in the
GPT of the boot partition 0 (aka da0s0).

The boot partition (da0s0 from the point of view of the kernel) needs
to have a 32 bit disklabel and a UFS filesystem in da0s0a which contains
the kernel image and boot sub-directory.  In the boot sub-directory the
loader.conf file must contain a line that points to the root mount, which
say you may have created with gpt add as partition #1.

Older kernels may require the root mount to also be in a disklabel, so you
might have to put a 32 or 64 bit disklabel in partition #1 as well.
This requirement will be removed soon relative to this commit (since the
idea with GPT is to not have to use disklabels).

    vfs.root.mountfrom="ufs:ad0s1a"
    vfs.root.mountfrom="ufs:ad0s1"

Pass the correct string to md_mount() when doing a diskless nfs mount.

Fix a bogus call to kfree() that panics the machine when a diskless nfs
mount fails.

Update for 2.0.

Reported-by: Michael Neumann <mneumann@ntecs.de>

Unbreak kernel building.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1097>

Allow gdb to be cross-compiled.

If you compile gdb with TARGET_ARCH set, it will yield a on the
host runnable gdb which can debug ${TARGET_ARCH}.

Pay attention not to actually install this binary, or you won't have
a host debugger anymore.  Consider this a developer-only feature for now.

Requested-by: Jordan Gordeev

Dispatch ipfw control to netisr0.  To avoid possible dangling netmsg handler,
create ip_fw2_glue.c, which will be built if inet is built.  IPFW_LOADED is
checked again after netmsg's handler is running, since ipfw unload netmsg may
be processed before this ipfw control netmsg.

Use seperate variable to indicate whether ipfw has been loaded or not, so
that following way could be used to protect various ipfw function pointers:
    ip_fw_loaded = 0;
    netmsg_service_sync();
    /* clear all ipfw function pointers */

.Pp not needed.

Argument not needed.

- Dispatch ipfw loading/unloading to netisr0
- Minor style changes

- Staticize ip_fw_default_rule
- Remove old comment about ip_fw_default_rule; it no longer apples.
  ip_fw_default_rule has only served bookkeeping purpose for a long time.

Remove some old driver remains.

Update hammer.8:
 * Drop superflous 'This variable contains'
 * Drop note that dhclient is ISC
 * Break network_interfaces item into ifconfig_interface etc. parts
 * Add Xref for rtadvd.8
 * Add /etc/startif.interface to FILES section
 * Improve markup

Remove old TINDERBOX kernel config.

Remove old packages.

Before installing kernel modules, make sure that the /modules
directory exists. In case it did not exist, the modules ended up
being appended to the /modules *file* (not directory).

HAMMER - fix kmalloc exhaustion w/ 3G ram

* Give the hammer_inode structure its own kmalloc pool.

vnconfig doc update:
 * Sync usage() to vnconfig.8
 * Use 'options' instead of 'option[,option...]'
 * Use 'options' consistently, not 'flags' sometimes

Add Xref to committer.7.

Update ffs.5:
 * Add 's0' as DragonFly needs this

Update mount_cd9660.8:
 * Fix SYNOPSIS

Update fdisk.8:
 * Add note on 2TB limitation and hint on gpt.8

Whitespace fix (cosmetic): delete empty line and tabs at end.

Actually install packages into ${ISOROOT}.

Submitted-by: corecode
Reported-by: M.K. <mk@freeweb.ozi.nu>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1092>

Update hammer.8:
 * Fix spelling error (dispaly)
 * Change Xref from hammer.5 to HAMMER.5
 * s/filesystem/file system/ (in text not commands) for consistent spelling
 * Improve markup

Implement mounting of a Hammer filesystem as a root filesystem.

To mount a Hammer filesystem as root filesystem (e.g. /dev/ad0s1d),
you have to specify the following in /boot/loader.conf:

    vfs.root.mountfrom="hammer:ad0s1d"

Update fstab.5:
 * Add HAMMER to list of common file systems
 * Remove note that block special files has to be used
 * Xref HAMMER.5 and ffs.5
 * Add a bit of markup
 * s/filesystem/file system/ to get consistent spelling

Fix comments.

Update gpt.8:
 * Add note that GPT partitions are accessed as DragonFly disk slices
 * Describe that add command will print disk slice.
 * Correct default partition type: it is dfly, not UFS
 * Mention that dfly partition type is for disklabel64.5
 * Add FILES section
 * Add EXAMPLES section
 * Add some Xrefs
 * Mention that migrate command isn'r for DragonFly
 * Add note that booting from GPT isn't supported

Fix small mdoc issue.

Fix two small mdoc issues.

Update disklabel64.8:
 * Update one line description to include '64 bit'
 * Update description of DragonFly disk slice numbering to include GPT
 * Remove specifications without relevance, left over from disklabel.8
 * Add Xrefs to uuid.3 and gpt.8
 * Add note that booting isn't supported
 * Enhance markup a bit

Update disklabel.8:
 * Update description of DragonFly disk slice numbering to include GPT
 * Add note on 2TB limitation and hint on disklabel64
 * Enhance markup a bit

Remove one .El too much.

Add stg(4) and digi(4)/dgb(4).

Add ncv.4, nsp.4 and stg.4 manual pages.

These drivers are already present in DragonFly,
they were present at initial import from FreeBSD,
but manual pages were added to FreeBSD after that time.

Obtained-from: FreeBSD

digi/dgb update:
 * Add digi.4 manual page.
 * digi.4 is a copy of dgb.4 with minimal brush up.
 * Set dgb driver to deprecated status.
The digi driver was imported from FreeBSD 3+ years ago.

Add uuids.5 to build.

Add uuids.5 manual page.

Fix tcsh crash when autologout is set.

Note that even with this fix, inserting the correct password after the
autologout timer expires will only unlock the session for the root
user (i don't know why). Any other user will not get its password
accepted as correct, but at least it won't crash.

Obtained from: FreeBSD (PR bin/124191)
Discussed with: matthias

Adjust the desiredvnodes (kern.maxvnodes) calculation for machines
with 3G+ of ram to prevent it from blowing out KVM.

Reported-by: Michael Neumann <mneumann@ntecs.de>

Update mount_hammer.8
 * Update SYNOPSIS to reflect that ':' can be used as separator for specials
 * Rename `mount-options' to `options' to follow mount.8 and
save some space in SYNOPSIS
 * Add Xrefs for HAMMER.5 and gpt.8
 * Use consistent spelling for 'file system'
 * Add fstab(5) part to existing example
 * Add markup

Add description of how to specify sizes.

Update newfs_hammer.8:
 * Add Xrefs for HAMMER.5 and gpt.8
 * Change Xrefs from disklabel[64].8 to .5
 * Add some markup

Add ifmedia(4) reference.

Add jme(4).

Add serializer assertion in all NIC driver interfaces

Switch to ETHER_INPUT2 on ethernet input path by default:
- Nuke old ether_input_chain and ether_demux_chain
- Nuke old vlan_input
- Nuke ETHER_INPUT2 kernel option
- Adjust comment about functions on old ether input path
- Adjust NIC drivers which aware ETHER_INPUT2

vlan(4):
Clearing of ifnet.if_vlantrunks is now protected in the following way
    trunks = ifp->if_vlantrunks;
    ifp->if_vlantrunks = NULL;
    netmsg_service_sync();
    kfree(trunks);
Users of ifnet.if_vlantrunks have already been adjusted to aware of this.

bridge(4):
Clearing of ifnet.if_bridge is now protected in the following way
    ifp->if_bridge = NULL;
    netmsg_service_sync();
Users of ifnet.if_bridge have already been adjusted to aware of this.

carp(4):
Remove the LK_NOWAIT lockmgr lock flags; using LK_NOWAIT was actually a
workaround for that lockmgr lock was used in NIC's interrupt routine
(i.e. old ether_input)
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue957>

ipflow:
- Now per-cpu ipflow hash table installs its own ipflow entry instead of
  having ipflow entry duplicated onto each cpu
- Remove the serializer parameter to ipflow_fastforward()
- Comment out ipflow_fastforward() in ef(4) and ppp(4), they need to be
  changed to fit the current ipflow cpu localization model

Staticize ether_input

Borrow comment from ether_input and ether_demux

Add function comment about ether_input_chain2

Fix style(9).

An off-by-one malloc size was corrupting the installer's memory,
causing the time-zone selector to seg-fault.

Submitted-by: Pierre Riteau <pierre.riteau@gmail.com>

There is no ndisapi(9) manual page.

Add jme(4).

Rather than putting examples in every wireless driver page, put them in
wlan(4) and reference it.

In-discussion-with: hasso, sephe

Make bsdcpio the default cpio.  Place WITH_GCPIO in make.conf if you want
the GNU version as the default.  Both are still built and installed.

- Serialize re_{resume,suspend}()
- Add serializer assertion in all major NIC driver interfaces

Add wlan to the SYNOPSIS.

Bring following change from FreeBSD (yar@freebsd.org):
  uipc_syscall.c rev 1.154

  If connect(2) has been interrupted by a signal and therefore the
  connection is to be established asynchronously, behave as in the
  case of non-blocking mode:

  - keep the SS_ISCONNECTING bit set thus indicating that
    the connection establishment is in progress, which is the case
    (clearing the bit in this case was just a bug);

  - return EALREADY, instead of the confusing and unreasonable
    EADDRINUSE, upon further connect(2) attempts on this socket
    until the connection is established (this also brings our
    connect(2) into accord with IEEE Std 1003.1.)

Tested-by: y0netan1@
Reviewed-by: hsu@
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1079>

There is no ndisapi(9) manual page.

Add some standard examples to the wireless driver manual pages and adjust
the few which already had examples.

Reviewed-by: sephe

Add manpage for jme(4)

Obtained-from: FreeBSD

Add jme(4)

Add support for JMicron Gigabit/Fast Ethernet chips.

Thank Ethan <ethanhsiao@jmicron.com> for sending me a board and several
very detailed documents about these chips.
Thank Pyun YongHyeon <yongari@freebsd.org> for bridging me and JMicron.

Obtained-from: FreeBSD (yongari@freebsd.org) w/ modification

Enable hardware timer simulated interrupt moderation by default.
The interrupt rate is throttled @8000Hz.

Move em(4) from MD conf/files to MI conf/files

HAMMER commit

* Discard recovered buffers when unmounting a read-only HAMMER mount.

* Discard recovered buffers when an attempted HAMMER mount fails.

* Clean up a transaction that was left open when a HAMMER mount fails to
  locate the root inode.

* Check that an undo record is at least minimally sized so corruption
  does not result in an infinite loop.

Reported-by: Dionysus Blazakis <dion.blazakis@gmail.com>,
    Gergo Szakal <bastyaelvtars@gmail.com>

Simplify ether_mport().  This also fixes the bug that m0 is not cleared in
the first place, which causes caller panik.

Reported-by: elekktretterr@exemail.com.au

Remove reference to ndisapi(9) which doesn't exist.

Remove some *_load lines for stuff we don't have.

Mention loader_color (for a color version of Fred in the loader menu).

Fix typos.

Document -f.

* Shuffle things around a bit for better structure.

* Merge the description of default history retention and snapshots into
  one section. Emphasize that the usual way of history access is via
  snapshots.

* Reword the description of what pruning does.

* Expand the snapshot example a bit.

Make -pthread a complete alias to -lpthread, not only in !shared case.

Discussed-with:  hasso@ (pro), joerg@ (con)
Pointed-out-by: hasso@

Change newfs_hammer to reserve a minimum of 100M for the UNDO FIFO.  Any
smaller and we risk a filesystem panic due to insufficient UNDO space.

Add warnings to newfs_hammer when the created filesystem is fairly small.

Reported-by: M.K. <mk@freeweb.ozi.nu>:

Fix LINT now that we build with -Werror-implicit-function-declaration.

Also fix some issues with too many arguments being passed to isa_dmastart()
and isa_dmadone().

Remove stopgap definition of TAILQ_FOREACH_SAFE.

Document TAILQ_FOREACH_SAFE.

Taken-from: FreeBSD

Sync with FreeBSD (adds DragonFly 2.0).

Synchronize some of the machine-independant AMD64 bits.

Obtained-from: Jordan Gordeev <jgordeev@dir.bg>

Synchronize some of the machine-independant AMD64 bits.

Obtained-from: Jordan Gordeev <jgordeev@dir.bg>

Uncomment reference.

Remove old comment.

Fix path for the package tools.

Reported-by: Archimedes Gaviola <archimedes.gaviola@gmail.com>

Don't let PROMISC interfere hardware vlan tagging operation.  Enable hardware
vlan tagging after this change.

- Add bge_cksum_pad() to assist hardware csum offloading on runts
  Obtained-from: NetBSD
- If bge_encap() fails, increase ifnet.if_oerrors

Add serializer assertion in all NIC driver interfaces

Increase RX ticks to 100us

Add jmphy.c

Add driver which supports PHYs from JMicron

Obtained-from: FreeBSD (yongari@freebsd.org)

regen

Add OUI for PHYs from JMircon