HAMMER VFS - Fix deadlock in rmdir

hammer_vop_rmdir() maintains a cursor at the directory entry being deleted,
and then calls hammer_ip_check_directory_empty() to check if the directory
is empty.  The check code creates a second, nested cursor.

Any locks on the first cursor must be released in order to allow the
function to block while scanning the second cursor to avoid possible
deadlocks.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Remove the unused also_ip argument from the cursor API

Merge branch 'vendor/GDTOA'

Import gdtoa-20081205.

Note: This will not be connected to the build until after the 2.2
release.

loader(8): hw.usb.hack_defer_exploration's default value is 1.

Remove Asia/Katmandu upon 'make upgrade'.

Use .Fx.

Comment out function which we don't have.

lpr: don't rely on dirs having st_size > 0

getq determines the initial size of its queue array based on the st_size
of the queue directory.  If the queue directory is on a HAMMER file
system, this size will be reported as 0.  However the following array
growing logic just doubles the array size, thus always staying at 0.

Use a sensible minimum array size of 20 items (~ 512/24).

Reported-and-fix-by: Patrick Georgi <patrick@georgi-clan.de>

udf: Remove NULL dereference.

Even if the conditional wasn't wrong, it would be pointless, because
udfmp->hashtbl is already initialized by phashinit() in udf_mountfs().

Found-by: LLVM/Clang Static Analyzer

Bring in some fixes from tzdata2009a from elsie.

* strftime.c - c format warning fix

* zdump.c    - fix infinite loop caused by overflow/optimization interaction

Sync zoneinfo database with tzdata2009a from elsie.

asia:           8.24 -> 8.25
backward:       8.6  -> 8.7
europe:         8.18 -> 8.20
northamerica:   8.24 -> 8.26
zone.tab:       8.21 -> 8.26

From Arthur David Olson's comments:

* asia         - change Katmandu to Kathmandu

* backward     - provide Katmandu link

* europe       - correct Swiss rules

* northamerica - clearer definition of Cuban transitions (no binary change)
               - Resolute changes abbreviation (but not time) twice a year

* zone.tab     - Change Katmandu to Kathmandu
               - Change Resolute from Eastern Time to Eastern Standard Time

Issue 1013 - Update atime on exec, fix bug in last commit.

The call from the mmap code assumed that 'handle' was a vnode.  It is not
necessarily a vnode.  Use 'vp' instead.

Reported-by: Sepherosa Ziehau <sepherosa@gmail.com>

Issue 1013 - update atime on exec and mmap, add helper vop_markatime

Add a new helper VOP which passively updates a vnode's atime.  Implement
the new VOP in HAMMER and UFS and create a default op which does nothing.
Call the new function from mmap() and exec().

Submitted-by: Dion Blazakis
Reported-by: Simon Schubert

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER utility - Use a full path to /sbin/mount instead of relying on PATH

Remove GEMDOS support.

Remove checks for BOOTSIG[23] from FAT32 bootblocks.

There seems to be very little documentary evidence outside this
implementation to suggest a these checks are neccessary, and more
than one camera-formatted flash disk fails the check, but mounts
successfully on most other systems.

Obtained-from: FreeBSD

Don't check pm_Heads nor pm_SecPerTrack.

These might be 0 and aren't used anyway. Makes some "god knows where
formatted" usb sticks work here.

Obtained-from: FreeBSD

Make "route add 0.0.0.0/X <gw>" where X > 0 work again.

HAMMER utility - Add ^C support, improve verbosity.

The hammer utility will now write-out the cycle file when pruning or
reblocking is interrupted with ^C.

The hammer cleanup directive will now wait for children to exit before
exiting itself.

The hammer reblocking and pruning directives now generate more verbose
printf output.

NATA disk sort / elevator algorithm adjustments.

Move the sortq_lost counter from the request structure to the channel
structure to fix some edge conditions.  Limit the sort to a maximum of
16 elements before moving the freeze pointer.

This should improve the protection against large continuous linear reads
and writes which can delay unrelated I/O's for very long periods of time.

Reported-by: Hasso Tepper <sinknull@crater.dragonflybsd.org>,
     "Simon 'corecode' Schubert" <corecode@fs.ei.tum.de>

HAMMER: adjustments to flush on umount

Instead of waiting for up to 25 hammer sync sequences before giving up,
instead wait up to 25 seconds before giving up.

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>

Fix a bug in vinvalbuf().  vinvalbuf() is usually called when attempting
to reclaim a vnode but can sometimes be called with V_SAVE when attempting
to make a vnode reclaimable.  In the latter case write races with other
threads can create new dirty buffers after the FSYNC returns.

Only assert that dirty buffers are not present if the vnode is undergoing
reclamation.

Reported-by: "Justin C. Sherrill" <justin@shiningsilence.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Reorder an unlock to avoid a recursive vnode lock in the sys_mount() code.
This fixes a panic for double-mount_null cases.

Reported-by: Nicolas Thery <nthery@gmail.com>
Submitted-by: Johannes Hofmann <Johannes.Hofmann@gmx.de>

Remove extra '+'.

bce(4): fix module glue

Adjust for change to packet mode as default.

Adjust the installer for the switch to packet mode as default.

Merge branch 'master' of git://chlamydia.fs.ei.tum.de/dragonfly

boot0cfg: update + rephrase the man page for the new packet mode default

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Add code similar to what was done in physio to use a bounce buffer
if user data supplied to the CAM pass-throug device is not 16-byte aligned.
The user data was previously unconditionally vmapbuf()'d and the unaligned
pointer passed through to the device layer, causing NATA to barf badly on
SATA devices.

This fixes numerous dvd burning issues on SATA-based DVD burners.

Reported-by: Hasso Tepper <hasso@estpak.ee>

boot0: enable packet mode by default

mbr: de-C-commentize perfectly fine # assembler comments

mbr: enable packet mode by default

Make mbr always use packet mode if supported.
Define AVOID_PACKET_MODE to only use packet mode if necessary.

mbr: convert to preprocessed source

Fix mounting order of partitions.

If the user specified (e.g.) a /usr/bin partition before /usr, the installer
would end up mounting them in the incorrect order. To fix this, we sort the
partitions by mount point as they are created.

Remove /lib from the copy sources and sync internal table.

Make building ISOs with the installer the default.

I think it's safe to assume that ISOs without the installer are only
built by accident. The 'installer' target is a no-op now.

Merge branch 'master' of git://chlamydia.fs.ei.tum.de/dragonfly

Add a note about PFS in the subpartition dialog.

Native-speaker-review-by: justin@

Add LWKT_TOKEN_INITIALIZER

Fix a VMWare related bug in the installer

Someone noticed that the installer generated a wrong ifconfig_<if> line
in /etc/rc.conf if used under VMWare and with the lnc(4) driver.  Strange
about that is, that this only happens with that particular driver.  My em(4)
interface under VMWare is detected properly and the rc.conf entry is
correct.

The value of the interface variable is corrupted somewhere between the
invocation of dhclient and the asprintf.  This commit saves the interface
name in string directly after the dhclient invocation which fixes the
problem described above.

This commit is more a work-around than a real fix.  If someone comes up with
a better fix, I'm happy to back this out and test the new one.  Until now, this
makes the network configuration in the installer with VMWare and lnc(4) work.

Clean up some parts of nrelease

* Remove the untrue message in /etc/issue
* Sort the sources.conf and remove some deprecated entries

Fix a bug in the installer.

The installer tried to unmount all mount points in order (e.g. /var/tmp
should be unmounted before /var).  The code had a bug which prevent it from
doing it correctly.  It seems that nobody noticed the bug, because the default
file system layout does not suggest subdir mounts.  With the introduction of
PFS and subdir mounts (e.g. a /var/crash PFS), the bug showed up.

Simplify the code a bit and sort the mounted file systems in reverse
lexicographical order.

In-collab-with: mneumann@

null mount PFS correctly

If the user wants to configure the freshly installed system, all PFSs need
to be mounted.  Fix a bug which prevented the PFS from being null mounted.

Better handling of PFS within in HAMMER part of the installer.

Oops, acpi_cpu is part of acpi already.

Add acpi_{asus,cpu,thinkpad,toshiba,video} to LINT.

Add acpi_asus(4) module for adding Asus laptop support to ACPI.

Submitted-by: Dmitry Komissaroff <aunoor@gmail.com>
Taken-from:   FreeBSD

Set the auto-reflush flag if the flusher is unable to completely flush
an inode due to dependencies or memory considerations.

This should hopefully solve reported 'vinvalbuf: dirty bufs' panics,
which occur when VOP_FSYNC() returns before the inode is completely
flushed.

Reported-by: "Justin C. Sherrill" <justin@shiningsilence.com>

Sync fingerd with FreeBSD:

WARNS2 cleanup.

When the -p flag is specified, set an environment variable to the name
of the remote host (or rather, the name as mangled by realhostname_sa())
so that the process can use it to behave differently depending on the
origin on the request.  We use this to implement rudimentary visibility
control on our user information.

Remove register keyword.

ANSI function declarations.

Remove (void) casts.

Use off_t for file positions in comsat.

While I'm here, sync the manual page.

Obtained-from: FreeBSD

WARNS6 cleanup for cksum.

Remove (void) casts.

Use off_t for offsets instead of an u_int32_t.

Clean up #includes.

Obtained-from: FreeBSD

Implement proper backtracking in internal nodes.

Print right boundary for internal nodes.

Install ppbus headers.

Merge branch 'master' of /home/www-data/gitweb/dragonfly

Update build for OpenSSL-0.9.8j upgrade.

Merge branch 'vendor/OPENSSL'

Import OpenSSL 0.9.8j.

Note that we're adding a stripped-down doc/ and utils/ since we need
these to build our manual pages.

Finish the move from renaming the openssl source directory.

Mount USB stick root filesystem read/writable again.

Merge branch 'vendor/OPENSSL'

Move openssl-0.9/ to openssl/.

Versioning the directories just really doesn't make sense, especially
now with git.

Merge branch 'vendor/OPENSSL'

Remove old versions of OpenSSL.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Make the USB stick image boot the root filesystem
read only, just like the boot CD does. Also use 15%
instead of 15MB more space. This leads to an image
which contains a 97% full filesystem.

 Update to use kprintf() rather than printf().

 Add missing include for stdlib.h needed for exit().

Merge branch 'master' of git://venus/dragonfly

Merge branch 'master' of git://venus/dragonfly

 Use kprintf() rather than printf().

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Do not write two lines for swap to /etc/fstab.

Reported-by: Konstantinos Pachnis <kpachnis@freemail.gr>

keyadmin hasn't been used in nearly a decade.  Buh Bye.

Use 5MB more for the image file to not go beyond 100%
file system usage.

Allow mirror override, restructure git commands to allow other branches.

Sync iir(4) with FreeBSD.

This fixes disk recognition with the Intel RAID Controller SRCU42L, and
perhaps a few more other things.

Tested-by: Konstantinos Pachnis <kpachnis@freemail.gr>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1128>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Do not hard-code the repository paths, instead use
variables. This makes it easier to use a mirror.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix braino on my side.

Fix a bug with undo -d.  Sometimes the filesystem returns a duplicate TID
causing undo -d to choose the wrong TID.  It now searches backwards looking
for the second-to-last TID to diff against, ignoring any dups.

Reported-by: "Brad Frank" <brad.frank@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into devel

Fix a system livelock when ^C'ing a program sleeping in the console
driver.  ERESTART must be propagated back to userland so the signal can
be processed.  Trying to loop on it livelocks the machine.

Reported-by: Hasso Tepper

Clean up a bit and mention the new image stuff.

Fix typo: should be ${ISOROOT}, not ${ISODIR}.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Revert back to installing packages from a chroot.

Also, remove the -I option which prevented the package install scripts
from being run. This is important for the LiveDVD to properly build.

Cleanup USB stick image generation.

* Use $ISOROOT/mnt instead of the global /mnt.
* Automatically determine the free vn-device.
* Automatically determine the image size.

Merge branch 'master' of git://chlamydia.fs.ei.tum.de/dragonfly

Add IPv6 support to dntpd

This commit allows dntpd to work with either IPv4 or IPv6 NTP servers.  I added
two new command line switches (-4/-6) to force dntpd to use only v4/v6 addresses.
Thanks to sephe@ for some good hints.

Reviewed-by: sephe@

Fix last commit

Uncomment line that was commented in while testing.

Integrate USB stick image generation into nrelease.

To build the image use:

    make img release

Notice that you might have to change some of these
variables below:

    IMGFILE ?= ${ISODIR}/dfly.img
    IMGMNT ?= /mnt   # where the image is mounted
    IMGSIZE ?= 450   # the size in MB of the image
    IMGVN ?= vn0     # the vn device used for the image
    IMGUSBDEV ?= /dev/da0 # USB device name, required for fstab

To write the image to USB disk, use:

    dd if=${ISODIR}/dfly.img of=${IMGUSBDEV} bs=1m

Add some files which were removed from the system.