Merge branch 'vendor/TCPDUMP'

Merge branch 'vendor/TCPDUMP' (early part)

Move tcpdump-3.9/ to tcpdump/.  No need for a versioned dir.

Remove old versions of tcpdump.

Merge branch 'vendor/LIBPCAP'

Merge branch 'vendor/LIBPCAP' (early part)

Move libpcap-0.9/ to libpcap.  No need to version the directory.

Remove old versions of libpcap.

frevoke - More fixes to fdfree()

* Don't replace p->p_fd until after all closef()'s have been called.  Fixed
  panic in kqueue's close function.

* Move softrefs check to after the closef point, but before we actually
  start kfree()ing the structures.  Lock the closef's normally since
  p->p_fd is still valid.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - Formalize the maximum number of volumes (256).

Formalize the maximum number of volumes (256) by adding a define in
hammer_disk.h and then using it.

Submitted-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>

Add a wrapper script to allow "foreign" compilers into our build system.

With this commit, all CCVER values not associated with a compiler in
base will be relegated to the wrapper script which then (in conjunction
with the compilers.conf file) determines which non-base compiler to
use.

So far, defaults for clang (built from SVN) and pkgsrc/wip/gcc44 are
provided.

For more info see the compilers.conf(5) manual page and my mail on
kernel@:

http://leaf.dragonflybsd.org/mailarchive/kernel/2009-06/msg00013.html

hammer.sh: Sync with some of the recent installer changes.

* Use disklabel64(8).

* Do the 'chflags nohistory ...' after the cpdups to not have cpdup
  overwrite the flags again.

installer: Use disklabel64 for the UFS only install, too.

Discussed-with: dillon, corecode

installer: Move the 'chflags nohistory ...' commands behind the cpdups.

This works around the issue that cpdup resets the flags if changed
before.

Reported-by: corecode
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1259>

file descriptor enumeration - Fix races

Add a soft refrence count, fd_softrefs, to struct filedesc.  This is
used to prevent the filedesc from being ripped out from under a file
descriptor scan via the allproc scan, which is used to enumerate
file descriptors and also used by the revoke code.

Reported-by: hasso

SILI - Fix embarassing bug for non-NCQ disk accesses > 128G

Fix an embarassing bug for non-NCQ disk accesses > 128G.  This only
applied to non-NCQ accesses for disks and typically will not happen
with the SILI part since it can use NCQ for everything.  Non-NCQ
accesses for seek positions from 128G to 2TB were wrapping the LBA.

AHCI - Fix embarassing bug for non-NCQ disk accesses > 128G

Fix an embarassing bug for non-NCQ disk accesses > 128G.  This only
applied to non-NCQ accesses for disks which effectively means disks
behind a PM, since NCQ is generally used everywhere else.  Accesses
for seek positions from 128G to 2TB were wrapping the LBA.

sem_init.3: Some little mdoc cleanup.

installer: Fix debugging function call.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

SILI - ATAPI adjustments.

Restrict the sense length to what ATAPI expects and add more legacy
initialization to the packet FIS.

This was an attempt to fix some reported issues with ATAPI, but it didn't
fix anything.  However, it didn't hurt either and the adjustments are at
least as good as the old ones.

AHCI - ATAPI adjustments.

Restrict the sense length to what ATAPI expects and add more legacy
initialization to the packet FIS.

This was an attempt to fix some reported issues with ATAPI, but it didn't
fix anything.  However, it didn't hurt either and the adjustments are at
least as good as the old ones.

AHCI - Move some intel-specific magic writes to intel-specific code.

It is unclear if these are needed at all but in any case they only apply
to certain Intel chipsets anyway.

pcidevs - Add entries for Intel ICH6 and ICH7 series chipsets.

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Jul  1, 2009
Mares:   Jun  2, 2009

HAMMER VFS - Make the same changes to statfs() that were made to statvfs().

Update the sem_init(3) manpage - with additional info on the pshared impl.

Suggested-by: Hasso Tepper <hasso@crater.dragonflybsd.org>

Update the sem_init(3) manpage - shared semaphores are supported now.

It might need some more info about how shared semaphores are implemented
etc though.

libthread_xu - implement pshared for sem_init

Implement the pshared flag, creating a semaphore in shared memory
that works across fork().  No additional kernel support is needed,
our umtx* system calls work on the underlying physical memory and
thus work just fine with shared memory.

sem_alloc() uses mmap() to allocate a page of shared memory.
Currently sem_destroy() does not recover the allocated memory for
shared semaphores as it is unclear how one is supposed to do so
in a fork()ed environment.

Requested-by: Hasso Tepper <hasso@estpak.ee>

AHCI/SILI - Do manual chipid check to PMs with fake ports

* Add a switch() on the chipid for PMs which add a fake port at the
  end and avoid probing the fake port.  Probing the port is harmless and
  typically fails in the softreset sequence, but takes time.

installer: Add UFS /boot & HAMMER ROOT support.

The installer's HAMMER install option does now recommend (and require)
a UFS /boot partition.

Also, check more explicitly for the user specifying /usr, /var, etc.
and refuse to continue if he did because these will be automatically
created as pseudo fs's.

Finally, while here, do some miscellaneous cleanup.

In-discussion-with: dillon

installer: Raise the absolute minimum disk size to 2GB.

Also adjust some minimum partition sizes and size suggestions.

While here, eliminate some dead code.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Export highest supported production version with sysctl.

* Implement vfs.hammer.support_version to return the highest supported
  HAMMER FS version to userland.  Used by newfs_hammer.

HAMMER - newfs_hammer - format with highest production version available

* newfs_hammer now probes the HAMMER VFS and uses the highest production
  version supported to format the HAMMER filesystem.

HAMMER UTIL - show command now includes inode capability field.

HAMMER VFS - Fix umount panic on buffer flush race

* Set io.waitdep on buffers during umount to ensure that the buffer
  unload code waits for running buffers to complete their operation.

  This fixes occassional assertion panics on umount.

HAMMER VFS - version 2 work - move directory entries to inode localization

* Set version 2 features.  Directories created in a version 2 HAMMER
  filesystem place their directory entries in the B-Tree's inode localization
  space instead of the general space.  Pre-existing directories continue
  to use the old scheme.

* Amost doubles directory lookup / find / ls performance in effected
  directories.  However, at the moment the B-Tree must be reblocked before
  the gains are seen.

pthread_attr.3: Document pthread_attr_{get,set}_guardsize().

Adapted-from: FreeBSD

Merge branch 'vendor/LIBARCHIVE'

Upgrade to libarchive-2.7.0.

MP table: Test 0xe0000 when searching MP float pointer structure

MultiProcessor Specification version 1.4 never mentions this location,
however, some brain-dead BIOSes put MP table there ...  "Extened BIOS"
location is taken from mptable(8) in the base system.

Reported-and-Tested-by: ruse39 on EFnet #dragonflybsd

IO APIC: Mask the interrupt signal before trying to clear IRR by switching
trigger mode.

udp6 - Fix multicast and other issues

* The placemarker flag was being tested inverse to what it was supposed
  to be tested with.

Submitted-by: Kyle Butt <kylebutt@gmail.com>

ACPI MADT: Don't use the "Initial APIC ID" in cpu_procinfo(cpuid.1)

Some BIOSes seem to reprogram LAPIC ID to a value different from
what's in cpu_procinfo.

Introduce lapic enumerators, which is used to probe and config lapics

lapic enumerator implementation should provide two method:
lapic_probe()     -- make sure that if this enumerator is selected, later
                     lapic enumeration could work.  Return error code upon
                     failure.
lapic_enumerate() -- enumerate lapic and properly configure lapic (currently
                     only mapping lapic is needed).

lapic enumerator implementation could be registered by calling:
lapic_enumerator_register()
with lapic_enumerator struct.  The higher the priority field, the earlier
the lapic enumerator's lapic_probe method will be invoked.

Currently two lapic enumerators are implemented and registered:
- lapic enumerator using MP table
- lapic enumerator using ACPI MADT
ACPI MADT lapic enumerator has higher priority.  For testing purpose, ACPI
MADT lapic enumerator's priority could be overridden by setting tunable
hw.madt_lapic_prio to a smaller value (less than 20 currently)

Idea-from: FreeBSD

Move lapic_init() into apic/mpapic.c

MP probe: Get rid of cpu_apic_address

nrelease: Sync the LiveDVD kernels with some recent changes.

Make sili(4) compilable into the kernel and add it to GENERIC & LINT.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AHCI/SILI - Remove unused ScsiTypeArray array

SILI - Increase hard -> soft PM target delay to 5 seconds

* Unfortunately it looks like we have to seriously increase the delay
  between doing a hard reset via the PM to a target and initiating
  the softreset.

  The Silicon Image chip appears to brick the port if its softreset
  collides with the target device.  There is no way to fix it other
  then hard-resetting the port (which causes the PM to reset as well).

SILI - Fix assertion panic during error handling.

* The error handling code could not distinguish between the use of the
  error ccb as part of a softreset sequence and the use of the error
  ccb as part of a error recovery sequence and asserted in the former
  case.

* Ensure that no commands are active on the port prior to initiating
  a hard reset through the port multiplier.

Add Colemak keyboard layout.

Submitted-by: Geert Hendrickx <ghen@telenet.be>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1409>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

SILI - Add the SILI driver to the general module build

SILI - Add serial number support, strip whitespace.

* Add page inquiry emulation for DISK devices so CAM can probe the
  serial number.

* Strip whitespace when reporting the mode, firmware, and serial number
  from the inquiry data.

AHCI - Add serial number support, strip whitespace.

* Add page inquiry emulation for DISK devices so CAM can probe the
  serial number.

* Strip whitespace when reporting the mode, firmware, and serial number
  from the inquiry data.

CAM - Unconditionally print out the serial number

Do not conditionalize the printing of the serial number on bootverbose any
more.  The serial number is fast becoming an important piece of information.

utf2.5: Terminate quotation.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

SILI - Cleanup, remove broken KKASSERT and remove DIAGNOSTICs

Reported-by: Sascha Wildner <swildner@crater.dragonflybsd.org>

AHCI - Reduce console spew

nrelease - img file - use boot0cfg to set packet mode

* Use packet mode by default in the usb key image file's boot blocks.

Properly terminate some quotations in several manual pages.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

nrelease - img build - A usb stick will now probe starting at da8

rc.conf.5: Document 'fixbootfile'.

lastcomm(1): Sync with FreeBSD's RELENG_6.

subr_diskmbr.c: Fix some warning fixes.

* No need to cast dp_size at all, just fix the format.

* Add cast for size.

Adjust hammer.sh for the new "fixbootfile" rc script.

Now that this cares about fixing kern.bootfile, there's no need to
mess in the user's /etc from outside.

We shouldn't need to drop and reaquire the lock here.

Obtained-from: FreeBSD

Some more cleanups for vblank code on Intel.

The Intel 2d driver calls modeset before reinstalling the handler on
a vt switch.  This means that vblank status ends up getting cleared
after it has been setup.  Restore saved values for the pipestat registers
rather than just wiping them out.

Obtained-from: FreeBSD

Initialize max_vblank_count earlier.

Small cleanup of the error paths while I'm here.

Obtained-from: FreeBSD

Keep track of the hardware counter more aggressively

... while interrupts are enabled.  This should help to reduce cases
where the hardware counter reference jumps by large amounts.

Obtained-from: FreeBSD

Fix one use of atomic for refcount missed in last commit.

Obtained-from: FreeBSD

Additional vblank cleanups.

Use the vbl_lock when manipulating the refcount.  Eventually I want to
convert this to use our internal refcount code.  Continue to use atomic
ops for manipulating vblank count since we access it often just for
reading.

Obtained-from: FreeBSD

Ensure that we always hold the lock when executing vblank_disable_fn().

The original code in FreeBSD uses callout_init_mtx() we don't have,
therefore we lock/unlock in vblank_disable_fn itself.

priv: Reduce some uses of PRISON_ROOT

Move decision whether the privilege is allowed or not into function
prison_priv_check().

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Take reserved space into account when reporting statvfs data

Adjust statvfs data so reserved space is taken into account, so the
filesystem starts failing modifying operations closer to when 'df' would
otherwise say that 0 free space remains.

Submitted-by: Antonio Huete Jimenez <tuxillo@quantumachine.net> (with modification)

HAMMER UTILS - Add to the newfs_hammer documentation.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

CAM - Auto unit number start based on device

If no SCSI devices are wired CAM now automatically starts any umass sim
attachments at unit #8 instead of unit #0.  This reduces interference
between usb mass storage attachments and ahci/sili attachments.  Otherwise
the usb mass storage can steal "da0" away from ahci/sili.

priv: Introduce prison_priv_check()

One day the PRISON_ROOT flag, which when passed to priv_check_cred()
allows the privilege in a jail, will be gone and all privileges allowed
in a jail are centrally maintained in the prison_priv_check() function
instead of spreading it over all the calls.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

CAM/UMASS - use xpt_action_async() to ensure asynchronous scsi bus scan.

Use the new xpt_action_async() function to ensure that the scsi bus is
rescanned asynchronously.  XPT_SCAN_BUS already sets XPT_FC_QUEUED but
it doesn't apply to command initiation.  The new function does it properly.

nice(3): Return new nice value.

The nice(1) utility isn't affected by this change,
since it uses {get,set}priority() directly.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1408>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

rcng - add fixbootfile to Makefile for install

priv: Refactor kern_mknod and narrow privileges

priv: Narrow privileges

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

rcng - add rcng script to fixup kern.bootfile

In BOOT+ROOT setups the boot loader does not realize that the boot partition
will be mounted as /boot under the root partition.  This RCNG script fixes
up the kern.bootfile sysctl.

libstand - remove iaddr_t, do not assume long double is a power of 2, clean up

* Remove iaddr_t.  Use uintptr_t instead.

* Remove use of long double to determine alignment.  Use a fixed 16 byte
  alignment instead.

* General cleanup

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AMD64 - Support -m32 by conditionalizing 32 and 64 bit typedefs.

Conditionalize the typedefs in amd64-specific headers to support -m32
compilation.  This fixes the compilation of the boot loader from the
amd64 build.

Add some sysctl info so that we can see what is going on with vblanks.

Obtained-from: FreeBSD