Merge commit 'smtms/amd64'

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

VKERNEL - vkernel test build, build SMP

* Vkernel is built SMP by default, set default number of cpus to 2.

* Provide environment or make variable overrides for NCPUS and PHYSMEM.

* Change network default to /dev/vknet (for use w/ DHCP) instead of
  hardwiring 10.3.1.1.

mbwtest - Attempt to detect the L3 cache.

Attempt to detect the L3 cache.  This doesn't work very well yet.

BOOT2 - adjust hammerread code to understand the new directory localization cap.

AHCI - Set AE before doing hard reset (HR).

NOTE on AE before HR. This is against the spec which neither
indicates nor implies any such requirement, but both the linux
and freebsd drivers do it so we will too.

Merge branch 'master' of /home/www-data/gitweb/dragonfly

Remove tcpslice(1).

The code is fairly ancient, and if people want it they can get it from
pkgsrc.

"Sync" threading libaries.

* Introduce stubs returning error into libc_r for functions which don't
  exist there, but are there in libthread_xu.
* Compile POSIX spinlocks implementation in libthread_xu.
* Define _POSIX_BARRIERS and _POSIX_SPIN_LOCKS and modify sysconf(3)
  accordingly.

ffs.3: Fix SYNOPSIS.

getrlimit.2: Markup fixes.

Reviewed-by: swildner@

installer: Remove part that wasn't meant to be committed.

installer: Fix configuration of a HAMMER system with UFS /boot.

The only thing we can rely upon is that /boot is partition a. So for
determining which partition is /, take a peek at /boot/loader.conf
for now.

While here, simplify the mounting part a bit.

Reported-by: dillon, hasso

Merge branch 'master' into amd64

Merge commit 'f447e7925783f3867b00d2b9cbd27f896a99205f' into amd64

Merge commit '973c11b9c3cdde88fe6ca0ef2c5af56a8c49e014' into amd64

Merge commit '1276d1e1a1b128f7093a3021d3f6bc27afa80d23' into amd64

amd64: Change the way I/O APIC's are mapped.

amd64: Fix UP kernel build.

amd64: Use proper size for atomic ops.

amd64: Properly size an array for SMP.

amd64: Correct an omission.

amd64: Fix invocations of setidt().
setidt() has different interface on i386 and amd64.

amd64: Fixes for init_secondary().

amd64: Use the proper form of 'iret' to return from interrupt handlers.

amd64: Fix improper saving of a register.
%esi is not guaranteed to be preserved across function calls.

amd64: Update cpu_mfence(), cpu_lfence(), cpu_sfence() for SMP.

amd64: Help mptable_pass2() find and read the mptable.

amd64: Call mptable_pass2().

amd64: Map the local APIC.
Introduce a new function - pmap_mapdev_uncacheable(). It's a copy of pmap_mapdev(), but creates PT entries that disable caching.
Use pmap_mapdev_uncacheable() when mapping the local APIC.

amd64: Sync mp_bootaddress() with FreeBSD.
Changed to match invocation in 'machdep.c'.

amd64: Don't forget to call mp_probe().

amd64: Allow search_for_sig() to return 64-bit quantities.

amd64: Fix improper types in description of mptable structures.

Merge branch 'vendor/TCPDUMP' and update build for the update.

While I'm here, get rid of the *patch files for tcpdump, and just patch
the actual source in contrib/tcpdump/.

Upgrade to tcpdump-4.0.0.

Add missing definition for RLIMIT_AS resource.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1328>

Add README.DELETED to the tcpdump vendor branch.

Merge branch 'vendor/LIBPCAP' and updated build for new version.

Update to libpcap-1.0.0.

Add 'hammer info' command that shows extended information about mounted HAMMER fs.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

rc.d/mountd: Bring in some fixes from FreeBSD

* Add shutdown keyword.

* Use PID file.

* Use checkyesno for nfs_server_enable.

* Instead of mountd_flags use rc_flags to override mountd_flags' value.

sysctl.h should include kernel.h

Noticed-by: Robert Luciani <rluciani@gmail.com>

Merge branch 'vendor/TCPDUMP'

Merge branch 'vendor/TCPDUMP' (early part)

Move tcpdump-3.9/ to tcpdump/.  No need for a versioned dir.

Remove old versions of tcpdump.

Add README.DELETED to libpcap's vendor branch.

Merge branch 'vendor/LIBPCAP'

Merge branch 'vendor/LIBPCAP' (early part)

Remove extra whitespace and fix types in some manual pages.

Move libpcap-0.9/ to libpcap.  No need to version the directory.

Remove old versions of libpcap.

USB - Fix mis-cast in EHCI producing garbage on console

EHCI was improperly interpreting the companion bus softc pointer,
causing it to report junk on the console.

Reported-by: Alexander Polakov <polachok@gmail.com>

frevoke - More fixes to fdfree()

* Don't replace p->p_fd until after all closef()'s have been called.  Fixed
  panic in kqueue's close function.

* Move softrefs check to after the closef point, but before we actually
  start kfree()ing the structures.  Lock the closef's normally since
  p->p_fd is still valid.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - Formalize the maximum number of volumes (256).

Formalize the maximum number of volumes (256) by adding a define in
hammer_disk.h and then using it.

Submitted-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>

Add a wrapper script to allow "foreign" compilers into our build system.

With this commit, all CCVER values not associated with a compiler in
base will be relegated to the wrapper script which then (in conjunction
with the compilers.conf file) determines which non-base compiler to
use.

So far, defaults for clang (built from SVN) and pkgsrc/wip/gcc44 are
provided.

For more info see the compilers.conf(5) manual page and my mail on
kernel@:

http://leaf.dragonflybsd.org/mailarchive/kernel/2009-06/msg00013.html

hammer.sh: Sync with some of the recent installer changes.

* Use disklabel64(8).

* Do the 'chflags nohistory ...' after the cpdups to not have cpdup
  overwrite the flags again.

installer: Use disklabel64 for the UFS only install, too.

Discussed-with: dillon, corecode

installer: Move the 'chflags nohistory ...' commands behind the cpdups.

This works around the issue that cpdup resets the flags if changed
before.

Reported-by: corecode
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1259>

file descriptor enumeration - Fix races

Add a soft refrence count, fd_softrefs, to struct filedesc.  This is
used to prevent the filedesc from being ripped out from under a file
descriptor scan via the allproc scan, which is used to enumerate
file descriptors and also used by the revoke code.

Reported-by: hasso

SILI - Fix embarassing bug for non-NCQ disk accesses > 128G

Fix an embarassing bug for non-NCQ disk accesses > 128G.  This only
applied to non-NCQ accesses for disks and typically will not happen
with the SILI part since it can use NCQ for everything.  Non-NCQ
accesses for seek positions from 128G to 2TB were wrapping the LBA.

AHCI - Fix embarassing bug for non-NCQ disk accesses > 128G

Fix an embarassing bug for non-NCQ disk accesses > 128G.  This only
applied to non-NCQ accesses for disks which effectively means disks
behind a PM, since NCQ is generally used everywhere else.  Accesses
for seek positions from 128G to 2TB were wrapping the LBA.

sem_init.3: Some little mdoc cleanup.

installer: Fix debugging function call.

amd64: Big batch of SMP changes.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

SILI - ATAPI adjustments.

Restrict the sense length to what ATAPI expects and add more legacy
initialization to the packet FIS.

This was an attempt to fix some reported issues with ATAPI, but it didn't
fix anything.  However, it didn't hurt either and the adjustments are at
least as good as the old ones.

AHCI - ATAPI adjustments.

Restrict the sense length to what ATAPI expects and add more legacy
initialization to the packet FIS.

This was an attempt to fix some reported issues with ATAPI, but it didn't
fix anything.  However, it didn't hurt either and the adjustments are at
least as good as the old ones.

AHCI - Move some intel-specific magic writes to intel-specific code.

It is unclear if these are needed at all but in any case they only apply
to certain Intel chipsets anyway.

pcidevs - Add entries for Intel ICH6 and ICH7 series chipsets.

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Jul  1, 2009
Mares:   Jun  2, 2009

HAMMER VFS - Make the same changes to statfs() that were made to statvfs().

Update the sem_init(3) manpage - with additional info on the pshared impl.

Suggested-by: Hasso Tepper <hasso@crater.dragonflybsd.org>

Update the sem_init(3) manpage - shared semaphores are supported now.

It might need some more info about how shared semaphores are implemented
etc though.

libthread_xu - implement pshared for sem_init

Implement the pshared flag, creating a semaphore in shared memory
that works across fork().  No additional kernel support is needed,
our umtx* system calls work on the underlying physical memory and
thus work just fine with shared memory.

sem_alloc() uses mmap() to allocate a page of shared memory.
Currently sem_destroy() does not recover the allocated memory for
shared semaphores as it is unclear how one is supposed to do so
in a fork()ed environment.

Requested-by: Hasso Tepper <hasso@estpak.ee>

AHCI/SILI - Do manual chipid check to PMs with fake ports

* Add a switch() on the chipid for PMs which add a fake port at the
  end and avoid probing the fake port.  Probing the port is harmless and
  typically fails in the softreset sequence, but takes time.

installer: Add UFS /boot & HAMMER ROOT support.

The installer's HAMMER install option does now recommend (and require)
a UFS /boot partition.

Also, check more explicitly for the user specifying /usr, /var, etc.
and refuse to continue if he did because these will be automatically
created as pseudo fs's.

Finally, while here, do some miscellaneous cleanup.

In-discussion-with: dillon

installer: Raise the absolute minimum disk size to 2GB.

Also adjust some minimum partition sizes and size suggestions.

While here, eliminate some dead code.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Export highest supported production version with sysctl.

* Implement vfs.hammer.support_version to return the highest supported
  HAMMER FS version to userland.  Used by newfs_hammer.

HAMMER - newfs_hammer - format with highest production version available

* newfs_hammer now probes the HAMMER VFS and uses the highest production
  version supported to format the HAMMER filesystem.

HAMMER UTIL - show command now includes inode capability field.

HAMMER VFS - Fix umount panic on buffer flush race

* Set io.waitdep on buffers during umount to ensure that the buffer
  unload code waits for running buffers to complete their operation.

  This fixes occassional assertion panics on umount.

HAMMER VFS - version 2 work - move directory entries to inode localization

* Set version 2 features.  Directories created in a version 2 HAMMER
  filesystem place their directory entries in the B-Tree's inode localization
  space instead of the general space.  Pre-existing directories continue
  to use the old scheme.

* Amost doubles directory lookup / find / ls performance in effected
  directories.  However, at the moment the B-Tree must be reblocked before
  the gains are seen.

pthread_attr.3: Document pthread_attr_{get,set}_guardsize().

Adapted-from: FreeBSD

Merge branch 'vendor/LIBARCHIVE'

Upgrade to libarchive-2.7.0.

MP table: Test 0xe0000 when searching MP float pointer structure

MultiProcessor Specification version 1.4 never mentions this location,
however, some brain-dead BIOSes put MP table there ...  "Extened BIOS"
location is taken from mptable(8) in the base system.

Reported-and-Tested-by: ruse39 on EFnet #dragonflybsd

IO APIC: Mask the interrupt signal before trying to clear IRR by switching
trigger mode.

udp6 - Fix multicast and other issues

* The placemarker flag was being tested inverse to what it was supposed
  to be tested with.

Submitted-by: Kyle Butt <kylebutt@gmail.com>

ACPI MADT: Don't use the "Initial APIC ID" in cpu_procinfo(cpuid.1)

Some BIOSes seem to reprogram LAPIC ID to a value different from
what's in cpu_procinfo.

Introduce lapic enumerators, which is used to probe and config lapics

lapic enumerator implementation should provide two method:
lapic_probe()     -- make sure that if this enumerator is selected, later
                     lapic enumeration could work.  Return error code upon
                     failure.
lapic_enumerate() -- enumerate lapic and properly configure lapic (currently
                     only mapping lapic is needed).

lapic enumerator implementation could be registered by calling:
lapic_enumerator_register()
with lapic_enumerator struct.  The higher the priority field, the earlier
the lapic enumerator's lapic_probe method will be invoked.

Currently two lapic enumerators are implemented and registered:
- lapic enumerator using MP table
- lapic enumerator using ACPI MADT
ACPI MADT lapic enumerator has higher priority.  For testing purpose, ACPI
MADT lapic enumerator's priority could be overridden by setting tunable
hw.madt_lapic_prio to a smaller value (less than 20 currently)

Idea-from: FreeBSD

Move lapic_init() into apic/mpapic.c

MP probe: Get rid of cpu_apic_address

nrelease: Sync the LiveDVD kernels with some recent changes.

Make sili(4) compilable into the kernel and add it to GENERIC & LINT.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly