Merge branch 'vendor/MDOCML'

Import mdocml-1.11.1

systat - Adjust field widths to prevent numbers from running together

* Compress the Trp, Sys, Int, Sof, and Flt fields and reduce the field
  width to prevent numbers from running into each other, which was making
  them unreadable.

  On MP systems these fields can get into the hundreds of K.  In particular
  the Flt number would often hit up against the 'wire' number to its right.

* Reduce the width for the VN PAGER and SWAP PAGER fields for the same
  reason.

  These changes force larger numbers to be displayed with less accuracy,
  i.e. instead of 104555 we would get 104K, but the output is far more
  useful.

Update files for OpenSSH-5.8p1 import.

Merge branch 'vendor/OPENSSH'

Import OpenSSH-5.8p1.

 * Fix vulnerability in legacy certificate signing introduced in
   OpenSSH-5.6.

 * Implement Elliptic Curve Cryptography modes for key exchange (ECDH)
   and host/user keys (ECDSA) as specified by RFC5656. ECDH and ECDSA
   offer better performance than plain DH and DSA at the same equivalent
   symmetric key length, as well as much shorter keys.

 * sftp(1)/sftp-server(8): add a protocol extension to support a hard
   link operation. It is available through the "ln" command in the
   client. The old "ln" behaviour of creating a symlink is available
   using its "-s" option or through the preexisting "symlink" command

 * scp(1): Add a new -3 option to scp: Copies between two remote hosts
   are transferred through the local host.  Without this option the
   data is copied directly between the two remote hosts.

 * ssh(1): automatically order the hostkeys requested by the client
   based on which hostkeys are already recorded in known_hosts. This
   avoids hostkey warnings when connecting to servers with new ECDSA
   keys, since these are now preferred when learning hostkeys for the
   first time.

 * ssh(1)/sshd(8): add a new IPQoS option to specify arbitrary
   TOS/DSCP/QoS values instead of hardcoding lowdelay/throughput.

 * ssh(1): "atomically" create the listening mux socket by binding it on
   a temporary name and then linking it into position after listen() has
   succeeded. This allows the mux clients to determine that the server
   socket is either ready or stale without races. stale server sockets
   are now automatically removed.

 * ssh(1)/sshd(8): add a KexAlgorithms knob to the client and server
   configuration to allow selection of which key exchange methods are
   used by ssh(1) and sshd(8) and their order of preference.

 * sftp(1)/scp(1): factor out bandwidth limiting code from scp(1) into
   a generic bandwidth limiter that can be attached using the atomicio
   callback mechanism and use it to add a bandwidth limit option to
   sftp(1).

BugFixes:

 * ssh(1)/ssh-agent(1): honour $TMPDIR for client xauth and ssh-agent
   temporary directories.

 * ssh(1): avoid NULL deref on receiving a channel request on an unknown
   or invalid channel;

 * sshd(8): remove a debug() that pollutes stderr on client connecting
   to a server in debug mode

 * scp(1): pass through ssh command-line flags and options when doing
   remote-remote transfers, e.g. to enable agent forwarding which is
   particularly useful in this case;

 * sftp-server(8): umask should be parsed as octal

 * sftp(1): escape '[' in filename tab-completion

 * ssh(1): Typo in confirmation message.

 * sshd(8): prevent free() of string in .rodata when overriding
   AuthorizedKeys in a Match block

 * sshd(8): Use default shell /bin/sh if $SHELL is ""

 * ssh(1): kill proxy command on fatal() (we already killed it on
   clean exit);

 * ssh(1): install a SIGCHLD handler to reap expiried child process;

 * sshd(8): Use correct uid_t/pid_t types instead of int.

binutils221: final solution to start/stop label generation

During discussion on binutils mail list about preserving the
__start_* and __stop_* section labels, Dimitry Andric indicated that
FreeBSD had the same exact issue when they recently upgraded to
binutils 2.17.50.  The solution they chose was to declare these section
labels as global symbols, and the stock version of ld will retain them.

This commit implements the FreeBSD solution.  Besides the obvious
benefit of having minimalist shared objects, it also "fixes" binutils
2.20 which, until this commit, failed to generate the start/stop section
labels.

Commit f070647cc5317c4924be4dd60563fc39c18094cf has been reverted to
convert binutils 2.21 to a completely stock ld.  Some whitespace cleanup
of linker_set.h was done while modifying __MAKE_SET macro.

vkernel64 - Push some non-working (as yet) shims for module loading

* Push some shims for module loading in vkernel64's to control
  the load address.  These currently do not work, probably due
  to other symbol/dlsym issues.

  The default kmem area is way outside the 32-bit rel relocation
  range for the kernel binary proper so modules can't be loaded
  into that area.

* Currently non-working.

acpi/pci_link: Missing !acpi_enabled to acpi_disabled conversion

swapcache.8: Fix typo.

acpi: Enable pci, pcib and pci_link by default

acpi/pci: Inherit methods from pci_driver, instead of setting them manually

Manually setting all of the necessary methods is error prone, e.g. previously
pci_find_extcap is not set, which causes agp(4) not being attached.

acpi/pcib: Rework the _BBN handling for Host-PCI bridges.

Obtained-from: FreeBSD (Revision 193829 by jhb@freebsd.org)

  Previously we only trusted a _BBN value of 0 if it was for the first
  bridge encountered since some older systems returned _BBN of 0 for
  all bridges.  However, some newer systems enumerate bridges with
  non-zero _BBN before bus 0 which is perfectly valid.  Handle both
  cases by trusting the first bridge that has a _BBN of 0 and falling
  back to reading from non-standard config registers only for
  subsequent bridges with a _BBN of 0.  We also only perform this
  check for segment (domain) 0.  We assume that _BBN is always correct
  for segments other than 0.

bus: Allow subclass to have the same name as the parent class.

Obtained-from: FreeBSD (Revision 154598 by jhb@freebsd.org)

  When loading a driver that is a subclass of another driver don't set the
  devclass's parent pointer if the two drivers share the same devclass.  This
  can happen if the drivers use the same new-bus name.  For example, we
  currently have 3 drivers that use the name "pci": the generic PCI bus
  driver, the ACPI PCI bus driver, and the OpenFirmware PCI bus driver.  If
  the ACPI PCI bus driver was defined as a subclass of the generic PCI bus
  driver, then without this check the "pci" devclass would point to itself
  as its parent and device_probe_child() would spin forever when it
  encountered the first PCI device that did have a matching driver.

binutils221: revisit start/stop label generation

In commit b133d3fde203bbf8e2c359d2be9f09c20ce732b5 (3 April), ld's
lang_insert_orphan function was modified to include all symbols, which
matches the behavior of binutils 2.17 and allowed kernel modules
utilizing previously unreferenced __start_* and __stop_* sections to
load properly.

For at least 4 years, the ld developed by binutils has the policy to
discard all unreference symbols, considering them "clutter".  This
commit will revert back ld back to its default behavior unless the
options -shared or -Bshareable are passed in the command line.  In those
cases, the linked file will include all symbols, referenced or not.

In the future, we may consider modifying an .em file to define a flag
that will revert to 2.17 on a per-target basis rather than forcing all
shared objects to carry extraneous symbols.  I'd have to identify all
kernel modules requiring this flag before implementing that change.

Verified commit access of marino

kernel - Add shutdown method for vm.swapcache

* Add shutdown methods for the swapcache to stop operations during a
  shutdown.  If not stopped swapcache operations can extend beyond the
  device shutdown and cause a crash.

HAMMER VFS - Fix two minor bugs.

* When downgrading a volume to read-only due to a critical HAMMER error
  also properly downgrade the VOP_OPEN/VOP_CLOSE state so the opencount
  and writecount match up.

  This should fix issues disconnecting the related disk device after
  umounting a HAMMER partition which has had a critical error.

* When adding or removing a volume to an existing HAMMER mount flush
  disk buffers before calling VOP_CLOSE() instead of after.

kernel - Fix slice open mask tracking

* The slice open mask tracking was broken when more than one partition
  on a raw disk device was opened.  Fix the tracking.

* This should solve problems editing the partition information in the
  disklabel for partitions which have been mounted and then unmounted.

* This should also solve problems with the related disk device and
  designation (e.g. da8, da9) being properly disconnected when pulling
  a USB stick.

kernel -- Remove unused vfscache structure.

kernel -- Remove unused vfs rangelocks from vnodes.

kernel - Possible fix to 'Bad link elm' panic in random callout

* Fix a rare race condition where the acquisition of p_token in the
  tsleep callout code can delay the setting of TDF_TIMEOUT, potentially
  causing it to skip the current tsleep entirely and trigger on a later
  tsleep.

  If this occurs the later callout is not terminated and tsleep() can return
  with it still active.  The callout is declared on the kernel stack, leading
  to the assertion and crash.

* During evaluation I noticed that the corrupted callout structure in
  Rumko's crash dump contained information that indicated it was part of
  a stack frame.  I think only tsleep() declares callout structures on the
  stack.

PR: 1977, 1835, 2037 (tracking using 2037)
Reported-by: Rumko, Francois Tigeot <ftigeot@wolfpond.org>

vkernel - Fix problem where cpu-bound user process cannot be interrupted

* Fix an issue where a cpu-bound user process running in a vkernel cannot
  be interrupted from within the vkernel.

  The problem occurs because the timer interrupt was not marked MPSAFE,
  causing the interrupt thread to hold the MP token which then prevented
  the thread preemption code from letting the timer interrupt thread
  preempt the currently running user process.

* Fixed by marking the timer interrupt and other vkernel interrupt
  handlers as being MPSAFE.

* This is a problem for the vkernel and not for normal kernel.  Normal
  kernels have a doreti function which 'catches' pending flags on
  any attempt to return to userland.

  The vkernel does not, instead relying on the preemption mechanic to
  catch pending flags.

Reported-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>

swapcache - Update manual pages

* Add a section describing the new HAMMER double_buffer feature and how to
  use it to radically improve the amount of data the swapcache feature can
  cache on a SSD.

* Add a section describing the difference between 34nm flash and 25nm flash
  with regards to durability.

rc.subr - Add missing quotes.

kernel - Add kern.cp_time sysctl.

This sysctl provides user, nice, sys, intr and idle cpu aggregate
time.

Tested-by: ftigeot
Inspired-in: NetBSD, FreeBSD

xlint: Revert part of 2e2a1cf79437aa99c731a36585fe98887a5c0bf0 again.

The reason why we had to lower WARNS to 0 for xlint/lint1 was that
gcc 4.4.2 was unable to fit the value for LDBL_MAX from <float.h>
into a long double on i386 due to some misconfiguration of the
compiler.

Now that this is fixed with gcc 4.4.5, we can remove it again.

kernel -- Fix off-by-one in udp multicast group check code.

Triggered reliably by mt-daapd.

gcc44: Improve locale support in libstdc++.

Also, some miscellaneous config changes.

Submitted-by: John Marino <draco@marino.st>

csu: Adjust some flags etc. to more closely resemble the vendor Makefile.

Also, use ${PICFLAG} instead of -fpic.

Submitted-by: John Marino <draco@marino.st>

mpfr: Remove a local modification we no longer need.

gcc44/gmp/mpfr: Update/add our READMEs.

Submitted-by: John Marino <draco@marino.st>

Correct GCC-4.4.5 configuration to build on i386

The previous changes to auto-host.h prevented gcc445 from bootstrapping.

Update gmp headers in gnu/usr.bin/cc44

Change gcc version number

I thought this was picked up in contrib, but it's a manual change
I guess.

Update world Makefile infrastructure for gcc 4.4

Aligning world configuration with vendor-build configuration

Merge branch 'vendor/MPFR'

Merge branch 'vendor/GMP'

Merge branch 'vendor/GCC44'

Upgrade MPFR from 2.4.1 to 2.4.2-p3 on the vendor branch.

Upgrade GCC from 4.4.2 to 4.4.5 on the vendor branch.

Upgrade GMP from 4.3.1 to 4.3.2 on the vendor branch.

binutils221: Fix missing section start/end label generation

* The code to generate section __start_set and __end_set symbols
  was using exp_provide() instead of exp_assign(), and exp_provide()
  appears to silently discard the symbol due to being assigned to '.'
  (the origin).

  This resulted in the symbols not being generated in the output file.

* Change to using exp_assign() and pray.

HAMMER VFS - Cleanup a swapcache hammer_vop_write() case

* Mark buffers created via write() B_NOTMETA if hammer's double buffer
  mode is enabled.  When both the hammer double buffer mode and swapcache
  is enabled this will cause the system to re-read the file from disk
  once (via the block device) before attempting to swapcache it.

HAMMER VFS - Force reading from the block device when live dedup is enabled

* Attempting to access the vnode's buffer cache is currently not MPSAFE
  and can cause crashes so don't try to do that.  Use the block device
  instead.

* It is suggested but not required that vfs.hammer.double_buffer mode also
  be enabled if you use vfs.hammer.live.deup.

HAMMER VFS - Implement swapcache for HAMMER data in double_buffer mode

* Support swapcache data caching when HAMMER's double_buffer mode is enabled.
  Typically the following sysctls:

  vfs.hammer.double_buffer=1
  vm.swapcache.read_enable=1
  vm.swapcache.data_enable=1
  vm.swapcache.meta_enable=1 (optional)
  vm.swapcache.use_chflags=0 (optional - see man swapcache)

* This causes swapcache to attempt to cache file data from HAMMER
  filesystems stored via the block device instead of the individual
  file vnodes.

* This allows swapcache to more efficiently cache file data without
  vnode recycling from a limited kern.maxvnodes value getting in the way.

  If you have a large dataset spread across many smaller files which would
  normally overwhelm maxvnodes, and even on large systems handling very
  large data sets where you wish to cache the file data for some of the
  files (using use_chflags=1 mode), this makes it possible to cache ALL
  the file data AND meta-data on the SSD even though the related vnodes
  cached by the kernel get recycled.

* Whereas it may have been inefficient to turn on vm.swapcache.data_enable
  before, due to filesystem scans and such, it may now be possible to this
  feature on with double buffering also enabled.

  Note that you must still be cognizant of the aggregate amount of file
  data being accessed by your system if you have set use_chflags to 0, you
  simply no longer need to worry about how many files that data belongs to.

* Enabling HAMMER's double_buffer mode will reduce performance somewhat for
  the normal best-case file caching, but it will also greatly improve
  performance once you start blowing out your memory caches.

kernel - Check B_NOTMETA in buffer release code

* When releasing the VM pages backing a buffer cache buffer if B_NOTMETA
  is set on the buffer attempt to move the pages to the VM page cache
  instead of leaving them on the active or inactive queue.

* This partially deals with the double data caching which occurs when
  HAMMER's double_buffer mode is enabled by shortening the life of
  the pages backing the secondary buffer(s).

binutils221: Add arlex.l to the list of modified files.

While here, sort the lists alphabetically.

binutils221: Fix a warning.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Check if the host system has the desired binutils for HOST_BINUTILSVER.

If not, fall back to the previous ones. This fixes buildworld for systems
that don't have binutils 2.21 installed at all (everthing that was last
upgraded before we added 2.21).

Reported-by: Ferruccio Zamuner <nonsolosoft@diff.org>

kernel - allow PG_NOTMETA to be set on regular files too

* Allow this flag to be set for VM pages associated with regular files
  too, the flag prevents the related VM page from being swapcache'd.

  The flag is set by HAMMER on normal file buffer cache buffers when
  double buffering is enabled to prevent swapcache from caching the
  data twice.

* This also fixes an issue when a large number of files exceeding the
  maxvnode limit are recycled, and double buffering is enabled along
  with vm.swapcache.data_enable.  We do not want swapcache to try to
  cache the pages via the vnode, instead we'd rather it cache them
  via the block device (whos vnode doesn't get recycled).

HAMMER VFS - Bump the default hammer rev to 6

* The default hammer rev is now 6, which is the directory filename hash
  algorithm.

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

Merge branch 'vendor/DIFFUTILS'

Remove the hack for loading x86_64 kernels linked with binutils >=2.20.

Now that both our binutils support CONSTANT, MAXPAGESIZE and
COMMONPAGESIZE, use those in the ldscript.

Remove the version number from the diffutils dir.

Remove diffutils 2.8.1 from the vendor branch.

Switch the default binutils from 2.17 to 2.21.

The optional binutils is now 2.20 and can be selected using 'binutils220'
for BINUTILSVER and/or WORLD_BINUTILSVER.

Please do a full buildworld/-kernel for upgrading.

acpi/Osd: SCI_INT in FADT is the IRQ number on the system with 8259 (icu)

MADT's interrupt source override entry, which only tells you how SCI is
wired to I/O APIC, does _not_ change SCI's IRQ number.

While I'm here, remove unused function.

acpi/pci_link: Avoid sharing interrupt with SCI if possible

Since ACPI SCI handler is time consuming, sharing its interrupt
with others may cause significant performance penalty.  SCI
interrupt is now shared if we can't find other resorts.

zlib:  Eliminate unneeded diffs from vendor sources.

libz:  Use off_t instead of long.

This problem was triggered by clamav.  As the comment in zconf.h states,
we'd prefer to always define Z_HAVE_UNISTD_H, but libstand has some issues
with this, which is why we originally had the change to the vendor
source to include <unistd.h> in gzguts.h.

While we're here, there's no point in defining HAVE_MEMCPY in
Makefile.stand, since it's already defined elsewhere in zconf.h.

kernel - Fix fstatfs() and fstatvfs() when called from a null-mounted chroot()

* These funtions were using the wrong starting mount pointer when calling
  cache_fullpath().  They were using the mount pointer for the open file's
  vnode instead of the overlay (null) mount pointer.

  This caused cache_fullpath() to believe the fd represented a file outside
  the chroot and return an error.

Reported-by: Francois Tigeot<ftigeot@wolfpond.org>:

Sync zoneinfo database with tzdata2011e from elsie.nci.nih.gov

africa:         8.28 -> 8.30
southamerica:   8.45 -> 8.47

* africa: Morocco will start DST on April 3 and end it on July 31.

* southamerica: Chile has extended its DST again, this time to
    May 7. Clocks will go forward again on the third Saturday
    in August.

getmntinfo.2: Some cleanup for the addition of getmntvinfo() in 2008.

err.3: Mention that verrx() and vwarnx() don't append an error message.

loginx.3: Fix SYNOPSIS

Fix LINT kernel build.

kernel - Major bridging functionality added (bug fixes 6)

* Flapping on one of the member interfaces can cause the entire bridge
  to go down due to all member interfaces entering a transient state.
  For example, if openvpn is flapping the related tap interfaces will
  go up and down without any actual packet traffic making it across.

  With these changes openvpn flapping no longer makes the bridge
  effectively non-operational.

* When a port is disabled or enabled either manually or due to a TAP
  process going away / attaching, only issue a configuration update
  when transitioning out of an active state.

  Thus disabled<->l1blocking flip-flopping does not cause the other
  member interfaces to change state.

* Also change the initial state setup when LINK1 is flagged.
  Go into the L1BLOCKING state instead of the BLOCKING state.

devfs - Change setattr code to use vop_helper fns

* Change the devfs vop_setattr to use the vop_helper functions for chown
  and chmod.

* This gets rid of the previous roll-your-own solution and fixes several
  edge cases.

* It also fixes a warning thrown by xterm when closing it.

Reported-by: luxh

vfs_helper - Remove stale comment

Remove obsolete reference to cache_mpsafe in sys/namecache.h.

kernel - Enhance the FAIRQ ALTQ to use relative weightings

* Previously the FAIRQ altq specification guaranteed a bandwidth minimum
  for each queue but then used a fixed priority model for any excess
  bandwidth.

* Now the FAIRQ uses the minimum bandwidth specifications to also calculate
  relative weightings for any excess bandwidth, and no longer uses a fixed
  priority model.

* This results in a better apportionment of excess bandwidth and allows
  bandwidth specifications to also be used as a pure weighting specification
  if desired.

* Fix bandwidth calculation.  The decay was being executed on every packet
  instead of once a second.

kernel -- vm_object hold debugging should not panic if the debug array overflows

If the debug array overflows, we lose the ability to test for object drops
when we never established a hold. However the system keeps running.

Suggested-by: dillon

kernel -- vm_object locking: DEBUG_LOCKS check for hold_wait vs hold deadlock

If a thread has a hold on a vm_object and enters hold_wait (via either
vm_object_terminate or vm_object_collapse), it will wait forever for the hold
count to hit 0. Record the threads holding an object in a per-object array.

acpi: Style and white space changes

acpi/pcib: Fix interrupt routing code

acpi/pcib: Use pcib_alloc_resource as bus alloc_resource method

acpi: Remove no longer needed file

acpi: Minor style changes

Acpi userland: adapt to 20110211 upgrade and sync with FreeBSD 8.0

* acpiconf: show V/A battery units
* acpidump: add SRAT table support (FreebSD sync), untested

Some minor changes

* use AcpiUpdateAllGpes() (from FreeBSD 8.0)

* ACPI_THREAD_ID type is no longer configurable

* sync AcpiOsReadPciConfiguration with FreeBSD 8.0
  (and simplify bitmasking)

* because of AcpiOsDerivePciId() API removal, acpi_bus_number() is
  no longer needed

Don't leave Value32 uinitialized (as it's not completely filled)

OsdHardware.c:AcpiOsReadPort() casts Value to (u_int8_t *) resp.
(u_int16_t *) when assigning, thus leaving the upper region of Value32
untouched. If Value32 isn't initialized, random data remains trashing
the whole value.

Without this every bus_space_read_[12] is virtually screwed up.

Further acpica 20110211 code cleanup

In some files from the original taball, code was repeated n times
(this one was overseen)

acpi: sync GPE with FreeBSD 8.0 (and according the acpi api)

* use AcpiSetGpeWakeMask(), as AcpiEnableGpe() is already done in
  embedded controller initialization code. AcpiSetGpeWakeMask()
  is needed anyway to mark the gpe as wakable.
  (AcpiEnableGpe() enableas automatically only runtime GPEs now)

* using AcpiFinishGpe() in EcGpeQueryHandler() (as fbsd does) seems
  to make the system reactive as it should (was sensibly slowly
  without that)

Bring in acpica 20110211, still not ok anyway

(partially) sync with FreeBSD 8:
  * AcpiWalkNamespace post callbacks
  * wakable GPEs in acpi_probe_child()

problems:
  * system reacts slowly
  * temp reads nonsense values

kernel - Major bridging functionality added (bug fixes 5)

* Consolidate the unicast target interface selection code into a single
  routine.

* bridge_start() now calls the unicast target interface selection routine.
  Prior to this packets originated on the machine containing the bridge
  were not selecting the proper target interface when bonding was operational,
  and would also not select a backup interface if the learned target
  interface went offline.

* Add some debug calls to mbuftrackid()

memoryallocators.9: Some small cleanup.

kernel - Change mbuf allocation in tapwrite/tunwrite path to blocking

* Tapwrite and tunwrite are called via userland, a blocking mbuf allocation
  is perfectly acceptable here and avoids dropping packets unnecessarily.

* Fixes numerous spurious packet drops when using TAP or TUN, for example
  with openvpn.

* Minor code cleanup in if_tap.c

kernel - Major bridging functionality added (bug fixes 4)

* Fix an issue where we were assuming that a root bridge receiving a
  configuration packet from a remote bridge would get a path cost
  that already include the root bridge's path cost for that port.
  In fact the target bridge only includes an aggregate path cost to
  root (typically the lowest path cost of all the target bridge's
  ports), which is a fixed value.

* The root bridge must add the local path cost back in.

kiconv(3): Raise WARNS to 3 and fix some warnings.

kernel build: msdosfs is no longer warning, so remove 'nowerror'.

kernel - Fix MP race in vmspace_president_count() (2)

* Fix bug in last commit related to buildworld also wanting to use
  the inline functions in vm_map.h

Reported-by: Magliano Andrea <masterblaster@tiscali.it>

/usr/Makefile: Use ${GITHOST} for the shallow clone too.

Reported-by: John Marino <john@marino.st>

ioapic: Properly log interrupt mode

8254: Don't setup 8254 interrupt, if it is not selected as interrupt cputimer

8254 interrupt is setup, mainly to support C-state > C1, however, on some
systems it could cause system freezing during boot.  Change the default value
of hw.i8254.intr_disable to 1, so more systems could boot by default.

acpi: Parse FADT to extract SCI IRQ number

ioapic: Don't assert that interrupt mode are level/low or edge/high

For ACPI SCI, other combinations may be used by brain damaged BIOSes.