Verified commit access of marino

kernel - Add shutdown method for vm.swapcache

* Add shutdown methods for the swapcache to stop operations during a
  shutdown.  If not stopped swapcache operations can extend beyond the
  device shutdown and cause a crash.

HAMMER VFS - Fix two minor bugs.

* When downgrading a volume to read-only due to a critical HAMMER error
  also properly downgrade the VOP_OPEN/VOP_CLOSE state so the opencount
  and writecount match up.

  This should fix issues disconnecting the related disk device after
  umounting a HAMMER partition which has had a critical error.

* When adding or removing a volume to an existing HAMMER mount flush
  disk buffers before calling VOP_CLOSE() instead of after.

kernel - Fix slice open mask tracking

* The slice open mask tracking was broken when more than one partition
  on a raw disk device was opened.  Fix the tracking.

* This should solve problems editing the partition information in the
  disklabel for partitions which have been mounted and then unmounted.

* This should also solve problems with the related disk device and
  designation (e.g. da8, da9) being properly disconnected when pulling
  a USB stick.

kernel -- Remove unused vfscache structure.

kernel -- Remove unused vfs rangelocks from vnodes.

kernel - Possible fix to 'Bad link elm' panic in random callout

* Fix a rare race condition where the acquisition of p_token in the
  tsleep callout code can delay the setting of TDF_TIMEOUT, potentially
  causing it to skip the current tsleep entirely and trigger on a later
  tsleep.

  If this occurs the later callout is not terminated and tsleep() can return
  with it still active.  The callout is declared on the kernel stack, leading
  to the assertion and crash.

* During evaluation I noticed that the corrupted callout structure in
  Rumko's crash dump contained information that indicated it was part of
  a stack frame.  I think only tsleep() declares callout structures on the
  stack.

PR: 1977, 1835, 2037 (tracking using 2037)
Reported-by: Rumko, Francois Tigeot <ftigeot@wolfpond.org>

vkernel - Fix problem where cpu-bound user process cannot be interrupted

* Fix an issue where a cpu-bound user process running in a vkernel cannot
  be interrupted from within the vkernel.

  The problem occurs because the timer interrupt was not marked MPSAFE,
  causing the interrupt thread to hold the MP token which then prevented
  the thread preemption code from letting the timer interrupt thread
  preempt the currently running user process.

* Fixed by marking the timer interrupt and other vkernel interrupt
  handlers as being MPSAFE.

* This is a problem for the vkernel and not for normal kernel.  Normal
  kernels have a doreti function which 'catches' pending flags on
  any attempt to return to userland.

  The vkernel does not, instead relying on the preemption mechanic to
  catch pending flags.

Reported-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>

swapcache - Update manual pages

* Add a section describing the new HAMMER double_buffer feature and how to
  use it to radically improve the amount of data the swapcache feature can
  cache on a SSD.

* Add a section describing the difference between 34nm flash and 25nm flash
  with regards to durability.

rc.subr - Add missing quotes.

kernel - Add kern.cp_time sysctl.

This sysctl provides user, nice, sys, intr and idle cpu aggregate
time.

Tested-by: ftigeot
Inspired-in: NetBSD, FreeBSD

xlint: Revert part of 2e2a1cf79437aa99c731a36585fe98887a5c0bf0 again.

The reason why we had to lower WARNS to 0 for xlint/lint1 was that
gcc 4.4.2 was unable to fit the value for LDBL_MAX from <float.h>
into a long double on i386 due to some misconfiguration of the
compiler.

Now that this is fixed with gcc 4.4.5, we can remove it again.

kernel -- Fix off-by-one in udp multicast group check code.

Triggered reliably by mt-daapd.

gcc44: Improve locale support in libstdc++.

Also, some miscellaneous config changes.

Submitted-by: John Marino <draco@marino.st>

csu: Adjust some flags etc. to more closely resemble the vendor Makefile.

Also, use ${PICFLAG} instead of -fpic.

Submitted-by: John Marino <draco@marino.st>

mpfr: Remove a local modification we no longer need.

gcc44/gmp/mpfr: Update/add our READMEs.

Submitted-by: John Marino <draco@marino.st>

Correct GCC-4.4.5 configuration to build on i386

The previous changes to auto-host.h prevented gcc445 from bootstrapping.

Update gmp headers in gnu/usr.bin/cc44

Change gcc version number

I thought this was picked up in contrib, but it's a manual change
I guess.

Update world Makefile infrastructure for gcc 4.4

Aligning world configuration with vendor-build configuration

Merge branch 'vendor/MPFR'

Merge branch 'vendor/GMP'

Merge branch 'vendor/GCC44'

Upgrade MPFR from 2.4.1 to 2.4.2-p3 on the vendor branch.

Upgrade GCC from 4.4.2 to 4.4.5 on the vendor branch.

Upgrade GMP from 4.3.1 to 4.3.2 on the vendor branch.

binutils221: Fix missing section start/end label generation

* The code to generate section __start_set and __end_set symbols
  was using exp_provide() instead of exp_assign(), and exp_provide()
  appears to silently discard the symbol due to being assigned to '.'
  (the origin).

  This resulted in the symbols not being generated in the output file.

* Change to using exp_assign() and pray.

HAMMER VFS - Cleanup a swapcache hammer_vop_write() case

* Mark buffers created via write() B_NOTMETA if hammer's double buffer
  mode is enabled.  When both the hammer double buffer mode and swapcache
  is enabled this will cause the system to re-read the file from disk
  once (via the block device) before attempting to swapcache it.

HAMMER VFS - Force reading from the block device when live dedup is enabled

* Attempting to access the vnode's buffer cache is currently not MPSAFE
  and can cause crashes so don't try to do that.  Use the block device
  instead.

* It is suggested but not required that vfs.hammer.double_buffer mode also
  be enabled if you use vfs.hammer.live.deup.

HAMMER VFS - Implement swapcache for HAMMER data in double_buffer mode

* Support swapcache data caching when HAMMER's double_buffer mode is enabled.
  Typically the following sysctls:

  vfs.hammer.double_buffer=1
  vm.swapcache.read_enable=1
  vm.swapcache.data_enable=1
  vm.swapcache.meta_enable=1 (optional)
  vm.swapcache.use_chflags=0 (optional - see man swapcache)

* This causes swapcache to attempt to cache file data from HAMMER
  filesystems stored via the block device instead of the individual
  file vnodes.

* This allows swapcache to more efficiently cache file data without
  vnode recycling from a limited kern.maxvnodes value getting in the way.

  If you have a large dataset spread across many smaller files which would
  normally overwhelm maxvnodes, and even on large systems handling very
  large data sets where you wish to cache the file data for some of the
  files (using use_chflags=1 mode), this makes it possible to cache ALL
  the file data AND meta-data on the SSD even though the related vnodes
  cached by the kernel get recycled.

* Whereas it may have been inefficient to turn on vm.swapcache.data_enable
  before, due to filesystem scans and such, it may now be possible to this
  feature on with double buffering also enabled.

  Note that you must still be cognizant of the aggregate amount of file
  data being accessed by your system if you have set use_chflags to 0, you
  simply no longer need to worry about how many files that data belongs to.

* Enabling HAMMER's double_buffer mode will reduce performance somewhat for
  the normal best-case file caching, but it will also greatly improve
  performance once you start blowing out your memory caches.

kernel - Check B_NOTMETA in buffer release code

* When releasing the VM pages backing a buffer cache buffer if B_NOTMETA
  is set on the buffer attempt to move the pages to the VM page cache
  instead of leaving them on the active or inactive queue.

* This partially deals with the double data caching which occurs when
  HAMMER's double_buffer mode is enabled by shortening the life of
  the pages backing the secondary buffer(s).

binutils221: Add arlex.l to the list of modified files.

While here, sort the lists alphabetically.

binutils221: Fix a warning.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Check if the host system has the desired binutils for HOST_BINUTILSVER.

If not, fall back to the previous ones. This fixes buildworld for systems
that don't have binutils 2.21 installed at all (everthing that was last
upgraded before we added 2.21).

Reported-by: Ferruccio Zamuner <nonsolosoft@diff.org>

kernel - allow PG_NOTMETA to be set on regular files too

* Allow this flag to be set for VM pages associated with regular files
  too, the flag prevents the related VM page from being swapcache'd.

  The flag is set by HAMMER on normal file buffer cache buffers when
  double buffering is enabled to prevent swapcache from caching the
  data twice.

* This also fixes an issue when a large number of files exceeding the
  maxvnode limit are recycled, and double buffering is enabled along
  with vm.swapcache.data_enable.  We do not want swapcache to try to
  cache the pages via the vnode, instead we'd rather it cache them
  via the block device (whos vnode doesn't get recycled).

HAMMER VFS - Bump the default hammer rev to 6

* The default hammer rev is now 6, which is the directory filename hash
  algorithm.

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

Merge branch 'vendor/DIFFUTILS'

Remove the hack for loading x86_64 kernels linked with binutils >=2.20.

Now that both our binutils support CONSTANT, MAXPAGESIZE and
COMMONPAGESIZE, use those in the ldscript.

Remove the version number from the diffutils dir.

Remove diffutils 2.8.1 from the vendor branch.

Switch the default binutils from 2.17 to 2.21.

The optional binutils is now 2.20 and can be selected using 'binutils220'
for BINUTILSVER and/or WORLD_BINUTILSVER.

Please do a full buildworld/-kernel for upgrading.

acpi/Osd: SCI_INT in FADT is the IRQ number on the system with 8259 (icu)

MADT's interrupt source override entry, which only tells you how SCI is
wired to I/O APIC, does _not_ change SCI's IRQ number.

While I'm here, remove unused function.

acpi/pci_link: Avoid sharing interrupt with SCI if possible

Since ACPI SCI handler is time consuming, sharing its interrupt
with others may cause significant performance penalty.  SCI
interrupt is now shared if we can't find other resorts.

zlib:  Eliminate unneeded diffs from vendor sources.

libz:  Use off_t instead of long.

This problem was triggered by clamav.  As the comment in zconf.h states,
we'd prefer to always define Z_HAVE_UNISTD_H, but libstand has some issues
with this, which is why we originally had the change to the vendor
source to include <unistd.h> in gzguts.h.

While we're here, there's no point in defining HAVE_MEMCPY in
Makefile.stand, since it's already defined elsewhere in zconf.h.

kernel - Fix fstatfs() and fstatvfs() when called from a null-mounted chroot()

* These funtions were using the wrong starting mount pointer when calling
  cache_fullpath().  They were using the mount pointer for the open file's
  vnode instead of the overlay (null) mount pointer.

  This caused cache_fullpath() to believe the fd represented a file outside
  the chroot and return an error.

Reported-by: Francois Tigeot<ftigeot@wolfpond.org>:

Sync zoneinfo database with tzdata2011e from elsie.nci.nih.gov

africa:         8.28 -> 8.30
southamerica:   8.45 -> 8.47

* africa: Morocco will start DST on April 3 and end it on July 31.

* southamerica: Chile has extended its DST again, this time to
    May 7. Clocks will go forward again on the third Saturday
    in August.

getmntinfo.2: Some cleanup for the addition of getmntvinfo() in 2008.

err.3: Mention that verrx() and vwarnx() don't append an error message.

loginx.3: Fix SYNOPSIS

Fix LINT kernel build.

kernel - Major bridging functionality added (bug fixes 6)

* Flapping on one of the member interfaces can cause the entire bridge
  to go down due to all member interfaces entering a transient state.
  For example, if openvpn is flapping the related tap interfaces will
  go up and down without any actual packet traffic making it across.

  With these changes openvpn flapping no longer makes the bridge
  effectively non-operational.

* When a port is disabled or enabled either manually or due to a TAP
  process going away / attaching, only issue a configuration update
  when transitioning out of an active state.

  Thus disabled<->l1blocking flip-flopping does not cause the other
  member interfaces to change state.

* Also change the initial state setup when LINK1 is flagged.
  Go into the L1BLOCKING state instead of the BLOCKING state.

devfs - Change setattr code to use vop_helper fns

* Change the devfs vop_setattr to use the vop_helper functions for chown
  and chmod.

* This gets rid of the previous roll-your-own solution and fixes several
  edge cases.

* It also fixes a warning thrown by xterm when closing it.

Reported-by: luxh

vfs_helper - Remove stale comment

Remove obsolete reference to cache_mpsafe in sys/namecache.h.

kernel - Enhance the FAIRQ ALTQ to use relative weightings

* Previously the FAIRQ altq specification guaranteed a bandwidth minimum
  for each queue but then used a fixed priority model for any excess
  bandwidth.

* Now the FAIRQ uses the minimum bandwidth specifications to also calculate
  relative weightings for any excess bandwidth, and no longer uses a fixed
  priority model.

* This results in a better apportionment of excess bandwidth and allows
  bandwidth specifications to also be used as a pure weighting specification
  if desired.

* Fix bandwidth calculation.  The decay was being executed on every packet
  instead of once a second.

kernel -- vm_object hold debugging should not panic if the debug array overflows

If the debug array overflows, we lose the ability to test for object drops
when we never established a hold. However the system keeps running.

Suggested-by: dillon

kernel -- vm_object locking: DEBUG_LOCKS check for hold_wait vs hold deadlock

If a thread has a hold on a vm_object and enters hold_wait (via either
vm_object_terminate or vm_object_collapse), it will wait forever for the hold
count to hit 0. Record the threads holding an object in a per-object array.

acpi: Style and white space changes

acpi/pcib: Fix interrupt routing code

acpi/pcib: Use pcib_alloc_resource as bus alloc_resource method

acpi: Remove no longer needed file

acpi: Minor style changes

Acpi userland: adapt to 20110211 upgrade and sync with FreeBSD 8.0

* acpiconf: show V/A battery units
* acpidump: add SRAT table support (FreebSD sync), untested

Some minor changes

* use AcpiUpdateAllGpes() (from FreeBSD 8.0)

* ACPI_THREAD_ID type is no longer configurable

* sync AcpiOsReadPciConfiguration with FreeBSD 8.0
  (and simplify bitmasking)

* because of AcpiOsDerivePciId() API removal, acpi_bus_number() is
  no longer needed

Don't leave Value32 uinitialized (as it's not completely filled)

OsdHardware.c:AcpiOsReadPort() casts Value to (u_int8_t *) resp.
(u_int16_t *) when assigning, thus leaving the upper region of Value32
untouched. If Value32 isn't initialized, random data remains trashing
the whole value.

Without this every bus_space_read_[12] is virtually screwed up.

Further acpica 20110211 code cleanup

In some files from the original taball, code was repeated n times
(this one was overseen)

acpi: sync GPE with FreeBSD 8.0 (and according the acpi api)

* use AcpiSetGpeWakeMask(), as AcpiEnableGpe() is already done in
  embedded controller initialization code. AcpiSetGpeWakeMask()
  is needed anyway to mark the gpe as wakable.
  (AcpiEnableGpe() enableas automatically only runtime GPEs now)

* using AcpiFinishGpe() in EcGpeQueryHandler() (as fbsd does) seems
  to make the system reactive as it should (was sensibly slowly
  without that)

Bring in acpica 20110211, still not ok anyway

(partially) sync with FreeBSD 8:
  * AcpiWalkNamespace post callbacks
  * wakable GPEs in acpi_probe_child()

problems:
  * system reacts slowly
  * temp reads nonsense values

kernel - Major bridging functionality added (bug fixes 5)

* Consolidate the unicast target interface selection code into a single
  routine.

* bridge_start() now calls the unicast target interface selection routine.
  Prior to this packets originated on the machine containing the bridge
  were not selecting the proper target interface when bonding was operational,
  and would also not select a backup interface if the learned target
  interface went offline.

* Add some debug calls to mbuftrackid()

memoryallocators.9: Some small cleanup.

kernel - Change mbuf allocation in tapwrite/tunwrite path to blocking

* Tapwrite and tunwrite are called via userland, a blocking mbuf allocation
  is perfectly acceptable here and avoids dropping packets unnecessarily.

* Fixes numerous spurious packet drops when using TAP or TUN, for example
  with openvpn.

* Minor code cleanup in if_tap.c

kernel - Major bridging functionality added (bug fixes 4)

* Fix an issue where we were assuming that a root bridge receiving a
  configuration packet from a remote bridge would get a path cost
  that already include the root bridge's path cost for that port.
  In fact the target bridge only includes an aggregate path cost to
  root (typically the lowest path cost of all the target bridge's
  ports), which is a fixed value.

* The root bridge must add the local path cost back in.

kiconv(3): Raise WARNS to 3 and fix some warnings.

kernel build: msdosfs is no longer warning, so remove 'nowerror'.

kernel - Fix MP race in vmspace_president_count() (2)

* Fix bug in last commit related to buildworld also wanting to use
  the inline functions in vm_map.h

Reported-by: Magliano Andrea <masterblaster@tiscali.it>

/usr/Makefile: Use ${GITHOST} for the shallow clone too.

Reported-by: John Marino <john@marino.st>

ioapic: Properly log interrupt mode

8254: Don't setup 8254 interrupt, if it is not selected as interrupt cputimer

8254 interrupt is setup, mainly to support C-state > C1, however, on some
systems it could cause system freezing during boot.  Change the default value
of hw.i8254.intr_disable to 1, so more systems could boot by default.

acpi: Parse FADT to extract SCI IRQ number

ioapic: Don't assert that interrupt mode are level/low or edge/high

For ACPI SCI, other combinations may be used by brain damaged BIOSes.

acpi: Factor out SDT functions to locate specified SDT

madt: File relocate

In preparation for FADT parsing

madt: Configure interrupt trigger mode does not work quite well yet.

One of my system has interrupt storm on ACPI SCI (irq 9) after
change ACPI SCI mode to level/low (was edge/high).

ioapic: Allow interrupt trigger mode override in MADT

apic/i386: Wait APs's LAPIC to be initialized before programming I/O APIC

apic/x86_64: Wait APs's LAPIC to be initialized before programming I/O APIC

kernel - Fix MP race in vmspace_president_count()

* We must get at least a shared vm_map lock in order to scan the
  vm_map_entry list.

* Cache the totaled value and use it for repeated requests within one
  second or if the vm_map lock could not be acquired non-blocking.

* The bug being fixed could be triggered by top.

objformat(1): Fix whitespace in the Makefile.

Hook binutils 2.21 into the build in place of 2.20.

Submitted-by: John Marino <john@marino.st>

HAMMER VFS - Fix incorrect reflush conditional

* Fix a conditional that was testing the wrong field when determining
  how to reflush a directory or regular file.  This could prevent sync
  sequences from properly syncing the entire dependency chain during
  heavy filesystem activity.

* No known bugs are related to this fix as the chains would get flushed
  normally by the filesystem syncer eventually.

Reported-by: Sascha Wildner <saw@online.de>

vkernel - test/vkernel 'scratch' target missing root build

* Add the 'root' target to the 'scratch' target at the appropriate
  place, it was missing.

kernel - Revamp LWKT thread migration

* Rearrange the handling of TDF_RUNNING, making lwkt_switch() responsible
  for it instead of the assembly switch code.  Adjust td->td_switch() to
  return the previously running thread.

  This allows lwkt_switch() to process thread migration between cpus after
  the thread has been completely and utterly switched out, removing the
  need to loop on TDF_RUNNING on the target cpu.

* Fixes lwkt_setcpu_remote livelock failure

* This required major surgery on the core thread switch assembly, testing
  is needed.  I tried to avoid doing this but the livelock problems persisted,
  so the only solution was to remove the need for the loops that were causing
  the livelocks.

* NOTE: The user process scheduler is still using the old giveaway/acquire
method.  More work is needed here.

Reported-by: "Magliano Andre'" <masterblaster@tiscali.it>

kernel - Silence warnings from older gcc

* Silence a warning (fatal) during the kernel build when building with
  an older gcc.  The code itself was correct.

objformat(1): Remove gdb from the list. Not part of binutils.

Remove the remains of the removal of gasp in binutils 2.13 years ago.