condvar: add implementation

Add a small implementation of condition variables.  API design adopted
from FreeBSD.

Check a few pointers before dereferencing them. This is needed by the
net80211 stack.

Add new net80211 and ath options.

Sync interface cloning operations with FreeBSD.

Update.

Add SIOCIFCREATE2.

Extend if_clone by passing in a param arg in the create routine. This
param is only used when the ioctl is SIOCIFCREATE2.

__DECONST lockinit arg. XXX ugly

Update conf/files and conf/options to comply with the latest ath and
net80211 updates.

Couple of changes to make this build without warnings:

o __DECONST second arg of lockinit() (XXX this is ugly)
o disable some DDB code while DB_SHOW_ALL_COMMAND isn't implemented.
o fix ether_sprintf again

From FreeBSD: in in6_setmaxmtu() don't try to find the linkmtu if the
ifnet has no AF_INET6 data.

Bring in m_append() from FreeBSD.

Merge branch 'master' into net80211-update

Add unifdef(1) to the bootstrap-tools.

This is needed for generation of libexpat's bsdxml.h.

Reported-by: rpaulo

device_add_child.9: spelling and grammar

Remove bogus CFLAGS.

Add more libraries: libbsdxml and libsbuf.

libraries - Add missing LIBBSDXML line.

Suggested-by: rpaulo

Merge branch 'master' into net80211-update

My kernel config file.

Add arpcom at the beggining of the softc and enable hal debugging.

Sync ath_rate_sample with FreeBSD.

Sync ifieee80211 ifconfig code with FreeBSD.

Register ieee80211 l2com.

Bring if_l2com register/unregister functions from FreeBSD.

top: Fix man page

Explanation for column "C" on multi-CPU
machines was missing.

libexpat - Fix buildworld

* Fix library symbol.  DragonFly's /bin and /sbin are statically linked,
  we don't have or need a /lib.

libexpat - Bring in libexpat from contrib, name it libbsdxml

* Will be used in rpaulo's wifi port update.

Taken-from: FreeBSD

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

contrib/expat - Apply two vendor fixes for CVE-2009-3720.

Taken-from: FreeBSD

contrib/expat - Add README.DRAGONFLY

Merge branch 'vendor/EXPAT'

Import expat-2.0.1

compilers.conf.5: Add IMPLEMENTATION NOTES for some more details.

tmpfs.5: Clean up SEE ALSO a bit.

Adjust the compiler wrapper script to use pkgsrc's clang for CCVER=clang.

* Move the definitions for the SVN version to 'clangsvn'.

* Expand the compilers.conf(5) manual page a bit and give more (better)
  examples.

Thanks to Jim Chapman <cchapman8@cogeco.ca> for help with testing.

kernel - Fix some rare pmap races in i386 and x86_64 (followup)

* Fix build issue with vkernels

Reported-by: corecode

Replace bus_dmamap_load_mbuf_sg() with bus_dmamap_load_mbuf_segment().

Bring in m_colapse() from FreeBSD.

swapcache - documentation update (data caching, read/write concurrency)

* Update the manual page to expand on issues when caching bulk data,
  including read/write concurrency issues with SSDs.

Sync if_ath with FreeBSD.

Update ath_hal from FreeBSD.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Refactor vnode_free_list, vnode reuse algorithm

* Rip out most of he VAGEx stuff.  It might come back in another form
  later.

* Split the vnode_free_list into three parts, separated by two markers
  (vnode_free_mid1 and vnode_free_mid2).

* Insert vnodes on the free list based on the following.  New vnodes
  are allocated from the base of the list.

  At the HEAD - If the vnode is VRECLAIMED (i.e. dead)
  end of first section - If the vnode has no cached VM or SWAP data
  end of second section - If the vnode has cached SWAP data and no cached VM
  at the TAIL - If the vnode has cached VM data

* Implement a rover to slowly scan vnodes in the list when allocating
  and shift them to the appropriate section.  This fixes a degenerate
  condition in the placement of the markers.

* A Vnode is removed and usually immediately reinserted whenever it
  is accesesd by userland but not held open, giving us a LRU-like
  algorithm within each section of the list but non-LRU-like transits
  between sections of the list.

  Transits between sections are determined more by how the VM system
  recycles related VM cache pages.  Cached SWAP data only occurs if
  the swapcache is turned on.

* Future: Might use VAGE to implement a second go-around in the queue
  or a burst re-placement in the queue when the data set is found to
  be too big to fit.

kernel - swapcache - Fix snocache and cache flags propagation, fix PG_NOTMETA

* The namecache was not always propagating the snocache and cache
  chflags flags.  Now it is.  However, the flags no longer propagate
  across mount points.

* The vm_page PG_NOMETA flag was being improperly applied to regular
  files.  It only applies to VCHR vnodes.

* blogbench tests show significant improvement but swapcache is still
  missing some data or meta-data somewhere.

chflags, swapcache manual page updates - cache flag does not cross mounts

* The cache and noscache flags do not cross mount points any more.

kernel - NFS - Add the 'cache' flag to enable swapcache on a NFS mount

* The current round of swapcache work doesn't propagate the cache flag
  across mount points so NFS needs a cache mount flag.

Test commit

kernel - Remove some debug kprintf()s

* Remove "warning, locked buf ..., race corrected" debugging kprintf.

kernel - Fix some rare pmap races in i386 and x86_64 (followup)

* pmap_interlock_wait() is SMP-only.  Fix UP build.

* pmap_setlwpvm for i386 was missing a call to pmap_interlock_wait()

kernel - SWAP CACHE part 22/many - Fix counter overflow introduced in part 21

* vm_swapcache_inactive_heuristic can overflow, making it extremely negative
  and causing swapcache writing to cease for a long period of time.

* Two-in-one fix.  Check if it is too negative and reset it.  This also
  automatically adjusts the heuristic if the sysop manually changes
  the hysteresis to a smaller value.

kernel - Fix some rare pmap races in i386 and x86_64.

* Adjust pmap_inval_init() to enter a critical section and add
  a new pmap_inval_done() function which flushes and exits it.

  It was possible for an interrupt or other preemptive action to
  come along during a pmap operation and issue its own pmap operation,
  potentially leading to races which corrupt the pmap.

  This case was tested an could actually occur, though the damage (if any)
  is unknown.  x86_64 machines have had a long standing and difficult to
  reproduce bug where a program would sometimes seg-fault for no reason.
  It is unknown whether this fixes the bug or not.

* Interlock the pmap structure when invalidating pages using a bit
  in the pm_active field.

  Check for the interlock in swtch.s when switching into threads
  and print a nice warning if it occurs.

  It was possible for one cpu to initiate a pmap modifying operation
  while another switches into a thread using the pmap the first cpu
  was in the middle of modifying.  The case is extremely rare but can
  occur if the cpu doing the modifying operation receives a SMI
  interrupt, stalling it long enough for the other cpu to switch
  into the thread and resume running in userspace.

* pmap_protect() assumed no races when clearing PG_RW and PG_M due
  to the pmap_inval operations it runs.  This should in fact be
  true with the above fixes.  However, the rest of the pmap code
  uses atomic operations so adjust pmap_protect() to also use atomic
  operations.

setkey(8): Add missing token to fix a yacc warning.

HAMMER Utility - Fix snapshots migration for non-default directories

Snapshots migration failed if the snapshots directory contained hyphens
or dots.  Also catch the case when it couldn't parse the name of a snapshot
symlink and give the operator a clue.

Merge SUBDIRS and SUBDIRS3 and their LSYM* versions.
This also fixes three error messages caused by the wrong symlink
for dev/disk/mpt/mpilib, which doesn't actually belong to SUBDIRS3
because it has four directory components in the path.

kernel - TMPFS - Stabilization pass, fix assertion in nrmdir (again)

* Oops, fix bug in last commit.  vp was garbage where it was being tested.

kernel - TMPFS - Stabilization pass, fix assertion in nrmdir

* Have tmpfs_nrmdir() test whether the vp is a directory and return
  the proper error before asserting that it is a directory.

* Fixes assertion panic if you attempt to rmdir a file in tmpfs.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

aps(4): use more c99

HAMMER - Fix mirroring between 32 and 64-bit machines

We need to pack struct hammer_pseudofs_data as it had differing sizes
on 32-bit vs. 64-bit machines. As this structure is send over-the-wire
this lead to an early abort in the hammer mirroring code (cmd_mirror.c)
when mirroring a PFS from a 32-bit machine to a 64-bit machine or vice
versa as it sanity checks the packets it gets.

Even so the structure is stored on-media, the change in size is no
issue as the tail is zero-padded with reserved fields.

WARNING:

    After this change, mirroring between 64-bit machines predating
    this commit and updated 64-bit machines will no longer work.
    PLEASE UPDATE them all in one go or leave them unmodified.
    32-bit machines are not affected at all, as this commit does
    not change the size of the structure for 32-bit machines.

Discussed-with: Matthew Dillon

kernel - Update swapcache manual page, document meta-data/inode ratios

* Document the meta-data cache vs inode ratio when configuring swapcache
  for meta-data caching.

kernel - Update swapcache manual page, fix breakage in last commit

* Oops, a bunch of stuff was accidently removed in the last
  update, add it back in.

acpi_thinkpad(4): the refresh function should be declarared as per prototype

* The refresh function should be static void, the inconsistency is again
  linked to 10f97674 (through bringing back the refresh function from 48cf177).

acpi_thinkpad(4): bring back relevant changes from 20b3fb for acpi_thinkpad_refresh

acpi_thinkpad(4): revert the half-done rename of acpi_thinkpad to acpi_ibm

* 10f976 ("Sync ACPI with FreeBSD 7.2") from 2009-11-08 broke a number of
  functionality in acpi_thinkpad, whereas there were no interesting changes
  between acpi_ibm.c#rev1.15 and acpi_ibm.c#rev1.19 on FreeBSD
* `git show 20b3fb 32af04 10f976 acpi_thinkpad.c | patch -R -p5 acpi_thinkpad.c`
  brings us back to da42c7

kernel - TMPFS - Features, don't sync on umount, enforce snocache on root

* The umount code was syncing the contents of tmpfs to swap.  Fix it so it
  doesn't.

* Set the snocache flag on the tmpfs root node and silently enforce it on
  any chflags operation.  This prevents swapcache from trying to pageout
  file data from tmpfs (which is already backed by swap).

mandoc(1): Update to 1.9.15.

For a full list of changes, see <http://mdocml.bsd.lv/ChangeLog.html>.

Thanks-to: Kristaps Dzonsons

kernel - Update swapcache manual page

* The manual page is still a work in progress but I'm pushing in everything
  I learn about SSDs into it as I learn them.

  At least insofar as the Intel X25-V 40G SSD goes the vendor-specified
  40TB write endurance limit appears to assume high write magnifications
  and significant inefficiencies in write patterns.  The theoretical
  write endurance limit for this SSD with static wear leveling is 400TB.

  My expectation is a practical endurance somewhere between 150-250TB
  when configuring 32G of swap on the 40G X25-V.  The manual page will be
  updated as I get better numbers from testing.

* Specify that disklabel64 should be used when labeling a SSD, so
  the partitions are properly aligned.  Kernels as of id 4921cba1f6
  (late 2.5.x) will align the partition base for virgin disklabel64
  labels to a 1MB boundary.

  MLC flash uses 128K write blocks, SLC uses 64K.  Swapcache will write
  in 64K clusters but also tends to issue multiple linear writes, leading
  to fairly optimal SSD operation.

kernel - disklabel64 - Increase partition start alignment to 1 megabyte.

* Someone suggested that instead of using a 32K alignment we use a larger
  alignment.  I forgot who suggested it but after thinking about it a bit
  and messing around with swapcache on a SSD I decided it was a good idea.

  SSDs using MLC flash have a physical block size of 128K.  SLC flash has
  a physical block size of 64K.  Most typical cluster operations in
  DragonFly are 64K to 128K but clustered writes are often linear on disk
  leading to larger linear writes from the point of view of the physical
  drive's write cache.

  swapcache and swap operation tends to have even larger write linearities
  and write amplification effects on SSDs can be reduced to better than 1:2
  (verses the 1:10 the vendor typically assumes).

* Virgin disklabel64's layed down by the kernel will now align the
  start of the partition space to 1MB (1024 * 1024).  In for a penny,
  in for a pound.

* Adjust the manual page and note the benefits of using a larger alignment,
  particularly when swapcache is used with SSDs.

kernel - TMPFS - Stabilization pass, fix VM object leak, msync

* The swap vm_object backing regular files was not being deallocated
  properly and leaked kernel memory.

* Truncate deleted files a little earlier in the INACTIVE path.

* Set MNTK_NOMSYNC.  This prevents msync(), sync(), and the
  periodic filesystem syncer from flushing pages to swap.

  VM pages related to tmpfs are only flushed based on memory
  pressure.

kernel - Add MNTK_NOMSYNC and OBJ_NOMSYNC

* Add MNTK_NOMSYNC and OBJ_NOMSYNC for tmpfs, which is used to
  disable msync operations.

usr.sbin - Include some missing programs in x86_64.

Following programs were only in i386. Now they've been
included also in x86_64:

 apm
 apmd
 battd
 kgmon
 kgzip
 lptcontrol
 mptable
 rndcontrol
 sgsc (WARNS raised to 6)
 sicontrol
 spkrtest
 stallion (WARNS lowered)

kernel - Fix (unused) SEGEX_IDX macro

* Fix missing paren in the macro.  The macro is not used but I'm going
  to keep it around anyway.

Submitted-by: Mohd Farid Kamarudin <mokamaru@gmail.com>

HAMMER VFS - Reduce stalls during bulk file operations

* Track modifying inode operations on a per-PID basis (loosely) and
  call hammer_inode_wait_reclaims() earlier for those pids.

  The algorithm selects a wait point based on the process's perceived
  contribution to the inode load.  The greater the contribution, the
  more readily we stall the process in order to wait for related reclaims
  to process.

  Processes with lower loads have higher reclaim points and do not stall
  as readily as they did before.

* Remove waitreclaims calls based on B-Tree scans.  I'm not sure why I had
  this in there but it was creating an excessive number of unnecessary
  stalls, so if any problems crop up I'll have to find another way to deal
  with them.

* These changes (particularly the first) should reduce unnecessary stalls
  for the programs not doing heavy inode operations.  Hopefully that means
  rm -rf and tar extractions will not have as quite the detrimental effect
  on other processes as they did before.

Seventh pass: fix callout and bpf function calls.

Add m_align().

Bring m_align() from FreeBSD.

if_delallmulti() from FreeBSD.

Fix ifaddr_byindex().

Redefinition of AF_MAX. XXX this is sick

Sixth pass: remove all references to ether_sprintf().

Replace callout_drain with callout_stop.

Fourth pass.

o put the if_clone stuff under __FreeBSD__ for now
o remove VNET references
o put the condvar stuff under __FreeBSD for now

Third pass: make ieee80211_ddb.c compile and use if_alloc/if_free.

Initial version of if_alloc()/if_free().

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - TMPFS - Stabilization pass, fix rename, symlink issues

* Fix a NULL pointer dereference in the rename code

* Remove the recursive directory rename test, the kernel does this
  for us already.

* Recode the rename code.

* Remove an assertion from the symlink code, the kernel already
  enforces limits on the length of a symlink.

* tmpfs now passes fsstress

kernel - TMPFS - Stabilization pass, fix accounting for rmdir

* directory nodes were not being removed internally, leading to an
  tmpfs inode link.

aps(4): changes for DragonFly -- welcome aps(4)!

aps(4): raw sys/dev/isa/aps.c#rev1.19 and share/man/man4/aps.4#rev1.8 from OpenBSD

nvi - Work around problem with git

* When a vi session managed by a git commit is ^Z'd and then resumed, git
  for some reason will set STDIN to O_NONBLOCKING.  Not only will it do
  this, but the git process will do it in parallel with the resume so
  the point at which stdin becomes non-blocking from the point of view
  of vi is completely non-determinisitc.

* Do an end-run around badly behaving parent processes by using extpread()
  to explicitly override the blocking/non-blocking mode.  Now nvi doesn't
  care whether stdin is in non-blocking mode or not.

boot - Switch boot2 loader path around

* Test /loader first, then /boot/loader, makes hitting enter quickly
  to speed up booting work again through the boot2 bootstrap.

Submitted-by: Johannes Hofmann <johannes.hofmann@gmx.de>

Second pass at converting the net80211 to DragonFly.

Add a new file to struct pkthdr: wlan_seqno to store the IEEE 802.11 seq
number.

Add if_transmit() from FreeBSD. Breaks ABI.

kernel - Fix bogus compiler warning

* NULL out an object to fix a bogus compiler warning.

Prevent foot shooting.

kernel - TMPFS - Parse tmpfs_args from mount()

* Parse tmpfs_args from mount() to set max size and inodes.

* Allow a fixed percentage of memory + swap to be used, do not attempt
  to calculate actual free memory + swap (because its impossible to do
  correctly).

Add if_l2com to struct ifnet. This breaks ABI.

utilities - TMPFS - Pass tmpfs_args to mount()

* Pass parameters to mount().  Parameters were being ignored.

* Use dehumanize_number() so suffixes can be specified for numbers
  when using -s, -n.