kernel - Introduce lightweight buffers

 * Summary:
   The lightweight buffer (lwbuf) subsystem is effectively a reimplementation
   of the sfbuf (sendfile buffers) implementation. It was designed to be
   lighter weight than the sfbuf implementation when possible, on x86_64
   we use the DMAP and the implementation is -very- simple. It was also
   designed to be more SMP friendly.

 * Replace all consumption of sfbuf with lwbuf

 * Refactor sfbuf to act as an external refcount mechanism for sendfile(2),
   this will probably go away eventually as well.

wbsio(4): be less verbose if the device doesn't look like a wbsio device

wbsio(4): be more verbose for unsupported devices if loaded as a module or if bootverbose

wbsio(4) && lm(4): add support for `kldload lm.ko wbsio.ko`

kernel - devfs - Fix memory leak in devfs_destroy_device_node()

* M_TEMP is used by devfs to allocate temporary PATH_MAX buffers

* devfs had a memory leak in a particular failure case, fix it.
  This is likely the reported problem.

Reported-by: John Marino <john@marino.st>

aps(4): make the aps module, aps.ko, work as well as the in-kernel device

wbsio(4): support W83667HG (0xa5); its hw mon is already supported by lm(4) as W83627DHG (0xc1)

kern_{get,set}sockopt - invalid value check

* Check for sopt_val != NULL && sopt_valsize == 0 and return EINVAL in
  this case, or else an assert will be triggered and the kernel will
  panic.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1696

HAMMER VFS - Cleanup recovery kprintfs a bit

* Minor formatting cleanups.

vmstat - update for changes in nch structure

* Adjust for changes in the namei / path lookup statistics structure

linux emu - fix some signalling mess

* This fixes sigaction in the linux emu, which broke times03 and
  possibly also part of java (and who knows, maybe flash?)

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Fix kernel memory leak in devfs disk_probe()

* kfree() the old slices structure after installing a new one.

* Do a minor refactoring of dsgone().

* Possibly fixes a kernel memory leak generated by kde's CD probing.
Reported-by: Pierre Abbat <phma@phma.optus.nu>

linux emu - fix exit status on exit_group

* Previously, the exit status was set incorrectly; the exit signal was
  being set instead with the supposed exit status.

systat - break out read and write I/O activity, change namecache statistics

* Add additional rows to break the I/O statistics into separate read and
  write stats (something I've always wanted systat to do).

* Rework the namecache statistics.  Primarily show whole path lookups
  stats instead of component lookups, and then also print the average
  number of components.

kernel - rework struct nchstats for systat

* Remove ncs_long, ncs_pass2 and ncs_2passes and replace with
  ncs_longhits, ncs_longmiss, and ncs_unused (so the structure
  size does not change).

  The new longhits/longmiss statistics are for whole path
  lookups.

libdevstat - Add compute_stats_read() and compute_stats_write()

* Add versions of compute_stats() which separate out the read and
  write activity.

HAMMER VFS - Fix an edge case in hammer_inode_waitreclaims()

* Detached inodes can build up in the flusher, causing iqueued/reclaiming
  to increase.  hammer_inode_waitreclaims() is designed to slow down
  the processes responsible (typically a rm -rf) to prevent the backlog
  from blowing out kernel memory.

* hammer_inode_waitreclaims() had a bug where a new pid entry was not
  being placed in the hash table such that it would be properly found
  by the chaining.  Fix this case.

* This fixes an issue where a simultanious rm -rf and (typically) two or
  more directory iterations via ls or find over hundreds of thousands or
  millions of files could cause the number of detached inodes to increase
  in an unbounded fashion.

pmap: Warning -> Debug

This message does not concern the system administrator,
try not to get them worried for no reason.

linux emu - fix bug in futex

* when resetting the fault handler in futex_orl - futex_tail, reset ecx
  to the right value.

kern_synch - unbreak UP build

* recent work on allowing volatile idents for tsleep and wakeup broke UP
  build.

linux emu - fix MP bug related to TLS

* all TLS functions were passing out or assuming the wrong value to load
  into gs. As a matter of fact, this should be the same for SMP and UP,
  but just in case keep the old code in #if 0's.

linprocfs - fix multi-CPU stat & cpuinfo

* Add multiprocessor support to /proc/stat and /proc/cpuinfo, as the
  sysconf() function uses these to find the total number of CPUs in the
  system.

build - Fix ordering to avoid -j  race

* The mkdir -p must complete prior to any source file copies.

kernel - change tsleep related idents to const volatile void *

* There's no reason why pointers to const or volatiles can't be passed
  as the ident, and HAMMER does that now in some cases, so adjust the
  prototypes for *sleep() and *wakeup() to accomodate them.

* Also make thread->td_wchan const volatile void *

linux emu - iron out bugs

* mmap: make sure that PROT_READ is not set if PROT_NONE is specified.

* sysinfo: Updata sysinfo to the new structure used since linux
  2.3.something.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Hack cursor iterator when locked cursor moved to parent

* A cursor is also moved to its parent normally when deleting the last
  element in a node and that node is then destroyed.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

HAMMER VFS - Major retooling of the refcount mechanics, and fix a deadlock

* Add an interlock to hammer_lock->refs which is independent of
  hammer_lock->lockval.

* Retool the refcount mechanics to integrate the interlock on 0->1 and
  1->0 transitions.

  In addition implement a check bit to deal with serialization races
  between threads which forces all threads to interlock.  This deals
  with the case where one thread bumps the refcount (lock->refs) but
  is unable to immediateliy acquire the interlock.  Other threads doing
  the same thing will race and lock->refs will be bumped far higher
  than 1.  The check bit is set on the 0->1 transition and enforces
  all threads to serialize until one (usually the first to acquire the
  lock) is able to dispose of the check condition.

  The transition interlocks are used to do I/O loading and validation
  on the 0->N transition and I/O unloading and invalidation on the 1->0
  transition.

* The new integrated mechanics also simplify hammer_io's handling of
  B_LOCKED slightly and properly interlocks changes in disposition for
  the related buffer cache buffer against refcount transitions.

* The new integrated refcount/interlock is also more optimal as the
  combined operation can be done in a single atomic_cmpset_int() call,
  and fully MPSAFE.  Even though other major portions of HAMMER are not
  yet MPSAFE getting this particular bit dealt with will ease MP work
  later on.

* Retool the volume, buffer, and node referencing code to use the new
  mechanics.  This fixes a deadlock.  These routines were previously
  acquiring an exclusive lock instead of an interlock.  The exclusive
  lock could combine with shared locks held by the same thread to create
  a deadlock situation against other threads.

  Use of the interlock fixes this particular deadlock.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org> (deadlock report)

fetch.9: Minor fixes.

fetch.9 - document casuword

nlookup.9 - document nlookup_init_root

vfs_synth - rewrite

* Rewrite the whole vfs_synth mess to be compatible with devfs. Now we
  create a synthetic mountpoint and mount devfs on it. We then just
  nlookup() whatever device we need on that mountpoint.

* This also fixes vinum rootmount. To use vinum as a root,
  vfs.root.mountfrom in /boot/loader.conf has to be set to
  "<fs>:vinum/vinumroot" where <fs> can be ufs or hammer.

Reported-by: Rumko, tuxillo
Dragonfly-bug: http://bugs.dragonflybsd.org/issue1565

nlookup - introduce nlookup_init_root

* nlookup_init_root is similar to nlookup_init_raw, but does not assume
  rootnch is set already, but rather has one more parameter which
  specifies the root nch.

hammer.8: Fix list.

Adjust some more to the recent groff 1.20.1 import.

* Dx is now a built in macro, so remove our local definition. But the
  version supplied with groff still doesn't work correctly due to a
  missing register declaration in doc-common. Fix that locally for now
  (patch sent upstream).

* Sync various definitions (standards, operating systems) with doc-common
  and doc-syms, i.e. remove our local definitions where they are part of
  groff now.

HAMMER VFS - Hack cursor iterator when unlocked cursor moved to parent

* It is possible to reverse-index a cursor while it is unlocked due to
  a node deletion moving cursors on that node to the parent, and a
  subsequent insertion then inserting new elements between the cursor's
  current position and its expected iteration range.

* Detect the case with a new flag (hack!) HAMMER_CURSOR_ITERATE_CHECK
  and just iterate past the elements outside the iteration range in
  this case.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

mdoc: Add NetBSD 6.0 (used in wbsio.4).

Actually hook powernow.4 into the build.

linprocfs - Introduce /proc/mounts

* Introudce the /proc/mounts entry to satisfy some installers, and df.

* NOTE: if you intend to chroot into the linux base, you'll have to
  change your /compat/linux/etc/mtab symlink to point to /proc/mounts
  instead. Also note that the paths are not relative to the linux
  chroot.

Reported-by: Sascha Wildner

Fix LINT build.

linux emulation - Major update

* Major update to all components of the linux emulation layer
  (linuxulator) and linprocfs.

* Many old system calls have been overhauled and new ones added.

* Tested with java 1.6.18, apache tomcat 6, opera, Acrobat Reader, ...

* NOTE: Flash doesn't work yet, and I haven't been able to figure out
  why. I'll continue my work on the linuxulator part time now, and
  hopefully eventually fix the issue(s).
  Some parts of this have been taken from FreeBSD and NetBSD.
  Overall the new stuff isn't as well organized as it should be; most of
  the new defines are in linux.h as I didn't bother splitting it up into
  independent headers.
  Once we plan on porting the linuxulator to amd64, this has to be taken
  care of, so especially machine independent bits are broken out of the
  machine dependent sys/emulation/linux/i386.

procfs - Use newly introduced textnch

* Use the newly introduced p_textnch instead of p_textvp to find the
  path to the .text file for each proc entry in /proc.

linux emu - peripheral changes

* These are peripheral changes to prepare for the import of the updated
  linuxulator:

* hooks (eventhandler) for process creation and process exit.

* splitting up of sys_kevent into sys_kevent + kern_kevent, including
  generic copyiin and copyout functions.
  Obtained-from: FreeBSD

* adding a p_textnch to store the namecache handle for the .text file.

* minor changes to sysv_sem and sysv_shm to support linux-specific
  magic.

* bring in casuword (compare and set userland word)
  Obtained-from: FreeBSD

* add a hook for userret from syscall2
Inspired-by: NetBSD

kernel - AHCI - enable AHCI device initiated power management

* Add hw.ahci sysctls to allow the power management state to be set and
  monitored.

* Issue device features command when aggressive power management is
  enabled to turn on device-initiated power management, and turn it off
  when power management is set to none.

* Currently does not try do power management for devices behind a
  PM.

Submitted-by: Johannes Hofmann <johannes.hofmann@gmx.de>

fstat - Fix path construction for "wd".

* Fix path construction for "wd", the wrong mount pointer was being used.

Reported-by: Alex Hornung <ahornung@gmail.com>

kernel - fix procfs vm_map scan.

* procfs was holding a vm_map lock during a uiomove, which can result
  in a recursive lock panic on the vm_map.

* since we must now unlock the map during the uiomove use a trick with
  vm_map->hint to detect if the current entry has been ripped out from
  under us and issue a lookup to reacquire our position in the scan.

Reported-by: "Alex Hornung" <ahornung@gmail.com>

Sync zoneinfo database with tzdata2010e from elsie.

asia:           8.54 -> 8.55

Fixes a bug with the rules for Bangladesh introduced in 8.54.

kernel - Restore ability to thaw checkpoints

  * Catch up with changes to imgact_elf.c

Sync zoneinfo database with tzdata2010d from elsie.

asia:           8.51 -> 8.54
australasia:    8.15 -> 8.16
southamerica:   8.41 -> 8.43

* Adjust start and end of Bangladesh DST.

* Fiji ends DST about a month early.

* Samoa DST postponed to 2010.

* Chile exceptionally extends DST to April 3 this year due to the earthquake.

wbsio(4): don't reuse a child that has already been attached

wbsio(4): convert to Newbus and DragonFly -- welcome wbsio(4)!

* New wbsio(4) driver for Winbond Super I/O attachment of lm(4) on any port.

wbsio(4): raw wbsio.c#rev1.1 and wbsio.4#rev1.1 from NetBSD

Remove <sys/msfbuf.h> per 'make upgrade'.

Remove WARNS?=6 from two Makefiles where it is not needed.

WARNS is 6 by default in bin/, games/, sbin/, usr.bin/ and usr.sbin/
(per Makefile.inc) and only needs to be specified explicitly there
for utilities which need WARNS < 6.

mptable - raise WARNS to 6

mptable - factor out the MP_SIG lookup code

mptable - prepare to raise WARNS

- do not declare extern optreset, which is not used.
- constify lookup tables
- fix printf format strings

mptable - use fixed-size integers in the structures; fixes x86_64

mq_receive.2: Add missing space.

taskqueue.9: Do some mdoc cleanup & add missing MLINKS.

kernel - Remove msf buffer code

* MSF Buffers are no longer consumed by any kernel subsystem,
  remove them and free up 32MB of KVA

pci_alloc_msix: Fail if no MSI-X vectors available

Otherwise bootverbose could lead to a kernel crash.
This commit also lets the igb driver correctly fall-back
to non MSI-X code. MSI-X is currently not supported by
DragonFly.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Unbreak buildkernel / mxge(4)

Partially revert commit 0a702a628e2af43ec0cb538349278b4d98993572.

fortune(6): fix more typos, whitespace, remove dupes

Fixes are courtesy of FreeBSD.

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

e1000 - Make igb driver compile on DragonFly

The driver itself does not work. The devices successfully
attach, but when trying to set an IP address it hangs.
More work needs to go into this driver.

HAMMER VFS - Ensure sufficient free memory is available before large allocation

* The HAMMER rebalancing code can be a heavy user of kernel memory when
  collecting B-Tree nodes to rebalance.

  Call the new vm_wait_nominal() function before allocating said memory
  in an attempt to avoid VM/VFS deadlocks when memory is low.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

kernel - vm - add vm_wait_nominal()

* Add vm_wait_nominal(), a function which activates the pageout daemon
  if necessary and waits for sufficient memory to become free for
  a kernel heavy user.

compilers.conf.5: Clarify some more.

Add device sg to LINT.

Fix typos in manual pages and user visible messages.

Sort the SEE ALSO sections in some manual pages.

kernel - pmap (i386) - Reduce kmem use for foreign pmap mapping

* We've been having problems running out of KVA on i386 systems due to
  numerous reasons.  KVA use by the kernel is just too tight.

* Reserve space for foreign pmap page table mappings on a cpu-by-cpu basis
  instead of for SMP_MAXCPU.  This reduces KVM use from 68MB to (ncpu*4MB).
  Use the APT entry for cpu0 and use kmem_alloc_nofault() for the APs.

  This frees up 52MB of KVA which doesn't sound like a lot but actually
  is.

* Add an alignment argument to kmem_alloc_nofault() and vm_map_find().

* vm_map_findspace() already had an alignment argument, but adjust the
  value passed to be at least PAGE_SIZE (this has no operational effect
  but is more correct).

VN - Remove use of IO_DIRECT, Improve lock performance for reads

* Remove the use of IO_DIRECT.  This just doesn't work very well,
  particularly when the device backing the VN has a different logical
  block size than the device using VN.

  This will result in heavier use of the buffer cache and more
  (temporarily) duplicated data, but also has much better performance.

* Use LK_SHARED for VOP_READ()s instead of LK_EXCLUSIVE, which allows
  concurrent reads to be issued.

Reported-by: Vincent Stemen <vince.dragonfly@hightek.org>

HAMMER VFS - Do a better job with IO_DIRECT

* IO_DIRECT is rather nasty, only actually honor it if the write() operation
  fits the buffer.

Reported-by: Vincent Stemen <vince.dragonfly@hightek.org>

HAMMER VFS - Fix assertion in hammer_btree_mirror_propagate()

* hammer_btree_mirror_propagate() asserts it is on an internal node but
  recovery operations can now place us on a leaf, so just loop if we
  are on a leaf and remove the assertion.

cpdup - Add -VV to ignore mtime

* The cpdup -V option verifies the contents of the files even if the
  mtime is the same, but also (currently) recopies the file without
  bothering to verify the contents if the mtime is different, even if
  the contents is the same.

* Add an extension, -VV, which verifies the contents of the file and
  ignores mtime entirely.  A copy is only made if the ownerchip,
  flags, modes, or content differs.

HAMMER VFS - Correct seriuos bug in hammer rebalancing code

* Correct a serious bug in the hammer rebalancing code which can cause
  incremental mirrors to lose track of records, resulting in missing records
  on the slave (missing files, missing directory entries, or files
  which improperly contain data holes).

  The rebalancing code needs to update the mirror_tid chain when moving
  elements from one node to another.  It updated the parent node but failed
  to update the internal element linkage pointing to the child.

  This can cause incremental mirroring operations to fail to copy some B-Tree
  records.

* Correct a possible issue between the rebalancing code and B-Tree
  iterations during mirror-write operations.

  When the rebalancer moves an element from one child node to another and
  a cursor exists which is pointing at the parent internal node, the
  cursor will now be mispositioned because elements which were to the
  right of the cursor are now to the left of the cursor.

  Adjust hammer_cursor_moved_element() to properly move the cursor and
  print a debug message to the console so the code path can be tested.

* These bugs are serious but also very rare.  There is a good chance that
  your slaves are just fine, but we recommend validating their contents
  anyway.

* PROCEDURE FOR FIXING BROKEN SLAVES:  With a little help from the sysop
  these problems are self-correcting with the new kernel code in place.

  First make sure both the master and slave are running a kernel with
  the mirroring fix.

  Second, verify the slave matches the master (taking into account
  changes being made to live files).  Probably the easiest way to do
  this is as follows (make sure you push into the softlink, not cpdup
  the softlink itself):

cpdup -v -V /pfs/master/. /pfs/slave/.

  This should get you a list of missing files and directories.  For
  each missing file or directory do a chmod, chown, or chflags on the
  master, then change it back.  This will propagate the updated inode
  to the slave So for example:

chflags nodump file
chflags dump file

  If file data is corrupt on the mirroring slave you need to recopy the
  file on the master, which can be done with dd conv=notrunc:

dd if=file of=file bs=32k conv=notrunc

  These actions will cause the master to re-mirror the related files and
  data to the slave.

Reported-by: Stathis Kamperis <beket@crater.dragonflybsd.org>

HAMMER Utility - Enhance the mirroring and show code

* mirror-read will now run the histogram just like mirror-stream does.

* improve versbose output when doing a mirror-read or mirror-stream.

* hammer show now validates the mirror_tid in the B-Tree and produces
  a 'B' indication with the 'M' flag if it finds a bad mirror_tid
  chaining.

libc/stdtime: Sync localtime.c with tzcode2010c from elsie.

More core dump avoidance work.

Sync zoneinfo database with tzdata2010c from elsie.

southamerica:   8.40 -> 8.41

Paraguay changes DST schedule, starting in April now.

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Mar  1, 2010
Mares:   Mar  1, 2010

libc/locale: Use _getprogname().

libc/citrus: Forward declare some structs to fix some warnings.

talk - unbreak for unix98 ptys

* Unbreak talk, which relied on seeing old-style ptys. When I introduced
  the unix98 ptys.

* This assumption would not work anymore, since the
  last slash is not the slash after /dev, but rather the one after
  /dev/pts. Later opening 0 instead of pts/0 would give an error.

Reported-by: Peter Avalos, Matt Dillon

kernel - cleanup some unnecessary casts

* Adjust disk_msg_core() and friends to not make unnecessasry casts
  when playing with LWKT messages.

* In disk_msg_send_sync() call lwkt_waitmsg() instead of lwkt_waitport(),
  which cleans up the code flow a bit.

kernel - Move grow_stack code in fault path to improve fault performance

* grow_stack() calls were being performed unconditionally during a
  page fault.  Shift the code over to vm_fault() and only run it if
  the vm_map_lookup() call fails.

* Also take this opportunity to remove trapwrite() (added by Matt).

Submitted-by: Venkatesh Srinivas <me@endeavour.zapto.org>

kernel - VN - add missing disk_destroy() in module unload path

* The module unload was leaving the disk list corrupted.  Add a missing
  disk_destroy() call.

* Fixes certain bulk-build issues (apparently the bulk build tries to
  unload and reload the VN driver at some point for reasons unknown).

tmpfs - Add support for setting the root uid/gid/mode for the tmpfs mount.

* Link uid/gid/mode setup from mount_tmpfs into the tmpfs VFS.

Submitted-by: Naoya Sugioka <naoya.sugioka@gmail.com>

Merge branch 'master' of /repository/git/dragonfly

rc.conf.5: Remove bogus mdconfig(8) reference.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-0.9.8m.

This new OpenSSL version is a security and bugfix release which
implements RFC5746 to address renegotiation vulnerabilities mentioned in
CVE-2009-3555. For a complete list of changes, please see the CHANGES
file.

ng_eiface.4: Comment out some xrefs to ng_vlan(4) which we don't have.

tmpfs(5): Remove old initialization (overrode prior init of vop_bmap).

kernel - Remove msf_buf dependency from VFS Journals

* UIO writes (VOP_WRITE case) are now handled by a copyin() directly to the
journal buffer.

* VOP_PUTPAGES case is now handled with XIO directly instead of with msf_buf's
as an abstraction over XIO.

kernel - Initialize xio->xio_bytes properly in xio_init_pages()

aps(4): use DRIVERSLEEP instead of tsleep