kernel - TMPFS - Bug fixing pass - fsync, vnode locks

* tmpfs_fsync() needs to have a couple of special cases to properly deal
  with the backing store.

  (1) When unmounting any vnode or recycling a dead vnode the backing
      store can be destroyed.

  (2) When recycling a live vnode the OS is trying to free the vnode,
      meaning also free up the buffer cache for that vnode.  tmpfs must
      sync the data to swap backing store.

  (3) Otherwise fsync can be ignored.  We don't want to force data into
      swap.

* The DragonFly kernel handles nearly all vnode and namespace locking
  for VFSs.  If tmpfs tries to do its own it will cause deadlocks.

  At the moment we are not running MPSAFE but ultimately we will have
  to do a pass to properly lock tmpfs_nodes during operations.

kernel - TMPFS - Bug fixing pass - directory hierarchy

* Adjust parent linkages for directories.  The root node's parent
  linkage is now set to NULL instead of a self-reference.  The
  root node is given just one extra link count to hold it instead
  of two.

* List operations on tmpfs_mount->tn_entries are now protected
  by TMPFS_LOCK.

* Hold a node locked when calling tmpfs_free_node().  The function
  will eat the lock.

* Do a better job cleaning up dirent and node structures when freeing.
  The ctor function is only called on backing store allocations, not
  on frontend objcache allocations.

  Misinitialized previously freed structures created some amount of
  havoc.

* Remove unnecessary critical sections.

* Refactor the umount code to properly clean up all nodes, and in
  the correct order.  Remove tmpfs_free_node() hacks that tried
  to allow out-of-order removal.

kernel - fix bug in objcache_destroy()

* objcache_destroy() calls mag_purge() which cycles the critical
  section, except objecache_destroy() never entered into a critical
  section so this panics instead.

kernel - TMPFS - Bug fixing pass

* TMPFS_ASSERT_ELOCKED() is called in numerous places where
  tn_vnode is not necessarily assigned, for example during
  tmpfs_nremove() after the directory entry has been cleaned out.

  Remove the assertion that tn_vnode != NULL.

* Add tmpfs_mount->tm_flags and TMPFS_FLAG_UNMOUNTING, used during
  unmounting to tell tmpfs_fsync() to throw away the contents of
  the file (normally it ignores it).  This fixes a panic on umount
  when the main kernel checks that all dirty buffers have been
  cleaned out.

* Fix two places where the wrong length for a string is
  being kmalloc()'d.  The softlink and the directory entry
  string allocations were wrong and resulted in a string
  terminator being stuffed beyond the end of the malloced
  buffer.

* Do a safety-NULL-out of a few fields after kfree()ing them.

* Refactor tmpfs_dir_lookup() a little.

* Enhance tmpfs_reg_resize() to also resize the SWAP VM object.
  Failing to do so can leave extranious swap assignments for
  deleted areas of the file which become visible again (instead
  of becoming zero-fill) if the file is then later ftruncate()d
  larger.

  Also fix the block size parameters to nvtruncbuf() and nvextendbuf().
  It must match the block size used for the buffer cache.

* Temporarily turn off all the MPSAFE flags.  Run under the BGL.

* The buffer offset (offset) in tmpfs_read() and tmpfs_write()
  can be a size_t.  It does not have to be off_t.

* tmpfs_write() was using getblk().  It actually has to use bread()
  in order to ensure that the buffer contents is valid when potentially
  doing a piecemeal write which does not cover the whole buffer.

* Refactor tmpfs_write() to leave the underlying VM pages dirty,
  except in cases the system page daemon wants to flush pages to
  clear space in ram (IO_SYNC, IO_ASYNC).  Use buwrite() to do this.

* Fix an error path in tmpfs_strategy() which was not biodone()ing
  the bio.

* tmpfs_remove() was making assumptions with regards to v->a_nch.ncp->nc_vp
  which were not correct.  The vp is not referenced and can get ripped
  out from under the caller unless properly handled.

* Fix sequencing in tmpfs_inactive().  If tn_links is 0 and the node
  is not in the middle of being allocated we can destroy it.

* Remove unnecessary vnode locks from tmpfs_reclaim().  There are also other
  vnode locks scattered around that aren't needed (for another time).

* Implement vop_bmap(), it is basically a dummy.

kernel - TMPFS - Add infrastructure to main kernel to help support TMPFS

* Add buwrite(), similar to bdwrite() except it fakes the write,
  marks the pages as valid and dirty, and returns them to the VM
  system leaving the buffer cache buffer clean.

  This is used by tmpfs in tmpfs_write() and allows the entire VM page
  cache to be used to cache dirty tmpfs data instead of just the
  buffer cache.

  Also add vm_page_ste_validdirty() to suppor buwrite().

* Implement MNTK_SG_MPSAFE for future use by tmpfs.

* Fix a bug in swap_strategy().  When the entire block being
  requested is sparse (has no swap assignments) the function
  was not properly biodone()'ing the original bio after
  zero-filling the space.

kernel - TMPFS - Initial port of NetBSD's tmpfs

* This is the initial pre-stabilization port of NetBSD's tmpfs,
  by Naoya Sugioka.

Submitted-by: Naoya Sugioka <naoya.sugioka@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

hammer - Take in account edition preferences.

For viconfig directive, $EDITOR and/or $VISUAL were not
taken in account, forcing the editor to vi.

VOP_CLOSE(9) - Remove ucred and proc arguments to VOP_CLOSE().

kernel - SWAP CACHE part 19/many - distinguish bulk data in HAMMER block dev

* Add buf->flags/B_NOTMETA, vm_page->flags/PG_NOTMETA.  If set the pages
  underlying the buffer will not be considered meta-data from the
  point of view of the swapcache.

* HAMMER must sometimes access bulk data via the block device instead of
  via a file vnode.  For example, the reblocking and mirroring code.
  We do not want this data to be misinterpreted as meta-data when
  the meta-data-only swapcache is turned on, otherwise it will blow
  out the actual meta-data in the swapcache.

  HAMMER_RECTYPE_DATA and HAMMER_RECTYPE_DB are considered normal data.
  All other record types (e.g. direntry, inode, etc) are meta-data.

utilities - Temporary map out libevtr, ktrdump, and evtranalyze from x86_64

* Temporary adjustments to unbreak buildworld

kernel - SWAP CACHE part 18/many - Minor enablement swapspace check

* The swapcache is considered disabled if no swap space has been
  configured, even if the swapcache itself is enabled.

kernel NFS - Fix another deadlock in the readdirplus code

* Add vn_islocked_unlock() and vn_islocked_relock() to help NFS
  temporarily unlock a possibly-locked directory vnode when
  trying to instantiate readdirplus children under that directory.

* Fixes a deadlock in NFS.

kernel - Fix "cleaned vnode isn't" panic

* Fix the "cleaned vnode isn't" panic.  This panic was occuring due to
  vrecycle() not checking for a vgone*() recursion.

  Adjust vrecycle() to check for the recursion.  The recursion can be
  detected by testing the VRECLAIMED flag.

* Under certain circumstances hammer_vop_inactive() was calling
  vrecycle().  This could cause the underlying vnode to be modified
  after it has been destroyed as the recursion returns.

* Add a KKASSERT() in vgone_vxlocked() to detect the condition
  earlier if it occurs again.

kernel - sysref - Fix vnode interlock for 1->0 transition

* When the vnode refcount drops to 0 vnode_terminate() is called.  This
  function previously acquired the vx_lock() after the 1->0 transition.

  Instead integrate the acquisition of the vx_lock() into the 1->0
  transition to close a small MP race.

HAMMER Utility - cleanup

* Cleanup pass

HAMMER Utility - Clean up histogram code for mirror-stream, handle SKIPs

* Do a cleanup pass, fixing some of the verbose output

* Do not misinterpret SKIP records as REC records when estimating
  the transfer size.

* Refactor the histogram array a bit (don't reverse the array).

HAMMER Utility - Refactor the histogram code for mirror-stream.

* Refactor the histogram code.  This code is responsible for breaking
  down a large initial mirroring stream into smaller chunks so the
  transaction id can be synced more often.  This way if the stream
  is interrupted it can be restarted at a more recent point instead
  of having to restart further back (or at the beginning).

* Add -S splitsize (default 100MB) to specify the desired breakdown
  for the histogram.

HAMMER VFS - Feature add to HAMMER_IOC_MIRROR_READ

* Adds the HAMMER_IOC_MIRROR_NODATA flag to HAMMER_IOC_MIRROR_READ.
  This flag requests that HAMMER not return the data associated with
  b-tree records and may be used to quickly scan the b-tree.

acpi_thermal(4): temperature support updates

* reverting the last two commits for acpi_thermal.4, since now
  complete acpi temperature support is available in sysctl(8)

sysctl(8): support setting acpi temperature in K, C and F

Obtained-from: FreeBSD (sysctl.c#rev1.94)

sysctl(8): acpi temperature support for hw.acpi.thermal

NTFS VFS - Fix dangling vnode panic on umount

* NTFS was using v_type = VNON for special extent vnodes.  The mountlist
  scan used by vflush() ignores VNON vnodes so they were left dangling
  no matter how hard ntfs tried to flush them out.

* Add VINT to the enum and use that instead.

* Fix minor case/default issue in cd9660 related to the addition of VINT.

Reported-by: Rumko, Tim Bisson <tbisson@gmx.com>

fortune(6): fortunes-o is no longer generated. Remove it from CLEANFILES.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - SMP - "Fix AP #%d (PHY# %d) failed" issues

Ok, here's what is going on.  If an SMI interrupt occurs while
an AP is going through the INIT/STARTUP IPI sequence the AP will
brick, and nothing you do will resurrect it.

BIOSes typically set up SMI interrupts when emulating (for example)
a PS/2 keyboard with a USB keyboard, or even if just implementing
BIOS support for a USB keyboard.  Even worse, the BIOS may set up
the interrupt to poll at 1000hz.  And, EVEN WORSE, it can totally
depend on which USB port you've plugged your keyboard in.  And, on top
of all of that, the SMI interrupt is not consistent.

The INIT/STARTUP code contains a 10ms delay (as per Intel spec) between
the INIT IPI and the STARTUP IPI.  Well, you can do the math.

In order to reliably boot a SMP system where the BIOS has set up
SMI interrupts this patch uses a nifty bit of code to detect when
the SMI interrupt has occurred and tries to shift the INIT/STARTUP
sequence into a gap between SMI interrupts.  If it has to it will
reduce the 10ms spec delay all the way down to 150us.  In many
cases we really have no choice for reliable operation.  Even a 300uS
delay is too much in the tests I performed on a Shuttle Phenom and
Phenom II cube.  I don't honestly know if this will break other SMP
configurations, we'll have to see.

On the particular shuttle I tested on, one of the four USB connections
on the backpanel (the upper left when looking at it from the back)
seemed to cause the BIOS to set up SMI interrupts at a high rate and
caused kernel boots to fail.  With this commit those boots now succeed.

man4: MLINK acpi_thermal.4 acpi_tz.4

acpi_tz(4): zero temperature in acpi refers to -273,2degC -- convert to uK appropriately

ktrdump.8: Fix typo in xref.

make upgrade: Remove obsolete fortunes2* files.

kernel - NFS - fix additional problems with readdirplus

* Ok, give up trying to hack a fix for readdirplus.   Instead, do the
  fix the right by properly reordering namecache lookups and vnodes.

* Do not create a namecache entry for '.' or '..'.  These entries are
  superfluous (ignored by the lookup code).

aibs.4: sprinkle a few markup tags

kernel - NFS - fix deadlock in NFS client-side readdirplus (part 2)

* Missed a vnode in the last commit.  Two vnodes have to potentially
  be unlocked.

kernel - NFS - fix deadlock in NFS client-side readdirplus

* readdirplus holds a vnode lock while attempting to do a namecache
  lookup, which is not legal.  Unlock the vnode while doing the
  lookup.

HAMMER VFS - Improve initial B-Tree packing

* Detect the case where B-Tree leafs are being laid down sequentially,
  such as when creating a large file.  When linear operation is detected
  split leafs 75:25 instead of 50:50.  This greatly improves fill ratios.

  It should be noted that the HAMMER flush sorts by inode so directory
  entries will also tend to benefit.

* This only effects (improves) the initial B-Tree layout.  The overnight
  hammer cleanup will refactor the B-Tree to a more optimal state
  regardless.

kernel - struct vm_object - increase paging_in_progress from short to int

* Change the paging_in_progress refcount from an unsigned short to an int.
  It is potentitally possible to overflow it as a short, especially when
  many pages are rolled up into clusters.

  This changes the size of the vm_object structure.

kernel - Fix bug in cahce_fromdvp() as uesd by NFS's readdirplus

* cache_fromdvp() is supposed to return a held ncp for the directory
  vnode's namecache entry if one is present and makeit is 0.  It
  was returning NULL instead.

* NFS readdirplus was kprintf()ing debug info unconditionally when
  it was able to successfully construct a vnode.  #if 0 out the
  kprintf().

kernel - slab allocator - Refactor struct kmemusage

* Refactor struct kmemusage to just contain a 32 bit ku_pagecnt
  instead of a 16 bit ku_pagecnt and other fields (none of which
  were used).

kernel - nata - Fix bug in SET_MULTI command

* The command was not properly masking atadev->param.sectors_intr,
  resulting in the setting of a value which some hard drives (OCZ SSD)
  would reject.

  This mainly just gets rid of an error message on the console.
  SET_MULTI is typically a NOP on most SATA drives.

Obtained-from: FreeBSD

Sprinkle in some commas to break out dependent clauses, and spelling fixes.

docs - More adjustments to the swapcache manual page.

kernel - Remove further misuses of %ll* in kprintfs, use intmax_t

* In two minor places

kernel - SWAP CACHE part 17/many - Add missing critical sections

* Add missing critical sections in several swap_*() procedures which
  are no longer being called with a critical section held.

kernel - SWAP CACHE part 16/many - Correct bug in kern_slaballoc.c

* When kmalloc() tries to free oversized allocations it incorrectly
  dereferences a structure after it has been freed.

Reported-by: Rumko, Stathis Kamperis <beket@crater.dragonflybsd.org>
Thanks-to: Above for getting a nice kernel dump and doing some git bisecting

docs - Improve the swapcache.8 manual page (followup)

* Fix endurance statements for SLC.  SLC has approximately 10x the
  endurance.  Documentation on the web is confused on this matter with
  10x and 100x both being thrown around.  We will just assume 10x
  for now.

docs - Improve the swapcache.8 manual page

* Add a ton of useful information to the manual page including how to
  read the wear indicator from the SMART data.

awk(1): Increase input field separator width.

POSIX allows -F to be an extended regular expression.
The current width of 10 chars just isn't enough.

FreeBSD changed it to 100. NetBSD has an initial value of 16,
dynamically resizable via malloc().

mount_nfs - Make rdirplus the default

* It is really high-time we made rdirplus the default for NFS mounts.
  It improves client directory traversals by 300%.

* With a SSD meta-data swapcache on the NFS server 'disk' latencies might
  as well be 'fully cached in ram' always.  The bottleneck becomes the
  network regardless of server load.

* Note that linux also defaults to using rdirplus mounts.

kernel - Improve cluster_read()

* The cluster_read() code was tripping over itself due to a findblk()
  call which caused it to believe it had found a buffer hole when it
  really found a busy buffer.

  Redo the code to use the FINDBLK_TEST flag to locate the next buffer
  hole.  Also add a shortcut to support efficient coding for larger
  read-ahead values.

* Change the single-read-ahead in cluster_read() to a multiple-read-ahead
  based on the maxra parameter.  Before we just did a single read-ahead
  and even though this was a cluster read it still created a situation
  where the next cluster_read(0 operation would stall on previous read-ahead
  before issuing the next one.  In otherwords, it wasn't pipelining requests
  as well asit could.

  This change tries to keep at least two read-aheads in progress so when
  the next cluster_read() stalls on the first one the second one is still
  in the pipeline after it unstalls, allowing it to issue the third one
  to keep the pipeline hot.

* These changes improve SSD swapcache operation as well as normal HD
  cluster_read() pipelining.  In addition the read-ahead is now sufficient
  to keep the pipeline hot across a 2 x Swap (interleaved) setup.

Bring in a simple event tracing library and POC utility

- Import libevtr, a library for abstracting access to an event stream.
  libevtr uses its own dump format and can synthesize event attributes
  based on known event types.
- Modify ktrdump(8) to be able to dump an event stream to a file
  using libevtr.
- Add evtranalyze(1), a proof of concept utility to display events in
  a line-oriented text format or to generate an svg file displaying
  the events on each processor. This needs quite some work.

kernel - SWAP CACHE part 15/many - Correct bug in vm.swapcache.maxfilesize

* vm.swapcache.maxfilesize was being applied to meta-data as well as
  file data.  It is only supposed to be applied to regular file data.

kernel - SWAP CACHE part 14/many - Add more features, man page

* Implement write clustering.  Swapcache attempts to cluster writes
  for optimal matching between swap and the buffer cache.  This
  also reduces the IOPS for writes by a factor 16.  The SSD should
  be able to do write combining and erasing more optimally as well.

* Add vm.swapcache.minburst

  This ensures that curburst is allowed to recover sufficiently that
  a nice good write burst can be done, once curburst hits 0.  Otherwise
  swapcache winds up doing tiny bursts which tend to fragment the cache.

* Add vm.swapcache.maxfilesize

  If set to non-zero prevents swapcache from caching files larger than
  the specified size.  That is, swapcache will only cache smaller files.
  This is experimental because there are issues caching small files
  anyway (the vnodes get recycled too quickly).

* Allow vm.swapcache.curburst to be manually set larger than
  vm.swapcache.maxburst, so the initial load-in can be different
  from the maximum reburst.

* Adjust the code which deals with write errors on swap to ensure
  that the backing store is destroyed (because it isn't a clean copy).

fortune(6): Merge fortunes2 into regular fortunes

- Stop special ROT13 treatment of fortunes-o. Neither murphy-o,
  fortunes2-o nor limerick were doing the same and contain even
  more possibly offensive stuff.
- Merge the spelling files for fortunes{,-o}, this improves
  maintainability in case fortunes are moved between the files
- make the installation of offensive stuff depend on
  INSTALL_OFFENSIVE_FORTUNES, like NetBSD (defaults to yes).
  Previously you had to edit the Makefile to disable this.
- Drop CVS Ids, which are no longer maintained :(

No fortunes added or removed from the pool.

fortune(6): Sync improvements with Free/Net/OpenBSD; deduplicate

- Typos, attributions and style improvements.
- Make attributions and style more consistent and conforming to Notes

Some of these are taken from FreeBSD, some from NetBSD and a few from
OpenBSD. Yet quite a few more are by yours truly.

Also:

- Fix typos in fortunes.sp.ok, murphy
- Remove duplicated fortunes (some where present thrice!)
  - fortunes is king and loses no cookie
  - fortunes-o contains no cookies already in fortunes
  - fortunes2-o contains no cookies already in fortunes2, fortunes or
    fortunes-o
  - fortunes2 contains no cookies already in fortunes
  - finally, cookies in fortunes2 were removed, if they were already in
    fortune-o

The reasoning for the last step is, that when fortunes2 gets merged into
fortunes, no possible offensive quotes show up there, that were already
deemed offensive and moved from fortunes to fortunes-o

- Remove some quotes from murphy-o already in other files, sort
- Remove duplicates within limerick (via OpenBSD)
- Sync startrek to NetBSD/OpenBSD; sort
- Typos in zippy

fortune(6): Fix wording and typos

- "fortunes" is the name of the default fortune file
- fix a couple of typos

larn(6): remove unused (and stale) holidaysfile

Besides, there's no apparent code that acutally uses this.

kmapinfo - Adjustments to debug utility

* Fix up for recent kernel changes

* Properly report EMPTY gaps at the beginning and ending of the kernel_map.

kernel - SWAP CACHE part 13/many - More vm_pindex_t work for vm_objects on i386

* vm_object->size also needs to be a vm_pindex_t, e.g. when mmap()ing regular
  HAMMER files or block devices or HAMMER's own use of block devices,
  in order to support vm_object operations past the 16TB mark.

* Introduce a 64-bit-friendly trunc_page64() and round_page64(), just to
  make sure we don't cut off page alignment operations on 64-bit offsets.

vmstat - Adjustments for kmalloc size_t changes

* Adjust for changes to struct malloc_type.

* Clean up the column output.  Get rid of 'Size(s)' which is no longer
  used and increase the width of some of the fields.

kernel - More conversions to size_t in struct malloc_type

* Missed ks_inuse.

kernel - Expand the x86_64 KVA to 8G part 2

* Fix a loop variable overflow when dumping the entire KVM space.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Expand the x86_64 KVA to 8G

* Our kmem_init() was mapping out the ~6G of KVA below KERNBASE.  KERNBASE
  is at the -2G mark and unlike i386 it does not mark the beginning of KVA.

  Add two more globals, virtual2_start and virtual2_end, adn adjust
  kmem_init() to use that space.  This fixes kernel_map exhaustion issues
  on x86_64.  Before the change only ~600M of KVA was available after a
  fresh boot.

* Populate the PDPs around both KERNBASE and at virtual2_start for
  bootstrapping purposes.

* Adjust kernel_vm_end to start iteration for growkernel purposes at
  VM_MIN_KERNEL_ADDRESS and no longer use it to figure out the end
  of KVM for the minidump.

  In addition, adjust minidump to dump the entire kernel virtual
  address space.

* Remove numerous extranious variables.

* Fix a bug in vm_map_insert() where vm_map->first_free was being
  incorrect set when the map does not begin with reserved space.

x86_64 kernel - Increase buffer cache and vnode resources, and more.

* Increase the maximum buffer cache from 200M to 400M.  Note that
  the buffer cache is backed by the VM page cache which is unlimited.

* Use size_t for kmalloc() tracking

* Allow 0 to be specified for kmalloc_raise_limit() which makes a
  kmalloc pool unlimited.

* Adjust the kern.maxvnodes autocalculation for both i386 and x86_64.
  i386 boxes with maximum memory will get a slightly lower vnode
  limit while x86_64 boxes will get a dramatically higher vnode limit.

* Remove kmalloc pool limits for vnodes, for HAMMER inodes, and
  for UFS inodes.  These pools track maxvnodes and do not require
  limits.

  This fixes occassional kmalloc assertions and allows the sysop to
  raise kern.maxvnodes on a running system.

kernel - Close MP race in vnode allocation code

* vx_lock_nonblock() is used by allocfreevnode() to interlock the
  vnode being freed.  However, this function will incorrect succeed
  on a vnode recursively held by a caller of allocfreevnode() which
  is in the middle of being reclaimed if the vnode in question
  allows LK_CANRECURSE locks in the lockinit.  UFS vnodes use this
  mechanic.

  Add a little bit of code to close the hole.

kernel - SWAP CACHE part 12/many - Add swapcache cleanup state

* Add a small state machine and hysteresis to flip between swapcache
  writing and swapcache cleaning.  The swapcache is written to until
  (unless) it hits 75% use.  If this occurs it switches to cleaning
  mode to get rid of swapcache pages until it gets down to 70%.  While
  in cleaning mode burst accumulation still occurs.  Then it flips back.

  Currently the cleaning mode tries to choose swap meta-blocks which
  are wholely swapped (have no VM pages), running linearly through
  the VM object list in order to try to clean contiguous areas of
  the swapcache.  The idea is to reduce fragmentation that would lead
  to excessive disk seeking.  At the same time the limited cleaning
  run (only 5% of the swap cache) should prevent any large-scale
  excessive deletion of the swapcache.

* Add a new VM object type, OBJT_MARKER, which may be used by iterators
  running through the vm_object_list.

kernel - usb keyboard - Fix polling issue on x86_64 when dropping into DDB

* USB keyboards stop responding when x86_64 drops into DDB.  For some reason
  this does not occur on 32-bit.

  Add a missing call to usbd_dopoll() in ukbd_check() to proactively
  solve the problem.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

aac: Add PCI identifier for Adaptec RAID 5405

Obtained-From: FreeBSD (aac_pci.c revision 174368)

kernel - SWAP CACHE part 11/many - Write improvements, fix backing store free

* Improve write staging by not counting VM pages which already have a
  swap assignment when doing the limited scan of the INACTIVE VM page
  queue.

  As the swapcache starts to perform more and more disk I/O goes to it,
  radically increasing the data rate and also radically increasing the
  rate at which pages are shuffled between VM page queues.  At some
  point enough data is coming from the swapcache that vm.swapcache.maxlaunder
  is unable to keep up even when sufficient burst bandwidth is available.

  This led to an asymptotic caching curve.  After the fix the caching
  curve is linear (for data sets which fit in the swapcache).

* The swapcache associated with meta-data (VCHR vnodes) was not being
  destroyed on umount.  Adjust a conditional such that it is properly
  destroyed.  Otherwise stale data might be retained across e.g. a
  media change.

kernel - SWAP CACHE part 10/many - Fix swap space usage calculation

* The code which limits how much swap space the swap cache uses was
  broken.  It was using the current amount of free swap space instead
  of the total space, causing it to only use 40% of available swap
  instead of 66%

* Fix the calculation and also make it 3/4 (75%) of configured swap.

kernel - slab allocator

* Track the total number of zones under management, in bytes, so
  the value can be reconciled against malloc_type use tracking to
  determine how much fragmentation is occurring.

AHCI - Fix minor bug.  Also AHCI/SILI - use ATA_F_EXCLUSIVE for pass-thru

* The AHCI driver could sometimes queue multiple ATA_F_EXCLUSIVE commands.
  This case never actually occurred but fix it anyway.

* Flag CAM pass-through commands as exclusive for safety.

Move the prototypes of pthread_kill() and pthread_sigmask() to <signal.h>.

In accordance with POSIX and like FreeBSD and NetBSD have it too.

In-discussion-with: Beket

it(4): Add it3 also in the other configs, not just GENERIC.

debug utilities - adjust vmpageinfo, add zallocinfo

* Adjust vmpageinfo to match recent changes.  Add the symbolic names
  for the flags.

* Add zallocinfo which dumps the state of the slab data structures.

vmstat - increase the maximum number of kmalloc types we can

* Increase from 200 to 1024.  200 wasn't enough.

kernel: print the amount of ignored memory above 4GB in MB, too

kernel - Use intmax_t when printing memory amounts

* Now that vm_pindex_t is 64 bits, fix various printf()s

kernel: print memory amount in MB instead of KB

* all other BSDs already print memory in MB instead of KB

kernel - SWAP CACHE part 9/many - Fix excessive active->cache moves

* Due to a bug the pageout daemon was moving an excessive number
  of pages from the active queue to the cache queue, bypassing
  the inactive queue.

  This was preventing the swapcache from finding pages to write
  out.

kernel - fix panic on reboot when swap populated

* The swapvp does not have a v_mount so do not try to access
  the mount lock through it if v_mount is NULL.

kernel - SWAP CACHE part 8/many - Add the swap cache read intercept, rate ctl

* Add vn_cache_strategy() and adjust vn_strategy() to call it.  This
  implements the read intercept.  If vn_cache_strategy() determines that
  the entire request can be handled by the swap cache it issues an
  appropriate swap_pager_strategy() call and returns 1, else it returns 0
  and the normal vn_strategy() function is run.

  vn_cache_strategy() only intercepts READ's which meet some fairly strict
  requirements, including no bogus pages and page alignment (so certain
  meta-data in UFS which uses a 6144 byte block size cannot be read via
  the swap cache, sorry).

* Implement numerous sysctls.

  vm.swapcache.accrate (default 1000000)

     The average long-term write rate in bytes/second for writing
     data to the swap cache.  This is what ultimately controls the
     wear rate of the SSD swap.

  vm.swapcache.maxburst (default 1000000000)
  vm.swapcache.curburst (default starts at 1000000000)

     On machine boot curburst defaults to maxburst and will automatically
     be trimmed to maxburst if you change maxburst.  This allows a high
     write-rate after boot.

     During normal operation writes reduce curburst and accrate increases
     curburst (up to maxburst), so periods of inactivity will allow another
     burst of write activity later on.

  vm.swapcache.read_enable (default 0 - disabled)

     Enable the swap cache read intercept.  When turned on vn_strategy()
     calls will read from the swap cache if possible.  When turned off
     vn_strategy() calls read from the underlying vnode whether data
     is available in the swap cache or not.

  vm.swapcache.meta_enable (default 0 - disabled)

     Enable swap caching of meta-data (The VM-backed block devices used
     by filesystems).  The swapcache code scans the VM page inactive
     queue for suitable clean VCHR-backed VM pages and writes them to
     the swap cache.

  vm.swapcache.data_enable (default 0 - disabled)

     Enable swap caching of data (Regular files).  The swapcache code
     scans the VM page inactive queue for suitable clean VREG-backed VM
     pages and writes them to the swap cache.

  vm.swapcache.maxlaunder (default 128 pages per 1/10 second)

     Specifies the maximum number of pages in the inactive queue to
     scan every 1/10 second.  Set fairly low for the moment but
     the default will ultimately be increased to something like 512
     or 1024.

  vm.swapcache.write_count

     The total amount of data written by the swap cache to swap,
     in bytes, since boot.

* Call swap_pager_unswapped() in a few more places that need it.

* NFS doesn't use bread/vn_strategy so it has been modified to call
  vn_cache_strategy() directly for async IO.  Currently we cannot
  easily do it for synchronous IO.  But async IO will get most of
  it.

* The swap cache will use up to 2/3 of available swap space to
  cache clean vnode-backed data.  Currently once this limit is
  reached it will rely on vnode recycling to clean out space
  and make room for more.

  Vnode recycling is currently excessively limiting the amount of
  data which can be cached, since when a vnode is recycled it's
  backing VM object is also recycled and the swap cache assignments
  are freed.  Meta-data has other problems... it can choke the
  swap cache.

  Dealing with these issues is on the TODO.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

it(4): it3 at port 0x228

* Port 0x228 is quite popular on many motherboards.

* Makes it(4) work on my GIGABYTE GA-MA78GM-S2H (780G / SB700).

kernel - SWAP CACHE part 7/many - Add vm_swapcache.c core (write side)

* Add vm_swapcache.c which will be responsible for assigning swap to clean
  vnode-backed VM pages and writing the data out.

  Implement a very simple inactive queue scanner and swap-writer for
  testing.

* Track swap space use, split up into the piece used for anonymous
  data and the piece used for clean vnode-backed data.

* Add PG_SWAPPED tracking for newly allocated VM pages via
  swap_pager_page_inserted().

* Conditionalize the swap code's dirtying/undirtying of VM pages.  We
  don't want to mess with the dirty state when working the swap
  cache since it isn't the definitive backing store for the VM page.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

syslog: introduce /var/log/daemon

  * The idea is taken from OpenBSD.

  * The immediate benefit is more informational messages from sensorsd,
    e.g. stuff like the total number of sensors, configuration reloads
    and 'OK' and 'within' status/state events.

kernel - SWAP CACHE part 6/many - Refactor swap_pager_freespace()

* Refactor swap_pager_freespace() to use a RB_SCAN() instead of a
  vm_pindex_t iteration.  This is necessary if we intend to allow
  swap backing store for vnodes because the related files & VM objects
  can be huge.  This is also generally a good idea in 64-bit mode
  to help deal with x86_64's massive address space.

* Start adding swap space freeing calls in the OBJT_VNODE handling code
  and generic VM object handling code.

* Remove various checks for OBJT_SWAP from swap*() and swp*() functions
  to allow them to be used with OBJT_VNODE objects.

* Add checks for degenerate cases to reduce call overheads as the swap
  handling functions are now called for vnode objects too.

* Add assertions for pagers which do not need swap support.

kernel - SWAP CACHE part 5/many - Change vm_pindex_t to 64 bits on i386

* Change vm_pindex_t from unsigned long (32 bits) to __uint64_t (64 bits).
  This change is necessary to support block devices with greater than 16TB
  of storage as well as to support the mmap()ing of HAMMER files larger
  than 16TB.

  Primarily this was done to support block devices greater than 16TB
  since HAMMER volumes are allowed to be up to 4096TB each.  Filesystem
  mounts use VM objects to back block devices.

* On x86_64 vm_pindex_t is already 64 bits but change the typedef from
  unsigned long to __uint64_t to match i386.

* Most conversions to and from vm_pindex_t are to 64 bits anyway so this
  change does not create any performance issues.

kernel - SWAP CACHE part 4/many - Add PG_SWAPPED

* Add the PG_SWAPPED flag to struct vm_page to indicate when
  backing store has been assigned to a VM page.

kernel - VM - fix vm_pages_needed race

* vm_page_needed sleep/wakeup can race and cause a wakeup to be missed,
  resulting in processes getting stuck in 'pfault' until something else
  kicks the pager.

  Fix the race.

kernel - SWAP CACHE part 3/many - Rearrange VM pagerops

* Remove pgo_init, pgo_pageunswapped, and pgo_strategy

* The swap pager was the only consumer of pgo_pageunswapped and
  pgo_strategy.  Since these functions will soon operate on any
  VM object type and not just OBJT_SWAP there's no point putting
  them in pagerops.

* Make swap_pager_strategy() and swap_pager_unswapped() global
  functions and call them directly.

kernel - syncache - Fix races due to struct syncache not being stable storage

* struct syncache no longer uses stable storage.  Proactively delete
  tcpcb references to the syncache instead of letting them hang.

kernel - jails - Fix NULL pointer deref in prison_remote_ip()

* This might be a bit of a hack but shortcut the routine if
  td->td_ucred is NULL.  This occurs if the routine is called
  via a kernel support thread.

AHCI - Improve warning messages when probing for a port multiplier

* Improve the warning messages on the console so the sysad knows the
  PM probe failure is just a notification and not actually an error.

Submitted-by: "Edward O'Callaghan" <eocallaghan@auroraux.org>

sshd - Add safety measures to the default installed sshd_config

* Uncomment various sshd_config options to enforce their defaults.
  This does not make any changes to the current defaults but ensures that
  the configuration state for these particular options will not change
  if the default happens to be changed in the distributed codebase.

  RhostsRSAAuthentication no
  HostbasedAuthentication no
  IgnoreRhosts yes

* Change the ChallengeResponseAuthentication default from 'yes' to 'no'.
  This only applies to PAM and PAM is disabled by default so this change
  has no effect unless PAM is enabled by default at some future time.

* For now leave UsePAM commented out, do not enforce its default 'no' state.
  The changes above will make it safe if the codebase default changes in
  the future.  The codebase default is currently 'no'.

* Note that we previously also changed the PasswordAuthentication default
  to 'no', so everything is on the same page now.

Suggested-by: Doug Barton <dougb@freebsd.org> (generally)

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

make upgrade: Don't remove /etc/upgrade/Makefile_upgrade.inc upon completion.

It's not dangerous to 'make upgrade' more than once and it's even useful
when testing.

kernel - SWAP CACHE part 2/many - Remove VM pager lists

* VM pager lists were used to associate handles with VM objects.  Only the
  device_pager actually used them.  Store the VM object in cdev_t->si_object
  instead and remove the device pager's VM pager list.

* phys_pager and swap_pager only use anonymous objects, the VM pager lists
  were implemented but not used.  Assert that the handles are NULL and remove
  the VM pager lists.

* Remove vm_pager_object_lookup().