monitor - Fix wrong memory access attempt.

tmpfs: Set tmpfs node malloc zone limit to be the same as tm_node_max.

This doesn't resolve panics from running fsstress on tmpfs, but it is a first
step towards solving these problems. No consideration of multiple tmpfs mounts
at the minute either.

cryptsetup - Fix uuid bug, cleanup

* Clean up some useless debug and improve some other to be more
  meaningful.

* Fix (another) bug in the uuid mess. Linux' uuid_unparse doesn't
  allocate any memory, unlike our uuid_to_string. Work around it by
  using a temporary buffer and then copying into the final destination.
  The compiler has been warning me about this one long enough...

dm_target_crypt - Fix a number of bugs

* Fix several bugs causing panics when the initialization failed but the
  uninit code is called anyways.

* Adjust ESSIV constructor to be 100% compatible with Linux.

* Most problems were found running cryptsetup compat-test.

cryptsetup - Port compat-test

kernel - close more kqueue MP races

* Leave the KN_QUEUED flag set while processing a knote in kern_kevent().
  The flag prevents the knote from being requeued while blocked in the
  filter function.

  Document this requirement.

* Use kq_token in a few more places

HAMMER VFS - More cluster_read() fixes

* The recent cluster limiting code was improperly using raw block device
  offsets to calculate the largeblock mask used to prevent clustered I/Os
  from crossing a large-block boundary.

  raw block device offsets are not necessarily largeblock aligned, so
  this calculation failed to properly limit cluster_read()s and the
  result was an occassional clustered read would cross-over into an
  incompatible largeblock and later cause an overlapping buffer panic.

* Calculate the proper limit in the hammer_ondisk.c module and refactor
  hammer_io_read().

Reported-by: swildner

kernel - Fix reentrant serialization in if_tun

* Fix an issue where a KNOTE() is called while the serializer is held,
  resulting in nested serialization calls.

cryptosoft - Fix x86_64 buildkernel

* Minor #include issue for x86_64 builds.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - close numerous kqueue MP and blocking races

* create race

Close a race where one thread registers a kevent and blocks in
f_attach allowing another thread to register a change or deletion
on the same event.

* delete race

Close a race where one thread deletes a kevent and blocks in
f_detach allowing another thread to register a change or deletion
on the same event.

* scan/close race

Close a race where one thread is in the middle of a kqueue_scan()
and another concurrently close()s a related file descriptor.  This
could cause select and poll to loop forever due to not being able
to delete the 'spurious' kevent.

* register/close race

Close a race where one thread registers a kevent and blocks
in f_attach and another thread close()s the related file
descriptor at the same time.

cryptosoft - (partially) fix AES_XTS for contiguous buffers

* The reinit magic skipping the iv mess for CBC was not being done for
  contiguous buffers, only for iovs and mbufs.

* This resulted in all test vectors for aes xts passing from userland
  (which uses iovs) but everything failing in kernel.

* Right now cryptsetup with -c aes-xts-plain still won't work, but at
  least some simple encryption and decryption tests work in kernel, too.

kernel - NFS server cleanup and xid atomic ops

* Use atomic_fetchadd_int() to allocate xid's in two places.

* NULL out rp fields and clear flags after freeing their pointers,
  for safety.

HAMMER VFS - Minor iterator change for pid hash

* Make the iterator volatile so the compiler only loads it once.

HAMMER VFS - Add debugging for overlapping buffer issue

* Add debug flags to display information that may be useful when
  diagnosing overlapping buffers.

  Set vfs.hammer.debug_general=163840 (0x28000) to generate
  the debug data.

kernel - clarify comment in nestio code

* Clarify comments on the use of a counter to determine when the
  last nested I/O is finished.

kernel - minor flags coding change

* Use |= instead of =.  The related structure was bzero'd so the effect
  is the same but this reduces potential confusion.

kernel - Fix system lockup w/ kqueue based select/poll due to dup2()

* dup2() was not calling knote_fdclose() on the original descriptor being
  replaced

* fdfree() (called by exit) was not cleaning out knotes either, though
  exit*() probably took care of it already when it closed the descriptors.

* Assert that a file has no knotes on the last fdrop().

Reported-by: everyone + lentferj + alexh + swildner + Studbolt

Move the arp(4) manual page to share/man, too.

Move the random(4) manual page to share/man.

hotplugd(8): Remove unnecessary SRCS.

dm_target_crypt - fix logic for xts support

crypto.[49] - update for CRYPTO_AES_{XTS,CTR}

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

crypto - fix crypto_getfeat

* CRK_DH_COMPUTE_KEY was being skipped in crypto_getfeat, as it is ==
  CRK_ALGORITHM_MAX.

LINT: Why not just keep it sorted?

aesni - printf -> kprintf for DEBUG

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

dm_target_crypt - Enable support for AES-XTS

padlock - Rework locking

* Change lockmgr to spinlock (FreeBSD used to use rwlocks for this),
  since there's no blocking in the locked sections.

* Fix several bugs where previously a shared lock was held although an
  exclusive lock was required.

* Add a missing unlock in padlock_detach.

aesni - Bind into build system & LINT

aesni - Rename amd64 -> x86_64

aesni - Port to DragonFly

* Please note that this is completely *UNTESTED*

aesni - Import verbatim from FreeBSD

test - Add crypto(dev) tests from OpenBSD

* Obtained-from: OpenBSD

cryptodev - Allow software crypto

* Allow using software crypto via cryptodev if the sysctl
  kern.cryptodevallowsoft is set to 1.

* This allows to run a bunch of crypto tests and verify test vectors
  without having hardware acceleration.

crypto - Update crypto for AES XTS and CTR

* Sync a bit up with OpenBSD, adding 'reinit' and 'ivsize' to the xform
  structure.

* Add support for AES-XTS and AES-CTR.

Obtained-from: OpenBSD

padlock - Properly align data

* Most parameters to the xcrypt instruction need to be aligned to 16
  bytes. So far we haven't been aligning some of the data such as the
  key, iv and control structure. Refer to the "VIA PadLock Programming
  Guide" for more details.

* Address this by allocating a bit more
  space and setting stuff up at 16-byte boundaries and ensuring gcc
  aligns the whole structure 16-bytish. While this wastes some memory,
  it is negligible.

* This fixes the issue with encryption and decryption with padlock
  causing general protection faults.

Reported-by: Jan Lentfer (lentferj@)

man9/Makefile: Sort alphabetically.

cryptosoft - Fix useless compression detection

* If the result of the compression has the same size as the input, it's
  also useless; not only when it's bigger.

* This seems to fix several issues with consumers that would send the
  data out without noting that compression was used.

Obtained-from: FreeBSD

dm_target_crypt - Fix compatibility with Linux

* The sector number that Linux' dm-crypt passes to its iv generators
  is offset another -block_offset sectors, so that the actual sector
  number is the one on the dm device, not the underlying device.

* Also fix the plain iv generator, which is supposed to be a "32-bit
  little-endian version of the sector number"

* Now our dm_target_crypt can read Linux' crypt disks. This was tested
  with an image using aes-cbc-essiv:sha256 and aes-cbc-plain.

kernel - Correct hex2key() in dm_crypt

* hex2key() was only scanning half the key, leaving the remainder
  as garbage.

kernel - Fix iv sector mush in dm_target_crypt for offsets >= 1TB

* The linux code uses a 64-bit sector number for iv generation, so we
  have to as well.

padlock - get rid of __GNUCLIKE_ASM #ifdefs

* Remove the uses of __GNUCLIKE_ASM, as we don't define it and in any
  case it only causes problems.

* If it wasn't defined, it would cause encryption to succeed but without
  encrypting anything, potentially leaking private information. Since on
  DragonFly this define doesn't exist, this would always be the case.

Reported-by: Jan Lentfer (lentferj@)
Dragonfly-bug: http://bugs.dragonflybsd.org/issue1638

kernel - opencrypto - optimize chained synchronous callbacks for soft crypto

* When a crypto operation is dispatched to a crypto thread and makes a
  synchronous callback from that thread, and the callback function
  dispatches a followup crypto as part of a chain, we ignore F_BATCH
  and run the followup crypto directly.

  Since we are already in a crypto thread there's no point dispatching
  the followup crypto to another crypto thread.

  Increases dm_crypt's essiv performance w/software crypto by 7%.

* Warning: The chain length for crypto operations with synchronous
  callbacks should be limited to 2 or 3 to avoid blowing up the kernel's
  thread stack.

Fix minor mdoc(7) issues

 * Start sentence on new line
 * Delete white-space at end of line

dm_target_crypt - rework ivgen magic, fix bug

* Add a forgotten crypto_freesession() in the destruction of the target.

* Change ivgen infrastructure to be more complete; each ivgen can now
  have a ctor, a dtor and some private data.

* Change ESSIV ivgen to use its own crypto session.

* Change all the crypto stuff *not* to use an explicit key but rather
  use the key with which they were initialized.

* Dispatch the actual data crypto from the ivgens, allowing the iv
  generation to happen asynchronously.

Discussed-with: Matt Dillon (dillon@)

crypto(9) - Fix argument type for crypto_freesession

Fix LINT build

udevd - Change socket permissions so non-privileged users can access it.

udevd - Add an option to not daemonize udevd.

udev - Add unit serial number to the udev
       dictionary when available.

HAMMER VFS - Throw away cached vnodes on stage2 mount failure

* Make sure all cached vnodes are thrown away before we destroy the mount
  structure after a stage2 recovery failure.

Reported-by: Venkatesh Srinivas <vsrinivas@crater.dragonflybsd.org>

kernel - Fix intermediate value overflows in badjiosched() and bwillwrite()

* Fix overflows which can skew our write limiting heuristics and cause
  the buffer daemons to flush too much dirty data at once.

HAMMER VFS - Limit pending writes when flushing undos

* Call hammer_io_limit_backlog() in the undo flush.  We already call it
  when flushing data and meta-data.

* Handles certain extreme cases where large amounts of undo data could
  overwhelm dm_target_crypt.

kernel - limit running io writes during fsync

* The fsync code was queueing an unlimited number of BUF/BIOs while
  flushing a file, which creates a very large write burden on the
  system, read stalls due to locked buffers, and can also blow out
  things like dm_target_crypt which must allocate side-buffers for
  the data.

* Fixes kmalloc exhaustion panics with dm_crypt.

* Improves read performance under heavy write loads (e.g. blogbench).

Fix !INVARIANTS build.

Fix-from: Matt Dillon.

kernel - dm_target_crypt - use CRYPTO_F_BATCH

* Allow crypto requests to be dispatched to multiple crypto support
  threads instead of executing the operation synchronously.

* Greatly improves crypto performance on SMP boxes.  25MB/s -> 80MB/s on
  my quad.

* Currently the ivgen code gets in the way because it must be executed
  synchronously before the data crypto op can be initiated.  Further
  performance improvements are possible.

kernel - Add SMP support for software crypto driver

* Create a crypto thread for each cpu.

* Run the threads without the MP lock.

* Dispatch to the threads round-robin.

kernel - add kthread_create_cpu()

* Add a version of kthread_create() where the cpu can also be specified.

Add a draft systimer(9) manpage.

HAMMER UTILITY - Fix buildworld issue w/ last commit

* Cockpit trouble.

Reported-by: swildner

HAMMER UTILITY - Fix seg-fault on corrupt blockmap during recovery

* Fix a seg-fault which occurs when the recover directive hits a bad
  blockmap entry.

Reported-by: "Miro Svetlik" <miro@svetlik.be>

kernel - Fix possible race in syncache

* syncache_timer_handler() can block while dropping a syncache entry,
  potentially causing the next pointer it uses in its list iteration
  to become stale.

* Use a list marker to keep tabs on the list position instead of using
  a next pointer.

* Remove critical sections, callouts do not preempt and syncache
  routines can only be entered from protocol threads or callouts.

* Document the callout code as not preempting other threads.

Reported-by: Peter Avalos <pavalos@theshell.com>

kernel - Fix excessive mbuf use in nfs_realign()

* nfs_realign() was calling m_copyback() which itself uses the deprecated
  m_getclr(), and m_getclr() only allocates non-cluster mbufs.

  This caused nfs_realign() to use an excessive number of mbufs and can
  exhaust the mbuf pool on systems with small amounts of memory.

Reported-by: Antonio Huete Jimenez <tuxillo@quantumachine.net>

HAMMER Utility - Ignore additional failure cases during recover

* Ignore bad volume specifications in data offsets during a recover
  operation.

Reported-by: "Miro Svetlik" <miro@svetlik.be>

libkvm - kvm_get_swapinfo - fix memory leak in last commit

* Fix a memory leak

libkvm - Adjust kvm_getswapinfo() to use the new vm.swap_info_array sysctl

* kvm_getswapinfo() attempts to use the new sysctl and if it fails, or
  if the kvm is operating on a kernel core file, reverts to the namelist.

kernel - Implement vm.swap_info_array sysctl

* Track swap usage on a per-device basis

* Implement the vm.swap_info_array sysctl to retrieve the array.

kernel - add vm.swap_size sysctl

* Add vm.swap_size sysctl to complement vm.swap_anon_use and
  vm.swap_cache_use.

Requested-by: Carlos Olmedo Escobar

awk: Switch to awk 20100523

awk: Tweak local patch to apply cleanly to new awk

awk: Remove local patch, it's fixed upstream

awk: Add our README files

Import of awk version 20100523

Fix some minor mdoc issues.

Make amdsmb(4) compilable into the kernel and add it to LINT.

Remove a debugging leftover (thus fixing LINT).

CLUSTERDEBUG is a kernel option. So it can't be defined again
unconditionally in the file.

Remove some leftovers from the iic upgrade via 'make upgrade'.

HAMMER Utility - Add catastrophic recovery feature

* hammer -f <devices> recover <empty_target_dir>

* Add a catastrophic recovery feature.  A HAMMER filesystem image is
  scanned (using the -f <blockdevs> specification).  Any buffer which
  looks like a B-Tree node is then sub-scanned for inode, directory, and
  data records and the filesystem is reconstructed in the specified
  target directory.

* The files and directories are initially named after the object id
  and are renamed and moved as directory entries are found to resolve
  the fragmentory information.

* File writes strip trailing 0's (data records are not limited to the
  file EOF), but will properly truncate the file if/when the related
  inode record is found.

* Currently no attempt is made to restore owner, group, file modes,
  softlinks, or hardlinks (only one link will be restored).

TODO: Currently a valid volume header is required, but the only thing
      we actually need from it is the vol_buf_beg field.  This field
      could be guessed or passed in on the command line in a future
      update to the recovery code.

HAMMER VFS - Expand vfs.hammer.debug_io capabilities

* Add debugging capabilities which are able to distinguish IO requests
  which are cached from IO requests which have to go to the device.

* vfs.hammer.debug_io bit 0 (i.e. the value 1) will use the new feature.
  This is for debugging only.

HAMMER VFS - Add HAMMER_OFF_BAD

* Add a define for a hammer_off_t representing a bad offset.

Sync amdpm(4) with FreeBSD (and bring in amdsmb(4)).

powermng: Fix some printf -> kprintf.

Sync alpm(4) with FreeBSD.

Sync zoneinfo database with tzdata2010l from elsie.nci.nih.gov

africa:         8.27 -> 8.28
asia:           8.60 -> 8.61

* africa: Change Cairo's 2010 reversion to DST from the midnight between
    September 8 and 9 to the midnight between September 9 and 10.

* asia: Change Gaza's 2010 return to standard time to the midnight
    between August 10 and 11.

iicbus: Bring us closer to FreeBSD.

This is work in progress and I commit it so Dave Shao's Summer of Code
project can proceed.

Further commits will follow.

Taken-from: FreeBSD

man9/Makefile: Sort alphabetically.

Add a dsched(4) manual page.

dsched(9) will follow.

Submitted-by: alexh

Add a draft mpipe(9) manpage explaining malloc pipelines.

kernel - revamp cluster_read API and improve performance

* Revamp the API to be much less confusing.  Pass a minimum read ahead
  based on the higher level uio length, and a maximum read ahead
  based on the sequential heuristic.  These combine together to determine
  how much read-ahead to do.

  For example if a program is doing random-reads with 1MB read() requests
  the minreq will take precedence, whereas if the program is doing
  sequential-reads of 8K the maxreq will take precedence.

  The sequential heuristic currently maxes out at 128 * 16384 = 2MB.

* Introduce sysctl vfs.max_readahead instead of hardwiring the maximum
  read-ahead.  This defaults to 2MB which is big enough for just about
  anything.  Generally speaking this value should be larger than
  your stripe width.

  Note that currently the sequential heuristic also maxes out at 2MB so
  you cannot go larger than 2MB.

* Also correct bugs that existed in the old cluster_read(), dramatically
  improving performance on striped volumes with large chunk sizes (128K+)
  and a large number of drives (3+).

* No change here but note that HAMMER will currently issue a minimum of
  64K worth of read-ahead when accessing meta-data.

kernel - fix 64-bit build

* Fix minor cast issue for 64-bit kernel build.

HAMMER VFS - Limit queued I/O during flush

* Add sysctl vfs.hammer.limit_running_io and preset to a reasonable
  value.

* The flusher was queueing all dirty buffers all at once, sometimes leading
  to 80MB+ worth of I/O.  This blew away dm_crypto (caused it to exceed
  its malloc limit), and also results in generally poor kernel memory
  behavior.

  Limit the amount of in-flight I/O allowed during a flush to ~10MB or so,
  which should be plenty.

systat - Add more spacing for the Load

* Adjust load display so three-digit loads do not crush the display

kernel - split the pbuf subsystem into two (kva and non-kva)

Most pbufs do not require kva reservations.  Split the API to provide
pbufs without kva reservations out of a much larger pool of pbufs, fixing
deadlock issues with the DM subsystem.

Note in particular that the hammer reblocker can eat upwards of 5000 pbufs
when operating on multi-layered DM-based storage, which blows away the
256 pbufs normally available with kva reservations that the old API had.

* Getpbuf() / trypbuf() now return pbufs without KVA reservations.

* Add getpbuf_kva() and trypbuf_kva() to get pbufs with KVA reservations.

* Fixes pbuf deadlocks in the low level I/O subsystem, particularly DM
  crypt, stripe, and mirror.

kernel - dm_crypt - Pre-zero control structures, disable B_HASBOGUS handling

* Don't take any chances, pre-zero control structures and make sure the
  dmtc is completely initialized.

* Comment out the B_HASBOGUS read-decrypt bogus_page handling code.
  It doesn't work yet and it turns out that it might not even be
  necessary because the decrypter works on 512-byte sub blocks.

kernel - Add overlapping buffer test to the buffer cache

* Add a test for overlapping buffer in bgetvp().

* Add a sysctl vfs.check_buf_overlap which defaults to enabling the
  check invasively.  Overlapping buffer cache buffers can be deadly.

  0 - disabled
  1 - checked and reported
  2 - checked and panic (invasive) (default)

HAMMER VFS - Fix over-enthusiastic cluster read

* The block device I/O was over-enthusiastic in calling cluster_read()
  and could wind up creating the buffers of the wrong size which
  would then overlap the address space later buffer requests for the
  right size.

  This could result in the corruption of large-data (64K) blocks,
  usually causing a hammer reblock to fail with a CRC error but
  not corrupting the actual filesystem on-media.

  Meta data could not usually get corrupted by this unless the
  cluster-read happened to cross a large-block (8MB) boundary.

* Particularly easy to reproduce with the dm_crypt module due to
  crypt overheads.

* Fixed by disallowing read-aheads in the large-data zone (the only
  zone which can contain a mix of 16K and 64K blocks), and ensuring
  that any other cluster_read does not cross a large-block boundary.

lvm - don't forget to include dlfcn.h

* dlfcn is needed for some of the functions used in toolcontext.c, so
  include it on DragonFly, too.

Reported-by: Sascha Wildner (swildner@)

lvm - adjust visibility for devname

* adjust visibility in lib/dragonfly/dev.c to show devname(), avoiding
  truncation of higher 32 bits on x86_64, since otherwise the return
  value defaults to int.

Reported-by: Sascha Wildner (swildner@)