HAMMER Util - Add 'checkmap', adjust hammer show

* Add a checkmap function which scans the B-Tree, collects byte usage,
  and checks it against the blockmap.  This is still experimental.

* Adjust hammer show to flag zone mismatches instead of asserting.

dsched - Change loader policy tunables (again)

* Change them to follow the standard, dotted, format. Now the three
  types are:
    - kern.dsched.policy.da0
    - kern.dsched.policy.da
    - kern.dsched.policy.default

Suggested-by: Sascha Wildner

dsched_fq - bump minor version

dsched_fq - Remove stale comment

* Remove a useless comment

dsched - change loader tunables

* Change loader tunables to dsched_pol avoiding the '*' character as it
  isn't supported by the loader.

Reported-by: Petr Janda

dsched_fq - Avoid a rare div by 0

* Avoid a rare division by 0 when calculating how busy the disk has
  been. It seems that sometimes the total disk time is 0, so when this
  happens, just assume that at least 1 us has passed.

dsched_fq - Refactor fqp allocation/destruction

* Accept another argument for fqp allocation which is the corresponding
  fqmp. This is internally stored for proper self-removal out of the
  fqmp list on destruction.

* This parameter is also used to link the fqp into the fqmp list
  automatically on creation, avoiding code duplication and deadlocking.

* Changed the destruction refcount to -0x400 instead of -3 to make
  tracking of these cases simpler and not confuse them with bad
  refcounting.

* NOTE: this also fixes the longstanding issue of an eventual panic
  after a number of policy switches to/from fq.

Reported-by: Antonio Huete (tuxillo@)

dsched_fq - Avoid int64 overflow on total_budget

* Avoid an int64 overflow when calculating the total disk budget by
  losing bits of precision if needed.

* Note that this might not quite fix the issue yet, as there is one
  other place where the int64 overflow can happen, although it is less
  likely.

* While here, make the rebalancing happen every 0.5s instead of every
  1s, effectively reducing the chance of int64 overflows.

Reported-by: Antonio Huete (tuxillo@)

dsched_fq - Fix some issues, sprinkle some asserts

* Add some strategic KKASSERT to catch negative values where they aren't
  allowed.

* Avoid certain race conditions by using a local variable instead of
  using the generally accessible one (budget vs dpriv->budgetpb). Only
  set the final value once we are ready.

dsched_fq - decentralize balancing code

* Move the balancing code out of the fq_balance_thread into
  fq_balance_Self, which should be called from dispatchers.

* This essentially offloads the heavy processing onto (mostly) the
  processes/threads that do the I/O themselves.

dsched_fq - Refactor fq_balance_thread

* Refactor fq_balance_thread to be an LWKT instead of callout.

* Also make sure fqp->transactions, fqp->avg_latency don't change while
  we use them.

dsched_fq - Finalize switch to new disk-busy calc

* Don't take the time since the last balancing run as a fixed value,
  instead calculate it.

* Remove extraneous craft that suggested a disk is only busy if it also
  has many incomplete requests.

dsched_fq - Refactor and clean; handle flushes

* Factor out an fq_drain which will either cancel or dispatch all the
  bios we have currently in all our fqp queues.

* Clean out old comments and code.

* Deal with flushes by not queuing them but rather letting dsched handle
  them. By returning EINVAL, dsched_queue will dispatch the flush
  itself.

print_backtrace - Take parameter count

* Modify print_backtrace to take a parameter 'count' that specifies the
  maximum number of frames to print for the backtrace.

* Change all current consumers to use the new print_backtrace with count
  -1, resulting in the same behaviour as before this change.

* Remove cruft in dsched_fq that simulated this behaviour previously.

dsched_fq - properly drain all queues on teardown

* Properly drain all fqp queues on teardown to ensure that no bios and
  especially fqps are left dangling around.

* This should fix the occasional panic during policy switches.

dsched_fq - minor cleanup and fix

* Previously, wakes didn't correctly set the local idle bit in
  fq_dispatcher. Fix this by moving it into the right place.

* Remove old code, replace comments, remove level of indentation.

dsched_fq - Improve performance, reduce idle time

* Boost performance by dynamically adapting the rate limit on throttled
  threads if the disk becomes idle. This will ensure that the disk is
  always > 90% used if there are requests queued.

dsched_fq - Improve disk busy-% calculation

* Use the disk idle time to account for disk business instead of the
  number of in-flight requests.

Suggested-by: Simon "corecode" Schubert

dsched - Implement priorities and other improvements

* Implemented fq priority support. This also includes the userland tool
  ionice.

* Implement an exit_buffer hook to be able to clean up bufs before they
  are reused.

* Some minor performance improvements in fq.

dsched - Add the FQ policy

* Add the FQ (fair queueing) policy for the dsched I/O scheduler
  framework.

* Right now, this is at best experimental; it only starts rate limiting
  when the disk is busy. Each process is allocated an equal fair amount
  of disk time, based on the average request latency and tps.
  If the disk is busy and one process exceeeds its fair share, its bios
  are queued for later dispatch.
  To avoid starvation of heavy write processes, heavy writes are
  interleaved once every 3 scheduler rebalances. The scheduler rebalance
  time is currently set to 1s, so that exceeding processes will be
  limited after this period.

* While I've done some limited testing on switching policies at runtime
  and even under heavy I/O going on, it is not recommended to do this,
  as some problems will crop up.

* Future work to do:
- stabilization pass
- adding bucket support (i.e. having different priority buckets
  for groups of processes, so that for example processes A,B and
  C get a total aggregate of 80% disk time, while processes D
  and E get a total aggregate of 20%, instead of each process
  getting 20%)
- adding an "ionice" userland tool to allow to change the
  bucket/priority of a process

dsched - Tie the dsched framework into the system

* tie the dsched framework into the system by binding it into the build,
  adding all the necessary hooks and other calls.

dsched - import the I/O scheduler framework dsched

* Import my branch of the I/O scheduler framework. This commit only
  introduces the core dsched framework, without binding it into the
  system and without any policy except for the default one.

system boot - Fix savecore when swapdev != dumpdev

* Specify the dumpdev on the savecore line.  Fixed issues when the swapdev
  is not the same as the dumpdev.

Reported-by: Alexander Polakov <polachok@gmail.com>

<sys/buf2.h>: Add bioq_takefirst() from FreeBSD for easier driver porting.

Remove the inclusion of <machine/bus_at386.h> from some WLAN drivers.

This file exists only on i386. Including it is not needed at all since
<sys/bus.h> on i386 already brings it in (via <machine/bus_dma.h>) and
also does the right thing in x86_64.

This fixes module building on x86_64.

Merge remote branch 'rpaulo/net80211-update'

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix build with DIAGNOSTIC.

Update to new if_clone API.

Fix kernel build.

Fix build.

Disable not yet ported drivers.

Fix wlan_acl and replace kern_firmware with subr_firmware.

Remove references to ether_snprintf.

libc - Return ENOSYS in both mlockall() / munlockall()

Submitted-by: Venkatesh Srinivas <me@endeavour.zapto.org>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1712>

HAMMER VFS - Fix hammer lock assertion panic when REDO recovery fails

* REDO recovery failed to release a buffer in its error path, resulting
  in a panic later on.  This patch adds the proper release.

Reported-by: Venkatesh Srinivas <me@acm.jhu.edu>

Clean up some remains from the gcc2 days.

In gcc2, we kept __FreeBSD__ as a compiler built-in. Starting with gcc3,
we only define __DragonFly__.

* Remove the general definition of __FreeBSD_version from <sys/param.h>
  and <osreldate.h>. However, ipftest(1) and ipsend(1) still need it, so
  define it from their Makefiles.

* Remove the definition of __FreeBSD__ from the Makefiles of ipmon(8)
  and openssl(1), both of which don't need this anymore.

Merge remote branch 'rpaulo/net80211-update'

Add AH_SUPPORT_AR5416 always.

Disable ndis for now.

Fix for new net80211 options

Merge remote branch 'crater/master' into net80211-update

Update for new ratectl.

Merge branch 'master' into net80211-update

nata - Drop pending requests on dump

* Drop all pending requests in the ata queue when we are about to dump.

* This should solve issues that have been appearing lately causing a
  TAILQ_NEXT panic on dumps with nata under heavy I/O.

Reported-by: Jan Lentfer (lentferj@), Antonio Huete (tuxillo@)
Obtained-from: FreeBSD

ata - Fix dumping of old ata driver

* While we still have ata(4) around, make addump work properly again
  with the new dumping infrastructure.

Fix i386 buildworld.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Merge branch 'net80211-update' of git://leaf.dragonflybsd.org/~rpaulo/dragonfly into net80211-update

sleep.9: Document mtxsleep() and tsleep_interlock().

Also, update HISTORY a bit.

Submitted-by: Venkatesh Srinivas <me@endeavour.zapto.org>

Fix LINT build.

Add -Wold-style-definition to WARNS >= 3 and fix the resulting fallout.

* Ansify a function in mount_smbfs(8).

* Lower the WARNS of some contrib/ stuff from 3 to 2.

In man9 manual pages, add some references to where the code is.

Submitted-by: Venkatesh Srinivas <me@endeavour.zapto.org>

ACPI: Don't unlock in lock's error path

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1647>

Submitted-by: Edward O'Callaghan

ACPI - disable ACPIIO_ACKSLPSTATE

It's incomplete and an undocumented option in acpiconf can trigger
a kernel panic (only as root, though).

mount_portal(8): Raise WARNS to 6.

mount_nwfs(8): Raise WARNS to 6.

Constify ncp_error()'s fmt argument.

sysctl(8): Raise WARNS to 6.

Install the boot(8) manual page too during 64 bit install.

malloc.3: Remove some phkmalloc specific info in the HISTORY section.

Reported-by: Venkatesh Srinivas <me@endeavour.zapto.org>

window(1): Perform NULL check before strcmp() rather than after.

Fixes segfault upon TERM=cons25.

sili.4: Mention support for both versions of 3124 chips.

linux emu - Refactor open code

* Factor out a linux_open_common that both open() and openat() use.

* While here, also use CACHE_*MPLOCK*, as is done in vfs_syscalls.c.

linux emu - support O_DIRECTORY for open syscall

* Linux opendir seems to rely on O_DIRECTORY to avoid certain race
  conditions, so introduce O_DIRECTORY support which just returns
  ENOTDIR even if the open is successful, if the opened path is not a
  directory.

* This fixes Ant's directory scanner.

Submitted-by: Johannes Hofmann

window(1): Remove __RCSID & friends.

rcorder(8): Remove __RCSID & friends.

hotplugd(8): We have __dead2 for __attribute__((__noreturn__)).

Why? Don't ask me.

hotplugd(8): Raise WARNS to 6.

look(1): Fix my previous commit.

I broke i386 behavior. Instead, take a nicer fix from NetBSD.

nrelease: Remove LiveDVD specific kernel configs and loader menu.

These were introduced in order to also offer SMP kernels (with and
without APIC_IO) from the LiveDVD. But we don't want to maintain 4
extra kernel configs just for that purpose, especially since we
have x86_64 support now which would require introducing even more
configs. The whole concept has to be re-thought.

So until we come up with a better solution, get rid of it and go
with the usual GENERIC/VKERNEL (X86_64_GENERIC/VKERNEL64 on
x86_64) combination just like we do for the LiveCD.

Fix look(1) on x86_64.

SIZE_T_MAX, being ULONG_MAX, was -1 when cast to off_t (int64_t).

Reported-by: Urmas Reinsalu <urki@klaasikoda.ee>

s/firmware.h/fbsd_firmware.h/

firmware - Import FreeBSD's firmware API.

This should be considered experimental.  When porting code from
FreeBSD instances of #include <sys/firmware.h> should be converted
to #include <sys/fbsd_firmware.h>.  I have also taken out some of
the firmware file locking code.

update

Sync with FreeBSD.

Sync with FreeBSD.

Sync with latest net80211 changes from FreeBSD, therby removing DFly's
ratectl code.

hammer.5: Add a reference to mneumann's KIT presentation slides.

Do proper locking in the callout functions.

pthread.3: Update the IMPLEMENTATION NOTES to the current state of affairs.

Move information from the README to the manual page since all this
information is also interesting to people who don't have source.

Disable non-ported drivers.

Add an rc script for starting vkernels upon boot.

I'm committing this for now since it works OK here and seems to be a
good thing.

Should anyone come up with better ideas for connecting to the vkernels'
consoles (as suggested by Matt and Nuno), that can go in later.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue697>

Merge branch 'master' into net80211-update

tmpfs - Add additional mount options

* Add named mount options for guid, uid, mode (root inode)
* Add named mount options ofr inodes, size, and maxfilesize.

Submitted-by: Naoya Sugioka <naoya.sugioka@gmail.com>

mqueues: selwakeup() needs the MP lock to be held

Briefly-discussed-with: sjg@

hammer volume-add / volume-del: Keep bigblock stats correct

Remove an unused target from src/Makefile.

Remove the 'update' target which was used for updating source via CVS.

Users can use the targets provided in /usr/Makefile or just 'git pull'.
See development(7).

Submitted-by: Edward O'Callaghan <eocallaghan@auroraux.org>

Sync zoneinfo database with tzdata2010h from elsie.nci.nih.gov

africa:         8.23 -> 8.24
asia:           8.58 -> 8.59

Both Tunisia and Pakistan have decided to abandon DST.

nrelease: Remove unused variable.

HAMMER Utility - Change default split size from 100MB to 4G

* Change the default split size for mirroring from 100MB to 4G.  For very
  large filesystems a small split size can result in very high meta-data
  overheads with very little actual incremental data.

* Adjust the manual page for the split changes.

* Adjust the manual page to clarify limitations of the bandwidth option.

nrelease: Add back the creation of the /usr/local hierarchy on the LiveCD.

Even though nothing in base uses it, it's more convenient to have the
hierarchy already in place in case the user wants to install some stuff
the traditional way.

While doing this, remove the documentation of the 'fetch' target from
release.7 since this target no longer exists now that cvsup has been
removed from the LiveCD.

In-discussion-with: dillon

installer: Fix the LiveCD's /etc/fstab regarding /usr/local.

/usr/local/etc was mounted read/write (a remnant from the FreeBSD ports
era). Instead, mount /usr/pkg/etc in order to give the user a chance to
tweak the settings of the packages which come on the LiveCD.

systat - Fix a deja vu in a header file.

include/Makefile: Add vers.txt to CLEANFILES.

kernel - Address excessive stall in pageout during deadlock avoidance

* The pageout daemon uses LK_TIMELOCK to avoid deadlocking on a vnode
  that might be held locked during a pfault, which waits up to 1/10 of
  a second.

  If the vnode has a large number of pageable pages each page may go
  through the timeout.  This can result in the pageout daemon stalling
  for an excessive amount of time.

  Reduce instances of the problem by remembering the last vnode which
  failed its timelock and using LK_NOWAIT for later pages.  A single
  vnode is remembered for now.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

devfs - Fix incorrect st_size reporting

* The default reported st_size should be 0 and not sizeof(devfs_node).

* Fixes incorrect reporting for /dev/null and other devices.

Reported-by: marino2, numerous others (it slipped through the cracks)

HAMMER VFS - Fix insufficient cursor change test

* The reblocking code tests whether a cursor has changed after being
  unlocked.  This test was insufficient and resulted in an assertion
  panic.  Beef up the test.

Reported-by: Jan Lentfer <Jan.Lentfer@web.de>

vinum - change drive parsing

* When calling init_drive() from read_drive_label() change the static 0
  with the verbose var that is passed to read_drive_label().

* Changed the way the drives are parsed in vinum_scandisk() and removed
  the second iteration of detecting vinum partitions

Submitted-by: Rumko
Dragonfly-bug: http//bugs.dragonflybsd.org/issue1565