dsched - expand framework to track threads

* The dsched framework now takes care of tracking threads/procs and
  bufs. Most of this code was factored out of dsched_fq.

* fq now uses the new, much simplified API, reducing the lines of code
  by about 50%.

* this will also allow for runtime policy switching, even to other
  policies that need to track procs/threads. Previously it was only
  possible to have one policy that tracked threads.

* Now all policies can be loaded at any time and will still be able to
  track all the threads.

* dsched_fq is now a module that can be loaded if required. Once loaded
  the policy is registered and ready to use with any disk.

* There is also a kernel option DSCHED_FQ now; otherwise
  dsched_fq_load="YES" has to be set in loader.conf to be able to use fq
  from boot on.

* Make a dsched sysctl tree.

Suggested-by: Aggelos Economopoulos

dschedctl: G/C some unneeded headers

dschedctl: Better error message on unknown policy

Discussed-with: alexh@, corecode@

Adjust 'make upgrade' for the recent 802.11 update.

wi(4): Fix -Wold-style-definition.

kernel: Add TUNABLE_ULONG too and really fix the acpi warning.

acpi(4): Use TUNABLE_LONG to fix a warning and remove a nowerror.

kernel: Add TUNABLE_LONG.

interbench - Port to DragonFly

interbench - initial import

Clean up the options in our kernel configs for the recent 802.11 upgrade.

dschedctl: OCD attack

dschedctl: Don't assume /dev as devfs's mount point

Suggested-by: swildner@

dschedctl: Allow /dev/<disk> as valid syntax

Discussed-with: alexh@

dschedctl: Cosmetic stuff

No functional change intended.

mmc(4): Remove ARM specific DRIVER_MODULE().

fqstats - remove leftover

* remove leftovers from the fqmp refs for buf removal.

Reported-by: Matthew Dillon

ieee80211 - Fix detachment panic

* Destroy the clone when ieee80211_vap_destroy() is called, fixing a
  panic when kldunloading e.g. if_ath after a wlan clone has been
  attached to it.

Submitted-by: Rui Paulo <rpaulo@freebsd.org>

build - Fix parallel build race in Makefile

* Fix a misspelled ORDER dependency which led to a mkdir
  dependency sometimes being run out of order.

ath - Fix a mismatch in the module options.

This caused a panic with ifconfig in basic operations such
as putting an interface up.

Submitted-by: <rpaulo@FreeBSD.org>

Fix buildkernel KERNCONF=SOEKRIS.

Sync zoneinfo database with tzdata2010i from elsie.nci.nih.gov

africa:         8.24 -> 8.26
asia:           8.59 -> 8.60
southamerica:   8.43 -> 8.44

* Morocco will have DST in 2010 from May 2 to Aug 22.

* Taiwan had DST in 1979, not in 1980.

* San Luis, Argentina, is on "permanent" DST as of 2010.

dschedctl.8 - Add man page

dschedctl - Change arguments, clean up

* Remove the '-d' argument and instead allow an extra argument to '-l'
  and '-s'.

* Allow for a change of policy on all disks by not specifying an extra
  argument after '-s policy'.

* Introduce two FOREACH macros to simplify the code.

* Add helper function dsched_set_disk_policy().

* Add verbose mode.

dsched_fq - correct disk busy% calculation

* Previously old_tv was static, causing problems when several disks had
  the fq policy enabled, as the start time of the interval was taken
  from some other disk.

* Avoid this issue by keeping the information in diskctx, where it
  belongs.

dsched: Avoid integer overflow.

Multiplication of two 32 bit values can overflow the 32 bit result. Cast
one of the multiplicants to force 64 bit multiplication.

This fixes a lockup due to an infinite loop in the following while().

In-collaboration-with: aggelos

dsched_fq - remove pointless atomic ops

Reported-by: Aggelos Economopoulos

dsched_fq - Correct incomplete_tp count

* Previously, the incomplete_tp count was not decreased when an error
  occurred. This is now fixed by unconditionally reducing the incomplete
  count on the biodone callback.

Reported-by: Aggelos Economopoulos

mmcsd(4): Add device statistics.

dsched, dsched_fq - Major cleanup

SHORT version: major cleanup and rename to useful names

LONG version:

dsched:
* Unify dsched_ops with dsched_policy, remove fallout

* Rename dsched_{create,destroy} -> dsched_disk_{create,destroy}_callback

* Kill .head in dsched_policy

* Kill dead code

dsched_fq:
* Rename fqp -> thread_io/tdio
* Rename fqmp -> thread_ctx/tdctx
* Rename dpriv -> disk_ctx/diskctx

* Several related renames of functions (alloc/ref/unref).

* Remove dead code

* rename tdctx->s_* -> tdctx->interval_*

* comment struct members

* ... and some more changes I probably forgot

Huge-Thanks-To: Aggelos Economopoulos

dsched - Periph.: call dsched_exit on thread exit

* The previous location of the call to dsched_exit was not right and did
  not allow the use of lockmgr.

* We now call dsched_exit before the thread is completely killed and
  descheduled as to avoid any problems.

dsched_fq - move to lockmgr

HAMMER VFS - Fix probable corruption case when filesystem becomes nearly full

* The reblocking code was incorrectly assuming the cursor would be pointing
  at a valid node element after an unlock/relock sequence, when it could
  actually be pointing at the EOF of a node.  This case can occur when
  the filesystem is nearly full (possibly due to the reblocking operation
  itself), when the filesystem is also under load from unrelated
  operations.

* This can result in the creation of a corrupted B-Tree leaf node or
  data record.

* Corruption can be checked with hammer checkmap and hammer show
  (as of this rev):

  hammer -f device checkmap

Should output no B-Tree node records or free space mismatches.
You will still get the initial volume summary.

  hammer -f device show | egrep '^B' | egrep -v '^BM'

Should output no records.

* Currently the only recourse if corruption is found is to copy off the
  filesystem, newfs_hammer, and copy it back.

  Full history and snapshots can be retained by using 'hammer -B mirror-read'
  to copy off the filesystem and mirror-write to copy it back.  However,
  pleaes remember you must do this for each PFS individually.  Make sure
  you have a viable backup before newfsing anything.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>, Jan Lentfer <Jan.Lentfer@web.de>

ath - Fix module loading.

This registers the modules ath_hal and ath_rate,
so they are properly handled.
Both are now a dependency for if_ath to provide
automatic loading upon if_ath load.
Also 'if_ath_load=YES' on /boot/loader.conf is
fixed with this commit.

x86_64 - Sync wlan options with GENERIC

ips - Mark queue_lock as LK_CANRECURSE

Originally queue_lock was an LWKT reader-writer locks, which permitted
multiple locks by the same thread, and in fact there are few code paths
where such multiple locking is used.  Doing the similar thing with lockmgr
lock without either LK_NOWAIT or LK_CANRECURSE triggers a panic.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Fix assertion panic related to record flush state

* This assertion can occur under certain circumstances if a rename
  operation moves a file or directory to a parent directory, due to
  a circular loop in the dependency chain.

* Fix the problem by allowing the case.

Reported-by: Sascha Wildner, Alex Hornung, Venkatesh Srinivas, others

Fix LINT kernel build.

Connect mptutil(8) to the build.

mptutil(8): fix build on DragonFly

 * fix header paths
 * define SPECNAMELEN
 * use scsci_read_capacity_data_16 for scsi_read_capacity_data_long

Import mptutil(8) from FreeBSD unmodified.

sound: implement OSS_GETVERSION.

 It's required by some software, emulators/qemu to mention.

 Obtained-from: FreeBSD

dsched_fq - Overhaul locking

* use lockmgr lock for FQP lock, as some strategy ops can sleep while
  acquiring another lock (CAM SIM lock, for example).

* reduce overall locking when it isn't really required, mainly during
  deallocation (losing last ref) of objects. The locking is only
  explicitly required to protect the internal TAILQs.

* NOTE: this is an _attempt_ to fix some unidentified deadlocks that have
  been reported occasionally. While it shouldn't happen, be aware that
  this might explode.

Reported-by: Antonio Huete, Jan Lentfer

Fix ACPI global lock acquisition in x86_64.

This fixes a number of grave issues on my Sony VAIO VGN-Z51XG, such as
messages about not being able to acquire the global lock, freezes when
ACPI was fully enabled and a panic at shutdown.

BTW, gcc had been warning us about it for a long time. :)

In-collaboration-with: aggelos

dsched - Correct some length modifiers to fix buildkernel for x86_64.

Add more __printflike()'s and fix resulting fallout.

Move memmove(), strcasecmp() and strncasecmp() in !defined(KERNEL_VIRTUAL).

This fixes the VKERNEL build.

ifconfig(1) - fix autoloading of kernel module

mmc(4): Remove two unneeded .PATH lines in the Makefiles.

Add a condvar(9) manual page (based on FreeBSD's).

Submitted-by: Venkatesh Srinivas <me@endeavour.zapto.org>

Bring in FreeBSD's MMC (MultiMediaCard) stack.

mmc(4)   - The MMC bus
sdhci(4) - Host controller driver
mmcsd(4) - Memory card disk device driver

SD, SDHC and MMC cards should be supported (tested with an SDHC card).

<sys/kthread.h>: Add some __printflike()'s.

This guards against wrong conversion from FreeBSD's kthread_create()
which takes two additional parameters.

Fix the resulting fallout in kern_sensors.c

dsched: Fix x86_64 buildkernel.

HAMMER Util - Add 'checkmap', adjust hammer show

* Add a checkmap function which scans the B-Tree, collects byte usage,
  and checks it against the blockmap.  This is still experimental.

* Adjust hammer show to flag zone mismatches instead of asserting.

dsched - Change loader policy tunables (again)

* Change them to follow the standard, dotted, format. Now the three
  types are:
    - kern.dsched.policy.da0
    - kern.dsched.policy.da
    - kern.dsched.policy.default

Suggested-by: Sascha Wildner

dsched_fq - bump minor version

dsched_fq - Remove stale comment

* Remove a useless comment

dsched - change loader tunables

* Change loader tunables to dsched_pol avoiding the '*' character as it
  isn't supported by the loader.

Reported-by: Petr Janda

dsched_fq - Avoid a rare div by 0

* Avoid a rare division by 0 when calculating how busy the disk has
  been. It seems that sometimes the total disk time is 0, so when this
  happens, just assume that at least 1 us has passed.

dsched_fq - Refactor fqp allocation/destruction

* Accept another argument for fqp allocation which is the corresponding
  fqmp. This is internally stored for proper self-removal out of the
  fqmp list on destruction.

* This parameter is also used to link the fqp into the fqmp list
  automatically on creation, avoiding code duplication and deadlocking.

* Changed the destruction refcount to -0x400 instead of -3 to make
  tracking of these cases simpler and not confuse them with bad
  refcounting.

* NOTE: this also fixes the longstanding issue of an eventual panic
  after a number of policy switches to/from fq.

Reported-by: Antonio Huete (tuxillo@)

dsched_fq - Avoid int64 overflow on total_budget

* Avoid an int64 overflow when calculating the total disk budget by
  losing bits of precision if needed.

* Note that this might not quite fix the issue yet, as there is one
  other place where the int64 overflow can happen, although it is less
  likely.

* While here, make the rebalancing happen every 0.5s instead of every
  1s, effectively reducing the chance of int64 overflows.

Reported-by: Antonio Huete (tuxillo@)

dsched_fq - Fix some issues, sprinkle some asserts

* Add some strategic KKASSERT to catch negative values where they aren't
  allowed.

* Avoid certain race conditions by using a local variable instead of
  using the generally accessible one (budget vs dpriv->budgetpb). Only
  set the final value once we are ready.

dsched_fq - decentralize balancing code

* Move the balancing code out of the fq_balance_thread into
  fq_balance_Self, which should be called from dispatchers.

* This essentially offloads the heavy processing onto (mostly) the
  processes/threads that do the I/O themselves.

dsched_fq - Refactor fq_balance_thread

* Refactor fq_balance_thread to be an LWKT instead of callout.

* Also make sure fqp->transactions, fqp->avg_latency don't change while
  we use them.

dsched_fq - Finalize switch to new disk-busy calc

* Don't take the time since the last balancing run as a fixed value,
  instead calculate it.

* Remove extraneous craft that suggested a disk is only busy if it also
  has many incomplete requests.

dsched_fq - Refactor and clean; handle flushes

* Factor out an fq_drain which will either cancel or dispatch all the
  bios we have currently in all our fqp queues.

* Clean out old comments and code.

* Deal with flushes by not queuing them but rather letting dsched handle
  them. By returning EINVAL, dsched_queue will dispatch the flush
  itself.

print_backtrace - Take parameter count

* Modify print_backtrace to take a parameter 'count' that specifies the
  maximum number of frames to print for the backtrace.

* Change all current consumers to use the new print_backtrace with count
  -1, resulting in the same behaviour as before this change.

* Remove cruft in dsched_fq that simulated this behaviour previously.

dsched_fq - properly drain all queues on teardown

* Properly drain all fqp queues on teardown to ensure that no bios and
  especially fqps are left dangling around.

* This should fix the occasional panic during policy switches.

dsched_fq - minor cleanup and fix

* Previously, wakes didn't correctly set the local idle bit in
  fq_dispatcher. Fix this by moving it into the right place.

* Remove old code, replace comments, remove level of indentation.

dsched_fq - Improve performance, reduce idle time

* Boost performance by dynamically adapting the rate limit on throttled
  threads if the disk becomes idle. This will ensure that the disk is
  always > 90% used if there are requests queued.

dsched_fq - Improve disk busy-% calculation

* Use the disk idle time to account for disk business instead of the
  number of in-flight requests.

Suggested-by: Simon "corecode" Schubert

dsched - Implement priorities and other improvements

* Implemented fq priority support. This also includes the userland tool
  ionice.

* Implement an exit_buffer hook to be able to clean up bufs before they
  are reused.

* Some minor performance improvements in fq.

dsched - Add the FQ policy

* Add the FQ (fair queueing) policy for the dsched I/O scheduler
  framework.

* Right now, this is at best experimental; it only starts rate limiting
  when the disk is busy. Each process is allocated an equal fair amount
  of disk time, based on the average request latency and tps.
  If the disk is busy and one process exceeeds its fair share, its bios
  are queued for later dispatch.
  To avoid starvation of heavy write processes, heavy writes are
  interleaved once every 3 scheduler rebalances. The scheduler rebalance
  time is currently set to 1s, so that exceeding processes will be
  limited after this period.

* While I've done some limited testing on switching policies at runtime
  and even under heavy I/O going on, it is not recommended to do this,
  as some problems will crop up.

* Future work to do:
- stabilization pass
- adding bucket support (i.e. having different priority buckets
  for groups of processes, so that for example processes A,B and
  C get a total aggregate of 80% disk time, while processes D
  and E get a total aggregate of 20%, instead of each process
  getting 20%)
- adding an "ionice" userland tool to allow to change the
  bucket/priority of a process

dsched - Tie the dsched framework into the system

* tie the dsched framework into the system by binding it into the build,
  adding all the necessary hooks and other calls.

dsched - import the I/O scheduler framework dsched

* Import my branch of the I/O scheduler framework. This commit only
  introduces the core dsched framework, without binding it into the
  system and without any policy except for the default one.

if_ath - Properly remove sysctls on detach.

Submitted-by: Johannes Hofmann <johannes.hofmann@gmx.de>

system boot - Fix savecore when swapdev != dumpdev

* Specify the dumpdev on the savecore line.  Fixed issues when the swapdev
  is not the same as the dumpdev.

Reported-by: Alexander Polakov <polachok@gmail.com>

<sys/buf2.h>: Add bioq_takefirst() from FreeBSD for easier driver porting.

Remove the inclusion of <machine/bus_at386.h> from some WLAN drivers.

This file exists only on i386. Including it is not needed at all since
<sys/bus.h> on i386 already brings it in (via <machine/bus_dma.h>) and
also does the right thing in x86_64.

This fixes module building on x86_64.

Merge remote branch 'rpaulo/net80211-update'

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix build with DIAGNOSTIC.

Update to new if_clone API.

Fix kernel build.

Fix build.

Disable not yet ported drivers.

Fix wlan_acl and replace kern_firmware with subr_firmware.

Remove references to ether_snprintf.

libc - Return ENOSYS in both mlockall() / munlockall()

Submitted-by: Venkatesh Srinivas <me@endeavour.zapto.org>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1712>

HAMMER VFS - Fix hammer lock assertion panic when REDO recovery fails

* REDO recovery failed to release a buffer in its error path, resulting
  in a panic later on.  This patch adds the proper release.

Reported-by: Venkatesh Srinivas <me@acm.jhu.edu>

Clean up some remains from the gcc2 days.

In gcc2, we kept __FreeBSD__ as a compiler built-in. Starting with gcc3,
we only define __DragonFly__.

* Remove the general definition of __FreeBSD_version from <sys/param.h>
  and <osreldate.h>. However, ipftest(1) and ipsend(1) still need it, so
  define it from their Makefiles.

* Remove the definition of __FreeBSD__ from the Makefiles of ipmon(8)
  and openssl(1), both of which don't need this anymore.

Merge remote branch 'rpaulo/net80211-update'

Add AH_SUPPORT_AR5416 always.

Disable ndis for now.

Fix for new net80211 options

Merge remote branch 'crater/master' into net80211-update

Update for new ratectl.

Merge branch 'master' into net80211-update

nata - Drop pending requests on dump

* Drop all pending requests in the ata queue when we are about to dump.

* This should solve issues that have been appearing lately causing a
  TAILQ_NEXT panic on dumps with nata under heavy I/O.

Reported-by: Jan Lentfer (lentferj@), Antonio Huete (tuxillo@)
Obtained-from: FreeBSD