docs - update tuning(7)

* Get rid of a ton of old cruft that no longer applies and replace with
  more applicable information.

Fix typo in argv handling.

kernel - Temporarily back-out smp_invltlb() changes

* These changes are deadlocking i386 kernels, and it is too close to
  the release so back them out for the release.  The issue will be
  fixed another way post-release.

kernel - Fix bug in the emergency interrupt polling thread

* This thread is only active when kern.emergency_intr_enable is non-zero

* Get the next intr handler before processing the current one, since the
  act of processing the current handler may remove it.

* In the emergency interrupt polling thread do not stall if we cannot get
  the serializer for the interrupt.  just skip the handler and we'll try
  again next time.

sysctl.conf - Enable emergency interrupt polling at a low rate by default

* Set kern.emergency_intr_enable=1 in the ISO/IMG sysctl.conf for
  newly installed kernels.  The idea is so people can get things working
  more quickly and worry about performance afterwords.

* This commit actually got into the previous commit accidently so I am
  posting a following commit so we get a proper comment associated with it.

hammer utility - Add force support to cleanup

* Allow hammer -f cleanup to override the normal timestamp checking and
  force the cleanup to run.

nrelease - Add *_GENERIC_SMP for this release

* We will be stuffing both UP and SMP kernels on our release img/iso
  for 2.8.

nrelease - Release build adjustments

* Add GITHOST override to Makefile.usr

* For now checkout 2010Q3 by default in master, this will be changed
  to 'master' in a month or two but for now we want to match the release.

* Add GITHOST feature to the nrelease Makefile, defaulting to
  git.dragonflybsd.org.  This allows developers who do release builds
  to specify a more local clone/mirror/copy of the pkgsrcv2.git and
  dragonfly.git repos.

  nrelease pulls from these repos so this can save a bunch of time.

* nrelease now installs each kernel into its own kernel.XXX directory
  in /boot, with a complete set of modules for each kernel.  This is
  instead of installing all kernels into /boot/kernel/ and naming them
  differently inside /boot/kernel/.

  This is to conform to the recent dloader work and very recent new
  menu features.

* All kernels+modules are installed with INSTALLSTRIPPEDMODULES so the
  ISO comes in at a reasonable size.

* The release ISO now contains both a UP and a SMP kernel, selectable
  at boot time.

* Do not try to include pkgsrc in the release ISO/IMG (at 1G+ it is too
  big).  We continue to include system sources.  There isn't enough room
  for full sources in the ISO/IMG.  Note that GUI builds will include
  a full pkgsrc and full sources, including a .git base for them.

* nrelease now supports a IMGSIZE override on the make line (in sectors),
  for the usb image.

* nrelease now autosizes the IMG file (when not overriden by IMGSIZE) to
  the nearest base-10 gigabyte to ensure that it fits on the USB stick
  and provide a bit of extra space for messing around.

mtree - no longer create /boot/modules

* /boot/modules is no longer used, do not create it in mtree.

boot - Massage dloader.menu a bit more

* Don't present the 64-bit / 64-bit-smp boot options if the current default
  is already 64-bit.  The generic SMP boot option will still be presented
  if the current default is the 64-bit UP kernel.

boot - Add a ton of features to the boot loader & adjust default menu

* Add conditionals ifset ifexists else elseifexists and endif

* Conditionalize dloader.menu to only present menu options for which
  the related kernels are present in /boot.

* Set the default kernel to one of:

  kernel, kernel.GENERIC, kernel.GENERIC_SMP, kernel.X86_64_GENERIC,
  or kernel.X86_64_GENERIC_SMP.  The first one in the list found becomes
  the default.

* If ${default_kernel}_SMP is available supply a menu option to change
  the default to that kernel, aka UP->SMP

* If kernel.X86_64_GENERIC[_SMP] is available and the current default is
  not the same supply menu options to change the default to the 64-bit
  UP or SMP kernel.

  Note however that for this to work the related boot kernel directory
  had better have a loader.conf.local in it that points the root mount
  to a 64-bit root 'cause 64-bit kernels can't run 32 bit binaries yet.

* Adjust the menu item execution code to copy the items before executing
  them, allowing recursive menu execution.  The recursive menu feature
  is a bit of a hack right now however.

* NOTE: the optcd for people ESCaping into the boot prompt was moved
  to dloader.rc, when updating you may have to manually reinstall that
  file to get the functionality.

installer: Move chflags to the right place.

network - Fix issue with recent unix domain socket gc fixes

* The gc's tracking of the deferral count could get out of sync and wind
  up looping forever due to the (now necessary) tsleep between loops.

* Fix by recalculating the count on each loop.

kernel - Fix pmap deactivate/reactivation race.

* The LWKT thread switch code clears the cpu mask bit in
  proc->p_vmspace->vm_pmap.pm_active, and the switch-in code sets the
  mask bit.

  This code has a bug because the switch code ALSO optimizes the loading
  of %cr3 to avoid reloading it if it hasn't changed, for example when
  switching between two user threads associated with the process,
  because the other cpu(s) running similar threads may lose track of
  the fact that our cpu also needs an IPI for page invalidations in the
  pmap for a short period of time.

  Because we don't reload %cr3 in this case, our tlb can become invalid.
  This can also occur with vfork() sequences.

* Fix by testing that we are switching to the same vmspace and do not
  clear the pm_active bit in that case.  Retain the %cr3 optimization.

kernel - synchronize smp_invltlb()

* With much of the kernel running MPSAFE, smp_invltlb() cannot run
  asynchronously.

kernel - x86_64 - Add additional checks to lwp_wait() & friends

* lwp_wait() must defer reaping of a lwp that is still running on another
  cpu (i.e. in the midst of exiting).

* It shouldn't be possible for this to happen but just incase the thread
  gets switched out after TDF_EXITING has been set, also make sure
  the threat is no longer on the LWKT run queue.

* Remove old debugging in the LWKT scheduler path.

* Protect gd_freetd (per-cpu td cache) with a critical section.  Again
  this case should not occur as new threads are not allocated from
  interrupts, but protect it anyway.  Also assert that the cached free
  td is in no way still scheduled.

  Note that this cache is required to ensure that the td does not
  end up in the MP-accessible objcache before it has been fully
  descheduled.

kernel - x86_64 - Remove intrframe->if_gs

* The if_gs field doesn't exist in the actual trap frame.

fix typo in previous commit

Add comment regarding T_DNA passthrough with db

Requested-by: Aggelos Economopoulos (aggelos@)

libdevmapper, liblvm - stop inter-lib linking

* Don't link libraries to other libraries, this only causes trouble like
  having to do: -lprop -ldevmapper -lprop.

* Remove the double-linking to prop and crypto in cryptdisks.

Suggested-by: Sascha Wildner (swildner@)

cryptdisks rc.d - remove rcvar

* Remove the rc variable to enable cryptdisks so that it always runs.
  It'll just check for the crypttab file, and if it isn't present, it
  doesn't do anything.

crypttab.5 - Add LUKS-only note, remote empty line

Fix UP kernel build.

installer: The sources.conf path is relative.

libkvm - Add ability to access userspace from kgdb on cores

* Use %cr3 from the dumppcb instead of KPML4phys on x86_64, and similarly
  for i386, to access the full page table as of when the panic occured
  instead of just the kernel page table.

* minidumps do not dump userspace so userspace will still not be available,
  but this gives us the option of sysctl'ing off minidumps when userspace
  access is desired, and kgdb will then be able to access the current
  userspace context as of the panic, as well.

device mapper - implement dumping

* Implement dmdump and dump routines for the three main targets (linear,
  stripe and crypt).

* The top-level dmpdump will call all the required dump() methods in the
  targets just as it does with strategy() calls. The lower level
  target-specific dump routines will then redirect (after processing,
  etc) these requests to the underlying device's dump routines.

* This should provide quite reliable dumping even through device mapper,
  although it is more error-prone than the equivalent dumping on normal
  disks as there's a lot more going on behind the scenes.

dm dumping - peripheral changes

* Add a variable to allow tsleep to work even during a panic
  (tsleep_crypto_dump). This is currently only used by the crypto dump
  code.

* Allow T_DNA faults to happen during a panic.

* In userret() check for 'dump_stop_usertds' and if it is set, force
  user process into tstop().

* Add a dump_reactivate_cpus() function that will force all user threads
  into tstop() and restarts all cpus. This is currently only used by the
  crypto dump code.

dev_ddump - fix double get_mplock

device-mapper - fix dmsize

* dmsize was returning the size instead of setting ap->a_result and
  returning 0.

cryptdisks - A small tool to parse /etc/crypttab

make upgrade: Remove orphan symbolic links as well.

test -e will try to follow symbolic links. If the target was removed
already it will return false.

Fix this by checking for symbolic links, too.

kernel - (mainly x86_64) - Fix a number of rare races

* Move the MP lock from outside to inside exit1(), also fixing an issue
  where sigexit() was calling exit1() without it.

* Move calls to dsched_exit_thread() and biosched_done() out of the
  platform code and into the mainline code.  This also fixes an
  issue where the code was improperly blocking way too late in the
  thread termination code, after the point where it had been descheduled
  permanently and tsleep decomissioned for the thread.

* Cleanup and document related code areas.

* Fix a missing proc_token release in the SIGKILL exit path.

* Fix FAKE_MCOUNT()s in the x86-64 code.  These are NOPs anyway
  (since kernel profiling doesn't work), but fix them anyway.

* Use APIC_PUSH_FRAME() in the Xcpustop assembly code for x86-64
  in order to properly acquire a working %gs.  This may improve the
  handling of panic()s on x86_64.

* Also fix some cases if #if JG'd (ifdef'd out) code in case the
  code is ever used later on.

* Protect set_user_TLS() with a critical section to be safe.

* Add debug code to help track down further x86-64 seg-fault issues,
  and provide better kprintf()s for the debug path in question.

dhclient - Do not remove default route unless setting a default route

* Do not just unconditionally remove the default route.  The dhclient's
  interface might not have anything to do with the default route.

network - Fix socket & mbuf leak

* When I retooled soabort*() and removed the wrapper I accidently lost the
  sofree() mechanic in the wrapper.

* Replace the mechanic with a messaged version.

Reported-by: Peter Avalos <peter@theshell.com>

debug - Add mbufinfo

* This is a little utility which uses libkvm to scan all referenced mbufs
  in the kernel, for kernels compiled with MBUF_DEBUG.

libc - Fix security issue in globbing code

There is a report about memory exhaustion in CVE-2010-2632 which also
affected us.  This patch, adopted from NetBSD, fixes the issue.

Tested-by: thomas@ and me
OK: dillon@

devfs - Fix broken assertion

* When checking fp->f_flag against ap->a_mode both sides must be
  masked with FMASK.

* Fixes a panic which can occur when a unix domain socket is being
  garbage collected (FMARK set).

dhclient-script.8: Comment out resolv.conf.tail(5) refs (no such manpage).

mkinitrd.8: Adjust the manpage to the recent changes in the image path.

kernel - Fix another hard critical section issue with syscons, revamp locking

* Use the new mtx_spinlock() facility instead of spinlock().  The new
  facility supports reetrant locks.

* Call all sc_*() functions with the syscons lock held.

* Fix an issue in blink_screen() where a hard critical section panic
  could potentially occur.

* Fix an issue in sc_puts() where adjusting the keyboard LED could still
  cause a hard critical section panic.  We just let the keyboard LED state
  be wrong for now.

kernel - revamp mtx_spinlock()

* Revamp mtx_spinlock(), add mtx_spinlock_try(), and add mtx_spinunlock().

* Enter a proper hard critical section when using mtx_spinlock*(),
  just like the normal spinlock() code does.

  The difference is that mtx spinlocks have a ref count and thus are
  reentrant.

* mtx_spinlock*() is not used in the code yet.  A followup commit will
  begin using it for the syscons lock.

cryptosoft - Zero out ctx after SHA1 or MD5 op

Obtained-from: OpenBSD

dloader - remove header and footer bars

kernel - Force NFSv3 for diskless nfs mount

* Ignore any file handles passed from bootp.  These are NFSv2 handles
  and NFSv2 just doesn't have the directory support needed if the
  server is running a filesystem with 64-bit directory cookies (as HAMMER
  does).

  This will force the kernel's diskless nfs mount to re-authorize and
  acquire a NFSv3 handle for the root mount.

* Undo a bit of a previous commit where I tried to enable readdirplus for
  NFSv2 to workaround NFSv2 directory cookie issues.  It just doesn't work.
  readdirplus is again force-disabled for NFSv2 mounts.

boot - Bring in fix for qemu menu time bug

* qemu does not debounce the RTC data.  The RTC chip uses a serial interface
  as well as a simple carry propagation incremenber which can catch
  transitions in the middle of an update, resulting in corrupted data.

* Simply requery the time until a stable value is found.

Suggested-by: Oliver Fromme <check+lajddm00rsub4p7p@fromme.com>

Fix a typo in the vkernel rc script.

Submitted-by: Rumko

HAMMER VFS - Minor bug (caught by assertion panic)

* A snapshot can sometimes contain visible inodes whos nlinks count is 0,
  essentially the snapshot 'catches' the file in the middle of being deleted.

* HAMMER was attempting to truncate the data for such inodes if the file
  were opened and then closed, and failed to check whether the inode was a
  snapshot or a current inode.  This flowed through until it hit an assertion
  designed to detect precisely that case.

* Fixed by adding a check to determine if the inode is a snapshot and/or
  the filesystem is mounted read-only.

Repored-by: Max <herrgard@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Fix bug in unp_gc()

* Fix a race against a file close where FDEFER can wind up being left
  set.

* Fix a panic during unix domain socket garbage collection where a token
  was being acquired with a spinlock held.  Use trytoken instead and if
  it fails simply defer checking of the (fp) in question.

kernel - Remove confusing warning

* Remove the "bio_page_alloc: WARNING emergency page allocation" warning
  and replace it with a sysctl counter.

* Keep the allocation failure warning and add a sysctl counter for it too.

Raise default .Os value for the manual pages to 2.9 on 2.9.

release engineering - Bump master to 2.9

kernel - Fix race in bio_track_wait()

* Remove an improper optimization prior to an atomic cmpset function call.

kernel - Fix NFS client & server bugs

* A very long standing bug in the server cache was finally whacked.  The
  write-gather code was improperly returning the wrong mbuf for the server
  to reply with, causing client stalls.  This behavior depends on the client
  doing burst asynchronous writes.  Newer releases of DragonFly do burst
  asynchronous writes but older ones tended not to.

* The server cache was not MPSAFE.  Add a MP token to fix that.

* Remove critical sectons from the server cache which are no longer needed.

* Fix a potential client-side rpc request race where a request's
  NEEDSXMIT flag is not set until after the request possibly blocks,
  which can lead to issues if another thread picks up the request
  and then believes that it has already been transmitted when it
  has not.

* Document a big problem with NFSv2 and HAMMER-served directories.  NFSv2
  only has 32-bit directory cookies.  It is possible to work around the
  problem by using rdirplus (which is the default now).  However, some
  servers may not be able to handle rdirplus with a NFSv2 mount.

  Users who need to serve out NFSv2 cannot serve HAMMER directories
  with NFSv2 unless the clients support rdirplus.

  Our defaults are NFSv3 and rdirplus and NFSv3 does NOT have this problem.

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>

kernel - Fix padlock panic in hw crypto

* padlock_freesession_one() was zeroing out the structure which caused
  ses_freeaddr to be lost.  Restore ses_freeaddr.

Reported-by: lentferj

Bring in uguru(4) for ABIT temperature, voltage and fan sensors.

Ported-from: OpenBSD
Tested-by: Max Herrgard <herrgard@gmail.com>

devfs - Fix mountpoint specific rules

* Mount-point specific rules depend upon f_mntonname to be correct, so
  populate this field of mnt_stat on mount().

Reported-by: Hugo

undo - stat(2) may not populate struct stat upon failure.

test/vkernel - Include ROOTSIZE environment variable in Makefile's help

loader.8: Improve wording. Fix typos and an error.

powernow(4): Make it build on x86_64 and hook it in the x86_64 build.

Tested-by: Max Herrgard <herrgard@gmail.com>

Update the rc.conf's man page's vkernel section.

A few new vars were introduced and one was made optional.

rc.d/vkernel: pidfile related enhancements

Fix a typo when checking for the pid file when starting a vkernel.
Better checking if the vkernel being started is already running.

rc.d: completely stop the vkernels

When stopping the vkernel, after a set timeout if the vkernel is still
alive, send a SIGKILL.
Also redirect STDIN when starting the vkernels.

vkernel: rc improvements

Add a vkernel_bin var that contains the default path to the binary,
for all the vkernels without a vkernel specific entry.
Also the root image is no longer required (diskless vkernels have no
use for a root image).
And when stopping a vkernel a pidfile is required so we don't kill
innocent bystanders.

ucom - destroy device node on detach

Issuing `ls /dev' after unloading the driver triggered a panic because
of the stale device node.

identcpu.c: Fix a typo in the Features2 strings and rename AES -> AESNI.

aesni(4): Move CPUID2_AESNI to specialreg.h. Also add CPUID2_PCLMULQDQ.

Add an aesni(4) manual page (taken from FreeBSD).

mdoc.local: Add FreeBSD 9.0.

chroot.2: Add chroot_kernel() to .Nm.

rename.2: Add renameat() to .Nm and .Rv.

fortune -- Its time for pie.

Enable DSO support in OpenSSL.

OpenSSL can now load engines at run-time.  We install a few in
/usr/lib/engines/ by default.

nmalloc - Fix depot race - this should fix remaining issues with firefox.

* nmalloc was accidently calling the libc _pthread_spin_lock() stub
  even when threaded, causing all depot operations to race.  No actual
  lock was being acquired.

  Change it over to the internal _SPINLOCK() API.

* Expand libthread_xu's base spinlocks from 128 to 256 and use those
  for the depot lock.  Note that the depot[] array can be upwards of
  80 elements so lets not take any chances.

Reported-by: Pierre Abbat <phma@phma.optus.nu>, others

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Test commit.

Test commit.

Test commit.

Test commit.

installer: Fix an issue in the UFS install.

I had broken using '*' as partition size in my previous commit.

libcrypto:  Enable cryptodev support.

Reported-by: Jan Lentfer <Jan.Lentfer@web.de>

umass: Add support for WD USB HDD

* Add Western Digital USB HDD Passport

Submitted-by: Dylan Reinhold
Dragonfly-bug: http://bugs.dragonflybsd.org/issue1768

Merge branch 'master' of git://uther.dragonflybsd.org/dragonfly

libc - Move the newmag prestage code

* Avoid any possible assumptions due to reentrnacy by moving
  the pre-stage code.

vkernel - Scrap some old install stuff that no longer applies

* Scrap some stuff that prevented vkernels from being
  installed properly.

Submitted-by: Rumko

pf.os - Add DragonFly OS fingerprints

libc - Do some reorganization of nmalloc() and add asserts.

* Reorganize mtmagazine_alloc() and mtmagazine_free() to make the code
  more clear.  Add assertions on 'continue' loops so we abort on
  magazine memory corruption instead of looping forever.

* Pre-stage the new magazine that mtmagazine_free() might need to avoid
  having to relock the depot.  This also allows us to stage the new
  magazine directory into the per-thread loaded field instead of running
  it through the depot.

* Fix a deep or infinite recursion which can occur when mtmagazine_free()
  calls _slaballoc(), which it does sometimes when it needs a new
  magazine.  Avoid reentrancy by temporarily disabling the per-thread
  cache around the call.

PF: Fix Operating System Fingerprinting

   Due to some wrongly imported byte-order conversions osfp was
   broken.

   Reported and tested by: Matthias Schmidt (matthias@dragonflybsd.org)

libc - Fix livelock in nmalloc

* free() -> _slabfree() was turning around and calling _slaballoc()
  with the depot lock held, which could lead to a livelock.  Fix by
  unlocking the depot lock around the call.

* Clean up and document other unrelated bits of nmalloc(). In particular,
  clean up magazine_alloc().

Reported-by: Siju George <sgeorge.ml@gmail.com>, and others

libthread_xu: Add references for pthread_mutexattr_{get,set}pshared().

pthread_condattr_getpshared(3): Correctly store the attribute.

libprop: Clean up the Makefile a bit (and raise WARNS to 3).

send(2) - Add MSG_NOSIGNAL flag.

POSIX:2008 introduces the MSG_NOSIGNAL flag that requests
not to send the SIGPIPE signal if an attempt to send
is made on a stream-oriented socket that is no longer
connected. The EPIPE error shall still be returned.

This fixes the build of multimedia/gst-plugins-bad in
current pkgsrc.

kernel: Remove unneeded inclusions of <sys/cdefs.h>.

Merge branch 'master' of git://uther.dragonflybsd.org/dragonfly

vkernel - Fix installkernel target

The recommended command to install a vkernel is ATM:

make -DNO_MODULES installkernel KERNCONF=VKERNEL DESTDIR=/var/vkernel

This installed the plain kernel into /var/vkernel.  Due to the
introduction of the new loader (dloader), the installkernel target
refused to work, because it could not find a boot/ directory.

Skip the error message about missing boot/ and skip the creation of the
kernel.old/ backup directory when installing a vkernel kernel.

installer: Clean up check_capacity() (UFS) a bit and improve the message.

pf.os - Sync with OpenBSD

loader(8): adjustment & man update

 * fix `help' command by using $base/loader.help,
otherwise `help' didn't work when pwd outside $base.
 * allow `cd' and `optcd' without arguments,
using $base as default.
 * use pager for `?' and `local' commands.
 * make `more' work with relative file names
 * truncate very long lines (more than 256 chars),
and give warning; before they stopped include processing;
these are typically just comments.
 * add `optcd kernel' when using ESC in `menu',
like the menu item (`9') that exits via dloader.menu.
 * remove extra line in Fred menu (on right)
(it was scrolling warning about truncated line off screen).
 * remove obsolete variables in loader.conf.
 * update `help' output.
 * update man pages.