MPSAFE - mutex enhancements.

* Add timeout to mtx_lock_{sh,ex}

* Add quick version, mtx_lock_{sh,ex}_quick() which does not take a
  flags or timeout parameter.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

MPSAFE - Add a set of general blocking/spinnable mutex functions.

* (serial wakeup code wasn't included in last commit)

MPSAFE - Add a set of general blocking/spinnable mutex functions.

These locks are intended to eventually replace lockmgr locks for most
use cases.

* Optimized based on in-line atomic_cmpset_int() calls with fallback call.

* Recursive shared and exclusive locks.  Downgrading, and non-blocking
  upgrading.

* Interlocked wakeup flags.

* Serial wakeup for exclusive waiters (i.e. optimal in the face of a large
  number of waiting threads).  Mass-wakeup for shared waiters.

* Additional entry points for spinning.

* Ref-count support, separate from lock count.

Adjust atomic_cmpset_int/long - Faster version, fix amd64 issue.

* Instead of using the condition code just compare %eax (or %rax)
  against the old value.  This is considerably faster then using
  sete/movzbl and GCC will also optimize the caller's test for
  both 0 or non-zero.

* AMD64.  long is 64 bits, use cmpxchgq (it was previously using cmpxchgl).

hammer expand: Also increase number of total bigblocks

hammer expand: Layer 1 formatting (step 2/2)

With this commit online HAMMER filesystem expansion is functional, but
highly experimental and might destroy your filesystem.

Minor adjustment which does not change behaviour.

This has no effect because of the bzero(). Nevertheless it's
more logical to generate the crc after setting blocks_free to 0.

hammer expand: Layer 2 formatting (step 1.5/2)

isdnd(8): Fix some NULL dereferences.

Taken-from: FreeBSD

pipes - set kern.pipe.mpsafe default to 1.

Enable MPSAFE operation on pipes by default.

Whitespace cleanup

NFS - Make the NFS read-ahead defaults & limits more generous.

undo - Add <sys/param.h> to get MAXPATHLEN

Reported-by: corecode

LWKT - Make sure an exiting thread is not sitting on a tsleep queue.

LWKT - Rename lwkt_yield_quick() to a more appropriate splz_check().

MPSAFE - tsleep_interlock, BUF/BIO, cluster, swap_pager.

* tsleep_interlock()/tsleep() could miss wakeups during periods of
  heavy cpu activity.  What would happen is code inbetween the two
  calls would try to send an IPI (say, issue a wakeup()), but while
  sending the IPI the kernel would be forced to process incoming IPIs
  synchronous to avoid a deadlock.

  The new tsleep_interlock()/tsleep() code adds another TAILQ_ENTRY to
  the thread structure allowing tsleep_interlock() to formally place
  the thread on the appropriate sleep queue without having to deschedule
  the thread.  Any wakeup which occurs between the interlock and the
  real tsleep() call will remove the thread from the queue and the
  later tsleep() call will recognize this and simply return without sleeping.

  The new tsleep() call requires PINTERLOCKED to be passed to tsleep
  so tsleep() knows that the thread has already been placed on a sleep
  queue.

* Continue making BUF/BIO MPSAFE.  Remove B_ASYNC and B_WANT from buf->b_flag
  and add a new bio->bio_flags field to the bio.  Add BIO_SYNC, BIO_WANT,
  and BIO_DONE.  Use atomic_cmpset_int() (aka cmpxchg) to interlock
  biodone() against biowait().

  vn_strategy() and dev_dstrategy() call semantics now require that
  synchronous BIO's install a bio_done function and set BIO_SYNC in
  the bio.

* Clean up the cluster code a bit.

* Redo the swap_pager code.  Instead of issuing I/O during the collection,
  which depended on critical sections to avoid races in the cluster append,
  we now build the entire collection first and then dispatch the I/O.
  This allows us to use only async completion for the BIOs, instead of
  a hybrid sync-or-async completion.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Minor adjustments of recent commits to fix UP kernel build.

Fix some typos in manpages.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

hammer expand: Do not assume sequential vol_no's

Fix randomly seen problems with linking C++ programs.

Binutils 2.17 supports COMDAT groups and .nsubspa comdat option. It should
fix randomly seen linking errors like:

`.gnu.linkonce.t.something' referenced in section `.gnu.linkonce.r.something'
of some_object: defined in discarded section `.gnu.linkonce.t.something'
of some_object.

Digged-out-by: corecode@

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Expand HAMMER filesystem step 1/2

Format the volume and increase other volumes' vol_count field.
The space of the new volume is not yet given to the filesystem (that's step 2).

Example:

newfs_hammer -L TEST /dev/da0
mount_hammer /dev/da0 /hammer
hammer expand /hammer /dev/da1
umount /hammer
mount_hammer /dev/da0:/dev/da1 /hammer

# the following fails (wrong number of volumes)
mount_hammer /dev/da0 /hammer

Fix typos in mse(4) and ppp(8) manpages: compliment -> complement.

Shuffle IPI handlers to the last two blocks of the IDT.

Relative position of the IPI handlers is kept.  This gives us
more contiguous free IDT vectors.

Add age(4) to GENERIC and LINT

Add ae(4) manpage

Submitted-by: Alexander Polakov <polachok@gmail.com>
Obtained-from: FreeBSD

Add ae(4) to LINT and GENERIC

Add ae(4) into module building

Add driver for Attansic/Atheros L2 FastEthernet

Submitted-by: Alexander Polakov <polachok@gmail.com> w/ modification
Obtained-from: FreeBSD

lapic_init() -> lapic_map()

Remove the distribute, redistribute and distributeworld targets.

We don't split things into different distributions and none of this
was ever used.

Pointed-out-by: pavalos

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

tsleep() - Use PINTERLOCKED in msleep() and serialized_sleep().

termios.h: Expose tcgetsid(3) function.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1419>
Reviewed-by: hasso@, corecode@

tsleep() - Add PINTERLOCKED flag to catch edge case.

When the tsleep_interlock() + UNLOCK + tsleep() combination is used it is
possible for an incoming wakeup IPI to be processed even if the combination
is used within a critical section, because operations inbetween the two
may send an IPI.  Under heavy loads sending an IPI can force incoming IPIs
to be processed synchronously to avoid deadlocks.

It is also possible for tsleep itself to create this condition when it
releases the user process schedule prior to descheduling itself.

PINTERLOCKED causes tsleep to check whether the bit set by tsleep_interlock()
is still set.  If it is not set we simply return without sleeping.

HAMMER - new hammer_lock code, fix mplock bug in last commit, mpsafe getattr.

* Fix a mplock bug in the last commit that can cause a panic in hammer_read.
  The mplock check code wasn't setting up the hammer transaction properly.

* VMP_GETATTR is now set on all HAMMER vnodes.  If sysctl vfs.getattr_mpsafe=1
  all fstat() operations will run without the MP lock.

* Rewrite HAMMER's lock code, making it MPSAFE.  The new lock code uses
  atomic_cmpset_int().

MPSAFE - Regenerate system calls for MPSAFE changes.

MPSAFE - Implement sysctl vfs.getattr_mpsafe, make fstat() MPSAFE

Make fstat() MPSAFE.  Adjust fileops->fo_stat functions to be MPSAFE as
necessary (uipc socket stat mainly).

MPSAFE - Document a few procedures as MPSAFE (non-operational)

MPSAFE - system calls set_tls_area() and get_tls_area() are MPSAFE

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - Add MPSAFE suppor for hammer_vop_read().

This is still a bit of a hack.  If vfs.read_mpsafe is set HAMMER will
run MPSAFE for reads from regular files which are cached in the buffer
cache.  Data which is not cached will fall-back to getting the MP lock.

At the moment enabling this operation will cause atime to not get updated
on fully cached files, because the rest of HAMMER is not MPSAFE yet so I
cannot modify the internal hammer_inode state.

MPSAFE - Add read() and write() path MPSAFE support, and more.

* Add sysctl vfs.read_mpsafe, vfs.write_mpsafe, and vfs.getattr_mpsafe.
  Only vfs.read_mpsafe is currently implemented, and only for HAMMER
  filesystems.

* read() and write() will now call VOP_READ()/VOP_WRITE() without the
  MP lock if the vnode->v_flag says it is ok to do so.

* read() and write() now serialize reads and writes which depend on the
  file offset stored in the fp, when the concurrent operations share the
  same fp.

* Add vnode flags VMP_READ, VMP_WRITE, VMP_GETATTR.

* Add vnode flag VNOTSEEKABLE indicating that fp->f_offset will never be
  used and no serialization is needed (which e.g. can mess up read()'s
  blocking devices such as ttys).

* Correct bug in FIONREAD related to the data field being too small.

mxge: Clean up Makefile a little more.

mxge: Add opt_inet.h to the Makefile.

CCMS - Correct bug, add #include <sys/spinlock2.h> to kern_ccms.c

CCMS - bug in last commit, remove #include <sys/spinlock2.h> from ccms.h

Normalize the defines for the vnode flags (non-operational change).

CCMS - Make the cache coherency locks MPSAFE.

BUF/BIO - MPSAFE work on core buffer cache routines.

Do initial MPSAFE work on getblk(), bread(), brelse(), bqrelse(),
biowait(), and friends.  Use get_mplock()/rel_mplock() in areas not
yet converted.

Add a flags argument to findblk() and have it return a locked buffer
cache buffer by default.  Callers may request that the buffer be
locked non-blocking, or that it not be locked at all.

Adjust all callers of findblk() for those cases where an unlocked
buffer is desired to lock and re-check the returned buffer's parameters,
since otherwise it can change out from under the caller whether a critical
section is used or not (for SMP).

telnet: Fix a bug (really use the return value of tty_istrapsig()).

Expand HAMMER filesystem stubs

pipe - add required critical section around tsleep_interlock() call.

buffer cache - protect bufqueues[] with the bufspin spinlock.

mxge.4: Some small changes.

* We use local time line, not FreeBSD's.

* Kick unneeded .Pp.

* First appeared in 2.3.

Merge branch 'mxge'

mxge.4: sync with the status of the driver in DragonFly

mxge: import mxge.4 from FreeBSD

Document pmap_qremove() as being MPSAFE.

Make getpbuf(), trypbuf(), and relpbuf() MPSAFE.

Make biowait() MPSAFE.

telnet.1: Remove unnecessary .Pp

priv.9: Update for recent changes.

Approved-by: mneumann

buffer cache - Control all access to the buf red-black trees with vp->v_token

Access to the buffer cache's RB trees is now controlled via vp->v_token
instead of a critical section.  We still hold the BGL but this is not
quite as simple as it seems because an interrupt calling biodone() on a
B_INVAL buffer may now potentially block, where as it would not have before.
The buffer is locked.

lwkt_token - Add ASSERT_LWKT_TOKEN_HELD(token) macro.

bio_track - fix bug in last commit (the negative count assertion was wrong)

Make operations on struct bio_track MPSAFE.

Use atomic ops to make reference counting and waiting on bio_track structures
MPSAFE.

mxge: use ether_input_chain()

mxge: call bus_setup_intr() after the if serializer has been set

mxge: properly initialize m_pkthdr.len as well

mxge: use normal ethernet mtu by default

We don't properly support jumbo frames yet, so
change the default mtu

mxge: properly remove the sysctls

vnode - move v_pollinfo.vpi_token to v_token

* Rename the lwkt_token used for the vnode's v_pollinfo for general use by
  the vnode.  This token will soon be used to lock the buffer cache.

pipe - fix UP build error.

Reported-by: Hasso Tepper <hasso@estpak.ee>

SYSPERF - update pipe1, pipe2

* pipe1 now does a 1-second timing run.

* pipe2 now does a 2-second timing run, just so it runs just a tad longer.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

pipe - replace use of DELAY() with a better solution, add features.

* Use the new tsc functions to poll for new read data in a pipe for a short
  period of time on a SMP box.  This greatly increases the odds of a pipe
  writer on one cpu being able to pipeline data to a reader on another cpu
  without having to use an IPI or tsleep/wakeup.

  For the pipe1 test this brings the synchronous communications path
  over a pipe (Awrite, Bread, Bwrite, Aread) down from 7uS to around 2uS.

  For the pipe2 test this value greatly reduces the number of IPIs
  and improves bandwidth by a few hundred megabytes/sec (the old DELAY
  did the same thing so there is no change for the pipe2 test).

* Add sysctl kern.pipe.delay which defaults to 5000 nanoseconds (5uS).
  This is the maximum a pipe reader will wait for additional data before
  falling back to tsleep/wakeup (and related ipis).  pipe_delay may be
  set to 0 to disable the function.  I value of at least 3000 is
  recomended.  Pipelining large buffers efficiently requires a higher value,
  say up to 8000 or so.

* Allow kern.pipe.mpsafe to be set to 2 which adds a predictive wakeup
  when a writer is found to be stalled.  This currently has no significant
  effect on operations due to token collisions.

* Add statistics: kern.pipe.wblocked and kern.pipe.rblocked, counting
  the number of times a pipe blocks in "pipewr" or "piperd".

* Fix MP races in pipe_ioctl().

clocks - Add fine-grained spin delay function via TSC

Add int64_t target = tsc_get_target(ns) and tsc_test_target(target).
See routines for details.  These functions are available when the system
supports an extremely fine-grained counter such as a TSC and may be used
to generate finely tuned delays.

libtelnet: Fix some mis-usage of NULL and raise WARNS to 2.

Oops!  Actually install /usr/libexec/telnetd.

Noticed-by: swildner

bootpgw:  Use err(3).

Obtained-from: FreeBSD

pipe - Fix piperd/pipewr deadlock in mpsafe case

* Fix a bug where piperd and pipewr could be entered simultaniously
  by the reader and writer and neither gets woken up.

* Redo the hysteresis slightly to reduce IPIs even more.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

pipe - Make pipe r/w MPSAFE, add kern.pipe.mpsafe (disabled by default)

* Make pipe_read and pipe_write MPSAFE.

* Add a sysctl kern.pipe.mpsafe which defaults to disabled.  Set to
  1 to test the MPSAFE pipe code.  The expectation is that it will be
  set to 1 for the release.  Currently only pipe_read and pipe_write
  is MPSAFE.

* The new code in mpsafe mode also implements a streaming optimization
  to avoid unnecessary tsleep/wakeup/IPIs.  If the reader and writer
  are operating on different cpus this feature results in more uniform
  performance across a wide swath of block sizes.

* The new code currently does not use any page mapping optimizations.
  Page table overhead is fairly nasty on SMP so for now we rely on cpu
  caches and do an extra copy.  This means the code is tuned better for
  more recent cpus and tuned worse for older cpus.  At least for now.

OLD pipe code:  dwe = dwrite_enable, sfb = dwrite_sfbuf mode
NEW pipe code:  mpsafe = 0 (gets bgl) or 1 (does not use bgl)

Using /usr/src/test/sysperf/pipe2.c to test, all results in MBytes/sec

  8K  16K  32K  64K 128K 256K
---- ---- ---- ---- ---- ----
OLD dwe=0 1193 1167 1555 1525 1473 1477
OLD dwe=1 sfb=0  856    1458 2307 2182 2275 2307
OLD dwe=1 sfb=1  955 1537 2300 2356 2363 2708
OLD dwe=1 sfb=2  939 1561 2367 2477 2379 2360

NEW mpsafe=0 1150 1369 1536 1591 1358 1270
NEW mpsafe=1 2133 2319 2375 2387 2396 2418

priv: Finally get completely rid of PRISON_ROOT flag.

This means that from now on, what is allowed within a jail
is purely defined in function prison_priv_check().

priv: Define and use PRIV_PROC_TRESPASS

priv: Define and use PRIV_SETHOSTNAME

priv: Define and use PRIV_VARSYM_SYS

Simplify expressions

priv: Define and use PRIV_HAMMER_IOCTL

priv: Use PRIV_DEBUG_UNPRIV in procfs

priv: Use PRIV_VFS_SETGID

Note that in case of UFS, the priv_cred_check() call will now
succeed in a jail, whereas it failed before.

priv: Sync ext2_quotactl() with ufs_quotactl() implementation

priv: Use PRIV_VFS_CHMOD and PRIV_VFS_CHOWN

math.3: Mention f{max,min,dim}.

libm: Import fdim{,f,l} functions from FreeBSD.