Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Expand HAMMER filesystem step 1/2

Format the volume and increase other volumes' vol_count field.
The space of the new volume is not yet given to the filesystem (that's step 2).

Example:

newfs_hammer -L TEST /dev/da0
mount_hammer /dev/da0 /hammer
hammer expand /hammer /dev/da1
umount /hammer
mount_hammer /dev/da0:/dev/da1 /hammer

# the following fails (wrong number of volumes)
mount_hammer /dev/da0 /hammer

Fix typos in mse(4) and ppp(8) manpages: compliment -> complement.

Shuffle IPI handlers to the last two blocks of the IDT.

Relative position of the IPI handlers is kept.  This gives us
more contiguous free IDT vectors.

Add age(4) to GENERIC and LINT

Add ae(4) manpage

Submitted-by: Alexander Polakov <polachok@gmail.com>
Obtained-from: FreeBSD

Add ae(4) to LINT and GENERIC

Add ae(4) into module building

Add driver for Attansic/Atheros L2 FastEthernet

Submitted-by: Alexander Polakov <polachok@gmail.com> w/ modification
Obtained-from: FreeBSD

lapic_init() -> lapic_map()

Remove the distribute, redistribute and distributeworld targets.

We don't split things into different distributions and none of this
was ever used.

Pointed-out-by: pavalos

termios.h: Expose tcgetsid(3) function.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1419>
Reviewed-by: hasso@, corecode@

HAMMER - new hammer_lock code, fix mplock bug in last commit, mpsafe getattr.

* Fix a mplock bug in the last commit that can cause a panic in hammer_read.
  The mplock check code wasn't setting up the hammer transaction properly.

* VMP_GETATTR is now set on all HAMMER vnodes.  If sysctl vfs.getattr_mpsafe=1
  all fstat() operations will run without the MP lock.

* Rewrite HAMMER's lock code, making it MPSAFE.  The new lock code uses
  atomic_cmpset_int().

MPSAFE - Regenerate system calls for MPSAFE changes.

MPSAFE - Implement sysctl vfs.getattr_mpsafe, make fstat() MPSAFE

Make fstat() MPSAFE.  Adjust fileops->fo_stat functions to be MPSAFE as
necessary (uipc socket stat mainly).

MPSAFE - Document a few procedures as MPSAFE (non-operational)

MPSAFE - system calls set_tls_area() and get_tls_area() are MPSAFE

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - Add MPSAFE suppor for hammer_vop_read().

This is still a bit of a hack.  If vfs.read_mpsafe is set HAMMER will
run MPSAFE for reads from regular files which are cached in the buffer
cache.  Data which is not cached will fall-back to getting the MP lock.

At the moment enabling this operation will cause atime to not get updated
on fully cached files, because the rest of HAMMER is not MPSAFE yet so I
cannot modify the internal hammer_inode state.

MPSAFE - Add read() and write() path MPSAFE support, and more.

* Add sysctl vfs.read_mpsafe, vfs.write_mpsafe, and vfs.getattr_mpsafe.
  Only vfs.read_mpsafe is currently implemented, and only for HAMMER
  filesystems.

* read() and write() will now call VOP_READ()/VOP_WRITE() without the
  MP lock if the vnode->v_flag says it is ok to do so.

* read() and write() now serialize reads and writes which depend on the
  file offset stored in the fp, when the concurrent operations share the
  same fp.

* Add vnode flags VMP_READ, VMP_WRITE, VMP_GETATTR.

* Add vnode flag VNOTSEEKABLE indicating that fp->f_offset will never be
  used and no serialization is needed (which e.g. can mess up read()'s
  blocking devices such as ttys).

* Correct bug in FIONREAD related to the data field being too small.

mxge: Clean up Makefile a little more.

mxge: Add opt_inet.h to the Makefile.

CCMS - Correct bug, add #include <sys/spinlock2.h> to kern_ccms.c

CCMS - bug in last commit, remove #include <sys/spinlock2.h> from ccms.h

Normalize the defines for the vnode flags (non-operational change).

CCMS - Make the cache coherency locks MPSAFE.

BUF/BIO - MPSAFE work on core buffer cache routines.

Do initial MPSAFE work on getblk(), bread(), brelse(), bqrelse(),
biowait(), and friends.  Use get_mplock()/rel_mplock() in areas not
yet converted.

Add a flags argument to findblk() and have it return a locked buffer
cache buffer by default.  Callers may request that the buffer be
locked non-blocking, or that it not be locked at all.

Adjust all callers of findblk() for those cases where an unlocked
buffer is desired to lock and re-check the returned buffer's parameters,
since otherwise it can change out from under the caller whether a critical
section is used or not (for SMP).

telnet: Fix a bug (really use the return value of tty_istrapsig()).

Expand HAMMER filesystem stubs

pipe - add required critical section around tsleep_interlock() call.

buffer cache - protect bufqueues[] with the bufspin spinlock.

mxge.4: Some small changes.

* We use local time line, not FreeBSD's.

* Kick unneeded .Pp.

* First appeared in 2.3.

Merge branch 'mxge'

mxge.4: sync with the status of the driver in DragonFly

mxge: import mxge.4 from FreeBSD

Document pmap_qremove() as being MPSAFE.

Make getpbuf(), trypbuf(), and relpbuf() MPSAFE.

Make biowait() MPSAFE.

telnet.1: Remove unnecessary .Pp

priv.9: Update for recent changes.

Approved-by: mneumann

buffer cache - Control all access to the buf red-black trees with vp->v_token

Access to the buffer cache's RB trees is now controlled via vp->v_token
instead of a critical section.  We still hold the BGL but this is not
quite as simple as it seems because an interrupt calling biodone() on a
B_INVAL buffer may now potentially block, where as it would not have before.
The buffer is locked.

lwkt_token - Add ASSERT_LWKT_TOKEN_HELD(token) macro.

bio_track - fix bug in last commit (the negative count assertion was wrong)

Make operations on struct bio_track MPSAFE.

Use atomic ops to make reference counting and waiting on bio_track structures
MPSAFE.

mxge: use ether_input_chain()

mxge: call bus_setup_intr() after the if serializer has been set

mxge: properly initialize m_pkthdr.len as well

mxge: use normal ethernet mtu by default

We don't properly support jumbo frames yet, so
change the default mtu

mxge: properly remove the sysctls

vnode - move v_pollinfo.vpi_token to v_token

* Rename the lwkt_token used for the vnode's v_pollinfo for general use by
  the vnode.  This token will soon be used to lock the buffer cache.

pipe - fix UP build error.

Reported-by: Hasso Tepper <hasso@estpak.ee>

SYSPERF - update pipe1, pipe2

* pipe1 now does a 1-second timing run.

* pipe2 now does a 2-second timing run, just so it runs just a tad longer.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

pipe - replace use of DELAY() with a better solution, add features.

* Use the new tsc functions to poll for new read data in a pipe for a short
  period of time on a SMP box.  This greatly increases the odds of a pipe
  writer on one cpu being able to pipeline data to a reader on another cpu
  without having to use an IPI or tsleep/wakeup.

  For the pipe1 test this brings the synchronous communications path
  over a pipe (Awrite, Bread, Bwrite, Aread) down from 7uS to around 2uS.

  For the pipe2 test this value greatly reduces the number of IPIs
  and improves bandwidth by a few hundred megabytes/sec (the old DELAY
  did the same thing so there is no change for the pipe2 test).

* Add sysctl kern.pipe.delay which defaults to 5000 nanoseconds (5uS).
  This is the maximum a pipe reader will wait for additional data before
  falling back to tsleep/wakeup (and related ipis).  pipe_delay may be
  set to 0 to disable the function.  I value of at least 3000 is
  recomended.  Pipelining large buffers efficiently requires a higher value,
  say up to 8000 or so.

* Allow kern.pipe.mpsafe to be set to 2 which adds a predictive wakeup
  when a writer is found to be stalled.  This currently has no significant
  effect on operations due to token collisions.

* Add statistics: kern.pipe.wblocked and kern.pipe.rblocked, counting
  the number of times a pipe blocks in "pipewr" or "piperd".

* Fix MP races in pipe_ioctl().

clocks - Add fine-grained spin delay function via TSC

Add int64_t target = tsc_get_target(ns) and tsc_test_target(target).
See routines for details.  These functions are available when the system
supports an extremely fine-grained counter such as a TSC and may be used
to generate finely tuned delays.

libtelnet: Fix some mis-usage of NULL and raise WARNS to 2.

Oops!  Actually install /usr/libexec/telnetd.

Noticed-by: swildner

bootpgw:  Use err(3).

Obtained-from: FreeBSD

pipe - Fix piperd/pipewr deadlock in mpsafe case

* Fix a bug where piperd and pipewr could be entered simultaniously
  by the reader and writer and neither gets woken up.

* Redo the hysteresis slightly to reduce IPIs even more.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

pipe - Make pipe r/w MPSAFE, add kern.pipe.mpsafe (disabled by default)

* Make pipe_read and pipe_write MPSAFE.

* Add a sysctl kern.pipe.mpsafe which defaults to disabled.  Set to
  1 to test the MPSAFE pipe code.  The expectation is that it will be
  set to 1 for the release.  Currently only pipe_read and pipe_write
  is MPSAFE.

* The new code in mpsafe mode also implements a streaming optimization
  to avoid unnecessary tsleep/wakeup/IPIs.  If the reader and writer
  are operating on different cpus this feature results in more uniform
  performance across a wide swath of block sizes.

* The new code currently does not use any page mapping optimizations.
  Page table overhead is fairly nasty on SMP so for now we rely on cpu
  caches and do an extra copy.  This means the code is tuned better for
  more recent cpus and tuned worse for older cpus.  At least for now.

OLD pipe code:  dwe = dwrite_enable, sfb = dwrite_sfbuf mode
NEW pipe code:  mpsafe = 0 (gets bgl) or 1 (does not use bgl)

Using /usr/src/test/sysperf/pipe2.c to test, all results in MBytes/sec

  8K  16K  32K  64K 128K 256K
---- ---- ---- ---- ---- ----
OLD dwe=0 1193 1167 1555 1525 1473 1477
OLD dwe=1 sfb=0  856    1458 2307 2182 2275 2307
OLD dwe=1 sfb=1  955 1537 2300 2356 2363 2708
OLD dwe=1 sfb=2  939 1561 2367 2477 2379 2360

NEW mpsafe=0 1150 1369 1536 1591 1358 1270
NEW mpsafe=1 2133 2319 2375 2387 2396 2418

priv: Finally get completely rid of PRISON_ROOT flag.

This means that from now on, what is allowed within a jail
is purely defined in function prison_priv_check().

priv: Define and use PRIV_PROC_TRESPASS

priv: Define and use PRIV_SETHOSTNAME

priv: Define and use PRIV_VARSYM_SYS

Simplify expressions

priv: Define and use PRIV_HAMMER_IOCTL

priv: Use PRIV_DEBUG_UNPRIV in procfs

priv: Use PRIV_VFS_SETGID

Note that in case of UFS, the priv_cred_check() call will now
succeed in a jail, whereas it failed before.

priv: Sync ext2_quotactl() with ufs_quotactl() implementation

priv: Use PRIV_VFS_CHMOD and PRIV_VFS_CHOWN

math.3: Mention f{max,min,dim}.

libm: Import fdim{,f,l} functions from FreeBSD.

libm: Import fmax{,f,l} and fmin{,f,l} functions from FreeBSD.

priv: Refactor UFS quota permissions

Remove duplicate line

priv: Use PRIV_VFS_CHMOD and PRIV_VFS_CHOWN

priv: Introduce and use PRIV_VFS_SETATTR in xxx_setattr()

Replace PRIV_ROOT, PRISON_ROOT combination in xxx_setattr() function
(e.g. ext2fs_setattr()) of several filesystems with PRIV_VFS_SETATTR.

priv: Use PRIV_NETINET_RAW

priv: Use PRIV_NETINET_RESERVEDPORT

priv: Use PRIV_NETINET_RESERVEDPORT

priv: Comment PRIV_NETINET_RAW as FreeBSD does

priv: Use PRIV_NETINET_RAW

priv: Introduce and use PRIV_VFS_REVOKE

priv: Use PRIV_VFS_CHFLAGS_DEV

priv: Use PRIV_VFS_LINK

priv: Introduce and use PRIV_VFS_CHMOD

priv: Remove some uses of PRIV_ROOT/PRISON_ROOT

kmod.mk: Remove some dead code supposed to handle modules' manual pages.

It was ignored previously and since we do not keep kernel related
manual pages in sys/ the whole idea is bogus anyway.

Remove crunchgen(8).

Merge branch 'master' of /home/www-data/gitweb/dragonfly

pipe - pre-MP work, change indexing to circular FIFO rindex/windex.

Document various get-time functions and vfs_timestamp() as MPSAFE.

pipe - pre-MP work, remove direct map and sfbuf features

To help with the initial MPSAFE work we are removing the direct-write
optimizations.  This represents a slight nerf on a SMP box on a modern
cpu, but not really enough to matter in the grand scheme of things.
They may return at some future date.

Stop building multiple versions of telnet.

It's ok to move this code outside of crypto/ because it doesn't actually
contain any crypto -- only routines that call the crypto functions.
This keeps the code centralized, and the usual make.conf defines will
control what gets built (the default is still non-kerberos and with
crypto).

getdevpath.[38]: mdoc cleanup

vrevoke/single-user - fix more revoke issues.

* vrevoke() no longer clears vp->v_rdev.  Doing so interferes with specfs's
  ability to call dev_dclose().  Fixing this will allow the regular close
  of the vnode to close the underlying device.

  Since the revoke code detaches the vnode from any user-visible file
  descriptors the vnode will end up being closed the moment the last
  referenced to the detached fp goes away.

* kill 1 no longer leaves the syscons in a state where both /dev/ttyv0 and
  /dev/console are marked open (due to the above bug).  This state would
  cause the keyboard to stop working sometimes when dropping into single
  user.

* Add dev_drevoke() and friends.  This allows a device to do something
  when an attempt is made to revoke() the related vnode.

  TTY and PTY devices now attempt to break out of any ttysleep() operation
  (such as when processes are blocked in read()).  This is advisory and
  if it fails to break a process out of a blocked condition that process
  will still detach after the blocked condition is resolved normally.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

getdevpath - add _PATH_DEVTAB_PATHS

Reminded-by: Sascha Wildner <saw@online.de>

Get rid of PCI_MAP_FIXUP and opt_pci.h