dma: lock temp files on creation

Lock the temporary files after creating them to protect from a "dma -q"
run at just the wrong time causing a double delivery attempt for
the same message.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: various code hardening

(as found by the Debian hardening wrapper)

- check the result of fgets()
- loop the network writes until the whole thing is sent
- check one more write() result

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: note that the -q option requires an unused argument

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: fix two typos and a word order problem

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: also list locked queue files

When listing the queue, show all messages, even those that are
currently locked for delivery.  Indicate the lock with a '*' after
the queue ID.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: bounce message instantly on permanent remote delivery errors

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: treat a QUIT error as merely a warning

RFC 2821 only mandates that a QUIT error should abort an unfinished
transaction, and since we've reached this point, the DATA command has
succeeded and the message has been accepted for delivery by the remote
end.  Thus, just warn about it.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: properly log last remote status message

Store the last error or status message received from the remote server in
the neterr[] buffer and display it instead of the meaningless %m in
remote delivery syslog messages.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: several fixes to make dma build on non-BSD OS's

- replace open(..., O_EXLOCK) with a new open_locked() routine;
- define the __unused function attribute;
- do not redefine PATH_MAX.

Submitted-by: Peter Pentchev <roam@ringlet.net>

hammer expand: add manpage

hammer expand: Use default values for boot/mem area

hammer expand: Refactor code

NFS - install nfsmount on nfs_mountq, for timeout handling.

* This way the timeout callout can find all the requests.

NFS - Minor compile fix

tsleep_interlock - Fix bug with TDF_TSLEEPQ

* LWKT previously disallowed the scheduling of a thread flagged
  TDF_TSLEEPQ because the tsleep queue was the same as the threadq.
  Now that they are different, it is possible for the thread to
  still be on a tsleepq when descheduled and later rescheduled.
  Remove the check, allowing the thread to be rescheduled by LWKT.

  This fixes issues with processes just locking up in "D"isk wait.

NFS - move nfs_reqq from global to per-nfsmount.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

NFS - Use mutex API, begin refactoring the state machine.

* Use the mtx_*() API instead of roll-your-own locks for the send and
  receive locks.

* Refactor nfs_request().  Break the procedure up into multiple pieces
  for upcoming nfsiod/nfsd work (as in: getting rid of them).

  The main thing here is to split off the 'setup', 'send', 'receive',
  and 'process reply' parts.  This will make it easier to construct
  a kernel thread to i.e. just do the 'setup/send' part, and another
  to do the 'receive/reply' part.

MPSAFE - mutex - better exclusive lock sequencer, bug fixes, abort

* Redo the exclusive lock chaining algorithm.  Use an explicit
  link structure and directly pass ownership to the next thread
  waiting on an exclusive lock.

* Exclusive locks can be aborted via mtx_lock_ex_link() and
  mtx_abort_ex_link().

* Lots of misc bug fixes.

Fix LINT build.

MPSAFE - mutexes

* Add additional inline functions to test the lock state.

MPSAFE - mutex enhancements.

* Add timeout to mtx_lock_{sh,ex}

* Add quick version, mtx_lock_{sh,ex}_quick() which does not take a
  flags or timeout parameter.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

MPSAFE - Add a set of general blocking/spinnable mutex functions.

* (serial wakeup code wasn't included in last commit)

MPSAFE - Add a set of general blocking/spinnable mutex functions.

These locks are intended to eventually replace lockmgr locks for most
use cases.

* Optimized based on in-line atomic_cmpset_int() calls with fallback call.

* Recursive shared and exclusive locks.  Downgrading, and non-blocking
  upgrading.

* Interlocked wakeup flags.

* Serial wakeup for exclusive waiters (i.e. optimal in the face of a large
  number of waiting threads).  Mass-wakeup for shared waiters.

* Additional entry points for spinning.

* Ref-count support, separate from lock count.

Adjust atomic_cmpset_int/long - Faster version, fix amd64 issue.

* Instead of using the condition code just compare %eax (or %rax)
  against the old value.  This is considerably faster then using
  sete/movzbl and GCC will also optimize the caller's test for
  both 0 or non-zero.

* AMD64.  long is 64 bits, use cmpxchgq (it was previously using cmpxchgl).

hammer expand: Also increase number of total bigblocks

hammer expand: Layer 1 formatting (step 2/2)

With this commit online HAMMER filesystem expansion is functional, but
highly experimental and might destroy your filesystem.

Minor adjustment which does not change behaviour.

This has no effect because of the bzero(). Nevertheless it's
more logical to generate the crc after setting blocks_free to 0.

hammer expand: Layer 2 formatting (step 1.5/2)

isdnd(8): Fix some NULL dereferences.

Taken-from: FreeBSD

pipes - set kern.pipe.mpsafe default to 1.

Enable MPSAFE operation on pipes by default.

Whitespace cleanup

NFS - Make the NFS read-ahead defaults & limits more generous.

undo - Add <sys/param.h> to get MAXPATHLEN

Reported-by: corecode

LWKT - Make sure an exiting thread is not sitting on a tsleep queue.

LWKT - Rename lwkt_yield_quick() to a more appropriate splz_check().

MPSAFE - tsleep_interlock, BUF/BIO, cluster, swap_pager.

* tsleep_interlock()/tsleep() could miss wakeups during periods of
  heavy cpu activity.  What would happen is code inbetween the two
  calls would try to send an IPI (say, issue a wakeup()), but while
  sending the IPI the kernel would be forced to process incoming IPIs
  synchronous to avoid a deadlock.

  The new tsleep_interlock()/tsleep() code adds another TAILQ_ENTRY to
  the thread structure allowing tsleep_interlock() to formally place
  the thread on the appropriate sleep queue without having to deschedule
  the thread.  Any wakeup which occurs between the interlock and the
  real tsleep() call will remove the thread from the queue and the
  later tsleep() call will recognize this and simply return without sleeping.

  The new tsleep() call requires PINTERLOCKED to be passed to tsleep
  so tsleep() knows that the thread has already been placed on a sleep
  queue.

* Continue making BUF/BIO MPSAFE.  Remove B_ASYNC and B_WANT from buf->b_flag
  and add a new bio->bio_flags field to the bio.  Add BIO_SYNC, BIO_WANT,
  and BIO_DONE.  Use atomic_cmpset_int() (aka cmpxchg) to interlock
  biodone() against biowait().

  vn_strategy() and dev_dstrategy() call semantics now require that
  synchronous BIO's install a bio_done function and set BIO_SYNC in
  the bio.

* Clean up the cluster code a bit.

* Redo the swap_pager code.  Instead of issuing I/O during the collection,
  which depended on critical sections to avoid races in the cluster append,
  we now build the entire collection first and then dispatch the I/O.
  This allows us to use only async completion for the BIOs, instead of
  a hybrid sync-or-async completion.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Minor adjustments of recent commits to fix UP kernel build.

Fix some typos in manpages.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

hammer expand: Do not assume sequential vol_no's

Fix randomly seen problems with linking C++ programs.

Binutils 2.17 supports COMDAT groups and .nsubspa comdat option. It should
fix randomly seen linking errors like:

`.gnu.linkonce.t.something' referenced in section `.gnu.linkonce.r.something'
of some_object: defined in discarded section `.gnu.linkonce.t.something'
of some_object.

Digged-out-by: corecode@

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Expand HAMMER filesystem step 1/2

Format the volume and increase other volumes' vol_count field.
The space of the new volume is not yet given to the filesystem (that's step 2).

Example:

newfs_hammer -L TEST /dev/da0
mount_hammer /dev/da0 /hammer
hammer expand /hammer /dev/da1
umount /hammer
mount_hammer /dev/da0:/dev/da1 /hammer

# the following fails (wrong number of volumes)
mount_hammer /dev/da0 /hammer

Fix typos in mse(4) and ppp(8) manpages: compliment -> complement.

Shuffle IPI handlers to the last two blocks of the IDT.

Relative position of the IPI handlers is kept.  This gives us
more contiguous free IDT vectors.

Add age(4) to GENERIC and LINT

Add ae(4) manpage

Submitted-by: Alexander Polakov <polachok@gmail.com>
Obtained-from: FreeBSD

Add ae(4) to LINT and GENERIC

Add ae(4) into module building

Add driver for Attansic/Atheros L2 FastEthernet

Submitted-by: Alexander Polakov <polachok@gmail.com> w/ modification
Obtained-from: FreeBSD

lapic_init() -> lapic_map()

Remove the distribute, redistribute and distributeworld targets.

We don't split things into different distributions and none of this
was ever used.

Pointed-out-by: pavalos

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

tsleep() - Use PINTERLOCKED in msleep() and serialized_sleep().

termios.h: Expose tcgetsid(3) function.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1419>
Reviewed-by: hasso@, corecode@

tsleep() - Add PINTERLOCKED flag to catch edge case.

When the tsleep_interlock() + UNLOCK + tsleep() combination is used it is
possible for an incoming wakeup IPI to be processed even if the combination
is used within a critical section, because operations inbetween the two
may send an IPI.  Under heavy loads sending an IPI can force incoming IPIs
to be processed synchronously to avoid deadlocks.

It is also possible for tsleep itself to create this condition when it
releases the user process schedule prior to descheduling itself.

PINTERLOCKED causes tsleep to check whether the bit set by tsleep_interlock()
is still set.  If it is not set we simply return without sleeping.

HAMMER - new hammer_lock code, fix mplock bug in last commit, mpsafe getattr.

* Fix a mplock bug in the last commit that can cause a panic in hammer_read.
  The mplock check code wasn't setting up the hammer transaction properly.

* VMP_GETATTR is now set on all HAMMER vnodes.  If sysctl vfs.getattr_mpsafe=1
  all fstat() operations will run without the MP lock.

* Rewrite HAMMER's lock code, making it MPSAFE.  The new lock code uses
  atomic_cmpset_int().

MPSAFE - Regenerate system calls for MPSAFE changes.

MPSAFE - Implement sysctl vfs.getattr_mpsafe, make fstat() MPSAFE

Make fstat() MPSAFE.  Adjust fileops->fo_stat functions to be MPSAFE as
necessary (uipc socket stat mainly).

MPSAFE - Document a few procedures as MPSAFE (non-operational)

MPSAFE - system calls set_tls_area() and get_tls_area() are MPSAFE

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - Add MPSAFE suppor for hammer_vop_read().

This is still a bit of a hack.  If vfs.read_mpsafe is set HAMMER will
run MPSAFE for reads from regular files which are cached in the buffer
cache.  Data which is not cached will fall-back to getting the MP lock.

At the moment enabling this operation will cause atime to not get updated
on fully cached files, because the rest of HAMMER is not MPSAFE yet so I
cannot modify the internal hammer_inode state.

MPSAFE - Add read() and write() path MPSAFE support, and more.

* Add sysctl vfs.read_mpsafe, vfs.write_mpsafe, and vfs.getattr_mpsafe.
  Only vfs.read_mpsafe is currently implemented, and only for HAMMER
  filesystems.

* read() and write() will now call VOP_READ()/VOP_WRITE() without the
  MP lock if the vnode->v_flag says it is ok to do so.

* read() and write() now serialize reads and writes which depend on the
  file offset stored in the fp, when the concurrent operations share the
  same fp.

* Add vnode flags VMP_READ, VMP_WRITE, VMP_GETATTR.

* Add vnode flag VNOTSEEKABLE indicating that fp->f_offset will never be
  used and no serialization is needed (which e.g. can mess up read()'s
  blocking devices such as ttys).

* Correct bug in FIONREAD related to the data field being too small.

mxge: Clean up Makefile a little more.

mxge: Add opt_inet.h to the Makefile.

CCMS - Correct bug, add #include <sys/spinlock2.h> to kern_ccms.c

CCMS - bug in last commit, remove #include <sys/spinlock2.h> from ccms.h

Normalize the defines for the vnode flags (non-operational change).

CCMS - Make the cache coherency locks MPSAFE.

BUF/BIO - MPSAFE work on core buffer cache routines.

Do initial MPSAFE work on getblk(), bread(), brelse(), bqrelse(),
biowait(), and friends.  Use get_mplock()/rel_mplock() in areas not
yet converted.

Add a flags argument to findblk() and have it return a locked buffer
cache buffer by default.  Callers may request that the buffer be
locked non-blocking, or that it not be locked at all.

Adjust all callers of findblk() for those cases where an unlocked
buffer is desired to lock and re-check the returned buffer's parameters,
since otherwise it can change out from under the caller whether a critical
section is used or not (for SMP).

telnet: Fix a bug (really use the return value of tty_istrapsig()).

Expand HAMMER filesystem stubs

pipe - add required critical section around tsleep_interlock() call.

buffer cache - protect bufqueues[] with the bufspin spinlock.

mxge.4: Some small changes.

* We use local time line, not FreeBSD's.

* Kick unneeded .Pp.

* First appeared in 2.3.

Merge branch 'mxge'

mxge.4: sync with the status of the driver in DragonFly

mxge: import mxge.4 from FreeBSD

Document pmap_qremove() as being MPSAFE.

Make getpbuf(), trypbuf(), and relpbuf() MPSAFE.

Make biowait() MPSAFE.

telnet.1: Remove unnecessary .Pp

priv.9: Update for recent changes.

Approved-by: mneumann

buffer cache - Control all access to the buf red-black trees with vp->v_token

Access to the buffer cache's RB trees is now controlled via vp->v_token
instead of a critical section.  We still hold the BGL but this is not
quite as simple as it seems because an interrupt calling biodone() on a
B_INVAL buffer may now potentially block, where as it would not have before.
The buffer is locked.

lwkt_token - Add ASSERT_LWKT_TOKEN_HELD(token) macro.

bio_track - fix bug in last commit (the negative count assertion was wrong)

Make operations on struct bio_track MPSAFE.

Use atomic ops to make reference counting and waiting on bio_track structures
MPSAFE.

mxge: use ether_input_chain()

mxge: call bus_setup_intr() after the if serializer has been set

mxge: properly initialize m_pkthdr.len as well

mxge: use normal ethernet mtu by default

We don't properly support jumbo frames yet, so
change the default mtu

mxge: properly remove the sysctls

vnode - move v_pollinfo.vpi_token to v_token

* Rename the lwkt_token used for the vnode's v_pollinfo for general use by
  the vnode.  This token will soon be used to lock the buffer cache.

pipe - fix UP build error.

Reported-by: Hasso Tepper <hasso@estpak.ee>

SYSPERF - update pipe1, pipe2

* pipe1 now does a 1-second timing run.

* pipe2 now does a 2-second timing run, just so it runs just a tad longer.