dma: don't block when trying to aquire a queue file

We might race with some other process, so it is imperative to treat a
locked file as a soft error instead of blocking on the file until the
other process unlocks it.

dma: don't block on lock/opening the mbox file, backoff instead

dma: accept -q without argument.  report argument errors.

dma: add comments for ESMTP support

dma: treat seek errors as permanent errors

dma: more loudly note that we should query for MX records

dma: fix various bugs in local mbox delivery

dma: fix mail bouncing

dma: always log error exits

dma: drop CVS ids

dma: rewrite file management

Close files as early as possible, possibly re-open them later.  This is
so that we avoid filedesc sharing problems completely and that we won't
run out of fdesc in case of a large queue.

dma: correct logic for setting the locked flag

dma: restructure logging

Don't carry the ident manually.  Instead set a global tag once the
ident is fixed.

dma: note that the data file provides the id

dma: rework queue handling

dma: Move comment.

dma: Re-arrange argument consistency checks.

dma: better tag handling

EXT2FS: support variable inode size.

Obtained-from: FreeBSD
Cherry-picked-from: http://github.com/polachok/dragonflybsd/commit/d8b7a4caaa2724148e95939207977a0730c349b2
Submitted-by: Alexander Polakov

Sync zoneinfo database with tz{code,data}2009k from elsie.

africa:         8.21 -> 8.22
asia:           8.35 -> 8.36
europe:         8.21 -> 8.22
leapseconds:    8.8  -> 8.9

zic.c:          8.19 -> 8.20

From Arthur David Olson's comments:

* africa: Change Mauritius to reflect that the 2008-2009 DST experiment
      is not repeated (and to change end of DST in 2009 from 2:00
      standard time to 2:00 local time) (thanks to Steffen Thorsen).

* asia: Arbitrarily cut off Dhaka DST at end of 2009 (so that a POSIX-
      style time zone string can appear in the Dhaka binary file, and
      for the benefit of systems with old glibc reimplementations of
      the time zone library that don't handle permanent DST correctly).
      Note that another change will be needed once the real end date
      for DST in Dhaka is known.

* europe: Update URL for Directive 2000/84/EC on summer-time
      arrangements (thanks to Colin Watson and Ian Jackson).

* leapseconds: Change "no leap second" comment (no leap second at end
      of 2009).

* zic.c: Do not end a binary file with a POSIX-style time zone string
      for locations that end up in permanent DST (thanks to Andreas Schwab).

Update gzip.

- gzexe: Ensure we do not compress files we need for decompressing by
also checking hard links. From Andrew Dalgleish. (from OpenBSD)
- note that -n also stops the timestamp from being output.
- Don't abort decompression if there are no bytes in the output buffer
when the end of compressed block (ie the crc) is reached.
(ie when decompressing concatenated zipped files).
- If stdin is the input stream, fstat it and check if it's
file. If so, use it's mtime for the mtime in the header. Otherwise use
time(2)'s result instead. Lines up with GNU gzip and RFC 1952 now as
well.
- Fix parsing of $GZIP so that not to overrun the end of string.
- handle partial reads.
- avoid an infinite loop while decompressing invalid gzip files.
- in file_compress() always stat() the input file.  this patch avoids
reading from uninitialised space.
- Fix a few issues:
 gzip -vt just prints the contents of a .Z file
 gzip -vt will print OK even if the .gz file is corrupt
 gzip -vt prints nothing with a .bz2 file
 gzip can loop endlessly with a corrupt .bz2 file
- Don't warn about >4GB files not having their size correctly stored.
- Remove unhandled H option from getopt() argument. Describe -l in usage.
- properly check the return value of read() & pread().
- Delete impossible code.
- Abort decompression with an error when EOF is reached on input. The
test output will then be 'NOT OK'.
- End a decompression when trailing garbage is found. It emits a warning
message and causes a non-zero exit status (similar to GNU gzip).
- properly detect when the output fails (eg, full filesystem) and do not
delete the input file.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1026

NFS - Increase default read-ahead from 4 to 6

But continue to play nice with the server.

NFS - Implement async write BIO, greatly increase sockbuf limits, better rexmit

* Write BIOs are now executed asynchronously.

* Commit BIOs are now executed asynchronously.

* Increase the sockbuf limit to around 2MBytes, which is what is needed
  to handle the burst writing a DragonFly client can do now when the
  kernel flushes its buffers (at least for a UDP socket).

* Adjust the rexmit code.  Also detect duplicate packets received and
  adjust the SRTT up a little since no RTT is calculated when a timeout
  occurs.

* NEW SYSCTLS:

  vfs.nfs.soreserve - This parameter now overrides all other kernel and
  user parameters to set the NFS sockets limit.

  vfs.nfs.maxasyncbio - This is set to the hard-coded maximum by default
  and may be reduced to accomodate insufficiently
  endowed remote servers.

* NOTE ON UDP MOUNTS TO REMOTE SERVERS.  If the remote server does not have
  sufficient sockbuf space to receive a large burst of UDP packets performance
  will suffer greatly.  To allieviate this issue you can decrease
  vfs.nfs.maxasyncbio on the DragonFly client, or you can simply use a
  TCP mount.

The limit specified in kern.ipc.maxsockbuf only applies to userland.

This sysctl parameter no longer effects kernel-created or kernel-controlled
sockets whos maximum sizes are specified by other sysctls.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

NFS - Fix panic on umount/reboot

* The rx thread sometimes gets no-error and 0-bytes returned from
  its soreceive call, but the caller expects a mbuf in that case.
  Check for the case and convert to EPIPE.

nfsclient: nfsiod isn't used anymore

 * Remove nfsclient rc.conf variable; it was just passed to nfsiod

 * Remove nfsiod execution from rc.d/nfsclient

rc.d/nfsclient: Put newline after last action

rc.d/random: Fix typos

rc.d/random feed_dev_random() would leave seedenable=1;
no effect in default config:
feed_dev_random not called as entropy_file and entropy_dir both unset.

Import complex arithmetic functions from {Net,Free}BSD.

swildner@ helped test it with llvm/clang.
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1424>

NFS - Stability pass / recent work.

* Fix numerous bugs introduced in the conversion, on both the server side
  and the client side.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

NFS - Rewrite the RTT code and the request flags & low level state machine

* The RTT code basically did not work with UDP, and never has very well.
  Use a somewhat different algorithm and make more of an assumption that
  the network is either reliable, or if it isn't reliable that the sysad
  is using a reliable protocol (such as TCP).

  The new RTT code should do a better job, though there will still
  be significant stalling on a lossy network if using UDP (too bad!).

* Replace the congestion control code.  Instead of trying to defer
  packet transmission to the nfs_timer, which we no longer run at
  insane rates, we instead limit the number of async BIOs we allow
  to be queued at any given moment.

* Redo the req->r_flags flags and the low level RPC interlocks between
  the various consumers and producers.  Add additional flags that
  can be tested in assertions to validate expectations.

  Use R_LOCKED for more then just the nfs_timer code.

* Close a memory hole.

* Hold critical sections to close races that could result in a
  thread deadlocking in soreceive waiting for a reply that another
  thread already processed.

* Add two sysctls to aid in testing.

    vfs.nfs.showrexmit - Causes "X" to be printed on the console whenever
  NFS feels that it must retransmit a RPC.  Only
  occurs with UDP mounts.

    vfs.nfs.showrtt - Causes NFS to print out the SRTT, SDRTT, and
  converted timeout calculation once a second
  while NFS requests are active.

* Increase the asynchronous BIO limits.  Because we only need two helper
  threads and no longer depend on dozens of synchronous-rpc threads
  (the old nfsiod's), there is no practical limit to the number of
  requests we can have active.

  Reformulate how asynchronous BIOs are accounted for.  They are now
  accounted for from the moment they are queued to the very end where
  they are biodone()'d.

tsleep_interlock() - Fix bug in cpu_lwp_exit().

* Fix a bug in cpu_lwp_exit() which could cause a TAILQ assertion due to
  a thread not being properly removed from the tsleep queue.

APIC ABI: Support 32 IDT vectors

For two IO APIC hardware configuration, it is now common that number
of needed IDT vectors goes beyond 24, since we pre-allocate the PCI
irq number (irq number and IDT vector is 1:1 mapping) during MP table
parsing.

Reported-by: y0netan1@

Remove unused macro

NFS - Fix unmounting blockages, fix tick interval, hack cpu assignments.

* Umount was having problems due to the way the helper threads were
  being shutdown.  Should be fixed.

* The NFS timer, which is responsible for handling retransmits and
  timeouts, did not need to be set to one tick (10ms).  200ms is
  just fine.

* Hack cpu assignments for the tx and rx helper threads.

NFS - implement async state machine for nfs_readrpc_bio()

Implement the basic state machine mechanics to allow the two
helper threads to separate transmit and receive work for any
number of NFS RPCs.

NFS - refactor nfs_request() and add state machine fields to nfsm_info

* nfs_request() now operates as a state machine and can be told to
  return when it reaches any state, allowing RPC sequences to be
  split up (to be used by the new iod).

NFS - Cleanup pass -factor out strict temporaries from nfsm_info

NFS - Fix refactor bugs.

* The new ERROROUT macro unconditionally overwrites error.  Don't use
  it for cases where we wish to retain a prior error.

NFS - Marathon - completely refactor the nfsm_* macros.

Completely refactor the nfsm_*() macros in nfsm_subs.h, converting
all of them to procedures in nfsm_subs.c.

Add a nfsm_info structure to track the persistent state that the code
depends on, and remove all related local variables from the other bits
of the NFS code.

release engineering: record 2.3.2 in subvers

stdio.h: declare snprintf also for XSI 5

We restricted declaration of snprintf and vsnprintf to C99, but it is
also part of XSI 5.

Noticed-by: hasso@

NFS - create nfsm_subs.c, clean up externs

* Move nfsm_*() procedures from nfs_subs.c to nfsm_subs.c

* Clean up externs improperly embedded in .c files.

dma: add required headers if they are not present

RFC2822 states that we must or should include the Date, Message-Id, and
From headers, so add them if they are not present in the message.

dma: use ANSI string continuations

dma: pass over the code and improve error handling

dma: clean up network code

- free memory where necessary
- don't just abort without error message
- don't bounce if we want to defer the message

dma: treat encrypted connections as secure

Users have to set the INSECURE config option to allow dma to send
plaintext passwords on login.  This commit allows dma to send plaintext
passwords through TLS connections even if the INSECURE config option is
not set.

The downside is that this allows a man-in-the-middle attack on the
password exchange.  The only solution to this is checking the server
certificate, but we don't do that (yet).

dma: properly close and free SSL connection state

dma: log mail queueing more thoroughly

Directly log when a mail is accepted and not only when a delivery attempt
is made.

dma: note that we will have to clean up SSL state

dma: unconditionally use openssl

Drop HAVE_CRYPTO and unconditionally use openssl.  Dma is supposed to be
small and secure, so there is no way around openssl anyways.

dma: implement alternate identity for mailq

mailq does not take the standard sendmail options, but behaves like -bp.

dma: correctly initialize error before delivering mail

error is used to return failure or success from deliver_remote().  However
error is also used before, so we have to make sure that it is initialized
to 0, else a previous (non-fatal) error could pull through, even if the
delivery was successful.

dma: adjust syslog logging levels

Most invocations of syslog used LOG_ERR.  Clearly this is not good
practise.  Adjust the levels to be reasonable.

dma: always send EHLO after tls setup

We have to send EHLO even after a STARTTLS, so unconditionally send it
after connection/tls setup.

dma: prevent races from sharing fd between children

On fork, fds are shared between children.  If two processes work on
different recipients, but on the same queue file, they might get
confused when the fd (and thus the offset) is shared.  Prevent this by
re-opening the queue file after fork.

Reported-by: Daniel Roethlisberger <daniel@roe.ch>

dma: restructure set_username

Restructure to perform early exit and check for strdup() error.

dma: constify bounce reason and avoid strdup

We don't need to care about freeing the bounce reason string, because
bounce is only called once.  Convert all bounce reason strings to
const char * and avoid calling strdup() on them.  Dynamic strings from
asprintf() need some de-const massaging.

dma: ignore a whole slew of sendmail options

Probably some more left.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: better logic for guessing username

Apply better logic to guess the username when getlogin(3) is not
available for some reason, e.g. no login session at all, no access
to utmp/wtmp, etc.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: add the MAILNAME and MAILNAMEFILE config options

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: add FULLBOUNCE config option

FULLBOUNCE will include the full message in the bounce

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: provide proper bounce error message

This may not be the best solution - the error message buffer has now
turned dynamic, but the only alternative I see is to make it a static
array in net.c... and I'm not quite sure if I want to do that just now.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: lock temp files on creation

Lock the temporary files after creating them to protect from a "dma -q"
run at just the wrong time causing a double delivery attempt for
the same message.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: various code hardening

(as found by the Debian hardening wrapper)

- check the result of fgets()
- loop the network writes until the whole thing is sent
- check one more write() result

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: note that the -q option requires an unused argument

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: fix two typos and a word order problem

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: also list locked queue files

When listing the queue, show all messages, even those that are
currently locked for delivery.  Indicate the lock with a '*' after
the queue ID.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: bounce message instantly on permanent remote delivery errors

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: treat a QUIT error as merely a warning

RFC 2821 only mandates that a QUIT error should abort an unfinished
transaction, and since we've reached this point, the DATA command has
succeeded and the message has been accepted for delivery by the remote
end.  Thus, just warn about it.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: properly log last remote status message

Store the last error or status message received from the remote server in
the neterr[] buffer and display it instead of the meaningless %m in
remote delivery syslog messages.

Submitted-by: Peter Pentchev <roam@ringlet.net>

dma: several fixes to make dma build on non-BSD OS's

- replace open(..., O_EXLOCK) with a new open_locked() routine;
- define the __unused function attribute;
- do not redefine PATH_MAX.

Submitted-by: Peter Pentchev <roam@ringlet.net>

hammer expand: add manpage

hammer expand: Use default values for boot/mem area

hammer expand: Refactor code

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

NFS - install nfsmount on nfs_mountq, for timeout handling.

* This way the timeout callout can find all the requests.

NFS - Remove old nfsiod, start adding new kernel thread infrastructure

* Remove all the nfsiod junk.

* Add two per-mount threads, one for reading from the socket, one for writing
  to the socket, in a new file nfs_iod.c

* Implement a quick and dirty synchronous, single threaded nfs_doio()
  loop in the writer thread to test basic mechanics.

NFS - Minor compile fix

tsleep_interlock - Fix bug with TDF_TSLEEPQ

* LWKT previously disallowed the scheduling of a thread flagged
  TDF_TSLEEPQ because the tsleep queue was the same as the threadq.
  Now that they are different, it is possible for the thread to
  still be on a tsleepq when descheduled and later rescheduled.
  Remove the check, allowing the thread to be rescheduled by LWKT.

  This fixes issues with processes just locking up in "D"isk wait.

NFS - move nfs_reqq from global to per-nfsmount.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

NFS - Use mutex API, begin refactoring the state machine.

* Use the mtx_*() API instead of roll-your-own locks for the send and
  receive locks.

* Refactor nfs_request().  Break the procedure up into multiple pieces
  for upcoming nfsiod/nfsd work (as in: getting rid of them).

  The main thing here is to split off the 'setup', 'send', 'receive',
  and 'process reply' parts.  This will make it easier to construct
  a kernel thread to i.e. just do the 'setup/send' part, and another
  to do the 'receive/reply' part.

MPSAFE - mutex - better exclusive lock sequencer, bug fixes, abort

* Redo the exclusive lock chaining algorithm.  Use an explicit
  link structure and directly pass ownership to the next thread
  waiting on an exclusive lock.

* Exclusive locks can be aborted via mtx_lock_ex_link() and
  mtx_abort_ex_link().

* Lots of misc bug fixes.

Fix LINT build.

MPSAFE - mutexes

* Add additional inline functions to test the lock state.

MPSAFE - mutex enhancements.

* Add timeout to mtx_lock_{sh,ex}

* Add quick version, mtx_lock_{sh,ex}_quick() which does not take a
  flags or timeout parameter.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

MPSAFE - Add a set of general blocking/spinnable mutex functions.

* (serial wakeup code wasn't included in last commit)

MPSAFE - Add a set of general blocking/spinnable mutex functions.

These locks are intended to eventually replace lockmgr locks for most
use cases.

* Optimized based on in-line atomic_cmpset_int() calls with fallback call.

* Recursive shared and exclusive locks.  Downgrading, and non-blocking
  upgrading.

* Interlocked wakeup flags.

* Serial wakeup for exclusive waiters (i.e. optimal in the face of a large
  number of waiting threads).  Mass-wakeup for shared waiters.

* Additional entry points for spinning.

* Ref-count support, separate from lock count.

Adjust atomic_cmpset_int/long - Faster version, fix amd64 issue.

* Instead of using the condition code just compare %eax (or %rax)
  against the old value.  This is considerably faster then using
  sete/movzbl and GCC will also optimize the caller's test for
  both 0 or non-zero.

* AMD64.  long is 64 bits, use cmpxchgq (it was previously using cmpxchgl).

hammer expand: Also increase number of total bigblocks

hammer expand: Layer 1 formatting (step 2/2)

With this commit online HAMMER filesystem expansion is functional, but
highly experimental and might destroy your filesystem.

Minor adjustment which does not change behaviour.

This has no effect because of the bzero(). Nevertheless it's
more logical to generate the crc after setting blocks_free to 0.

hammer expand: Layer 2 formatting (step 1.5/2)

isdnd(8): Fix some NULL dereferences.

Taken-from: FreeBSD

pipes - set kern.pipe.mpsafe default to 1.

Enable MPSAFE operation on pipes by default.