POSIX lock resource limit part 3/4

This splits "struct lockf" into the general book-keeping of ranges and
blocked request and the "struct lockf_range" which constists of the data
for a specific range. Adjust the interface of lf_advlock to remove one
level of pointer indirection and embedded "struct lockf" directly in the
inodes. Don't mess with wait channels any more.

Change the algorithm for determing locks to a more direct approach, which
both simplifies the lock acquisition and proper book-keeping of the number
of ranges currently used. The later is necessary to prevent local resource
exhaustion.

The code is not fully malloc block-safe, but as good or bad as
the old code.

Add the kernel part of the posixlocks rlimit. This is the maximum number of
POSIX lock ranges any user can acquire. These numbers are tracked for each
user and process and checked at lock/unlock time. If a process changes uid,
its locks are transfered to the new uid which can effectivly boost that
number above the limit.

This is based on the patch set from Devon H. O'Dell <dodell@sitetronics.com>
for the general infrastructure with some adjustment to better integrate with
the new lockf code.

Make IP statistics counters per-CPU so they can be updated safely.

* For SMP, we index into the array with the current CPU's
  as ipstats_ary[gd->gd_cpuid], and for UP we just return
  struct at ipstats_ary[0] (CPU-0).

* Rename the structure from ipstat to ip_stats.

* Wrap function definition of CPU counter aggregation in a
  macro called CPU_STATS_FUNC() to avoid duplication.

* Retain support for resetting the counters using netstat(1).

Style(9) cleanup to src/sys/vfs, stage 16/21: smbfs.

- Convert K&R-style function definitions to ANSI style.

Submitted-by: Andre Nathan <andre@digirati.com.br>
Additional-reformatting-by: cpressey

(non bug) The hash routines are never called with a size of 1, but make
the minimum size 2 to avoid a degenerate masking case.

We must pmap_qremove() pages that we previously pmap_qenter()'d before
we can safely call kmem_free().  This corrects a serious corruption issue
that occured when using PIPE algorithms other then the default.

The default SFBUF algorithm was not effected by this bug.

Style(9) cleanup to src/sys/vfs, stage 15/21: procfs.

- Convert K&R-style function definitions to ANSI style.

Submitted-by: Andre Nathan <andre@digirati.com.br>
Additional-reformatting-by: cpressey

Commit an update to the pipe code that implements various pipe algorithms.
Note that the newer algorithms are either experimental or only exist for
testing purposes.  The default remains the same (sfbuf mode), which is
considered to be stable.  The code is just too useful not to commit it.

Add pmap_qenter2() for installing cpu-localized KVM mappings.

Add pmap_page_assertzero() which will be used in a later diagnostic commit.

Add bcopyb() back in for the PCVT driver.  bcopyb() is explicitly
byte-granular for the few (one?) memory mapped device which cannot always
handle 16 or 32 bit ops.

Reported-by: David Rhodus

Clear npxthread before setting CR0_TS.

Turn off MMX/XMM copy support by default until I track down all the bugs.
It can be turned on by setting kern.mmxopt=1 in /boot/loader.conf.

Fix another bug in the recent bcopy revamp.   The range checking was
branching to the wrong copyin_fault/copyout_fault address.

Fix a race in the FP copy code.  If we setup our temporary FP save area
before we check npxthread it is possible for a one-instruction-window
interrupt to come along and save the application FP state to our temporary
area and then clear npxthread, causing the application FP state to be thrown
away.

Also, if there is no app FP state (npxthread is NULL), it is possible
once we set npxthread=curthread for an interrupt to come along and save
bogus FP state to our temporary save area before we have a chance to
fninit (one instruction window since we clts just prior to the fninit),
causing the fninit to fault and npxdna to restore the bogus state.

Use a critical section to prevent these cases from occuring.

Fix a race in npxdna().  If an interrupt occurs after we have set npxthread
but before we call fxrstor() the thread switch would save someone else's
FP state to our PCB.

Fix a minor link problem when using CPU_DISABLE_SSE.

Correct a bug in the last FPU optimized bcopy commit.  The user FPU state
was being corrupted by interrupts.

Fix the bug by implementing a feature described as a missif in the original
FreeBSD comments... add a pointer to the FP saved state in the thread
structure so routines which 'borrow' the FP unit can simply revector the
pointer temporarily to avoid corruption of the original user FP state.

The MMX_*_BLOCK macros in bcopy.s have also been simplified somewhat.  We
can simplify them even more (in the future) by reserving FPU save space in
the per-cpu structure instead of on the stack.

Remove the (now non existant) i486_bzero assignment for I486_CPU.

Make SF_BUF_HASH() into an inline routine, sf_buf_hash(), and add an
additional offset to avoid folding that might occur due to cache line
selection effects.  This does not appear to make much of a difference but
I decided to keep it anyway.

Make hash tables one power of 2 larger so they don't (generally) fold
nodes as much.  Before if you requested a hash table of 63 elements
it would create a 32 entry hash table.  Now it creates a 64 entry hash
table (and 128 entry if you specify 65 elements).

Rewrite the optimized memcpy/bcopy/bzero support subsystem.  Rip out the
old FreeBSD code almost entirely.

* Add support for stacked ONFAULT routines, allowing copyin and copyout to
  call the general memcpy entry point instead of rolling their own.

* Split memcpy/bcopy and bzero into their own files

* Add support for XMM (128 bit) and MMX (64 bit) media instruction copies

* Rewrite the integer code.  Also note that most of the previous integer
  and FP special case support had been ripped out of DragonFly long ago
  in that the assembly was no longer being referenced.  It doesn't make
  sense to have a dozen different zeroing/copying routines so focus on
  the ones that work well with recent (last ~5 years) cpus.

* Rewrite the FP state handling code.  Instead of restoring the FP state
  let it hang, which allows userland to make multiple syscalls and/or for
  the system to make multiple bcopy()/memcpy() calls without having to
  save/restore the FP state on each call.  Userland will take a fault when
  it needs the FP again.

  Note that FP optimized copies only occur for block sizes >= 2048 bytes,
  so this is not something that userland, or the kernel, will trip up on
  every time it tries to do a bcopy().

* LWKT threads need to be able to save the FP state, add the simple
  conditional and 5 lines of assembly required to do that.

AMD Athlon notes: 64 bit media instructions will get us 90% of the way
there.  It is possible to squeeze out slightly more memory bandwidth from
the 128 bit XMM instructions (SSE2).  While it does not exist in this commit
there are two additional features that can be used:  prefetching and
non-temporal writes.  Prefetching is a 3dNOW instruction and can squeeze
out significant additionaL performance if you fetch ~128 bytes ahead of
the game, but I believe it is AMD-only.  Non-temporal writes can double
UNCACHED memory bandwidth, but they have a horrible effect on L1/L2
performance and you can't mix non-temporal writes with normal writes without
completely destroying memory performance (e.g. multiple GB/s -> less then
100 MBytes/sec).

Neither prefetching nor non-temporal writes are implemented in this commit.

Add mem1 and mem2 .... memory copying and zeroing test suites, making it
fairly easy for anyone to test various copying and zeroing memory algorithms
and compare them against other algorithms.

Due to pipe buffer chunking the reader side of the pipe was not traversing
its entire buffer, creating skewed statistics for block sizes > 64K.

Reduce the timing interval from 6 seconds to 3.

Move the Plug'n'Play BIOS support into a separate file. This is included
with "device pnpbios" instead of "options PNPBIOS".

This is still not included by default in GENERIC.

While at it, convert some u_intXX_t, u_short and u_int to uintXX_t in
preparation for AMD64.

1) Move the tcp_stats structure back to netinet/tcp_var.h.
2) Remove netinet/tcp_stats.h because it is no longer needed.

Requested by: Jeffrey Hsu

Fix compilation of profiling.

Requested by: David Rhodus <drhodus@machdep.com>

Remember if an inpcb was entered into the wildcard table to save
some cycles when a connection is closed.

Conditionalize accept_filter variable on defined(INET).

Revamp the PIPE test a bit.  Use a calibration loop to make the test always
run for a consistent period of time (around 6 seconds) no matter what the
specified block size is.  Allow a third 'label' argument to be specified
and reformat the MB/sec output to include the label and block size
to make it easier to pick off results for gnuplot.  Finally, use mmap()
instead of malloc() to create a cache-friendly read and write buffer to
reduce noise in the performance results.

Bring in the following revs from FreeBS-4:

    1.250.2.25  +3 -2      src/sys/i386/i386/pmap.c
    1.33.2.6    +2 -2      src/sys/vm/pmap.h
    1.187.2.25  +3 -2      src/sys/vm/vm_map.c

Suggested-by: Alan Cox <alc@cs.rice.edu>

nextsoftcheck must be a volatile pointer, not a pointer to a volatile.

Reported-by: YONETANI Tomokazu <qhwt+dragonfly-commits@les.ath.cx>

Fix a bug noted by David Rhodus and removes minor redundancy.

Submitted-by: Sascha Wildner <saw@online.de>

If the server goes away while the client is trying to copy a message from
it, the kernel may panic with a null-pointer indirection through the caps
ci_td field (which becomes NULL).  The field is properly becoming NULL,
the culprit was some debugging code that indirected through it without
checking first.

Reported-by: Chris Pressey <cpressey@catseye.mine.nu>

Add missing function prototype.

Cosmetic changes.

Leave out acpica5 from the device build path for a little longer, well
at least until the stabilization faze is over.

Cosmetic changes.

Sync libcr with libc.

Small style fix

Fix bsd.port.subdir.mk by adding the normal environment hacks

Support for more video modes: accept mode names like MODE_<NUMBER> where
<NUMBER> is the video mode number from the vidcontrol -i mode output.
MODE_13 is 320x200, for example...

Change the default geometry of raster modes: calculate rows and columns
using the font width and height. This results in the row * col geometry
being as large as possible if no geometry is specified by the user. If
no font is specified the current font's height is used. The old
vidcontrol used a default geometry of 80x25 for raster modes.

Remove restrictions on the range of background colors for graphics modes.

Implement a cleaner revert mechanism: in case something goes wrong we
restore the previous settings and give a message telling what exactly
went wrong. Unfortunately, there are several parameters that cannot
(yet) be saved and restored due to restrictions in the syscons driver:
screen saver timeout, cursor type, mouse character, mouse show/hide
state, vty switching on/off state, history buffer size and history
buffer contents are not saved because the syscons driver doesn't provide
ioctl()s to read those parameters. Font maps are not restored because
the syscons driver won't let us load a font map without setting it.

Submitted-by: Sascha Wildner <saw@online.de>

The "Hashed Timers and Hierarchical Wheels: Data Structures for the
Efficient Implementation of a Timer Facility" paper was co-author'ed
by T. Lauk, not A. Lauk.

Adjust nearby whitespace at the same time.

#ifdef out the PCATCH/CURSIG code for userland (libcaps), it only applies
to kernelland.

include <machine/cpufunc.h> in order to get the memory barrier functions.

Partial sync with kernel to get libcaps compilable again.

Cosmetic changes.

The default protocol threads also need the check for
same thread synchronous execution.

Reported by: YONETANI Tomokazu <qhwt+dragonfly-bugs@les.ath.cx>

Replicate the TCP listen table to give each cpu its own copy.

Rename the sysctl handler for nchstats to reflect reality; I named it
nchstats_agg() originally because it was aggregating the counters in
the handler and than exporting the result; the reality is that it
exports them without aggregation so CPU affectiveness can be analysed.

The handler is now called sysctl_nchstats().

General update:
Remove unused notes about upgrading a system from a.out to elf.
Clear out the old checks for performing an a.out to elf upgrade.

Merge ... FreeBSD (RELENG_4) src/sys/dev/syscons/syscons.c,
revisions 1.336.2.16 and 1.336.2.17.

This fixes two bell-related bugs in syscons(4):

- Do not attempt to ring the audible bell if either the frequency
or duration is zero, as these values indicate that the bell is off,
yet can produce odd sounds on some hardware.  (1.336.2.16)

- Do not prevent processes on currently inactive VTY's from waking
up from waiting for the output queue when the visible bell rings on
the currently active VTY.  (1.336.2.17)

Reviewed-by: Hiten Pandya <hmp@backplane.com>

Remove the VREF() macro and uses of it.
Remove uses of 0x20 before ^I inside vnode.h

Add in the new acpica5 to the device build path.

Count statistics for exec calls.

Drop packet if the length checks fail in ip_demux().

Use a message structure off the stack for a synchronous call.

Fix a client tail -f vs server-appended file data corruption case by
invalidating client-side cached data on detection of a server based
file size change.

Taken-from: FreeBSD-5
Patch-Prepared-by: Chris Pressey <cpressey@catseye.mine.nu>

Style(9) cleanup.

- Normalize spacing, indentation, and comment-formatting.
- Change (ptr == 0) tests and (!ptr) tests to (ptr == NULL) tests.
- No functional changes.

Clean up style(9) issues that were missed in previous commit to this
file.

- Remove `register' keywords.
- Convert K&R-style function definitions to ANSI style.
- No functional changes.

Style(9) cleanup to src/sys/vfs, stage 14/21: portal.

- Convert K&R-style function definitions to ANSI style.

Submitted-by: Andre Nathan <andre@digirati.com.br>
Additional-reformatting-by: cpressey

Pass more information down to the protocol-specific socket dispatch function
to use if desired.

msync(..., MS_INVALIDATE) will incorrectly remove dirty pages without
synchronizing them to their backing store under certain circumstances,
and can also cause struct buf's to become inconsistent.  This can be
particularly gruesome when MS_INVALIDATE is used on a range of memory that
is mmap()'d to be read-only.

Fix MS_INVALIDATE's operation (1) by making UFS honor the invalidation
request when flushing to backing store to destroy the related struct buf
and (2) by never removing pages wired into the buffer cache and never
removing pages that are found to still be dirty.

Note that NFS was already coded to honor invalidation requests in
nfs_write().  Filesystems other then NFS and UFS do not currently support
buffer-invalidation-on-write but all that means now is that the pages
will remain in cache, rather then be incorrectly removed and cause corruption.

Reported-by: Stephan Uphoff <ups@tree.com>, Julian Elischer <julian@elischer.org>

buildiso was assuming a native obj hierarchy when running the make distribute
for etc, but buildworld's obj hierarchy is in a buildworld-special place, so
this was creating a failure.

Give nrelease its own custom hierarchy for any manual make distribute's that
it decides to issue (of which there is exactly one right now: etc for
sendmail's CF generation).

Revamp UPDATING with separate instructions for upgrading from sources
on a FreeBSD platform, installing fresh from the CD, and installing/upgrading
from sources on an existing DragonFly platform.

Style(9) cleanup.

- Remove `register' keywords.
- Remove casts to void when ignoring return values.
- No space after sizeof.
- *argv[] -> **argv
- No functional changes.

Style(9) cleanup to src/sys/vfs, stage 13/21: nwfs.

- Convert K&R-style function definitions to ANSI style.

Submitted-by: Andre Nathan <andre@digirati.com.br>
Additional-reformatting-by: cpressey

posixlocks resource limit part 2/4: Add support to /usr/bin/limits.
This brings in Devon's:
lockfix-usr.bin.dfly.patch (which a number of formatting and
   backwards compatibility fixes added)

Submitted-by: "Devon H. O'Dell" <dodell@sitetronics.com>

Split the suggested invocation of fdisk (which is failing for some
people) into two seperate invocations (which seems to work for them.)

The real solution would be to find out why fdisk -IB is troublesome,
but in the interim, this should save some frustration.

Problem-experienced-by: geekgod.com, Devon H. O'Dell, Dave Leimbach
Workaround-stumbled-upon-by: cpressey

posixlocks resource limit part 1/4: Add support to the login.conf database,
sh, and csh, and update manual pages.

This brings in Devon's:

lockfix-bin.dfly.patch (with minor nextopt() bug fixed)
lockfix-contrib.dfly.patch
lockfix-etc.dfly.patch
lockfix-lib.dfly.patch (w/ #ifdef added around RLIMIT_POSIXLOCKS)

Submitted-by: "Devon H. O'Dell" <dodell@sitetronics.com>

More M_NOWAIT -> M_INTWAIT | M_NULLOK conversions, primarily atm and ipsec.
NOTE: the atm code uses malloc(M_DEVBUF, ..).  It should probably have its
own malloc domain.

Correct type-o in last commit.  oops.

M_NOWAIT to mostly M_INTWAIT conversions, with a splattering of
M_NULLOK to prevent exhaustion attacks from crashing the system.

Note in patricular that the MALLOC tseg_qent for the tcp reassembly
queue went from M_NOWAIT to M_INTWAIT | M_NULLOK.

The temporary message allocated to execute a connect request is not
optional (M_NOWAIT -> M_INTWAIT).

Use M_INTWAIT instead of M_NOWAIT in the ip messaging redispatch case to
avoid random drops.

M_NOWAIT -> M_WAITOK or M_INTWAIT conversions.  There is a whole lot of net
code that is improperly using M_NOWAIT.  Also remove now unneeded NULL checks
since malloc will panic rather then return NULL when M_NULLOK is not set.

Use M_INTWAIT|M_NULLOK in some cases (such as route table allocation) in
order to allow malloc to return NULL when the limit for the malloc type
is reached.

Fix a race in user_ldt_free() against an interrupt (which attempts to
save and restore the ldt) while it is being freed.  Reorder the free and use
a critical section to prevent the race.

Reported-by: Andrew Atrens <atrens@nortelnetworks.com>

Style(9) cleanup.

- Remove `register' keyword.
- Remove casts to void when ignoring return values.
- No functional changes.

Fix a netmsg memory leak in the ARP code.  Adjust all ms_cmd function
dispatches to return a proper error code.

Reported-by: multiple people

Fix symlink ordering issue with the less man page.
This was causing the quickworld process or error out.

Reported by: walt

Style(9) cleanup to src/sys/vfs, stage 12/21: nullfs.

- Convert K&R-style function definitions to ANSI style.

Submitted-by: Andre Nathan <andre@digirati.com.br>
Additional-reformatting-by: cpressey

Added short descriptions for kern.acct_suspend, kern.acct_resume, and
kern.acct_chkfreq, for use with sysctl -d.

Suggested-by/Corrections-from: Chris Pressey

Followup commit, redo the way the root file descriptor slop is calculated
to avoid doing a divison in falloc(), and reorder the conditional to avoid
evaluating the more complex predicate most of the time.

Add a KKASSERT to mount(2) to make sure we have a proc pointer.

Merge: FreeBSD (RELENG_4) vfs_syscalls.c rev. 1.151.2.19

* Prohibit mount/umount operations inside a jail.

* Respect vfs.usermount sysctl for umount(2).

Merge: FreeBSD (RELENG_4) kern_event.c rev. 1.2.2.10

Finish initializing a knote before we pass it to a callout.  This had
resulted in panics if large numbers of events were created with short
timeouts.

Reference: PR kern/64121 from FreeBSD GNATS repository.

Merge: FreeBSD (RELENG_4) msdosfs_vfsops.c rev. 1.60.2.9

    Don't reject FAT file systems with a number of "Heads" greater than
    255; USB keychains exist that use 256 as the number of heads.

Merge: FreeBSD (RELENG_4) kern_descrip.c rev. 1.81.2.19

* Update $FreeBSD$ CVS tag to indicate this and previous merges.

* Reserve the last 5% of file descriptors for root use.  This
  should allow systems to fail more gracefully when exhaustion
  occurs; report exhaustion has a rate-limited message.
  (Revision 1.201 - 1.203 of sys/kern_descrip.c from FreeBSD)

Merge: FreeBSD (RELENG_4) aac_pci.c rev. 1.3.2.19

Remove erroneous PCI Id.

Remove two unused GEOM function prototypes.  They were hangovers from
the boot code sync from FreeBSD-5.x.

Clean up typos and punctuation in comment.

Fix an symlink ordering issue that was causing the install
of the new less program to fail.

Pointed out by: JXrg Anslik

New logo of the DragonFly logo instead of the BSD Beastie.  The old
version has been moved to src/sys/dev/misc/syscons/bsdlogo/ .

Idea from/Art converted by: Matt Emmerton <memmerto@yahoo.com>
Repo-copy help from: Matt Dillon <dillon@backplane.com>

Style(9) cleanup to src/sys/vfs, stage 11/21: ntfs.

- Convert K&R-style function definitions to ANSI style.

Submitted-by: Andre Nathan <andre@digirati.com.br>
Additional-reformatting-by: cpressey

Update less to version 381.

Merge from vendor branch LESS:
Import of less 381

Import of less 381

When an mpipe was being destroyed, each element in the array was being
freed, but the array itself was not.  Free the array as well.

Also do some minor tidying up of mpipe_done().

Reported-by: Craig Dooley <craig@xlnx-x.net>

m_tag_alloc illegally passed the mbuf flags to malloc, hitting the
diagnostic panic there. Do the same as the other mbuf allocation
routines and check for M_WAIT explicitly.

Reported-by: Richard Nyberg <rnyberg@it.su.se>

Revamp the initial lwkt_abortmsg() support to normalize the abstraction.  Now
a message's primary command is always processed by the target even if an
abort is requested before the target has retrieved the message from the
message port.  The message will then be requeued and the abort command copied
into lwkt_msg_t->ms_cmd.  Thus the target is always guarenteed to see the
original message and then a second, abort message (the same message with
ms_cmd = ms_abort) regardless of whether the abort was requested before
or after the target retrieved the original message.

ms_cmd is now an opaque union.  LWKT makes no assumptions as to its contents.
The NET code now stores nm_handler in ms_cmd as a function vector, and
nm_handler has been removed from all netmsg structures.

The ms_cmd function vector support nominally returns an integer error code
which is intended to support synchronous/asynchronous optimizations in the
future (to bypass messaging queueing and dequeueing in those situations
where they can be bypassed, without messing up the messaging abstraction).

The connect() predicate for which signal/abort support was added in the last
commit now uses the new abort mechanism.  Instead of having the handler
function check whether a message represents an abort or not, a different
handler vector is stored in ms_abort and run when an abort is processed
(making for an easy separation of function).

The large netmsg switch has been replaced by individual function vectors
using the new ms_cmd function vector support.  This will soon be removed
entirely in favor of direct assignment of LWKT-aware PRU vectors to the
messages command vector.

NOTE ADDITIONAL: eventually the SYSCALL, VFS, and DEV interfaces will use
the new message opaque ms_cmd 'function vector' support instead of a
command index.

Work by: Matthew Dillon and Jeffrey Hsu

Use vm_page_hold() instead of vm_page_wire() for exec's mapping of the first
text page.  vm_page_hold() is cheaper.

Taken-From: Alan Cox / FreeBSD

Sync with FreeBSD 4-STABLE manpages.

Patches-from: Christian Brueffer <chris@unixpages.org

Fix code typo in previous commit to this file, thus allowing make(1)
to build without warnings when DEBUG_FLAGS=-Wall.

Style(9) cleanup to src/sys/vfs, stage 10/21: nfs.

- Convert K&R-style function definitions to ANSI style.

Submitted-by: Andre Nathan <andre@digirati.com.br>
Additional-reformatting-by: cpressey

In contrast to FreeBSD 4 and 5, our slab allocator does hand out cross-page
allocations. This broke bus_dmamem_alloc, which depends on allocation of
size < PAGE_SIZE to not cross pages.

As a temporary workaround, bus_dmamem_alloc checks explicitly wether an
allocation crossed page boundaries and retries the allocation with size
rounded up to the next power-of-two.

Allow an inp control block to be inserted on multiple wildcard hash tables.