Make thread suspension really work.

Bring in the altq.4 man page from FreeBSD.

Minor modifications I have done:

* Comment out description of the ALTQ_CDNR option that we don't have.

* Update the list of adapters that support ALTQ. It's likely that
  some are still missing from this list.

Note that the altq.9 man page not there yet. It will be added later.

Add an option to add a slight time skew to the execution of scripts to
smooth out load bumps, primarily for jailed environments.

Note: Modified from the original: assign the actual jitter to a local
variable instead of unnecessarily overriding one of the global variables.

Submitted-by: Michal Belczyk <belczyk@bsd.krakow.pl>
Obtained-from: FreeBSD

Silence warnings about ignored trigraphs.

Cleanup the copyright in this file.  Easy since its my code.

Requested-by: joerg@britannica.bec.de

This commit sets new users to see the DragonFly-tips fortunes instead
of the FreeBSD versions.

Work performed by: "Trevor Kendall" <trevorjk@gmail.com>

Create DragonFly fortune files, based on either the FreeBSD fortune files
or brand new, in the case of -funny.

FreeBSD has been replaced with DragonFly BSD in the fortune file.  If this
would change a quote that was directly attributed to someone, that quote
has been replaced.  I haven't been able to raise any quote authors for
permission to change what they said, so it's erring on the side of caution.

Work performed by: "Trevor Kendall" <trevorjk@gmail.com>
Minor cleanup by: me

* Kill hard sentence breaks.

* Replace documentation of building ports by some pointers to pkgsrc
  documentation. Remove obsolete references to /usr/ports/Mk.

* Add myself to the authors list.

Fix implicit declaration warnings.

Implement a VM load heuristic.  sysctl vm.vm_load will return an indication
of the load on the VM system in the range 0-1000.

Implement a page allocation rate limit in vm_fault which is based on
vm_load, and enabled via vm.vm_load_enable (default on).  As the system
becomes more and more memory bound, those processes whos page faults
require a page allocation will start to allocate pages in smaller bursts
and with greater and greater enforced delays, up to 1/10 of a second.

Implement vm.vm_load_debug (for kernels with INVARIANTS), which outputs
the burst calculations to the console when enabled.

Increase the minimum guarenteed run time without swapping from 2 to 15
seconds.

cache_fromdvp() uses a recursive algorithm to resolve disconnected
directories in the namecache.  A recursion must occur until the parent
directory is found to have a namecache record.   This is used only by
the NFS server.

Fix a kernel stack underflow when large directory depths are encountered
by reverting to a much less efficient (but non recursive) algorithm.  This
case is hit only very rarely, mainly when filesystem testing programs are
employed.  It typically takes directories several hundred or several
thousand deep (depending on system memory) to trigger the condition.

Reported-by: Stefan Krueger

Silence warnings.

Submitted-by: Alexey Slynko <slynko@tronet.ru>

Change KKASSERT() to not embed #exp in the control string.  Instead pass
#exp as a separate argument.  The control was being misinterpreted when
the asserted expression contained a '%'.

Avoid name conflict with built-in function log().

Fix typo.

Oops, disable debuging code.

Remove extra token after #else to silence warning.

Rewrite mutex_init, get rid of compile warnings.

copy flag DETACHED.

Close a race for thread detach.

Remove dfports.

Add missing block number assignment in ATA raid mirroring code.  The
assignment got lost due to recent BUF/BIO work.

Fix typeo.

Submitted by: Xin LI <delphij@frontfree.net>

cluster_read() was very dangerously issuing a blind BMAP for a buffer
cache block that was not yet locked, then locking the block and
unconditionally setting its block number translation to the results.
Due to the potential blocking that can occur inbetween these two operations,
it is possible (but not proven) that this can result in a buffer with a
stale translation.  If that buffer is later dirtied and written to disk,
the filesystem can become corrupt.

Change the code to getblk() the block prior to attempting to BMAP it, and
make the fbp argument to cluster_rbuild() mandatory.

Oops, it's /usr/release, not src/release.

Remove the old release infrastructure documentation inherited from
FreeBSD and replace it with some information about our nrelease
framework.

There's probably more to document here but this should be enough to
get people going.

Rename ${ENV} to ${ENVCMD} to prevent bad interference with some shells.

Reported-by: PinkFluid on IRC

If we got a SIGKILL signal in kern_sigtimedwait, call sigexit to
kill the process.

Document the .Dx macro.

Submitted-by: Francis Gudin <fgudin@nerim.net>

Struct buf's cannot simply be bcopy'd any more due to linkages in the
BIOs.  The CCD code was also zeroing its custom bufs after initializing
them.  This fixes the bugs and cleans it up a bit.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

Add CAVEATS section documenting some possible pitfalls.

* Only use two digits for DragonFly version numbers referenced from the
  man pages.

* Adjust mdoc.local accordingly.[1]

[1]Submitted-by: Francis Gudin <fgudin@nerim.net>

Only define atop for _KERNEL or _KERNEL_STRUCTURES.

Noticed because third-party userland code (csup) also tried to use
its own atop.

I tested with a buildworld and buildkernel on i386.

Okayed by M. Dillon via kernel mailing list.

(I didn't put this condition around ptoa because it is used in
usr.bin/gcore/gcore.c.)

Remove two incorrect serializer calls in the NDIS code.

Reported-by: David Rhodus <drhodus@leaf.dragonflybsd.org>

Switch to building a libgdb and both gdb and kgdb.

Gdb -k doesn't work anymore and was replaced by kgdb, which was imported in
large parts from FreeBSD.

Add a kernel variable indicating with thread is dumping.

Add missing argument.

Don't modify p twice betweeen sequence points.

Fix typos:

_ISO_C_VISIBLE -> __ISO_C_VISIBLE

_POSIX_VISIBLE -> __POSIX_VISIBLE

Roll 1.5.1 for the slip tag

Replace the global buffer cache hash table with a per-vnode red-black tree.
Add a B_HASHED b_flags bit as a sanity check.  Remove the invalhash junk
and replace with assertions in several cases where the buffer must already
not be hashed.  Get rid of incore() and gbincore() and replace with a new
function called findblk().

Merge the new RB management with bgetvp(), the two are now fully integrated.

Previous work has turned reassignbuf() into a mostly degenerate call, simplify
its arguments and functionality to match.  Remove an unnecessary reassignbuf()
call from the NFS code.  Get rid of pbreassignbuf().

Adjust the code in several places where it was assumed that calling
BUF_LOCK() with LK_SLEEPFAIL after previously failing with LK_NOWAIT
would always fail.  This code was used to sleep before a retry.  Instead,
if the second lock unexpectedly succeeds, simply issue an unlock and retry
anyway.

Testing-by: Stefan Krueger <skrueger@meinberlikomm.de>

Unlock vnodes prior to issuing VOP_NREMOVE to accomodate filesystem
drivers which do not allow recursive exclusive locks (msdos).

Reported-by: Sascha Wildner <saw@online.de>

Add additional red-black tree functions for fast numeric field lookups.
Unlike RB_FIND, these functions simply take the appropriate numeric data
type as the search argument rather then an entire dummy structure, and
directly test the numeric data type rather then make a callback.

vfs_bio_awrite() was unconditionally locking a buffer without checking
for races, potentially resulting in the wrong buffer, an invalid buffer,
or a recently replaced buffer being written out.  Change the call semantics
to require a locked buffer to be passed into the function rather then
locking the buffer in the function.

.Pq and friends add some unwanted extra whitespace. Use normal
parentheses.

buftimespinlock is utterly useless since the spinlock is released
within lockmgr().  The only real problem was with lk_prio, which no longer
exists, so get rid of the spin lock and document the remaining passive
races.

Pass LK_PCATCH instead of trying to store tsleep flags in the lock
structure, so multiple entities competing for the same lock do not
use unexpected flags when sleeping.

Only NFS really uses PCATCH with lockmgr locks.

Fix initialisation of wide char support in FILE. Problem reported
on #dragonflybsd.

Merge in security fix from FreeBSD.

simon       2006-03-01 14:21:56 UTC

 FreeBSD src repository (doc,ports committer)

 Modified files:        (Branch: RELENG_4)
   sys/nfs              nfs_socket.c
 Log:
 Correct a remote kernel panic when processing zero-length RPC records
 via TCP.

 Security:       FreeBSD-SA-06:10.nfs
 Approved by:    cperciva

 Revision  Changes    Path
 1.60.2.7  +1 -1      src/sys/nfs/nfs_socket.c

Remove extra .Cm

Pull in a number of fixes from FreeBSD to fix at least the worst
issues:

rev. 1.43:
Kludge around troff bugs to get a reasonable print format despite the
necessity to shrink quoted text to fit on the page.

rev. 1.44:
A gross patch to tidy up the formatting.

rev. 1.47:
mdoc(7) police: Scheduled sweep.

rev. 1.49:
Insert device foo for a few drivers that don't have it.  Replace the
NetBSD config syntax with the FreeBSD syntax.

rev. 1.50:
Use a real (and compact) list for a filename list; this helps groff
split the lines in more reasonable places too, both in tty/ps output.

RETURN VALUES is for function return values only. FreeBSD has an own
EXIT STATUS section for exit codes returned to the shell. Until we do
as well, stuff it into DIAGNOSTICS as mdoc(7) advises.

ERRORS is errno related only. Move documentation to DIAGNOSTICS.

dvp must be unlocked prior to issuing a VOP operation to avoid obtaining
a recursive exclusive lock.  Some filesystem drivers (e.g. msdos) do not
allow recursive locks.

Reported-by: Sascha Wildner <swildner@crater.dragonflybsd.org>

A thread may be freed from a different cpu then it was assigned to,
remove the thread from the correct cpu's gd_tdallq.  This fixes an issue
with corruption of the gd_tdallq.

Fix section order (missed in my last commit).

Add documentation for CAPS system calls.

Properly check for buffered data in ukbd_check_char().  This fixes issues
with key codes getting mixed up between muxed keyboards.

Taken-from: FreeBSD / ukbd.c 1.53
Reported-by: "Norbert Koch" <NKoch@demig.de>

Do not set the pcb_ext field until the private TSS has been completely
initialized, otherwise an interrupt can come along and preempt, then
attempt to restore using the incompletely initialized TSS.

Do not free the pcb_ext data until after we have switched back to
the common TSS, otherwise a blockage in kmem_free() may cause a
premature thread switch with the now invalid private TSS.

Do not depend on need_user_resched() to set a private TSS prior to returning
from a system call, it may optimize itself into a NOP and not actually set
the private TSS prior to our return to userland.  Instead, active the
new private TSS manually by doing a forced thread switch to ourselves.

Reported-by: Sascha Wildner <saw@online.de>

Use \(xx style escape sequences for some special characters so that
the correct glyphs are used for output devices like ps or utf8.

Fix file sizes > 2GB on isofs.  This has already been fixed in the other BSDs.

Submitted-by: Csaba Henk

Update the DEBUG KERNELS section to reflect reality.

Submitted-by: Francis Gudin <fgudin@nerim.net>

nvi's "memory use after free" bug exists in following call path:
v_switch()->ex_edit()->set_alt_name().  Patch the bug.

Obtained-from: OpenBSD
Submitted-by: "Sepherosa Ziehau" <sepherosa@gmail.com>

We don't support BUS_DMASYNC_PREREAD|BUS_DMASYNC_PREWRITE and
BUS_DMASYNC_POSTREAD|BUS_DMASYNC_POSTWRITE.

Requested-by: sephe

Oops, overlooked some spl*() references in my last commit.

Remove SPLASSERT(9) and spl(9) man pages and fix a few references.

Replace .Fx with .Dx where necessary.

Remove empty line to silence troff warning.

Bring in the ndis(4) man page from FreeBSD (with minor modifications).

Sync pciconf(8)'s database with FreeBSD-CURRENT's rev. 1.34.

Change the server side NFS write gather delay from 10ms to 20ms.  This
avoids a boundary condition with the 100hz system clock and should slightly
improve write gather performance.

Use getmicrouptime() instead of getmicrotime() to record access cache
timestamps.  This prevents the client-side NFS attribute cache from
getting confused if the system time steps backwards.

bioops.io_start() was being called in a situation where the buffer could
be brelse()'d afterwords instead of I/O being initiated.  When this occurs,
the buffer may contain softupdates-modified data which is never reverted,
resulting in serious filesystem corruption.  When io_start is called on a
buffer, I/O MUST be initiated and terminated with a biodone() or the buffer's
data may not be properly reverted.

Solve the problem by moving the io_start() call a little further on in the
code, after the potential brelse().

There is a possibility that this bug is responsible for the 'dirbad' panics
often reported in DragonFly and FreeBSD circles.

Reduce the default NFSv3 access cache timeout from 60 seconds to 10 seconds.
The user can still adjust the timeout via vfs.nfs.access_cache_timeout.

Change the dynamic attribute cache timeout heuristic to be the approximate
number of seconds since the file was last modified divided by 60.  It used
to be divided by 10.

Reformulate some code which was #if 0'd out in the last patch.  When
reporting the 'busy buffer' problem, ignore dirty buffers for vnodes
which do not have any I/O in progress.

Fix a bunch of race cases in the NFS callout timer code, in the handling
of the NFS request queue and, in the handling of R_SENT.

The NFS stack can block in the callout timer code's request queue loop,
possibly resulting in another process ripping the current request in the
TAILQ_FOREACH scan out from under the loop.

R_MASKTIMER was being cleared too early, potentially allowing the callout
timer code to modify a request at the same time mainline code was working
on the same request synchronously.

The R_SENT bit would sometimes get set after the request had completed, or
get set twice, causing nmp->nm_sent to 'stick' and never return to 0.  This
in turn would stop the NFS retry code dead in its tracks and cause the NFS
mount to hang.

Reported-by: Stefan Krueger <skrueger@meinberlikomm.de>
Testing-by: Stefan Krueger <skrueger@meinberlikomm.de>
Also-thanks-to: Peter Holms filesystem and load testing suite (stress2).

* Remove unused SC_RENDER_DEBUG option.

* While I'm in LINT, add VGA_DEBUG and VESA_DEBUG.
  Also, set SC_DEBUG_LEVEL to 5 (the maximum value used).

pam_unix.so needs -lutil. Fixes qpopper issues as seen by Adrian Nida.

Sync vfscanf with FreeBSD, which makes it almost symmetrical to
printf. Most importantly "%lld", "%zd" and friends now work.

Retire lib/msun. It was replaced by NetBSD's libm.

Sweep-fix man page section order to match mdoc(7), part 5/5.

Note: I haven't touched the few man pages that are still using
      the old man(7) macros. They will be converted to mdoc later.

Sweep-fix man page section order to match mdoc(7), part 4/5.

Note: I haven't touched the few man pages that are still using
      the old man(7) macros. They will be converted to mdoc later.

Sweep-fix man page section order to match mdoc(7), part 3/5.

Note: I haven't touched the few man pages that are still using
      the old man(7) macros. They will be converted to mdoc later.

Sweep-fix man page section order to match mdoc(7), part 2/5.

Note: I haven't touched the few man pages that are still using
      the old man(7) macros. They will be converted to mdoc later.

Sweep-fix man page section order to match mdoc(7), part 1/5.

Note: I haven't touched the few man pages that are still using
      the old man(7) macros. They will be converted to mdoc later.

Make the entire BUF/BIO system BIO-centric instead of BUF-centric.  Vnode
and device strategy routines now take a BIO and must pass that BIO to
biodone().  All code which previously managed a BUF undergoing I/O now
manages a BIO.

The new BIO-centric algorithms allow BIOs to be stacked, where each layer
represents a block translation, completion callback, or caller or device
private data.  This information is no longer overloaded within the BUF.
Translation layer linkages remain intact as a 'cache' after I/O has completed.

The VOP and DEV strategy routines no longer make assumptions as to which
translated block number applies to them.  The use the block number in the
BIO specifically passed to them.

Change the 'untranslated' constant to NOOFFSET (for bio_offset), and
(daddr_t)-1 (for bio_blkno).  Rip out all code that previously set the
translated block number to the untranslated block number to indicate
that the translation had not been made.

Rip out all the cluster linkage fields for clustered VFS and clustered
paging operations.  Clustering now occurs in a private BIO layer using
private fields within the BIO.

Reformulate the vn_strategy() and dev_dstrategy() abstraction(s).  These
routines no longer assume that bp->b_vp == the vp of the VOP operation, and
the dev_t is no longer stored in the struct buf.  Instead, only the vp passed
to vn_strategy() (and related *_strategy() routines for VFS ops), and
the dev_t passed to dev_dstrateg() (and related *_strategy() routines for
device ops) is used by the VFS or DEV code.  This will allow an arbitrary
number of translation layers in the future.

Create an independant per-BIO tracking entity, struct bio_track, which
is used to determine when I/O is in-progress on the associated device
or vnode.

NOTE: Unlike FreeBSD's BIO work, our struct BUF is still used to hold
the fields describing the data buffer, resid, and error state.

Major-testing-by: Stefan Krueger

Properly assert the state of the MP lock in the async syscall message
waiting code.

Reported-by: Stefan Krueger <skrueger@meinberlikomm.de>

Fix patch handling in kernel sources.

Noticed-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

Consolidate patches into the sources of top, which were imported from
FreeBSD and are not pristine anyways.

Get rid of seriously out of date example code.

Adjust build infrastructure for OpenSSH-4.3p2

Update our READMEs

Merge from vendor branch OPENSSH:
Import OpenSSH 4.3p2 modulo unneeded files

Import OpenSSH 4.3p2 modulo unneeded files

Remove no_obj patches from SRCS

Move patch handling out of .if defined(PROG)

Pull patch handling into its own file so that patches with
subdir components work correctly.

Reviewed-by: guys from #dragonflybsd

Bring in a bunch of malloc features from OpenBSD and fundamentally change
the core allocation code to use mmap() instead of brk/sbrk().  Most of the
new options are off by default, see the new manual page for more information.

* guard pages and chunk randomization
* free page protection
* malloc stats(dump)
* pointer guard
* no longer uses brk/sbrk
* updated man page

Submitted-by: "Kevin L. Kane" <kevin.kane@gmail.com>
Porting-work-by: "Kevin L. Kane" <kevin.kane@gmail.com>

Make warn() a weak reference.

Submitted-by: "Kevin L. Kane" <kevin.kane@gmail.com>

Remove serialization calls that are no longer correct, fixing a panic
with SLIP connections.

Remove unnecessary .Pp following .Sh (forgotten in my last commit).

Allways pass -n to echo so that wmake -n will do the right thing.
Note that this only works because of the special behaviour of sh's
echo builtin.