Add the -o file option to rcorder.  This will cause rcorder to generate
the dependancy list required to execute a particular file.

Do not print out error messages in quiet mode to make shell scriptiong
with varsym easier.

Pull the sf_buf routines and structures out into its own files in
anticipation of wider future use.

Requested and reviewed by: dillon

More cleanups to make ports work better.

Add -fstack-protector support for the kernel.

    http://www.trl.ibm.com/projects/security/ssp/

Submitted-by: Ryan Dooley <dooleyr@missouri.edu>

This patch improves the performance of sendfile(2).  It adds a hash
table of active sf_buf mappings to ensure there is exactly one
(ref-counted) sf_buf for each vm_page.  This saves on the number
of sf_bufs used when sendfile(2) sends the same file over and over
again to multiple connections simultaneously.  It also does lazy
updates on the hw page table when a sf_buf ref count goes to zero,
placing them on a freelist instead, in effect, making sf_bufs a
cache of virtual-to-physical translations with LRU replacement on
the inactive sf_bufs.  Finally, it does a wakeup_one() instead of
a broadcast wakeup() when a free sf_buf becomes available.

This patch roughly corresponds to FreeBSD revs 1.219 and 1.220 of
sys/i386/i386/vm_machdep.c:

  revision 1.219
  date: 2003/11/17 18:22:24;  author: alc;  state: Exp;  lines: +48 -26
  Change the i386's sf_buf implementation so that it never allocates
  more than one sf_buf for one vm_page.  To accomplish this, we add
  a global hash table mapping vm_pages to sf_bufs and a reference
  count to each sf_buf.  (This is similar to the patches for RELENG_4
  at http://www.cs.princeton.edu/~yruan/debox/.)

  For the uninitiated, an sf_buf is nothing more than a kernel virtual
  address that is used for temporary virtual-to-physical mappings by
  sendfile(2) and zero-copy sockets.  As such, there is no reason for
  one vm_page to have several sf_bufs mapping it.  In fact, using more
  than one sf_buf for a single vm_page increases the likelihood that
  sendfile(2) blocks, hurting throughput.
  (See http://www.cs.princeton.edu/~yruan/debox/.)

  revision 1.220
  date: 2003/12/07 22:49:25;  author: alc;  state: Exp;  lines: +10 -9
  Don't remove the virtual-to-physical mapping when an sf_buf is freed.
  Instead, allow the mapping to persist, but add the sf_buf to a free list.
  If a later sendfile(2) or zero-copy send resends the same physical page,
  perhaps with the same or different contents, then the mapping overhead is
  avoided and the sf_buf is simply removed from the free list.

  In other words, the i386 sf_buf implementation now behaves as a cache of
  virtual-to-physical translations using an LRU replacement policy on
  inactive sf_bufs.  This is similar in concept to a part of
  http://www.cs.princeton.edu/~yruan/debox/ patch, but much simpler in
  implementation.  Note: none of this is required on alpha, amd64, or ia64.
  They now use their direct virtual-to-physical mapping to avoid any
  emphemeral mapping overheads in their sf_buf implementations.

Reviewed by: dillon

Add -fstack-protector and -fno-stack-protector support to GCC.  Note
that the default is set to no protection (what it was before).  See:

    http://www.trl.ibm.com/projects/security/ssp/

Submitted-by: Ryan Dooley <dooleyr@missouri.edu>

Add libc support for propolice.  See:

    http://www.trl.ibm.com/projects/security/ssp/

Submitted-by: Ryan Dooley <dooleyr@missouri.edu>

Add strlcpy and strlcat to libkern

* Add a part of the AGP update that was missed.
This also fixes the kernel compile.

This patch adds a bunch of stuff from FreeBSD5.  It consistantly makes
vendor specific drivers depend on agp, consistantly checks the gart size
!= 0, changes agp_generic_enable to the FreeBSD5 function, initializing
the device as v2 or v3 accordingly, syncs up agpio.h, and adds a couple
PCI Ids from FreeBSD5.

Submitted-by: Craig Dooley <cd5697@albany.edu>

 * Merge fixes from libc to libcr.

PCI compat cleanup, part 1.  This brings in the LNC and VX drivers
from FreeBSD-5.  They are not the newest versions, just new enough to
use newbus, not the PCI compat code.

Submitted-by: Joerg Sonnenberger <joerg@britannica.bec.de>

Convert alpm to use the devmethod code.

Submitted-by: Joerg Sonnenberger <joerg@britannica.bec.de>

Thread testing code for libcaps.

Major update to libcaps.  Implement support for virtual cpus using
rfork_thread() and implement IPIs, per-virtual-cpu globaldata areas,
and per-virtual-cpu LWKT scheduling.

Add additional functionality to the upcall support to allow us to wait for
an upcall instead of spin.

Also fix a bug in the trap code.  %gs faults have to be handled in nested
interrupts because %gs is not saved and restored.  It is also possible that
%fs may have to be handled the same way, but I am not sure yet.

Adjust a comment.

Modify the upcall code to access the critical count via the current thread
rather then embedding the critical count in the upcall structure.

Minor cleanups to sysport.  Use ms_msgsize in the sendsys() call.

Submitted-by: Galen Sampson <galen_sampson@yahoo.com>

* Remove a few extra $FreeBSD$ tags
* Fix a few mis-spellings

Major libcaps work to support userland threading.  Stage 1/2.
Hook the system's upcall mechanism into the globaldata structure
and hook up the LWKT thread switching primitives.  Integrate the
mp_lock code from DragonFly into libcaps to serve as a master lock
for userland threading as well (it turns out that the BGL support in
DragonFly could be trivially ported to the userland threading code).

Still todo: hook up critical section handling, deal with FP regs,
hook up rfork support for multiple virtual cpu's via the upcall mechanism,
and testing of same.

Work by: Galen Sampson <galen_sampson@yahoo.com> and
 Matthew Dillon <dillon@backplane.com>

Augment the upcall system calls to support a priority mechanism rather then
just a pending mechanism.  When dispatching or polling for an upcall the
data field is used to supply a priority which will be compared against
the userland crit_count.

General cleanups as part of the libcaps userland threading work.

As part of the libcaps threading work a number of routines in lwkt_thread.c
are going to be separately implemented for userland.  #ifdef _KERNEL out
the routines.

Submitted-by: Galen Sampson <galen_sampson@yahoo.com>

Add chmod 1777 for /tmp and make other minor adjustments.

Suggested-by: Peter Kadau <peter.kadau@tuebingen.mpg.de>

Add additional information on cvsup'ing various sources.

Suggested-by: David Rhodus <drhodus@catpa.com>

* Might help if we built gbk.c and gb18030.c

 * Remove unused #includes.

Obtained from: FreeBSD

Comment PFIL_HOOKS since it should not be needed in GENERIC.
Leave it in so that people know it is needed for packet filters.

Add the packet filtering files.

Add PFIL_HOOKS functionality.  This allows us to plug in many firewalling
architectures by using/having generic hooks in the networking code.

* Sync comment with code's reality.

Obtained from: FreeBSD

*   Fix problem where initgroups would silently truncate groups with
  more than NGROUP elements without providing the opportunity to
setgroups to fail and correctly return error and set errno.

Obtained from: FreeBSD

* Add GBK encoding support.

Obtained from: FreeBSD

* Add support for gb18030 encoding.

Obtained from: FreeBSD

After testing the manual installation instructions on a real box make some
minor documentation changes and fix a bug (missing cpdup for /usr).

* Allow a return of 0 from __sys_write() to exit the loop in libc_r's
        wrapped version of write().

Obtained from: FreeBSD

* Document the fact that send(2) can return EPIPE (like when a
socket is not connected).

Obtained from: FreeBSD

* don't fclose() a bogus FILE *.

Obtained from: FreeBSD

* Attempt to save the last dregs of emacs users' sanity by saving the
   contents of the PR when an interrupt is received during the editor
   session.  This stops the use of ^G from deleting a filled PR from
   underneath the user.

Obtained from: The FreeBSD project

Add a README file, rc.conf, and example fstab.  Disable a number of system
gizmos in the rc.conf that don't make sense for a CD boot, like syslog
and cron.

Use mkiso -R instead of -r in order to properly record file modes.  In
particular, the file modes associated with devices.

Add nreleae back in.  It's a dummy target designed only to ensure that
the proper obj dir infrastructure is created so the nrelease Makefile's
can use ${.OBJDIR}.

Adjust the nrelease Makefile's to perform port checks only when actually
building the release.

Temporary disable the ports checks.. the Makefile has to be runnable from
buildworld in order to create the obj dir infrastructure only (not to actually
build a release).

* buildworld doesn't need to look at nrelease.
This was requiring things like mkisofs and cvsup to
complete a basic buildworld.

Fix a minor bug... install cvsup and mkisofs in the correct
directory.

Introduce /usr/src/nrelease which begins to implement the new 'live CD'
ISO builder idea.  This initial commit is capable of creating bootable
ISO images which contain a complete working distribution but will boot
into a login prompt (login as root) rather then sysinstall or a
sysinstall-like utility.  Development is ongoing.  Critical subdirectories
are remounted as MFS so most normal commands, including vi, should work just
fine.

Add forgotten newline in debug output.

Synchs with FreeBSD's 1.7.

Get rid off FreeBSD mirrors and add our own three (in Germany, Ireland, and
Japan).

When attempting to open a file path do not treat a file that appears as a
path element as a directory.  This can lockup the boot code.

Do not require -i0 when -o is used.

Add a missing PRELE() when the mfs_mount kernel process exits.  Because
DragonFly does not teardown zombie processes while p_lock is non-zero this
prevented such processes from being reaped and deadlocked the init process.

Documentat mount_mfs -C

Add the -C option to mount_mfs.  This option will automatically copy the
underlying filesystem into the MFS mount being created over it.  It does
this by loading the directory and file structure into memory, creating the
MFS mount, then storing the directory and file structure back into the MFS
mount.

This will be used when booting from read-only media to generate an 'easy'
read-write template.  For example:

    mount_mfs -s 16384 -C swap /var

Softlinks, devices, regular files, directories, and hardlinks are maintained.
Fifos and sockets are not copied.

Add cpdup to /bin (not /usr/bin), so we can start using it during boot
to simplify things like diskless booting.

Add the MPIPE subsystem.  This subsystem is used for 'pipelining' fixed-size
allocations.  Pipelining is used to avoid lack-of-resource deadlocks by
still allowing resource allocations to 'block' by guarenteeing that an
already in-progress operation will soon free memory that will be immediately
used to satisfy the blocked resource.

Adjust the ATAold code to use the new mechanism and remove the code that
tried to back-off into PIO mode when resources were lacking.

* s/FreeBSD/DragonFly at the boot2 prompt.

* Prevent leakage of wired pages by setting start_entry
during vm_map_wire().

* Add quirk for LEXAR 256MB JUMPDRIVE

Fix bug in last commit (missing ..)

Submitted-by: YONETANI Tomokazu <qhwt@myrealbox.com>

Fix a DOS in rfork().  Disallow kernel-only flags.

Taken-from: FreeBSD-4.x kern_fork.c 1.72.2.16 and unistd.h 1.22.2.3

Cleanup POSIX real-time so the kernel compiles without the P1003_1B
option.

Submitted-by: Joerg Sonnenberger <joerg@britannica.bec.de>

Add support for the ICH 4 mobile chipset.

Temporary hack out release.9, which creates the floppies.

Get rid off the POSIX real-time extensions as well as the System V IPC and
slip support.

#include cleanups for lwkt_msgport.c and lwkt_thread.c... the committed
library name is libcaps, not liblwkt.

Set the close-on-exec flag for CAPS client descriptors.

Add /var/caps/root and /var/caps/users.  IPC rendezvous services for root
is implemented as a unix domain socket by libcaps in /var/caps/root/<name>.
IPC rendezvous services for users are implemented in
/var/caps/users/<uid>/<name>.  Allowing users to create services requires
manually creating a /var/caps/users/<uid> directory that is owned by that
uid.

Add a new library, libcaps, which is intended to encompass DragonFly-specific
core threading and IPC mechanisms.

As of this commit the library is very incomplete.  It works just well enough
to run the IPC test program unthreaded.  For the moment it is implemented
via unix domain sockets.  The IPC mechanism is eventually expected to be
moved directly into the kernel and use an upcall for replies.

More LWKT messaging cleanups.  Isolate the default port functions by making
them static and rename lwkt_init_port() to lwkt_initport() to conform with
lwkt_initmsg().

Fix the OID_AUTO collision with static sysctl numbers.  This can occur
when things like DIVERT are turned on, because they use static oid's
larger then 100.  Change the minimum OID_AUTO oid from 100 to 256 (taken
from FreeBSD-5.x), and add the assignment scan code from FreeBSD-4.x
rather then using a static variable.

NETISR_POLL cannot use isr 0.  Use isr 1.

Bug reported by: TC Lewis <tfox@dimension-4.dnsalias.net>

Make the 'bad isr' panics a little more verbose.

Change $FreeBSD$ to $DragonFly$ on the output files.

Also revert the VI_UNLOCKED damage.

Remove KTR damage.

Add two more awk kernel build scripts from FreeBSD.

Add proper $FreeBSD$ identifier.

Remove haveseen_iobase(), it is not in use in the kernel.

This synchs with FreeBSD's 1.21 and 1.70.

Use malloc() + M_ZERO instead of malloc() + bzero().

Synchs with FreeBSD's 1.23.

Properly spell compatible and compatibility.

 * K&R function cleanup

Remove the archaic wd(4) driver.

Remove the archaic wd(4) driver and its dependencies.

Tested with: LINT

Use unsigned integers for the counters, since they cannot be negative
anyway.

Synchs with FreeBSD 1.5 and 1.7.

Spell initialise correctly.

Sync with FreeBSD's 1.6 (which is also a commit by me)

Add details on how to get a "checked out" source tree.

When looking for files that have already been linked, strip off any
path prefix components.

Do some fairly major include file cleanups to further separate kernelland
from userland.

    * Do not allow userland to include sys/proc.h directly, it must use
      sys/user.h instead.   This is because sys/proc.h has a huge number
      of kernel header file dependancies.

    * Do cleanups and work in lwkt_thread.c and lwkt_msgport.c to allow
      these files to be directly compiled in an upcoming userland thread
      support library.

    * sys/lock.h is inappropriately included by a number of third party
      programs so we can't disallow its inclusion, but do not include
      any kernel structures unless _KERNEL or _KERNEL_STRUCTURES are
      defined.

    * <ufs/ufs/inode.h> is often included by userland to get at the
      on-disk inode structure.  Only include the on-disk components and do
      not include kernel structural components unless _KERNEL or
      _KERNEL_STRUCTURES is defined

    * Various usr.bin programs include sys/proc.h unnecessarily.

    * The slab allocator has no concept of malloc buckets.  Remove malloc
      buckets structures and VMSTAT support from the system.

    * Make adjustments to sys/thread.h and sys/msgport.h such that the
      upcoming userland thread support library can include these files
      directly rather then copy them.

    * Use low level __int types in sys/globaldata.h, sys/msgport.h,
      sys/slaballoc.h, sys/thread.h, and sys/malloc.h, instead of
      high level sys/types.h types, reducing include dependancies.

'Building databases' has 10 seconds worth of sleeps that it doesn't need.
Remove them.

Tweak the context data a bit and do some code cleanup.  Save %edx as well
as %eax and %ecx so we can throw the upcall pointer into %edx, which makes
it possible to create self-contained context assembly code.  This also
improves performance by giving the context assembly (see
src/test/sysperf/upcall.S) easier access to the upcall structure.

It's also safer (though not critical) to have the kernel save all the
call-used registers when setting up for an upcall.

Add some comments to the upcall test code.

Add an upcall performance test program + example context function
assembly code.

Add UPC_CRITADD, the value that crit_count must be increased or decreased
by.

Add a big whopping manual page for the upcall syscalls, upc_register and
friends.

Implement an upcall mechanism to support userland LWKT.  This mechanism will
allow multiple processes sharing the same VM space (aka clone/threading)
to send each other what are basically IPIs.

Two new system calls have been added, upc_register() and upc_control().
Documentation is forthcoming.  The upcalls are nicely abstracted and a
program can register as many as it wants up to the kernel limit (which
is 32 at the moment).

The upcalls will be used for passing asynch data from kernel to userland,
such as asynch syscall message replies, for thread preemption timing,
software interrupts, IPIs between virtual cpus (e.g. between the processes
that are sharing the single VM space).

Add a DECLARE_DUMMY_MODULE for snd_cmi to detect kld/static-kernel conflicts.

Add a DECLARE_DUMMY_MODULE() so we can get linker_set module names
for modules that normally use DRIVER_MODULE().  The problem is that
DRIVER_MODULE() will define names that do not match the module name,
so a DECLARE_DUMMY_MODULE() is needed for the kernel to be able to
figure out that a module has been statitically compiled in.

 * Make pkg_add fetch the packages from /packages-4-stable instead of
   /packages-current so -r works again.

Reported by: Adam K Kirchhoff <adamk@voicenet.com>