Merge from FreeBSD:

alc         2003/12/26 13:54:45 PST

  FreeBSD src repository

  Modified files:
    sys/vm               vm_map.c
  Log:
  Minor correction to revision 1.258: Use the proc pointer that is passed to
  vm_map_growstack() in the RLIMIT_VMEM check rather than curthread.

  Revision  Changes    Path
  1.324     +1 -2      src/sys/vm/vm_map.c

* Add the pst(4) driver to the GENERIC kernel build.
Should be helpful if someone is trying to install
DragonFly on a Promise controller card.

* Cleanup compiler warnings and other style cleaning while here.

* Add the POSIX.1-2001 header file <cpio.h>
The cpio archive values.

Patch to make the P4S8X run in ATA100 mode.  This is a compromise, since
both the mainboard and the hard drive support ATA133 mode, but there doesn't
seem to be much difference between ATA100 and ATA133 even on FreeBSD-current.

Submitted-by: YONETANI Tomokazu <qhwt@les.ath.cx>

* Sync Changes over from FreeBSD

Merge from FreeBSD rev 1.43 (original commit made by tjr@FreeBSD.org).
Widen local variable "oldsize" to 64 bits to match the 64-bit "n_size"
field in struct smbnode.

* Update Sendmail to version 8.12.10

 * Fix typo: becuase -> because

Merge from FreeBSD:

revision 1.177
date: 2003/12/21 06:03:40;  author: alc;  state: Exp;  lines: +1 -1
 - Correct an error in mincore(2) that has existed since its introduction:
   mincore(2) should check that the page is valid, not just allocated.
   Otherwise, it can return a false positive for a page that is not yet
   resident because it is being read from disk.

Minor syntax cleanup.

Fix a syscall separation bug in recvfrom() which sometimes dereferenced
a NULL pointer.

USER_LDT is now required by a number of packages as well as our upcoming
user threads support.  Make it non-optional.

USER_LDT breaks SysV emulated sysarch(... SVR4_SYSARCH_DSCR) support.
For now just #if 0 out the support (which is what FreeBSD-5.x does).

Submitted-by: Craig Dooley <craig@xlnx-x.net>

Fix a memory leak that occurs when an attempt is made to checkpoint
an suid/sgid program.

Reported-by: Ted Unangst <tedu@zeitbombe.org>

* Try and match README guideline better.

* GBK locale directories

Obtained from: FreeBSD

* Add GB18030 directories.

* Print out a warning if /dev/null doesn't exist.

Commented on by: Matt Dillon

Support multicast on the Marvell Yukon Chipset.  The GMAC on the Yukon
uses a different hash algorithm then the XMAC on the Genesis.  GMAC
algorithm snarfed from Linux.

Submitted-by: Jung-uk Kim <jkim@niksun.com>
Patch-Written-by: Keith Mitchell <kmitch@guru.org>

Improve device identification strings.

Obtained from: FreeBSD

 * Let mergemaster look for make.conf in the correct path.

Submitted-by: Erik Paulsen Skaalerud <erik@pentadon.com>

Make savecore return RC_CONFIGURED unconditionally.

Make the swap code return RC_CONFIGURED and also add a sysctl check
to determine if the kernel supports swapping.

Submitted-by: Peter Kadau <peter.kadau@tuebingen.mpg.de>

use the proper $RC_ variable when returning irrelevancy.

Add an 'enable' and 'disable' target to rcrun, and add softlink shortcuts
for 'rcenable' and 'rcdisable'.  These functions will modify rcrun-generated
entries in /etc/rc.conf.  They will not delete any manual entries in rc.conf
even if the manual entry is being overriden.

Add additional states to the varsym vars and make rc.subr and rcrun aware
of them.  The states are now:

    running failed disabled irrelevant configured stopped

Minor grammatical fix.

Submitted-by: Dave Leimbach <leimySPAM2k@mac.com>

Add another special return code, 3, which means 'subsystem is not
relevant' and make dhclient use it when no dhcp interfaces are specified.
At the moment the varsym is set to 'running' until the rcrun script can
be cleaned up to support another state.

 * Indentation cleanup

Be smarter about services which are in a disabled state.  If the
service is disabled, first try to run the RCNG script.  If it is still
disabled report the fact (the user needs to use rcforce to run a disabled
service).

Make a distinction between disabled entries and running entries.  Do not
start disabled services.  Still TODO: add 'enable' and 'disable' commands
which modify /etc/rc.conf!

Oops, forgot the rc.subr update

Add /sbin/rcrun and symlinks rcstart, rcstop, rcrestart, rcvar, rclist,
rcforce, and rcfast.

Adjust rc.subr to generate system-wide varsyms tracking RCNG operations.
This will allow us to support run-time dependancy management.

Have dummy rc files (that exist just to specify dependancies) call a dummy
command routine which will set the appropriate varsym variables representing
the keywords they provide.

Add a -p option to rcorder which generates the PROVIDE keywords for the
specified files.

Change the -o option to rcorder to take a keyword rather then a filename.
It then generates an ordered set of RC files to run to achieve activation
of the keyword.

Add the -o file option to rcorder.  This will cause rcorder to generate
the dependancy list required to execute a particular file.

Do not print out error messages in quiet mode to make shell scriptiong
with varsym easier.

Pull the sf_buf routines and structures out into its own files in
anticipation of wider future use.

Requested and reviewed by: dillon

More cleanups to make ports work better.

Add -fstack-protector support for the kernel.

    http://www.trl.ibm.com/projects/security/ssp/

Submitted-by: Ryan Dooley <dooleyr@missouri.edu>

This patch improves the performance of sendfile(2).  It adds a hash
table of active sf_buf mappings to ensure there is exactly one
(ref-counted) sf_buf for each vm_page.  This saves on the number
of sf_bufs used when sendfile(2) sends the same file over and over
again to multiple connections simultaneously.  It also does lazy
updates on the hw page table when a sf_buf ref count goes to zero,
placing them on a freelist instead, in effect, making sf_bufs a
cache of virtual-to-physical translations with LRU replacement on
the inactive sf_bufs.  Finally, it does a wakeup_one() instead of
a broadcast wakeup() when a free sf_buf becomes available.

This patch roughly corresponds to FreeBSD revs 1.219 and 1.220 of
sys/i386/i386/vm_machdep.c:

  revision 1.219
  date: 2003/11/17 18:22:24;  author: alc;  state: Exp;  lines: +48 -26
  Change the i386's sf_buf implementation so that it never allocates
  more than one sf_buf for one vm_page.  To accomplish this, we add
  a global hash table mapping vm_pages to sf_bufs and a reference
  count to each sf_buf.  (This is similar to the patches for RELENG_4
  at http://www.cs.princeton.edu/~yruan/debox/.)

  For the uninitiated, an sf_buf is nothing more than a kernel virtual
  address that is used for temporary virtual-to-physical mappings by
  sendfile(2) and zero-copy sockets.  As such, there is no reason for
  one vm_page to have several sf_bufs mapping it.  In fact, using more
  than one sf_buf for a single vm_page increases the likelihood that
  sendfile(2) blocks, hurting throughput.
  (See http://www.cs.princeton.edu/~yruan/debox/.)

  revision 1.220
  date: 2003/12/07 22:49:25;  author: alc;  state: Exp;  lines: +10 -9
  Don't remove the virtual-to-physical mapping when an sf_buf is freed.
  Instead, allow the mapping to persist, but add the sf_buf to a free list.
  If a later sendfile(2) or zero-copy send resends the same physical page,
  perhaps with the same or different contents, then the mapping overhead is
  avoided and the sf_buf is simply removed from the free list.

  In other words, the i386 sf_buf implementation now behaves as a cache of
  virtual-to-physical translations using an LRU replacement policy on
  inactive sf_bufs.  This is similar in concept to a part of
  http://www.cs.princeton.edu/~yruan/debox/ patch, but much simpler in
  implementation.  Note: none of this is required on alpha, amd64, or ia64.
  They now use their direct virtual-to-physical mapping to avoid any
  emphemeral mapping overheads in their sf_buf implementations.

Reviewed by: dillon

Add -fstack-protector and -fno-stack-protector support to GCC.  Note
that the default is set to no protection (what it was before).  See:

    http://www.trl.ibm.com/projects/security/ssp/

Submitted-by: Ryan Dooley <dooleyr@missouri.edu>

Add libc support for propolice.  See:

    http://www.trl.ibm.com/projects/security/ssp/

Submitted-by: Ryan Dooley <dooleyr@missouri.edu>

Add strlcpy and strlcat to libkern

* Add a part of the AGP update that was missed.
This also fixes the kernel compile.

This patch adds a bunch of stuff from FreeBSD5.  It consistantly makes
vendor specific drivers depend on agp, consistantly checks the gart size
!= 0, changes agp_generic_enable to the FreeBSD5 function, initializing
the device as v2 or v3 accordingly, syncs up agpio.h, and adds a couple
PCI Ids from FreeBSD5.

Submitted-by: Craig Dooley <cd5697@albany.edu>

 * Merge fixes from libc to libcr.

PCI compat cleanup, part 1.  This brings in the LNC and VX drivers
from FreeBSD-5.  They are not the newest versions, just new enough to
use newbus, not the PCI compat code.

Submitted-by: Joerg Sonnenberger <joerg@britannica.bec.de>

Convert alpm to use the devmethod code.

Submitted-by: Joerg Sonnenberger <joerg@britannica.bec.de>

Thread testing code for libcaps.

Major update to libcaps.  Implement support for virtual cpus using
rfork_thread() and implement IPIs, per-virtual-cpu globaldata areas,
and per-virtual-cpu LWKT scheduling.

Add additional functionality to the upcall support to allow us to wait for
an upcall instead of spin.

Also fix a bug in the trap code.  %gs faults have to be handled in nested
interrupts because %gs is not saved and restored.  It is also possible that
%fs may have to be handled the same way, but I am not sure yet.

Adjust a comment.

Modify the upcall code to access the critical count via the current thread
rather then embedding the critical count in the upcall structure.

Minor cleanups to sysport.  Use ms_msgsize in the sendsys() call.

Submitted-by: Galen Sampson <galen_sampson@yahoo.com>

* Remove a few extra $FreeBSD$ tags
* Fix a few mis-spellings

Major libcaps work to support userland threading.  Stage 1/2.
Hook the system's upcall mechanism into the globaldata structure
and hook up the LWKT thread switching primitives.  Integrate the
mp_lock code from DragonFly into libcaps to serve as a master lock
for userland threading as well (it turns out that the BGL support in
DragonFly could be trivially ported to the userland threading code).

Still todo: hook up critical section handling, deal with FP regs,
hook up rfork support for multiple virtual cpu's via the upcall mechanism,
and testing of same.

Work by: Galen Sampson <galen_sampson@yahoo.com> and
 Matthew Dillon <dillon@backplane.com>

Augment the upcall system calls to support a priority mechanism rather then
just a pending mechanism.  When dispatching or polling for an upcall the
data field is used to supply a priority which will be compared against
the userland crit_count.

General cleanups as part of the libcaps userland threading work.

As part of the libcaps threading work a number of routines in lwkt_thread.c
are going to be separately implemented for userland.  #ifdef _KERNEL out
the routines.

Submitted-by: Galen Sampson <galen_sampson@yahoo.com>

Add chmod 1777 for /tmp and make other minor adjustments.

Suggested-by: Peter Kadau <peter.kadau@tuebingen.mpg.de>

Add additional information on cvsup'ing various sources.

Suggested-by: David Rhodus <drhodus@catpa.com>

* Might help if we built gbk.c and gb18030.c

 * Remove unused #includes.

Obtained from: FreeBSD

Comment PFIL_HOOKS since it should not be needed in GENERIC.
Leave it in so that people know it is needed for packet filters.

Add the packet filtering files.

Add PFIL_HOOKS functionality.  This allows us to plug in many firewalling
architectures by using/having generic hooks in the networking code.

* Sync comment with code's reality.

Obtained from: FreeBSD

*   Fix problem where initgroups would silently truncate groups with
  more than NGROUP elements without providing the opportunity to
setgroups to fail and correctly return error and set errno.

Obtained from: FreeBSD

* Add GBK encoding support.

Obtained from: FreeBSD

* Add support for gb18030 encoding.

Obtained from: FreeBSD

After testing the manual installation instructions on a real box make some
minor documentation changes and fix a bug (missing cpdup for /usr).

* Allow a return of 0 from __sys_write() to exit the loop in libc_r's
        wrapped version of write().

Obtained from: FreeBSD

* Document the fact that send(2) can return EPIPE (like when a
socket is not connected).

Obtained from: FreeBSD

* don't fclose() a bogus FILE *.

Obtained from: FreeBSD

* Attempt to save the last dregs of emacs users' sanity by saving the
   contents of the PR when an interrupt is received during the editor
   session.  This stops the use of ^G from deleting a filled PR from
   underneath the user.

Obtained from: The FreeBSD project

Add a README file, rc.conf, and example fstab.  Disable a number of system
gizmos in the rc.conf that don't make sense for a CD boot, like syslog
and cron.

Use mkiso -R instead of -r in order to properly record file modes.  In
particular, the file modes associated with devices.

Add nreleae back in.  It's a dummy target designed only to ensure that
the proper obj dir infrastructure is created so the nrelease Makefile's
can use ${.OBJDIR}.

Adjust the nrelease Makefile's to perform port checks only when actually
building the release.

Temporary disable the ports checks.. the Makefile has to be runnable from
buildworld in order to create the obj dir infrastructure only (not to actually
build a release).

* buildworld doesn't need to look at nrelease.
This was requiring things like mkisofs and cvsup to
complete a basic buildworld.

Fix a minor bug... install cvsup and mkisofs in the correct
directory.

Introduce /usr/src/nrelease which begins to implement the new 'live CD'
ISO builder idea.  This initial commit is capable of creating bootable
ISO images which contain a complete working distribution but will boot
into a login prompt (login as root) rather then sysinstall or a
sysinstall-like utility.  Development is ongoing.  Critical subdirectories
are remounted as MFS so most normal commands, including vi, should work just
fine.

Add forgotten newline in debug output.

Synchs with FreeBSD's 1.7.

Get rid off FreeBSD mirrors and add our own three (in Germany, Ireland, and
Japan).

When attempting to open a file path do not treat a file that appears as a
path element as a directory.  This can lockup the boot code.

Do not require -i0 when -o is used.

Add a missing PRELE() when the mfs_mount kernel process exits.  Because
DragonFly does not teardown zombie processes while p_lock is non-zero this
prevented such processes from being reaped and deadlocked the init process.

Documentat mount_mfs -C

Add the -C option to mount_mfs.  This option will automatically copy the
underlying filesystem into the MFS mount being created over it.  It does
this by loading the directory and file structure into memory, creating the
MFS mount, then storing the directory and file structure back into the MFS
mount.

This will be used when booting from read-only media to generate an 'easy'
read-write template.  For example:

    mount_mfs -s 16384 -C swap /var

Softlinks, devices, regular files, directories, and hardlinks are maintained.
Fifos and sockets are not copied.

Add cpdup to /bin (not /usr/bin), so we can start using it during boot
to simplify things like diskless booting.

Add the MPIPE subsystem.  This subsystem is used for 'pipelining' fixed-size
allocations.  Pipelining is used to avoid lack-of-resource deadlocks by
still allowing resource allocations to 'block' by guarenteeing that an
already in-progress operation will soon free memory that will be immediately
used to satisfy the blocked resource.

Adjust the ATAold code to use the new mechanism and remove the code that
tried to back-off into PIO mode when resources were lacking.

* s/FreeBSD/DragonFly at the boot2 prompt.

* Prevent leakage of wired pages by setting start_entry
during vm_map_wire().

* Add quirk for LEXAR 256MB JUMPDRIVE

Fix bug in last commit (missing ..)

Submitted-by: YONETANI Tomokazu <qhwt@myrealbox.com>

Fix a DOS in rfork().  Disallow kernel-only flags.

Taken-from: FreeBSD-4.x kern_fork.c 1.72.2.16 and unistd.h 1.22.2.3

Cleanup POSIX real-time so the kernel compiles without the P1003_1B
option.

Submitted-by: Joerg Sonnenberger <joerg@britannica.bec.de>

Add support for the ICH 4 mobile chipset.

Temporary hack out release.9, which creates the floppies.

Get rid off the POSIX real-time extensions as well as the System V IPC and
slip support.

#include cleanups for lwkt_msgport.c and lwkt_thread.c... the committed
library name is libcaps, not liblwkt.