Redo the ProPolice patches, there were partly broken.

IEEE Std. 1003.1-2001 (SUSv3):

Add the tabs(1) utility.

Written by Tim J. Robbins of the FreeBSD Project.

Add the csplit(1) utility, which splits files based on context, as
specified by IEEE Std. 1003.1-2001 (SUSv3).

Written by Tim J. Robbins (tjr@) of the FreeBSD Project.

Fix GCC 3.4 build

Fix GCC 3.4 build.

Fix compilation "Label at end of compound statement" and some missing
prototyps / K&R style functions for GCC 3.4.

Fix a bogus type declaration to remove a compiler warning - `group'
in this case refers to a netgroup name, and should therefore be a
char * instead of a gid_t.

Requested-by: joerg

Fix GCC 3.4 build

Remove the evil inline ==> rpcgen_inline CPP hack, rename the variable
properly. Use ISO C prototyps. Remove useless void casts. Do some other
style updates. Remove !defined(__DragonFly__) cases, one was checking for
__Dragonfly__, which broke buildworld with GCC 3.4. Add a break after
default: in switch statements, which is not portable and an error with
GCC 3.4 and later.

Fix an aggregious non-terminated buffer issue and also fix the retry code
(the buffer was being wiped and needed to be regenerated for the retry).

Reported-by: Vincent Labrecque <vincent@psyfreaks.ca>

Fix prototype of usage().

First stage in cleaning the built-in pathes of gcc. Adapted patch from
cc3/gcc.patch and fit directly into the patching system.

Include ProPolice suport for GCC 3.4.

Obtained-from: http://www.trl.ibm.com/projects/security/ssp

Additional files forgotten in first commit.

Include ProPolice suport for GCC 3.4.

Obtained-from: http://www.trl.ibm.com/projects/security/ssp

Adjust Makefile.langs to use the patched common.opts from cc_prep.

Create twed0 entries in /dev

Fix installworld by making it aware of the rconfig examples.

Add a helper utility, called asf(8): Add Symbol File.

The purpose of this utility is to extract start addresses from kldstat(8)'s
output and prepare a .gdbinit style file (called .asf) with GDB commands to
load the KLD files at the right offset.

The file can then be given to the 'source' command of GDB so that it does
its magic.  This is how one can invoke the asf(8) command:

# asf -k -f -s -x /modules gdb.kldsyms.asf

Note, the '-k' output invokes kldstat(8) automatically, otherwise it
accepts kldstat(8) sytle output on stdin, which can be produced by a
gdb macro so that is is equally useful in post-crash analysis.

One needs to compile the module with debugging symbols, though.

Obtained-from: FreeBSD (CVS, MAIN branch)

A sample rconfig script which completely wipes and reinstalls dragonfly
on a fresh HD.

chdir into WorkDir before running the downloaded script.

Exit with an error if both -a and a list of hosts are specified on the
command line.

Write a remote configuration utility called 'rconfig'.  This initial
implementation is very basic and designed to be convienient.  It allows a
CD user to scan the network for configuration servers, download a
configuration script based on a tag name, and execute that script all in
one simple command.  Running the rconfig server is just as easy... you
basically just run the server -a -s and put your scripts in
/usr/local/etc/rconfig/<tagname>.sh and you are done.

Of course the scripts themselves have to be written and can certainly become
quite complex.

In order to use rconfig from a CD Boot at least one network interface must
be properly configured.  The dhclient program is usually used to accomplish
this.

The insn-conditions.c generated by stock GCC does some bad premature
optimizations which breaks e.g. genflags. Remove this until a better
solution is found.

Default the MMX/XMM kernel optimizations to the on position. Also make a
note in the loader man page that these optimizations can be turned off at
the loader by setting kern.mmxopt=1.

Don't whine about malloc/realloc "poising" the code for YACC files.

Don't set prefetch mode on VIA chips, it causes problems on newer chips and
ATAPI devices.

Notified-by: David Xu <davidxu@viatech.com.cn>
Taken-From: FreeBSD-5

Spell 'written' properly.

Fix spelling in comment.

Make sure gcc_local.c and any left over patch mess is cleaned up by make clean,
and fix an improper setting of CLEANFILES for cpp and f77.

Clean up GCC3.3, rip out all the weird search paths it adds and fix a long
standing bug that was preventing it from finding the crtbegin*.o and
crtend*.o files in their new home.

In consultation with: Joerg Sonnenberger <joerg@britannica.bec.de>

Fix warning

Really use the host compiler in bsd.hostprog.mk

Nuke lib/csu/i386 (a.out support) and copy lib/csu/i386-elf there.

Add CCVER=gcc34 support to bsd.cpu.mk. Also add the magic for AMD64 support
for GCC 3.4 and backwards compatiblity for the older compilers.

Add directory entries for GCC 3.4.

Fix a race with the clearing of p->p_session->s_ttyvp.  NULL the pointer
out before calling vrele() rather then after.

Fix a bug with v_opencount accounting on revoke().  The underlying device
was being closed properly but v_opencount was being decremented which causes
it to go negative when close() is called on the descriptor later on.  To
fix the bug we zero out v_opencount() when the underlying vnode's device
is disassociated and spec_close() now only decrements it when the device is
associated.

Reported-by: GeekGod
Testing-by: GeekGod, Hiten, David Rhodus.

Build infrastructure for GCC 3.4

This is based both on the logical structure of GCC own Makefiles
and the build framework of GCC 3.3. For the moment, the generated
helper files are recreated for each directory using them to make
the dependencies simpler. libgcc_r is not included, because the
only difference is the normal version is an explicit call to
pthread_mutex_init instead of using the static init model, which
is serialized by a spinlock for all those locks.

This is not yet hooked into the normal buildworld system.

Add the old CSU files to list of file to be deleted and keep the new ones.

Switch from GCC-version specific crtbegin/crtend code to the version
independent code. This is binary compatible with old version. The old
object files are currently left in place.

Import BSD-licensed crtbegin/crtend support.

Obtained-from: NetBSD

Note: crtend.c comes without license header. I send a mail to Jason Thorpe
and will update it according to the response. I'm assuming the normal
4-clause NetBSD license for now.

Make the procfs_validfile() function static.

If there was a cache hit, and the msf->m_flags was set to SFBA_ONFREEQ,
make sure we dequeue it properly before jumping to the 'done' label.

Reported-by: Emiel Kollof <coolvibe@gamepoint.net>
Discussed-with: Matthew Dillon <dillon@backplane.com>

start_forked_proc() should not be called when rfork() is called without
RFPROC, since no new process is being created.

Reported-by: Hiten
Testing-by: Hiten

ANSIfy the remaining K&R functions.  Remove two bzero-after-malloc's in
favor of M_ZERO, replace all uses of the MALLOC() macro with malloc(), and
replace all uses of the FREE() macro with free().

This is a cleanup commit only.

Fix a bug in the reply port path related to aborts.  Aborted messages are
requeued to the target port.  If the target is processing the message and
replies to it, the replyport code is supposed to remove any requeued aborts
(since the target completed processing of that message).

However, this was only occuring for MSGF_ASYNC messages.  It must be done for
both originator synchronous and originator asynchronous messages (abort
processing has nothing to do with how the originator sent the message).

Reported-by: David Rhodus
Testing-by: David Rhodus

Do not produce a warning if the sysctl does not exist.  This happens when
the kernel is compiled without the INET6 option.

Both 'ps' and the loadav calculations got broken by thread sleeps, which
occur without knowledge by the proc and so ps/loadav thought processes
sitting in e.g. accept() were in a 'R'un state when they were actually
sleeping.

Make ps and the loadav calculator thread-aware.

Add Makefile support for host programs (.nx) just like we support normal
programs with bsd.prog.mk. The difference is that bsd.hostprog.mk doesn't
support man pages, scripts and builds ${PROG}.nx.

Revert the locking of feof(3) for now; there is possibility of ill
effects due to the current implementation of funlockfile().

Inspired by rev. 1.7 of lib/libc/stdio/fclose.c.

Add some whitespace for clarity.  No operational changes.

Add a 'big fat comment' about the FUNLOCKFILE(fp) implementation and why
it needs to be called before modification of the FILE flags.

Requested-by: Matthew Dillon <dillon at backplane.com>

Revert previous commit about FUNLOCKFILE(fp), it causes ill (and weird)
effects for ports like Mozilla and net/freeraidus.

Add implemenation of lrealpath. This works like realpath, but returns
a dynamically allocated string or a copy of the original pathname, if
realpath(3) failed. This can return NULL, if malloc(3) failed.

Fix the warranty, this is not UCB code

Begin implementing a -liberty replacement for binutils and GCC under
BSD license. Any commit for this has to be carefully evaluated not to
create derived work from the corresponding GPL/LGPL code.

This is intentionally not yet hooked into the build tree.

Merge ... FreeBSD (RELENG_4) src/usr.bin/script/script.c, revision
1.11.2.2:

Let script(1)'s stdin/stdout be something besides a terminal,
allowing it to operate non-interactively.  (Addresses FreeBSD PR's
bin/56166, bin/57414, ports/57415, bin/59036, and ports/60534)

Approved-by: dillon

Add -u option to cpdup(1), which causes its -v[vv] logging output to
stdout to be line-buffered instead of fully buffered.

Approved-by: dillon

Add the SysKonnect ethernet driver to the GENERIC kernel config.

Update tcpslice to version 3.8.

Noticed by: David Rhodus <drhodus@machdep.com>

Try the ELF image activator first.

If handed a bad file pointer that we can't write to, set the errno value
to EBADF in order to get SUSv2 conformant behavior in higher level calls
like fputs() and puts().

Obtained-from:  FreeBSD (HEAD)

IEEE Std. 1003.1-2001 wants feof(3) to behave as if it locked the FILE
stream for thread safety.

IEEE Std. 1003.1-2001 dictates that fileno(3) behave as it locked the
stream.

Replace the use of specially reserved pbufs in NFS's nfs_getpages() and
nfs_putpages() with MSF BUFs.  The pbufs were only used for providing a
KVA start address for the UIO and then released, thus being temporary.

This will not give a very huge boost in performance just yet because
not enough MSF_BUFs being reserved due to shortages of available KVA.
Until we convert the BUF and DEV subsystems to utilize the MSF_BUF+XIO
combo, we are pretty much limited.

In the worst case, the thrashing effect of MSF_BUFs will be no more then
the temporary pbuf+qenter; instead, the MSF_BUF will not be able to
cache the page-list mappings and end up doing a pmap_qenter() everytime.

Discussed-with:  Matthew Dillon <dillon@backplane.com>
                 (Earlier version of these changes were tested by him)

Remove an accessory function called msf_buf_xio(); it is unnecessary for
now and was just additional bloat.

Conditionally include the essential header files, sys/queue.h and
sys/xio.h.

Re-order include, 'sys' includes first, 'vm' includes after.

C99 update: freopen(3) with NULL 'path' argument so that it opens the
same file with a different mode.

At the moment, we just recycle the old file descriptor instead of storing
it somewhere and using that to reopen the file, as the standard seems to
require.  Strictly conforming C99 applications would probably not be able
to tell the difference but POSIX ones can.

While I am there, update the manual page about the new functionality and
correct nearby mdoc(7) markup errors.

Original-work-by: Tim J. Robbins <tjr@freebsd.org>
Additional-work-by: Hiten Pandya <hmp@backplane.com>

mdoc(7) corrections; use .Dv instead of .Em etc, fix grammar.

Document security issues with gets(3) in a proper manner.

Set the return value properly for fgetpos(3).

FUNLOCKFILE(fp) *after* modifying the FILE pointer's fields.

Use ANSI C prototypes and remove the !__STDC__ varargs compatibility
junk.

Add a missing '$DragonFly$' tag in stdio/setbuf.c file.

Avoid a memory leak if vfprintf(3) by always calling va_end(3); this
happens if vfprintf(3) runs out of memory.

Move the va_start(3) closer to the vfprintf(3) call; free the buffer
when if there is a failure condition and don't bother to realloc the
buffer before returning it.

Work done by Bruce Evans and Tim J. Robbins of the FreeBSD Project.

Remove useless __STDC__ junk.

Correct a nearby comment, s/NULL/NUL/ (NUL char...)

Use correct sentence structure.

Dissolve use of the 'register' keyword.

Fix improper vm_object ref counting in procfs that was introduced in the last
commit.  This resulted in a panic under certain circumstances (e.g. when
configure got to the 'checking for correct flags to ps...' stage).

Reported-by: "GeekGod" <GeekGod@GeekGod.com> and others

ulimit.h needed to be added to the include file list for installation.

Reported-by: Francois Briere <f.briere@dopha.org>

Convert netproto/ns to the pr_usrreqs structure.  This is untested work
but NS didn't work at all before so...

Additional listhead->pcblisthead and marker support for netinet6.

Recent accept() changes started depending on the protosw->pr_mport field
being non-NULL, but unix domain sockets still used a NULL pr_mport field.
This was causing e.g. XFree86 to panic the system.

Unix domain socket calls must still be executed synchronously in the context
of the originating process in order to access the proc structure (for ucred
and other things).

Implement a special synchronous port (netisr_sync_port) and hook function
for the protosw called sync_soport() and hook it into the unix domain
socket protosw.  This port executes netmsg's synchronously and also supports
aborts for predicate messages (used by connect and accept).

The atm protosw also specified NULL which we change to the standard
cpu0_soport().

Remove previous workaround code for NULL mports, since we no longer have
any NULL mports.  Remove an assertion in connect2() that was designed to
detect mis-programmed use of the UNIX DOMAIN socket protosw structure.

Original-problem-reported-by: David Rhodus

Add in_pcbinfo_init() to encapsulate basic structural setup (right now just
the LIST_INIT).  Rename inpcbinfo->listhead to inpcbinfo->pcblisthead due
to changes in the API (addition of markers).

Add support for markers in the inpcbinfo->pcblisthead lists of INPCB
structures.  Use markers in sysctl output code to iterate through these lists
without losing its place or having to worry about structures being ripped out
from under it.  Scrap the original two-pass code.

Redo the sysctl INPCB output code for tcp, udp, and other protocols so we
always output the correct number of structures (as specified in xig_count).

Generate output for all cpus (for TCP).  This is accomplished by using
lwkt_setcpu_self() to migrate the kernel thread to each cpu, which allows us
to iterate the list(s) managed by that cpu without having to deal with mutexes
or other forms of locks.  Iterations always wind up on the same cpu they began
on.

Redo netstat to properly iterate across as many cpu chunks as the inpcb
sysctl's return, rather then just the first one.

Work-by: Hiten Pandya and Matthew Dillon

Remove dtom() from comment.

Back out the last change.  Normal 'make' builds in the source tree are
expected to use the system installed includes, special-casing libc would
make libc operate differently from other libraries.  Note that a buildworld
always has and continues to use the include files from the source tree.

In-discussion-with: Hiten Pandya

Add the prototype for the recently added XIO API call xio_init().

Remove the canwait argument to dup_sockaddr().  Callers of dup_sockaddr()
all assume that it just works, so it really has to work.  Since interrupts
are now threads we can use M_INTWAIT.  While it is possible that a memory
deadlock issue exists here (e.g. if swapping over NFS), it isn't likely in
this case.

The usbcom's device was being released too early in the close sequence.
Note that this fixes a null pointer panic but we still get the
following warning: 'ucom: Warning: cdevsw_remove() called while 1 device
refs still exist! (major 138)'

Submitted-by: YONETANI Tomokazu <qhwt+dragonfly-bugs@les.ath.cx>

Deal with revoke()'d descriptors.  The underlying vnode is vgone()'d, which
means that it is forceably closed.  This clears v_rdev even though file
descriptors may still have references to the vnode, which leads to panics
(mainly on tty devices).

Check for v_rdev == NULL in most specfs fileops calls and return an error
code instead of panicing.   This isn't the cleanest solution but it's fine
for now.

Reported-by: Sascha Wildner <saw@online.de>

ANSI-fication.  No operational changes.

Register keyword removal.  No operational changes.

Add a reference to the ulimit(3) manual page.

Implement POSIX.1-2001 (XSI)'s ulimit(3) library call.

Obtained-from:   FreeBSD (HEAD)

Do not use the installed include files, instead, set the include path
to ${.CURDIR}/../../include; so that the right version is used.

Now that we have clients that use m_getcl(9), set the default mcl_pool_max
pool size for mbuf+clusters to '10' instead of '0', to improve performace.

Obtained-from:   FreeBSD, rev. 1.51.2.17 (RELENG_4)

Discard the first 1024 bytes of output as suggested by
http://citeseer.nj.nec.com/fluhrer01weaknesses.html and
http://citeseer.nj.nec.com/531224.html.

Obtained-from: FreeBSD rev. 1.7 src/lib/libc/gen/arc4random.c

Close race condition in accept(2).

Fix typo in error message - there is no system call named "lchflags."

Detect and foil optimistic ACK attack with forced slow-start
as suggested by Azcorra, Bernardos, and Soto.

Add the MSFBUF API.  MSFBUFs are like SFBUFs but they manage ephermal
multi-page mappings instead of single-page mappings.  MSFBUFs have the
same caching and page invalidation optimizations that SFBUFs have and are
considered to be SMP-friendly.

Whereas XIO manages pure page lists, MSFBUFs manage KVA mappings of pure
page lists.

This initial commit just gets the basic API operational.  The roadmap for
future work includes things like better interactions with third-party XIOs,
mapping user buffers into the kernel (extending the xio_init_ubuf() API into
the MSFBUF API), and allowing higher level subsystems to pass previously
released MSFBUFs as a hint to speed-up regeneration.  We also need to come
up with a way to overload additional sets of MSFBUFs representing smaller
chunks of memory on top of the same KVA space in order to efficiently use
our KVA reservation when dealing with subsystems like the buffer cache.

MSFBUFs will eventually replace the KVA management in the BUF/BIO, PIPE,
and other subsystems which create fake linear mappings with pbufs.  The
general idea for BUF/BIO will be to use XIO and MSFBUFs to avoid KVA
mapping file data through the nominal I/O path.  XIO will be the primary I/O
buffer mechanism while MSFBUFs will be used when things like UFS decide they
need a temporary mapping.

This is a collaborative work between Hiten Pandya <hmp@leaf.dragonflybsd.org>
and Matthew Dillon <dillon@backplane.com>.

M_NOWAIT is just wrong in the init code.  The allocation must succeed.
Use M_WAITOK.

Rearrange the kern_getcwd() procedure to return the base of the string
rather then relocating the string.

Also fix two bugs: (1) the original bcopy was copying data beyond the end of
the buffer ([bp, bp+buflen] exceeds the buffer), and (2), the uap->buflen
checks must be made in __getcwd(), before the kernel tries to malloc() space.