* Fix a number of alignment errors that was causing garbage to be parsed.
* Fix a stream cache bug that was preventing some writes from synchronizing
  properly.
* Report PAD headers as PAD headers rather then as unknown data.

Major continuing work on jscan, the userland backend for the journaling
system.

* Fix bugs in the stream demultiplexing code.  Only the first stream header
  is supposed to be passed to the virtualized stream code.  We were passing
  the stream header and trailer for each meta record and the extra meta-data
  really confused the virtualized stream scanning code.

* Add support for unknown nesting record sizes.  This occurs when the
  nesting record in the virtual stream is too large to fit in the kernel's
  in-memory journal FIFO.  This allows us to arbitrarily push and pop
  elements of a transaction without having to know the size of the completed
  transaction in advance.

* Use a 64 bit integer to calculate the completed transaction size.  Note
  however that currently the stream reconstruction code uses malloc so
  there are serious limits to what it can reconstruct.

* Implement (partial) support for mirroring.  Only basic file and directory
  creation, write, remove, and rename is currently decoded.

The TODO list is long and varied.  We need to use mmap() instead of malloc()
to reference journal data.  We need to finish implementing mirror mode.  We
need a catch-up or restart mode for the mirror.  We need raw journal data
logging, we need stream ackknowledgements, and a thousand other things.

This example will maintain a mirror of /usr in /usr_mirror in real time.
Again, remember that there is a lot more work to do.... the mirroring isn't
perfect by a long shot.  We don't do symlinks for example, yet, and there
are many other issues.

    # Warning: do not ^Z mountctl!
    cpdup /usr /usr_mirror
    cd /usr_mirror
    mountctl -a /usr:test | jscan -m stdin
    [does not return]
    [to terminate, type 'mountctl -d test' in another shell window]

The size of a nesting record may not be known (due to the virtual stream
being larger then the in-memory FIFO).  Instead of setting the header
size to 8, set it to -1 to make this case clear.

Rename the variable PROG to LDR to remove a warning message about
'line 43: warning: duplicate script for target "loader" ignored"'.

The thing was that ${PROG}: was specified later on in the Makefile, which
conflicts with line 39 from bsd.prog.mk, which is:

${PROG}: ${OBJS}

thus redefining ${PROG} or rather loader.

Fix a few issues in the kernel-side journal.

* Fix a missing vattr record in CREATE.
* Fix a misgenerated mode attribute.
* Fix a misgenerated file offset for the O_APPEND case.
* The 16 bit record type is unsigned, not signed (fixes comparisons in jscan)
* Add JTYPE_MASK against the record type for JTYPE and JLEAF comparisons.

Fix two installworld mtree warnings.

This will most likely be revisited in the future.

The pipe code was not properly handling kernel space writes.  Such writes
can be made by the journaling code when journaling to a pipe.

Don't forget to install the magic manpage, too.

Do not abort the entire core dump if VOP_VPTOFH() fails.  VPTOFH is not
currently supported on NFS file handles.  This simply means that a checkpoint
restore will not work (for now).  The core itself will still be fine.

Reported-by: Richard Nyberg <rnyberg@it.su.se>

Only symlink if we're building either sendmail or mailwrapper.

Obtained-from: FreeBSD

- Merge few fixes from NetBSD/FreeBSD.
- Update DIAGNOSTICS to reflect reality

Merge various changes from NetBSD, OpenBSD and FreeBSD, especially:
- add command line arguments to the end, not to the beginning
  of the argument list. This enables us to do
sendmail /usr/bin/ssh -T mymailhost sendmail
  and it won't come out as "ssh -i mail@addr -T mailhost sendmail" as
  we had it (and OpenBSD and FreeBSD still have).

- remove freeing of memory when we err() anyways
- set progname so we have understandable error messages which actually
  originate from mailwrapper

Sync with NetBSD:
* add some comments.
* add some functions:
   _citrus_memory_stream_bind_ptr()
   _citrus_memory_stream_tell()
   _citrus_memory_stream_ungetc()
   _citrus_region_get_subregion()
* fix a bug in _citrus_memory_stream_seek().

Sync with NetBSD:
* add some comments.
* add some functions:
   _citrus_memory_stream_bind_ptr()
   _citrus_memory_stream_tell()
   _citrus_memory_stream_ungetc()
   _citrus_region_get_subregion()
* fix a bug in _citrus_memory_stream_seek().

Declare module for mapper_parallel explicitly to allow static linking.

Allow inclusion of Citrus modules in statically linked binaries.

To achieve this, ensure that _citrus_module_$MOD is referenced
from the binary and link with -L/usr/lib/i18n -l$MOD for all
modules you are interested in.

Use M_ASSERTPKTHDR. (Obtained-from: FreeBSD)
Use NULL instead of 0 for pointers.
Indentation and line breaks.
Use ifp instead of arpcom where sensible.
Remove some obsolete declarations.

Submitted-by: Sepherosa Ziehau <sepherosa@gmail.com>

Use local storage for MAC address.

Submitted-by: Sepherosa Ziehau <sepherosa@gmail.com>

* Also clean up /usr/share/man/en.ISO8859-1/man1aout.

* Clean up profiled versions of libmp and libgmp as well.

* Remove .cat files generated for ee(1) by broken NLS framework.

* Remove obsolete header files.

.Fx -> .Dx.

Deorbit Alpha.

Slightly chance the order of interrupt handling. First hook the
interrupt up last and keep the critical section in detach.
This is a prequirement for the elimination of wi_gone.

Don't unconditionally compile in ATLQ.

- Use __inline instead of __inline__. Therefore include sys/cdefs.h. [1]
- Update man page to reflect reality.

Pointed-out-by: Andreas Hauser [1]

Fix shell expansion to cover dangling symlinks as well.

It seems FreeBSD still suffers from the same bug, whereas NetBSD
fixed this over 4 years ago. Besides, they have lots of fixes and
improvements we should use.

Noticed-by: swildner

- Convert `inline' to `__inline__' to make gcc happy with -ansi.
- Remove cdecl include, it's not needed.

Noticed-by: Andreas Hauser

Define NLSNAME to make the NLS framework really work.

remove errnoneous whitespace

Ignore -I if -i is specified, otherwise we can get double prompts.

Change ntp.conf to ntpd.conf and add dntpd.conf.

We're DragonFly, not NetBSD.

Lots of third party programs declare
extern int errno;

This breaks when errno is declared as
extern __thread int errno;

Fix the breakage by using a hack as we had before:
Define errno as (*__error()), but this time also
define a static inline __error(void) so that ABI
doesn't break (and we're saving a call as well).

gmp.h wasn't cleaned because of a typo.

Clean up stale supfile examples.

Use LST_FOREACH() macro instead of for-loop

Avoid comments using the word "variable", since it can be confused
with the make variables.

Move code out of InitVariables() back into main(), to
clarify purpose of InitVariables().

Remove white space between function name and paramter list.

Move code in Proc_Setupsignals() into Proc_Init().

Reduce usage of commandShell global by adding a shell field to
the Job structure.

Reduce usage of commandShell global by assigning it to a local
variable.  Eventually those functions will take it as an input
paramter.

Pass commandShell is a paramter to Proc_Exec() instead of
using a global variable.

Moved exit status code into subroutine Make_Run()

Fix typo and add more obsolete man pages.

Add link for localeconv.3 man page.

Add link for termcap.3 man page.

Add missing curses.3 man page link.

Clean up obsolete cccp.1 man page.

Add missing man page links.

Fix some stupid style bugs. Call bus_setup_intr after vxattach,
fixing a bug in the old code.

Submitted-by: Sepherosa Ziehau <sepherosa@gmail.com>

Remove a bunch of breaks after return, merge a return into a default case.
Eliminate local variables in vx_eisa_attach, store it directly in the
softc.

Remove some unused macros. Constify. Minor style changes.

Submitted-by: Sepherosa Ziehau <sepherosa@gmail.com>

Push device_t's down to vxattach, not the softc.
Use if_printf. Fix an incorrect check to determine when no connectors
have been found. Don't store the unit in the softc.

Submitted-by: Sepherosa Ziehau <sepherosa@gmail.com>

Don't remove gcc34's /usr/bin/CC.

- Whoops, some test code slipped in. Remove it

Add support for Broadcom BCM4401-B0.

Submitted-by: Carl Schmidt <carl@carlschmidt.net>

Regen.

Add PCI ID for BCM4401-B0.

Submitted-by: Carl Schmidt <carl@carlschmidt.net>

Clean up obsolete files in /usr/bin.

We are DragonFly. Besides, FreeBSD doesn't include mined at all.

Clean up obsolete stuff in /usr/sbin.

Clean up obsolete info files.

No need to remove the .gz files since we just gunzipped them.

Tear down interrupt in wi_free when necessary.
Return error from wi_reset in wi_attach.
Return error value when all-zero MAC was read.
Let wi_attach call wi_free in error conditions, not the frontends.

Based-on-patch-by: Sepherosa Ziehau <sepherosa@gmail.com>

don't include regression tests, we don't use them anyway. more than enough
samples in the wild.

sort

Re-commit usched_bsd4.c (losing the history) to try to fix a repository
error.

Remove now unnecessary messing with PCI command register.

Submitted-by: Sepherosa Ziehau <sepherosa@gmail.com>
Change wi_pci_probe to common style (different patch from submission).

Use if_printf, especially for DPRINTF. Merge two DPRINTF statements
to assist this. Remove sc_dev and sc_unit. Remove unimplemented prototype.

Submitted-by: Sepherosa Ziehau <sepherosa@gmail.com>

Remove unreferenced files. Seems they now live in sys/boot/common...

Fix references to bzip2

Fix bzip2 vulnerability.
Thanks to Colin Percival for giving us a heads-up!

Obtained-from: Steve Grubb via RedHat via FreeBSD

remove old bzip2

Switch to bzip2-1.0.3

Merge from vendor branch BZIP:
Import bzip2-1.0.3 modulo unneeded files.

Import bzip2-1.0.3 modulo unneeded files.

Import bzip2-1.0.3 modulo unneeded files.

For quickrel, use our quick{world,kernel} targets.

Yet more scheduler work.  Revamp the batch detection heuristic and fix a few
things here and there.  Test the algorithm against buildworlds, mozilla,
gnome-terminal, and pine all running at once.

* Fix a bug in how I handle p_slptime.
* Move the ++p_cptime out of usched_bsd4 and into kern_clock.c.
* Redo the batch heuristic, boost the cost of doing a fork, and
  slowly decrement p_origcpu to compensate for long-running
  processes.
* Use an instantanious load instead of a time-averaged load in the
  decay calculation.

TODO: the SMP support will be virtually identical across all schedulers
and should probably be abstracted out of usched_*.c.

Sync with FreeBSD to fix (a genuine DragonFly) bug that printed
the size instead of the time.

Noticed-by: Joseph Garcia <bsd_usr@yahoo.com>

Hack in support for ar(4) based devices.

The recent commit to propogate kernel options to modules enabled the
ACPI cx state code, which had a big fast KKASSERT(0) in it (panic on
boot).  Fix it.

Remove an assertion that does not compile due to a lack of a KERNLOAD
variable.

Found-by: walt <wa1ter@myrealbox.com>

testing cvs commit

Allow the CTYPE macros to be disabled, forcing procedure calls to be used
instead.

Disable the CTYPE macros in libskey, libutil, and libcrypt.  This allows
pre-1.3 programs linked against libc.so.3 to use the PAM modules in HEAD.
these modules indirectly reference libskey, libutil, and libcrypt, which
then fail to dynamically link against libc.so.3 due to references to
ctype globals that do not exist in libc.so.3.

This is a hack, I know, but we have to make upgrades as compatible as
possible with older programs.

Print out additional information for a magic number failure assertion.

* Remove a procedural layer in the scheduler clock code by having
  kern_clock call the usched scheduler clock function directly.

* Move p_estcpu to scheduler-specific code.

* Have kern_synch's one-second timer call into the scheduler instead of
  trying to figure it out itself.

* Decay p_estcpu whenever a user process is scheduled as well as once
  per second, leading to (hopefully) better performance under load and
  better handling of adverse conditions (a nice +20 process running in the
  face of a nice -20 process).

* No longer assume that one second has elapsed in the one-second callback.
  Instead calculate the elapsed time on a per-process basis.  This should
  reduce instances of batch processes 'glitching' interactive processes.

* Remove the old round-robin code and instead just have the scheduler
  figure it out internally in the scheduler clock function.

* Revamp the scheduler algorithms, making everything #define constant
  driven.  Retain the NICE-based base-priority and decay algorithms but
  narrow the decay range from the process nice value.  Retain the child
  estcpu inheritance algorithm.

Feedback-provided-by: walt <wa1ter@myrealbox.com>

- Introduce new -g option. This allows for the broadcast time to be reduced
below 3 minutes, but no higher due to a three minute downtime assumption.

- When polling, use .events (noted by Peter @ NetBSD)

Ok: Joerg
Discussed with: sjg

Remove redundant verbosity. The description of the parent just costs space
in the dmesg buffer, it doesn't add any value since it was printed before.

Remove references to NBPFILTER. We unconditionally use bpf.
While being here, use opt_inet.h from the kernel build.

Requested-by: joerg

If compiling a module with the kernel, suck in opt_global.h.

Don't unconditionally compile in ALTQ.

Discovered-by: Andreas Hauser

Remove PC98 support.

Change spl*() to critical sections.

Fix wrong list head which crept in with the last commit.

Move more scheduler-specific defines from various places into usched_bsd4.c
and revamp our scheduler algorithms.

* Get rid of the multiple layers of abstraction in the nice and frequency
  calculations.

* Increase the scheduling freqency from 20hz to 50hz.

* Greatly reduce the number of scheduling ticks that occur before a
  reschedule is issued.

* Fix a bug where the scheduler was not rescheduling when estcpu drops
  a process into a lower priority queue.

* Implement a new batch detection algorithm.  This algorithm gives
  forked children slightly more batchness then their parents (which
  is recovered quickly if the child is interactive), and propogates
  estcpu data from exiting children to future forked children (which
  handles fork/exec/wait loops such as used by make, scripts, etc).

* Change the way NICE priorities effect process execution.  The NICE
  value is used in two ways:  First, it determines the initial process
  priority.  The estcpu will have a tendancy to correct for this so the NICE
  value is also used to control estcpu's decay rate.

  This means that niced processes will have both an initial penalty for
  startup and stabilization, and an ongoing penalty if they become cpu
  bound.

Examples from cpu-bound loops:

CPU PRI  NI   PID %CPU      TIME COMMAND
 42 159 -20   706 20.5   0:38.88 /bin/csh /tmp/dowhile
 37 159 -15   704 17.6   0:35.09 /bin/csh /tmp/dowhile
 29 157 -10   702 15.3   0:30.41 /bin/csh /tmp/dowhile
 28 160  -5   700 13.0   0:26.73 /bin/csh /tmp/dowhile
 23 160   0   698 11.5   0:20.52 /bin/csh /tmp/dowhile
 18 160   5   696  9.2   0:16.85 /bin/csh /tmp/dowhile
 13 160  10   694  7.1   0:10.82 /bin/csh /tmp/dowhile
  3 160  20   692  1.5   0:02.14 /bin/csh /tmp/dowhile

Move remaining scheduler-specific functions into the usched abstraction.

This also involves rearranging a number of fields in the proc structure,
changing the proc structure (actually making it a bit smaller due to better
packing).  A complete rebuild is required.

Cleanup indentation, no operational changes.

Associate a userland scheduler control structure with every process and
call userland scheduling functions through that structure.  Note that the
proc structure already had a field reserved for this purpose so it actually
doesn't change size.

The child of a fork() inherits the parent's userland scheduler control
structure pointer.

Move uio_yield() to a scheduler-independant file, and do some minor
cleanups of already #ifdef'd out code.

Repo-Rename usched_4bsd.c to usched_bsd4.c, so the file matches the function
prefixes I want to use.

Believe it or not, this should not represent any operational code changes
other then changing some previously direct function calls into indirect
calls through the new p_usched field in the process structure.

Remove unused variables (from prior spl->critical section conversion)