Merge from vendor branch LIBARCHIVE:
Import libarchive 2.2.3 fixing a few memory leaks and other fixes.

Import libarchive 2.2.3 fixing a few memory leaks and other fixes.

Catch up a bit with FreeBSD netgraph by replacing *LEN constants with
*SIZ constants which already account space for trailing '\0's.

Submitted-by: "Nuno Antunes" <nuno.antunes@gmail.com>
Obtained from: FreeBSD (sorta).

GC old sendmail version.

Correct conditional to correctly treat segments which end on a boundary.

Go to bed before the sun comes up.

Part 1/2: Add a sanity check to the NATA interrupt code to assert that
the command has actually been issued.

Set the IDE DMA start bit as a separate I/O write from the DMA port
direction setting.  It's just a whole lot safer not to mix the two in
a single write.

vmstat -iv: include IRQ number before the interrupt name, unless
it begins with "irq", in which case the name contains the number.

Implement boundary and maximum segment size handling in bus_dmamap_load().
This fixes NATA's UDMA device support.  The UDMA dma controller is limited
to a transfer size of 65536 bytes and address incrementation might not
carry over to bit 16.

bridge_{input,output_serialized}() only need to be static; they are actually
declared as static functions.

M_NOWAIT can only be used in a driver where a failed memory allocation is
recoverable, such as in a network driver.  FreeBSD seems to have a looser
definition but in DragonFly M_NOWAIT really means M_NOWAIT ... any blocking
at all, including waiting on the BGL or getting the kernel_map lock,
will result in a failure NULL.

Change all M_NOWAIT's to either M_WAITOK or M_INTWAIT.

Add a timings line for UDMA6 in two places.  The drivers in question may or
may not support it, but the array still needs to be large enough for all
possible elements.

Revamp the programming of register 0x48, 0x54, and 0x40 for the Intel
chipset support, and document the hell out of the whole thing.

Register 0x54 covers both primary and secondary controllers and master and
slave devices and was being fully programmed for each sub-device, causing
some sub devices to become misprogrammed.  Change it so only the elements
related to the sub-device are programmed.  It is unclear how much of a
difference this makes for the parts in question but at least it's documented
now.

Fix logic that was causing UDMA66 devices on intel controllers to operate
at UDMA33 speeds (does anyone even have UDMA66 devices any more?).

Add support for the SB600 - from "Thomas E. Spanjaard"

GC old less version.

Upgrade to less version 403.

These are the differences between version 394 and version 403:

-Allow decimal point in number for % (percent) command.
-Allow decimal point in number for -j option (fraction of screen height).
-Make n command fetch previous pattern from history file on first search.
-Don't rewrite history file if it has not changed.
-Don't move to bottom of screen on first page.
-Don't output extraneous newlines, so copy & pasting lines from the output
works better.
-The -c option has been made identical with the -C option.
-Allow "/dev/null" as synomym for "-" in LESSHISTFILE to indicate that no
history file should be used.
-Better compatibility with POSIX more specification.
-Make -f work for directories.
-Make "t" cmd traverse tags in the correct order.
-Allow a few binary characters in the input file before warning that the
file is binary.
-Don't warn that file is binary if it merely contains ANSI color sequences
and -R is in effect.
-Update Unicode character tables.
-Fix bug when filename contains certain shell metacharacters such as "$".
-Fix bug when resizing the window while waiting for input from a pipe.

Add our READMEs.

Merge from vendor branch LESS:
Import of less-403.

Import of less-403.

Use exec and fix handling of filenames containing whitespace.

Obtained-from:  FreeBSD

Update MAKEDEV for acd* and cd* devices, the kernel now manages the
disk layer for these devices.  Users have to regenerate their acd and cd
devices.

Create e.g. /dev/cd0 and /dev/acd0 as special raw access devices and
create e.g. /dev/cd0s0 and /dev/acd0s0 for label access.   This fixes
burncd on acd0 by allowing it to bypass the disk management layer entirely,
including bypassing the disk size checks in dscheck().

Implement the disk layer for NATA CD devices so it matches the ATA driver.

Tell CAM to create a compatibility 'a' slice for CDs (it wasn't before).

Nuke some obsolete named(8) related variables which were removed from the
system when we upgraded to BIND9 in 2004.

Synchronize to FreeBSD 1.35 - just adds a #define for ATA_SMART_CMD.

Bring in 1.343 from FreeBSD.  FreeBSD commit message:
"Add support for chipsets that has NULL'd BAR's for legacy ports.
This allows DMA to be used on a fine little geode system I got here and
most like on lots of older systems like that."

Obtained-from: FreeBSD / sos

- Nuke the second parameter of bridge_stop().  This kind of stop interface
  is never adopted by DragonFly.
- In bridge_ioctl():
  o  Use suser_ucred() instead of suser(), since ucred is passed to us.
  o  Correct comment and nuke unapplicable comment.
- In bridge_start():
  o  Move stack variables near their usage.
  o  Make sure that ether_header is contiguous in mbuf before accessing it.
- Add serializer assertion at the beginning of all ifnet functions.
- Minor style changes.

Document pf(4) related variables.

Oops, add variable types.

Document some variables which were added with Andreas Hauser's rc.firewall
rewrite of 2004.

Fix loopback setup for firewall_type="closed".

- Break long lines.
- Use __func__ instead of hardwired function name.
- kprintf("%s: ...", ifp->if_xname) ===> if_printf(ifp, "...")
- White space.

kmalloc(M_WAITOK) will never return NULL.

bstp_input() can't return non-NULL mbuf, explicitly assert that.

- Avoid mbuf "use after free", if bridge(4) is in monitor mode.
- Minor style changes.

Make 'device natausb' compile again.

Regen.

Hart:    2007-05-16 (version 640)
Boemler: 2007-06-01

Merge all the FreeBSD work done since our initial import of NATA, except
for the disk flushing code.  The disk flushing code still needs to be done.
The work includes a ton of SATA chipset work, bug fixes, cleanups, and new
chip support.

Obtained-from: FreeBSD / =?ISO-8859-1?Q?S=F8ren_Schmidt?= <sos@deepcore.dk>

Add a missing header file dependancy.

Add flsl() for the NATA driver.

Add flsl() for the NATA driver.

Kill documentation for harvest_{interrupt,ethernet,p_to_p} which were
removed in 2004.

Adjust M_NOWAIT to M_WAITOK or M_INTWAIT as appropriate.

Add ip6 and icmp6 displays to systat(1).

Obtained-from: FreeBSD

Catch up with the latest LWKT msgport updating.

Reviewed-by: dillon@

Rename private to privdata and class to srclass to avoid conflicts with
C++.

Reported-by: Hasso Tepper <bugs@crater.dragonflybsd.org>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue663>

Add implementations of the inet6_opt* and inet6_rth* functions (RFC3542).

The patch brings in the part of the RFC3542 API we already have declared
in the sys/netinet6/in6.h, but implementations were missing which confuses
third party apps.

As IPv6 Routing Header Type 0 is already in the way to deprecation (see
draft-ietf-ipv6-deprecate-rh0-00.txt for details), handling of these is
removed from inet6_rth* functions.

Obtained-from: KAME

Update ping(8) code and manpage to the newest ones from FreeBSD.
Besides many small fixes this brings in some new features:

  * -D to set Don't Fragment bit
  * -G, -g and -h for sweeping pings
  * -M for using ICMP_MASKREQ or ICMP_TSTAMP instead of ICMP_ECHO
  * -o to exit successfully after receiving one reply packet
  * -W to set time to wait for a reply for each packet sent
  * -z to set TOS

Significant part of diff not related to the new features is coming
from reordering command line options into alphabetic order.

Obtained-from: FreeBSD

Remove unnecessary initialization and fix a GCC-4.x run-time linking issue
at the same time.

Reported-by: David Murray <dave@nospam.murray.name>

Update to file 4.21 which is a bugfix release including an integer
overflow.  See Changelog for more changes.

Merge from vendor branch FILE:
Update to file 4.21 which is a bugfix release including an integer
overflow.  See Changelog for more changes.

Update to file 4.21 which is a bugfix release including an integer
overflow.  See Changelog for more changes.

Add some syslink debugging programs.

Open the root image O_EXLOCK|O_NONBLOCK and exit with an error message
if the open fails due to e.g. another virtual kernel using the same root
image.

Enable NL->CRNL conversion when we put the console in raw mode.

Remove etc/rc.d/archdep which didn't serve any real purpose.

From within a virtual kernel, make /sbin/shutdown and /sbin/halt actually
halt and exit the vkernel, and make /sbin/reboot automatically re-exec
a fresh vkernel.

Talk about creating a clean slate!  Having reboot re-exec the vkernel
is really nice.  The kernel development cycle time is now down to around
18 seconds, reboot -n -q to root login prompt, and 28 seconds for a normal
reboot.  That's running a vkernel with a normal RC startup and as a
bridged DHCP client.

Fix typo.

Remove unnecessary empty arguments.

Syslink API work - greatly simplify the syslink_msg structure.  Reimplement
the user API (NOTE: DMA buffers not yet implemented) and start working on
a kernel backend API.

Get rid of the inband DMA buffer fields and physical routing fields.
Replace the 32 bit message id with a 64 bit message id.

The 64 bit msgid allows guarenteed unique ids to be synthesized without
requiring the end points to actually track message ids.

Add a RPC protocol field (sm_proto) and move the command/reply bit and
endian detect bits from sm_msgid to sm_proto.  This allows the exact same
sm_msgid supplied in a command to be used in the reply and frees up bits
in the msgid that were previously going to be used for the protocol.
A separate protocol field also makes it a lot easier for the recipient
to check that the protocol is compatible with its expectations.

Implement a message based userland API and implement a syslink pair feature
so userland can get descriptors for both sides, for testing.  Implement
buffering limits, non-blocking I/O (but not select support yet), check
for duplicate message ids in active commands and match replies to commands.

Implement endian conversion to native endianess for the syslink message
header and any structured message elements.

Begin work on an out-of-band dma buffer API.

The proper root device for a vkernel fs is vkd0s0a, not vkd0a.
Also fix kern/vfs_conf.c to properly interpret 's0'.

Add ifmedia(4) reference.

Add a bus_set_resource(9) manual page.

Obtained-from: FreeBSD

For rum(4) and ural(4):
- Use crit section to protect external interfaces, callouts, USB
  task and USB operation callback functions.
- Avoid holding ifnet.if_serializer across various USB operations,
  since current USB stack does not aware of lwkt serializer.
- In various callout, USB task and USB operation callback functions,
  hold ifnet.if_serializer around ieee80211 functions.

Apply if_rum.c rev 1.11's resource alloc/free fixes and cleanup to ural(4)

Welcome our new bce(4) driver to various manpages & files.

Nuke commented out compat shim.

Add the kernel support function allocsysid().

Add support for Broadcom NetXtreme II GigE.  Jumbo buffer support
is missing currently, which will be added later.

Thank David Christensen <davidch@broadcom.com> for sending us two
sample NICs.
Thank dillon@ for providing a blazing fast machine and environment
to test the driver.
Also thank Walter <wa1ter@myrealbox.com> very much, who contacted
Broadcom for me :)

Obtained-from: FreeBSD (w/ modification)

Although our linker supports pie, our elf loader doesn't.

Add a -c file option to the vkernel to specify CD images.  The first -c or -r
option will be the boot device.

Add a new virtual CDRom device, vcd.  Basically its works the same as VKD
but we open the device in read-only mode and use a block size of 2048 instead
of 512.

Install the console as a real device and change the console major to be
the same as the syscons major so a default init is able to start up a getty.

Update documentation.

Nudged in the back by: Sascha Wildner <saw@online.de>,  Ouch!

Add lwkt_sleep() to formalize a shortcut numerous bits of code have been
using for a while, which is to directly deschedule oneself and switch away.
This method of blocking requires a direct lwkt_schedule() call to reschedule
the thread and is primarily used by the message port abstraction.

Change the psignal code to check TDF_SINTR in the thread flags instead
of checking MSGPORTF_WAITING in the thread's private message port.

The lwkt_waitmsg() and lwkt_waitport() functions use the same msgport
backend function (mp_waitport).  Separate the backend into two functions,
mp_waitport and mp_waitmsg, and allow tsleep flags to be passed in instead
of flagging interruptability in the lwkt_msg flags.

Optimize the lwkt_waitmsg() backends - in the fully synchronous critical
path case no critical sections or spinlocks are required at all.

Do an even better job discerning between blocked threads and blocked
processes.

Properly detect interruptable LWKT sleeps and display as 'S' instead of 'D'.

Properly detect uninterruptable LWKT sleeps and display as 'B' instead of 'D'.

Properly display the wmesg for LWKT sleeps.  Note that not all LWKT sleeps
have a wmesg (maybe we should give them one).

LWKT message ports contain a number of function pointers which abstract
their backend operation.

* Add a new function, mp_getport(), which takes over the functionality
  of lwkt_getport().

* Formalize the default backend and rename it the 'thread' port backend, used
  when a message port will only be drained by a single thread.  This backend
  is able to use critical sections and IPI messages to handle races.

* Fix a small timing window in the thread port backend where replying a
  synchronous message request from a different cpu may fail to wake up
  the originator who is waiting for the message completion.

* Abstract-out the message port initialization code and clean up related
  code pollution.

* Add a new backend called the 'spin' port backend.  This backend can be
  used if a message port might be drained by several different threads.
  For example, this would allow us to use a message port as part of a
  file pointer / file descriptor construct.

* Add a boot-time tunable, lwkt.use_spin_port (defaults to off) which
  forces spin ports to be used instead of thread ports for the per-thread
  message port.  This is used only for debugging.

Fix the kinfo run/sleep state for pure kernel threads.  This effects /bin/ps
and so forth.  A pure kernel thread can deschedule itself without having
to set td_wchan[], so use its presence on the LWKT run queue to determine
whether it is running or not.

The dump device must be opened before ioctls can be performed on it.
Fix a crash related to the setting of dumpdev in early boot (in
/boot/loader.conf).

Reported-by: "Simon 'corecode' Schubert" <corecode@fs.ei.tum.de>

Raise the values of several debug options to cover some more code.

* Greatly reduce the complexity of the LWKT messaging and port abstraction.
  Significantly reduce the overhead of the subsystem.

* The message abort algorithm has been rewritten.  It now sends a
  separate message to issue the abort instead of trying to requeue
  the original message.  This also means the TAILQ embedded in the
  lwkt_msg structure can be used by unrelated code during processing
  of the message.

* Numerous MSGF_ flags have been removed, and all the LWKT msg/port
  algorithms have been rewritten and simplified.  The message structure
  is now only touched by the current owner in all situations.

* Numerous structural fields have been removed.  In particular, the
  fields used for message abort sequencing have been simplified and
  we do not try to embed a 'command' field in the base LWKT message
  any more.

* Clean up the netmsg abstraction, which is used all over the network stack.
  Instead of trying to overload fields in lwkt_msg we now simply extend
  the base lwkt_msg into struct netmsg.  The function dispatch now takes
  a netmsg and returns void (before we had to return EASYNC), and we no
  longer need weird casts.

  Accept/connect message aborts are now greatly simplified.

ICMP extensions for MPLS support for traceroute(8).

Obtained-from: NetBSD with some fixes

Simplify the lwkt_msg structure by removing two unused fields and a number
of obsolete preprocessor defines.

Remove unused define.

Fix section numbers.

Comment out empty section.

Remove DIOCWLABEL operation.  Doing it destroyed the purpose of having
write protected areas in the first place.  This also solves an issue
bootstrapping from older versions of DragonFly since the ioctl has moved
to a different header file.

Users can write-enable the label area with disklabel -W/-N if the issue
comes up.

Note: In DragonFly 1.9 and later, the MBR and disklabel areas are only
write protected when accessed via a slice or partition.  Access to these
areas via the raw disk (e.g. ad0) is no long write-protected.

Reported-by: Hasso Tepper <hasso@estpak.ee>,
     YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

Handle disklabels with the disk management layer instead of rolling our own
in the floppy driver.

Retain the floppy driver's format switching features via special fd0.<size>
devices.  Also fix a bug in FD_SOPTS where the floppy type table was being
permanently overwritten.

floppy device numbering has changed, update MAKEDEV appropriately.

Fix a bug in recent commits.  When creating a virgin disk label for devices
in DSO_COMPATPARTA mode, the generated 'a' partition was not sized properly.

Use 0x%08x for all minor numbers, not just those > 255.

Revert sc1 to testing getuid() like it says it does in the output.

Continue untangling the disklabel.

* Remove numerous #include <sys/disklabel.h> lines that are no longer used.

* Move DIOCWLABEL from sys/disklabel.h to sys/diskslice.h

* Modify ffsinfo, fsirand, growfs, and newfs_msdos to use DIOCGPART instead
  of DIOCGDINFO to obtain disk geometry information.  Add defaults where
  necessary to allow these programs to run on files instead of devices.

  Also, change ffsinfo to output to stdout by default.

Remove the fragment size, block size, and cpg fields from the disklabel
program.  disklabel no longer displays these fields and will zero them out
when writing the label back.  newfs and fsck no longer attempt to retrieve
this information from the disklabel.

Replace the obsolete cylinder range and alignment comments with a comment
that displays the size of a partition in megabytes.

More disklabel disentanglement - use DIOCGPART instead of DIOCGDLABEL.
Replace the alternate superblock search code, which depends on information
from the disk label, with a hard coded check.  No big loss, the user can
still look for other alternate superblocks with the -b option.

Remove all dependancies newfs had on accessing the disklabel.  Use
getdisktabbyname() instead of getdiskbyname() and use DIOCGPART instead
of DIOCGDINFO to get the geometry information.  Also make the -v option
work properly with regular files.

NOTE: newfs will no longer retrieve the fs fragment and block size fields
from the disklabel, so non-default operation must be specified with options.
newfs will also no longer attempt to update the disklabel.

When a traditional bsd disklabel is present, try to reserve SBSIZE bytes
of total space, regardless of the sector size.  newfs presumes no more then
SBSIZE bytes of space at the beginning of the block device are reserved.

Merge fixes to debugging messages from FreeBSD:

rev 1.11
Replace all the ifdef debugging spaghetti with a single ifdef and
a macro so that it is easier to read the flow of the code.

revs 1.12-1.13
We already have these.

revs 1.36-1.37
Add debugging to rman_manage_region() as well.  This is useful since we
manage subregions in ACPI.

rev 1.39
Fix a debugging printf.  The order of start/end was inconsistant with
all the other start/end debugs, causing momentary confusion when the
output was examined.

Cleanup diskerr() output a bit - don't say it was trying to write when
the BUF/BIO command is no longer set.

The device name was being misreported by dsname().  Fix it up.

Quickly update UPDATING with 1.8 -> 1.9+ documentation.

Disklabel operations are no longer legal on the raw disk, use DIOCGPART to
get the geometry.

Include geometry data in DIOCGPART so fdisk can use it instead of trying
to read a faked disklabel.

Change MAKEDEV to create 'compatibility slice' devices, e.g. da0s0a,
da0s0b, etc.  Previously the compatibility slice devices were e.g. da0a, da0b,
and there was no 'whole slice' device for the compatibility slice at all,
meaning one couldn't disklabel it.  Now there is, e.g. da0s0.

Fix device recognition, /dev/vn0 now uses WHOLE_SLICE_PART, not partition 'c'.

Fix a one-character allocated string buffer overflow that was introduced
in the last commit.  Space for the '/' separator was not being accounted
for.

Reported-by: "Sepherosa Ziehau" <sepherosa@gmail.com>

Miscellaneous mdoc fixes.

Keep the ds_skip_* fields in struct diskslice properly synchronized.
ds_skip_bsdlabel is inclusive of bsd_skip_platform but was being improperly
set to 0 even when an mbr reserved sector existed.  The fields were not
being properly reset for a slice whos disklabel is destroyed.

Defer reading the disklabel on a slice until a partition on the slice
is opened or a disklabel related DIOC ioctl is performed on the slice.
In particular, we do not attempt to read the disklabel when opening the
whole-disk-slice for the whole disk or the whole-slice-partition for a slice.

Previously the code attempted to scan all available BSD slices for
disklabels.

When writing to a raw slice, do not snoop or do reserved-sector checks
unless a disklabel has been loaded for the slice.  Typically a disklabel
will only be loaded in two situations: (1) if filesystems are mounted from
that slice or (2) the disklabel program has performed ioctls on the
whole-slice-partition to set a disklabel.  Now writing to raw slices works
almost the same as writing to the whole-disk-slice, with no interpretation.

Remove all remaining references to the LABELSECTOR constant.  Instead,
use the ds_skip_* fields to determine the sector where the disklabel
starts within a slice.  These changes significantly cleaned up the
snoop and reserved sector checking code in dscheck().