Merge from vendor branch LIBARCHIVE:
Import libarchive and bsdtar. The default tar (/usr/bin/tar) can be choosen
at installworld time by setting WITH_BSDTAR. This is not the default yet.

Obtained-from: FreeBSD

Merge from vendor branch BSDTAR:
Import libarchive and bsdtar. The default tar (/usr/bin/tar) can be choosen
at installworld time by setting WITH_BSDTAR. This is not the default yet.

Obtained-from: FreeBSD

Import libarchive and bsdtar. The default tar (/usr/bin/tar) can be choosen
at installworld time by setting WITH_BSDTAR. This is not the default yet.

Obtained-from: FreeBSD

Import libarchive and bsdtar. The default tar (/usr/bin/tar) can be choosen
at installworld time by setting WITH_BSDTAR. This is not the default yet.

Obtained-from: FreeBSD

Import libarchive and bsdtar. The default tar (/usr/bin/tar) can be choosen
at installworld time by setting WITH_BSDTAR. This is not the default yet.

Obtained-from: FreeBSD

Fix a very serious bug in contigmalloc() which we inherited from FreeBSD-4.x.
The contigmalloc() code incorrectly assumes that a page in PQ_CACHE can
be reused without having to do any further checks and it unconditionally
busies and frees such pages, and assumes that the page becomes PQ_FREE even
though it might actually have gone to a PQ_HOLD state.  Additionally the
contigmalloc() code unconditionally sets m->object to NULL, ignoring the
fact that the page will be in the VM page bucket hash table if object
happens to not be NULL, leading to page bucket hash table corruption.

The fix is two fold.  First, we add checks for m->busy, (m->flags & PG_BUSY),
m->wire_count, and m->hold_count and do not reuse a page with any of those
set.  We do this for all pages, not just PQ_CACHE pages, though it is
believed that it only needs to be done for PQ_CACHE pages.  Second, we
replace the m->object = NULL assignment with an assertion that it is
already NULL, since it had better be NULL and we cannot just set it to NULL
unconditionally without blowing up the VM page hash table.

Symptoms of the bug include:

    * Filesystem corruption, in particular with slower disk drivers (e.g.
      like the 'twe' driver), or in systems with drivers which use
      contigmalloc() a lot (e.g. require bounce buffers).

      Mangled directory entries, bad indirect blocks (containing data instead
      of indirect block pointers), and files containing other file's data.

    * 'page not found in hash' panic.

This is the last major VM issue in DragonFly, one that has plagued in
particular David Rhodus (who is a heavy user of the 'twe' driver) for over
a year.  I would never have found this bug if not for DR's persistence and
the dozens of kernel cores he was able to provide me over the last year.  We
finally got a core with a 'smoking gun', after having written a program
(/usr/src/test/debug/vmpageinfo.c) to run through all the VM pages and check
their hash table association for correctness it became obvious that pages
were being reused without being removed from the hash table which finally
led to contigmalloc*().

Many thanks to: David Rhodus!  Free gift enclosed!

The min() and max() macros in sys/libkern.h are typed u_int and thus do not
do the right things when handed negative numbers.  Use MIN and MAX instead.

This was causing renice -N processes to wrap back around to the worst priority
instead of MIN()'ing to the best priority.

Install GNU tar as gtar now in preparation for adding bsdtar.
/usr/bin/tar is installed as symlink to /usr/bin/gtar, which
gives the current behaviour. Same for the man page. This is disabled,
if WITH_BSDTAR is set.

Close .if.

Reported-by: esmith

Add SA_LEN patch for client.c, too

vmpageinfo is a program which runs through the vm_page_array and the
vm_page_buckets hash table and validates the hash table association for
all VM pages which have objects associated with them.  This is primarily
intended for post-mortem checks of kernel cores.

Merge from vendor branch NTPD:
After another look at the current changes, switch directly to the in-tree
version of OpenNTPD. This is needed e.g. to get the ntpdate-like ntpd -s.

After another look at the current changes, switch directly to the in-tree
version of OpenNTPD. This is needed e.g. to get the ntpdate-like ntpd -s.

After another look at the current changes, switch directly to the in-tree
version of OpenNTPD. This is needed e.g. to get the ntpdate-like ntpd -s.

Switch to gdb 6.2.1 and wait for new problem reports.

Import OpenNTPD 3.6 (the OpenBSD version, not the portable).

Obtained-from: OpenBSD

Do enough minor patching to get it WARNS=6 clean (mostly addition of
some header files and expanding SA_LEN, one issue of const discarding
has been submitted back).

Merge from vendor branch NTPD:
Import OpenNTPD 3.6 (the OpenBSD version, not the portable).

Obtained-from: OpenBSD

Do enough minor patching to get it WARNS=6 clean (mostly addition of
some header files and expanding SA_LEN, one issue of const discarding
has been submitted back).

Import OpenNTPD 3.6 (the OpenBSD version, not the portable).

Obtained-from: OpenBSD

Do enough minor patching to get it WARNS=6 clean (mostly addition of
some header files and expanding SA_LEN, one issue of const discarding
has been submitted back).

Use the speedup patches, too

Define IOV_MAX for userland too and make it available via sysctl and
getconf/sysconf. This is kind of a hack, but too much code wants it.

Obtained-from: FreeBSD

Add lockcountnb() - a non-blocking version of lockcount() to be used only
for assertions when the lock state is supposedly stable.

Create a non-blocking version of BUF_REFCNT() called BUF_REFCNTNB() to be
used for non-critical KASSERT()'s or in situations where the buffer lock
is in a known state.

This fixes a blocking condition in the ATA interrupt path.  The normal
BUF_REFCNT() calls lockcount() which obtains a token which caused the
interrupt thread to temporarily block in biodone() due to a KASSERT.

Found-from: kernel core provided by David Rhodus.

I don't know why I added use_bpf.h, it isn't needed of course.

Fix the column width for IPv6 to correctly align the fields.

Submitted-by: Pawel Biernacki <kaktus@dragonflybsd.pl>

Remove references to sysinstall, it vanished quite some time ago.

Submitted-by: Tomaz Borstnar <tomaz.borstnar@over.net>
While at it, add a reference for both pw(8) and tzsetup(8) as appropiate.

Small speedups:
- run.c: instead of counting string lenght and using strcpy afterwards anyway,
  use memmove
- tran.c: use strdup instead of malloc + strcpy

Submitted-by: Andreas Hauser <andy@splashground.de>

Fix another minor bug-a-boo inherited from 4.x sources, the wrong indirdep
pointer was being checked in a conditional.  However, it turns out not
to matter operationally.

vfs_object_create() was being called too early on devvp in the FFS mount
code, causing FFS's devvp to not be VMIO backed.  This also tickled a
softupdates bug which has been separately fixed.

Its nice to know that everything still works without devvp being VMIO backed,
but we really want to back it :-).  This fixes it.

Correct a softupdates bug, an ir_savebp buffer was not being properly
disposed of.  This bug is currently only known to effect filesystems
whos block devices are not VMIO backed.  However, it's a fragile situation
at best so its good to have it fixed anyhow.

ir_savebp is stashed copy of the in-memory version of an indirect file block.
It is stashed using (devvp,blkno) (whereas the actual indirect file block
is stored using (vp,-specialblkno).  For VMIO to also tickle this bug would
have required that other unrelated operations also cache (devvp,blkno), a
case which does not (yet) exist.

Small patch to fix the output of apm. It called print_batt_life twice
when it should call print_batt_life and print_batt_time.

We don't have lkm, use aftermountlkm instead.

Do not explicitly set PCIM_CMD_SERRESPEN or PCIM_CMD_PERRESPEN.  This was
set in FreeBSD to try to catch device problems, but it looks like we actually
found a device that blows up with an NMI during fwohci_init() so we no longer
set these bits.  OpenBSD doesn't set it.

My theory is that the device is not clearing its internal memory leaving
some of it in a parity-adverse state, causing accesses to the uninitialized
memory to fail.  Alternatively the hardware is just plain broken, but it
seems to probe fine without the bit set so...

Gabor's-hardware:
AMD Athlon 64 3000+ based system.
fwohci0: <Texas Instruments TSB43AB21/A/AI/A-EP> mem
0xd0000000-0xd0003fff,0xd0008000-0xd00087ff irq 11 at device 6.0 on pci0
fwohci0: OHCI version 1.10 (ROM=1)
fwohci0: No. of Isochronous channel is 4.
fwohci0: EUI64 00:90:f5:00:00:32:10:37
fwohci0: Phy 1394a available S400, 1 ports.
fwohci0: Link S400, max_rec 2048 bytes.

NMI-Reported-by: Gabor MICSKO <trey@hup.hu>

Sync make.1 with the rest of the make source.

Submitted-by: Max Okumoto <okumoto@home>
Taken-From: FreeBSD

Add tip(1)'s emulation of cu(1) to tip's manual page.

Submitted-by: "H.Miyamoto" <Ys@PixyGarden.net>
Based-on: FreeBSD

Fix a race condition in detach path of Ethernet devices. Most current
drivers do something like this:

XX_stop();
ether_ifdetach();

/* continue and assume device is dead now */

This doesn't work in many cases if a BPF user is left and IFF_PROMISC is
active, because bpfdetach does a reset of the timer for many drivers.
The fix is to move the call to if_down into ether_ifdetach, which gives
the expected behaviour.

The last commit created a memory leak because 'buf' is static.  Fix that,
but also make the chosen block size more consistent by basing on the larger
of STDOUT vs rfd rather then just basing it on STDOUT, and change the
constant 1024 to BUFSIZ.

It is unclear whether we should impose a minimum buffer size or a mod
(e.g. x % st_blksize == 0) requirement as well.  There are currently no cases
where this matters as anyone in their right mind will use 'dd' instead of
'cat' on special block devices.  But at least in regards to /proc/*/map
imposing a minimum based on fstat(rfd, ...) makes sense, though to really
be correct we should also 'fix' procfs to report a block size sufficient to
hold the map data in that case.

Reported-by: Jason Smethers <jason@smethers.net>

- Remove space

Submitted by: The White Space and Void Destroyer aka Douwe Kiela.

Remove not needed void casts.

Submitted by: Douwe Kiela <virtus@wanadoo.nl>

style(9)

- Remove (void) casts that are not necessary.

Submitted by: Douwe Kiela <virtus@wanadoo.nl>

Sync with FreeBSD rm(1) with my modifications. Some things have been
left out of this sync for time being.

- Fix the leakage of a file descriptor in rm_overwrite for non-fatal
  errors(this is for rm -P).
- Fix the fatal malloc() error message.
- When the P flag is set (i.e. Overwrite regular files before deleting them),
  do only unlink the file if we could indeed overwrite the file. See
  http://www.freebsd.org/cgi/cvsweb.cgi/src/bin/rm/rm.c?rev=1.45&content-type=text/x-cvsweb-markup
  for more details.
- Fix poor wording in comment.
- When fts_read() cannot stat the file, it can't be unlinked.  At
  that case, don't display error message when -f flag is used.
- Kindly let the user know rm(1) could not overwrite non-regular
  files and continue to unlink.
- Static functions.
- Constify rw_overwrite() and check().

Ok'ed by: kernel@ eirikn@ and dillon@

Consify some variables.
This Removes some warnings.

Submitted by: Andreas Hauser <andy@splashground.de>

#endif does not take an argument, comment it out.

Submitted by: Andreas Hauser <andy@splashground.de>

Add $DragonFly$ keyword to:
src/games/hack/config.h
src/games/hack/def.monst.h
src/games/hack/def.rm.h
src/games/hack/def.wseg.h
src/games/hack/hack.Decl.c
src/games/hack/hack.h
src/games/hack/hack.monst.c

Correct a typo and a mdoc(7) style issue.

Submitted-by: Xin LI <delphij@frontfree.net>
Originally-from: Dima Dorfman <dd@...>

Remove an assertion that used to double-check the cred passed into vn_open().
The assertion is no longer needed as the cred is allowed to be different,
and vn_open() may not be called from a process any more.  In particular,
vn_open() may be called from the NDIS driver to open a firmware image file.

Reported-by: Andrew Atrens <atrens@nortelnetworks.com>

Fix a Trident DMA limitation.  Symptom as reported by Brock was that his
laptop would lockup.

Submitted-by: Brock Johnson <wildefire@isentry.homelinux.org>
Taken-from: FreeBSD, rev 1.45 and 1.46

Give makewhatis an absolute path to make upgrading etc from single-user
mode easier.

Submitted-by: "Henrik N. Jensen" <hnj@unihost.net>

Bring in some more PCI ID's from FreeBSD.

Submitted-by: Andreas Hauser <andy@splashground.de>
Taken-from: FreeBSD

Add humanize_number(3) and split the trimdomain(3) function out from
logwtmp.

Submitted-by: "Douwe Kiela" <virtus@wanadoo.nl>
Taken-From: FreeBSD

Save and restore the 'version' counter file when doing a full buildkernel
or nativekernel target so the counter is not reset each time.  Note that
the quickkernel target will increment the counter only if something has
changed.

Reported-by: walt <wa1ter@myrealbox.com>
Make some minor FBsd->DFly 'update' target cleanups.

Submitted-by: Michal Belczyk <diavul@bsd.krakow.pl>

Fix a possible remote DOS against pppd, described in detail at

http://www.securityfocus.com/archive/1/379450/2004-10-24/2004-10-30/0

Submitted-by: "Andre Nathan" <andre@digirati.com.br>
Taken-from: OpenBSD / same file rev 1.6

Note last commit: changes were made primarily to avoid global variable name
conflicts with library procedures, 'compress' in particular, that somehow
occured in one or more DragonFly configurations and caused savecore to
believe that the -z option had been specified when it had not.

Declare some of the local variables static.

- Remove unnecessary selection statement to see if buf == NULL.
- Don't use fileno to get stdout, just use STDOUT_FILENO
- Fix malloc err message

OK'ed by: Joerg and Jeroen

Remove a.out support from base. Bumb WARNS to 6 for ldconfig.

RIP gzip, we found a nicer playmate.

Move libstdc++3 into the attic. It can be removed from the repo later.

Remove incorrect cache_purge() calls in *_rmdir() (OLD API).  These could
result in a namecache mountpoint entry losing its vnode association under
the new API.

Panic-Reported-by: Stu

Fix 'route add -host <target> -interface <interface_name>.  This was
previously adding a static arp entry with the interface's MAC address
instead of the target's address or an incomplete address.  The result is
that the target cannot be routed to.

The fix is to (1) Install the route with 'incomplete' link level info rather
then using the interface's MAC address, (2) Allowing the incomplete address
to be resolved and timeout normally, (3) re-clearing the entry to an
incomplete status instead of destroying it when the ARP times out,
and (4) Making 'arp -d -a' only clear link level routes marked static
instead of deleting them.

Noticed-by: Mikhail Teterin <mi+dragonflybsd@aldan.algebra.com>

- Allow ipcs to display information about IPC mechanisms owned by
  a user. The option for this is -u user. User can be a username or
  a uid. Obtained from FreeBSD

- Allow ipcs to display information about IPC mechanisms owned by
  a group. The option for this is -g group. Group can be a group name or
  a gid. Wrote by me.

Ok'ed by: dillon@ and kernel@

Needed to add sys/types.h for previous commit. Spotted by Mr Dillon.

Update the sysperf tools to match the current sysmsg functions.

sc1 times getuid() using the standard syscall method.
sc2 times getuid() using the new sysmsg method.
sc3 runs in an endless loop calling getuid() with the new sysmsg method.

The gr_gid member of the struct group should be gid_t
and not an int.

Submitted by: Douwe Kiela

Whoops! setmode(3) returns a void *, not mode_t *.

Remove leftover 'is'.

Document ENOMEM error case, note how strdup() is 1003:2004 sanctioned.

Add iso-C alias and p1003.1-2004 definition.

We have to support uncompress by default, because zcat is used e.g.
by the port system for both gzip and compress files. Therefore
replace GZIP_UNCOMPRESS with NO_GZIP_UNCOMPRESS and the reverse meaning.

Add NetBSD 2.0 and DragonFly 1.1.

Fix cpdup man page. The option -v[vvv] should be -v[vv].

Submitted by: Sascha Wildner <saw@online.de>

Bring in Jeff Wheelhouse's CLOG / circular log file support for syslogd,
With some formatting changes.

Side note: CLOG's use of mmap within syslogd is very dangerous and could
lead to syslogd seg-faulting out, especially since the control structure
appears to reside at the end of the physical log file.  Users of circular
log files must take care.

Requested-by: The MOB!

The PRId64 check was wrong, causing bootstrapping failures on
FreeBSD-4.x boxes.

The last fix wasn't good enough.  This one causes the SWIDTH lines to be
ignored rather then mapped as 0.

Conditionalize _CTYPE_SW* for bootstrap purposes.

Reported-by: esmith <esmith@patmedia.net>

- Remove all registers in bin/. This saves us doing it each time we come
  across them.

Ok'ed by: Joerg and kernel@

Add omitted space after 'while'.

Submitted by: Sascha Wildner
Asked to commit by: joerg

Remove the old one-true-awk.

-Set WARNS to 6
-Add -b option. The option will print the time and date of
 last reboot
-Update man page for the -b option
-Add DragonFly tag

Ok'ed by: Joerg
Subitted by: Douwe Kiela <virtus@wanadoo.nl>

Add special case for the german whois nameserver. Without the
'-T dn,ace -C US-ASCII' option one does only get:

$ whois nic.de

domain:    nic.de
status:    connect

More information available on:

http://www.denic.de/en/domains/technik/denic_whois-server/index.html

Obtained-From: FreeBSD
Submitted by: Douwe Kiela <virtus@wanadoo.nl>

- Remove unnecessary (void) casts
- Use mkstemp over mktemp

Submitted by: Douwe Kiela <virtus@wanadoo.nl>

- Bump WARNS to 6
- Remove unnecessary (void) casts
- Add $DragonFly$ tag

Submitted by: Douwe Kiela <virtus@wanadoo.nl>

- Add $DragonFly$
- Add WARNS?= 6
- Static usage()
- Add setlocale() call
- Remove ? case

Use rune.h instead of runetype.h.
Add swidth definitions and lex code to mklocale.
Update manual page with character set encoding information.
Remove deprecated keyword.

Taken from: FreeBSD
Submitted by: Andreas Hauser

Add more locales:

Amharic (Ethiopic), Belarusian, Armenian, Kazakh, Korean, various Chinese
encodings.

Taken from: FreeBSD
Submitted by: Andreas Hauser

Add definitions for _CTYPE_SW[0-4MS].

Taken from: FreeBSD

unmount was not removing the negative hits associated with a mount point.
Assign ncp->nc_mount for all nodes and simplify cache_purgevfs() to handle
all cases.

-Setmode will deal with the octals, so we dont need to.
-Setmode can also be caused to fail because of malloc().
 We test to see setmode() has failed. If it has we check errno.
 If errno == 0 then we have an invalid file mode. If not malloc
 has failed and we the print the error via err().
-Remove '?' case.
-Fix some data types. This is for the setmode fix above.

3 days with no objections has passed!

`proto' field was forgotten in the previous commit.

Reported-By: Erik P. Skaalerud <erik (at) pentadon.com>

Switch to libz-based gzip.

Define PRId64 as "lld" for older systems laking support for it.
This is necessary e.g. for FreeBSD 4.9 to build.

Submitted-by: Matt Dillon

Since there isn't an authpf user we'll have to grep for the authpf
group member.

Noted by: walt <wa1ter@myrealbox.com>

Remove unused variable.

null_revoke() needs to return 0.

Fix a NULL pointer dereference panic that occurs when the TCP protocol
stack races against userland while closing a tcp connection.  It is
possible for userland to queue a disconnect request but for the protocol
stack to then receive a packet that causes it to call tcp_drop()->tcp_close()
which also disconnects the inpcb from the tcpcb.  When the protocol stack
then processes the disconnect request it hits the panic because the inpcb
no longer has a tcpcb connected to it.

The bug generally only occured on SMP systems where the latency in intra-cpu
communication opens up the window of opportunity for the bug to occur.

Panic-Reported-by: Adam K Kirchhoff <adamk@voicenet.com>

Add a section to UPDATING describing the users and groups that might have
to be added.

Remove the authpf user requirement.  Only an authpf group is required.

Reported-by: esmith <esmith@patmedia.net>

Fix a seg-fault if -l is used without a /dev prefix, e.g. cu -l cuaa0.  Of
course, this still fails because -l expects a device path, but at least now
it doesn't seg-fault.

Reported-by: Mark Cullen <mark.cullen@dsl.pipex.com>

Change the variable from CCVER_DEFAULT to OBJFORMAT_BUILTIN_CCVER_DEFAULT
and BINUTILSVER_DEFAULT to OBJFORMAT_BULTIN_BINUTILSVER_DEFAULT.

Wanted-better-name: Matthew Dillon

Change the way binutils versions are handled. Depending on CCVER,
either BINUTILSVER_GCC2 (CCVER == gcc2), BINUTILSVER_GCC34 (CCVER == gcc34)
or BINUTILSVER_DEFAULT (other values of CCVER) are choosen.

The BINUTILSVER_DEFAULT knop is intended for developers, normal users
should have no reason to set it.

gcc3 ==> gcc34

Check that the authpf user and group are installed before starting the
installworld process.