hpfs - Fix a couple panics and a little cleanup.

* Fix compilation with HPFS_DEBUG.

* Fix a panic due CNP_PDIRUNLOCK flag not being cleared.

* Fix a panic where returned vnode after a lookup is not
  NULL in the ENOENT case.

* Disable write support completely. It was pretty minimal
  and operations like create or rename were not supported.

It has been tested with a filesystem created by OS/2 Warp 2.1.
Copying data out of it worked fine, but there is still an
outstanding issue with overlapping buffers.

kernel - Fix NFS panic when competing clients collide on hardlink

* Fix recursive execlusive lock on vnode.

* For example, if several boxes are nfs booting and have the same writable
  /var/log, simultanious attempts to rotate logs can cause a panic due to
  higher layers of the OS's hardlink code not being able to detect
  duplicate vnodes which are created by some other client racing the same
  operation.

* Adds CNP_NOTVP and cn_notvp flag which vop_compat_nlink() uses to notify
  NFS's VOP_LOOKUP function to check for a vnode lookup collision.

-Matt

Remove some duplicated semicolons (mostly in the kernel).

hptiop(4): Add support for RocketRAID 4520 and 4522.

This adds support for HighPoint's recent 6Gb/s SAS/SATA RAID cards.

It's not tested in DragonFly, unfortunately, due to lack of hardware,
but I'm confident. :)

Taken-from: FreeBSD

igb: Dispatch callout to the CPU that is checking status

This reduces sporadic contentions on the main serializer.

aac(4): Add a missing unlock.

iir(4): Clean up some unused code.

ext2fs - Clear CNP_PDIRUNLOCK flag after a lookup.

vop_compat_nresolve() unlocks the vnode when flag CNP_PDIRUNLOCK
is set, so either we clear the flag or avoid unlocking the vnode
after an ext2_lookup().

DragonFly-bug: http://bugs.dragonflybsd.org/issues/2454

Reported by: Skylar Hawk

Unbreak buildworld.

Reported-by: marino

/usr/Makefile: Add pkgsrc-create-shallow option

make distribution: Remove some symlinks before (re-)creating them.

Reported-by: marino

netstat: Make netstat -rn more resilient to having the routing table changing

Obtained-from: FreeBSD 176289 by jhb
  "Make netstat -rn more resilient to having the routing table change out from
   under it while running.  Note that this is still not perfect:
   - Try to do something intelligent if kvm_read() fails to read a routing
     table structure such as an rtentry, radix_node, or ifnet.
   - Don't follow left and right node pointers in radix_nodes unless
     RNF_ACTIVE is set in rn_flags.  This avoids walking through freed
     radix_nodes."

mchian: Sync w/ FreeBSD a little bit

subr_mchain.c CVS 1.{6, 8, 9, 10, 16, 18}

Submitted-by: Alexey Slynko w/ modification by me
DragonFly-bug: http://bugs.dragonflybsd.org/issues/80

Porting: Document a callout_drain() replacement

kernel: Move DEVICE_POLLING to the bottom of 'options'.

kernel: Remove unused KTR_POLLING option.

mpt(4): Fix a panic in RAID operation.

I ported it wrongly. FreeBSD uses callout_init_mtx() here.

dehumanize_number(3): Add T, P and E suffix support.

Reported-by: ftigeot

mtree: Do no longer create /usr/include/objc.

Remove an unused header.

Clean up references to some obsolete functions in manual pages.

sigpause(2)               -> sigsuspend(2)
sigsetmask(2)/sigblock(2) -> sigprocmask(2)
sigvec(2)                 -> sigaction(2)
alarm(3)                  -> setitimer(2)
pause(3)                  -> sigsuspend(2)

Based on similar changes in FreeBSD.

vfork.2: Document that vfork(2) returns pid_t.

Also adjust syscalls.master but it actually doesn't matter. These
adjustments are merely of a cosmetic nature.

nrelease/Makefile.usr: Relocate the git gc for pkgsrc to nrelease.

Since it was only meant for keeping the LiveDVD smaller, put it into
its build and don't force everyone to sit through it. The time it
takes seems to increase significantly on virtual machines with just
1G of RAM, for example. It seems to be quite memory hungry.

Reported-by: many

cp(1)/mv(1): Bring back a number of cleanups we did previously.

People (including myself) have put their time and thought into
this in the past, so we don't want this simply papered over with
the previous state.

Fix buildworld.

mv(1) is a bootstrap tool, hence it needs to build with host includes.

Update the pciconf(8) database.

November 14, 2012 snapshot from http://pciids.sourceforge.net/

/bin/mv: Sync with FreeBSD

1. Utilize central <paths.h> header
2. Meet posix spec for moving directory to existing non-empty directory
3. Meet posix spec for not moving directory over a file
4. Don't chop IO into pieces, use MAXPHYS
5. Add -h flag (similar to ln -h flag)
6. Test for input_is_terminal
7. Regression test added.

DETAILS
==========================================================================
1. remove pathnames.h file and add _PATH_RM to paths.h
2. Moving a directory to an existing non-empty directory will now fail as
   required.
3. Prior to change this test past, but after change it failed on
   cross-link devices.  Original code added to check for case and return
   -1 for the cross-link case.
4. Read files in one block and improve warn messages.
5. Using -h flag will force mv to treat a symbolic link to a directory
   for the target as a symbolic link instead of a directory.  This makes
   it possible to atomically update a symbolic link using rename().
6. POSIX requires this behavior:
   if (exists and (NOT f_options) AND
     ((not_writable AND input_is_terminal) OR i_option)) then
     prompt
   This behavior was implemented.
7. Passes all tests in suite.  Prior to change it failed 2 of 32 tests.

UPDATING: Mention DEVICE_POLLING is replaced by IFPOLL_ENABLE

polling: Remove device_polling remainder

DEVICE_POLLING has no effect since this commit and will be nuked
after next release.

polling: Remove device_polling support

firewire: Mention IFPOLL_ENABLE instead of DEVICE_POLLING

config: Remove device_polling from stock configures

polling: Update manpage for device_polling to ifpoll switching

wpi: This driver never supported polling

iwn: This driver never supported polling

/bin/rm: fix removing symlinks with uchg/uappnd set

One error case described in FreeBSD PR bin/111226:
  /bin/rm when running as super user and failing to unlink a
  UF_APPEND|UF_IMMUTABLE protected symbolic link will reset the
  UF_APPEND and UF_IMMUTABLE flags on the symbolic link's target (if
  that target exists) - an object that /bin/rm should not touch! (Quote
  from SUSv3: "The rm utility removes symbolic links themselves, not
  the files they refer to, as a consequence of the dependence on the
  unlink() functionality").

There was a failure case for /usr/bin/find as well, but swildner
recently synchronized find with FreeBSD and fixed that one.

Taken-from: FreeBSD SVN 193087 (30 MAY 2009)

libc/fts: Use O_CLOEXEC for internal file descriptors

Because fts keeps internal file descriptors open across calls, making such
descriptors close-on-exec helps not only multi-threaded applications but
also single-threaded applications.

In particular, this prevents passing a temporary file descriptor for saving
the current directory to processes created via find -exec.

Taken-from: FreeBSD SVN 241010 (27 SEP 2012)

bug 2443: bin/cp: sync with FreeBSD (bug fixes + new options)

* Fix FTS_NOCHDIR behavior on empty directory.
* Add -a option (archive mode, equivalent to -RpP)
* Add -l option (create hard links instead of copying)
* Add -x option (FS mount points are not traversed)
* Preserve file flags on symlinks on cp -Rp
* Don't copy socket anyway after "xxx is a socket (not copied)"
* Avoid division-by-zero situations
* make -r synonym for -R but maintain -r behavior with -L

Taken-from: FreeBSD (multiple commits)
https://bugs.dragonflybsd.org/issues/2443

kernel - Fix off-by-1 error in semexit

* Fix an off-by-1 error that was preventing semexit from properly undoing
  all the semaphores controlled by the exiting process.

Reported-by: lentferj, vsrinivas, others

share/misc/gdbinit - New function lstdtok

- List tokens for a specified thread.

init(8): Resurrect kern.shutdown_timeout as kern.init_shutdown_timeout.

Taken from FreeBSD. Quoting their commit msg:

Fix system shutdown timeout handling by again supporting longer running
shutdown procedures (which have a duration of more than 120 seconds).

We have two user-space affecting shutdown timeouts: a "soft" one in
/etc/rc.shutdown and a "hard" one in init(8). The first one can be
configured via /etc/rc.conf variable "rcshutdown_timeout" and defaults
to 30 seconds. The second one was originally (in 1998) intended to be
configured via sysctl(8) variable "kern.shutdown_timeout" and defaults
to 120 seconds.

Unfortunately, the "kern.shutdown_timeout" was declared "unused" in 1999
(as it obviously is actually not used within the kernel itself) and
hence was intentionally but misleadingly removed in revision 1.107 from
init_main.c. Kernel sysctl(8) variables are certainly a wrong way to
control user-space processes in general, but in this particular case the
sysctl(8) variable should have remained as it supports init(8), which
isn't passed command line flags (which in turn could have been set via
/etc/rc.conf), etc.

As there is already a similar "kern.init_path" sysctl(8) variable which
directly affects init(8), resurrect the init(8) shutdown timeout under
sysctl(8) variable "kern.init_shutdown_timeout". But this time document
it as being intentionally unused within the kernel and used by init(8).
Also document it in the manpages init(8) and rc.conf(5).

libk{core,info}: The kern.ccpu sysctl is gone, so remove *get_sched_ccpu().

Interestingly, kcore_get_sched_ccpu() seems to never have returned ccpu,
but instead tk_nin, which is not related.

top(1): Remove some code that is unused after the UP removal.

<sys/proc.h>: Adjust the names of two unused bits to use bit numbering.

mount{,_ufs}: Fix wrong mountctl(2) error check.

mountctl(2) returns the number of copied bytes when successful, and -1
if there was an error. This prevented ", local" from being printed in
mount output.

Reported-by: YONETANI Tomokazu

Sync zoneinfo database with tzdata2012j from ftp://ftp.iana.org/tz/releases

* africa: Lybia set their time one hour back at 02:00 on November 10
    (last Saturday).

* Additional miscellaneous fixes in various comments.

tzfile.5: Little wording fix (from tzcode2012j).

ipcs(1): Fix the "ipcs: kvm_nlist: No such file or directory" error.

The "semu" variable was removed in 79757ed082, causing this breakage.
Strangely, even before its removal it wasn't used for anything in
ipcs(1).

Reported-by: beket

ipcs(8): Raise WARNS to 6.

Really fix systat(1).

ifconfig: Deprecate "pollcpu" and make "polling" same as "polling"

fwe: Switch from device_polling to ifpoll

systat - Do not use ccpu for %cpu calculation in pigs view.

- ccpu went away after the new scheduler work so sync with
  the current status of the kernel.
- Also remove all the unused kvm* stuff and get fscale via sysctl.

Reported-by: tpchin <tpchin@telstra.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2245>

Remove an ancient file that is no longer used.

loader: Detect SMBIOS and export its information into the environment.

Useful to check motherboard vendor/version, BIOS version and so forth.
Use kenv(1) for viewing the information.

This information can be accessed from the kernel but should only be
as a last resort.

Might also help in the future to better detect virtual machine types.

Taken-from: FreeBSD

vge: Switch from device_polling to ifpoll

nge: Switch from device_polling to ifpoll

dc: Add missing ifpoll_compat_setup

dc: Switch from device_polling to ifpoll

hammer.8: Add back an .El that was removed by mistake.

rpc.statd(8): Remove a duplicate function.

By now, xdr_stat_chge() is in librpcsvc, unlike what the comments suggest.

Fix INVARIANT build issue

vquota(8): size information is expressed in bytes

Mark some functions in userland __printflike.

ndis_events(8): Remove a bogus argument.

bsd.init.mk: Establish compatibility with FreeBSD makefiles

FreeBSD changed NOMAN to NO_MAN and NOSHARED to NO_SHARED.  Rather than
follow suit, establish NO_MAN and NO_SHARED as aliases for the DragonFly
versions.  If both are defined, the DragonFly version takes precedence.

These were put in bsd.init.mk because they have to be loaded after the
makefile being processed but before bsd.prog.mk, bsd.lib.mk, etc.

debug - Add a basic Makefile

- Sync wildcardinfo with current state of affairs.

objcache.9: cluster_limit is no longer changed

kernel: Mark two more functions __printflike.

mpt(4): Mark two functions __printflike.

getline(3): Fix segfault caused by NULL pointer

This fixes a segfault seen with pkg's audit function, and effectively syncs
getdelim with FreeBSD.

Taken-from: FreeBSD SVN 197752 (04 OCT 2009)

- Tolerate applications that pass a NULL pointer for the buffer and
  claim that the capacity of the buffer is nonzero.

- If an application passes in a non-NULL buffer pointer and claims the
  buffer has zero capacity, we should free (well, realloc) it anyway.
  It could have been obtained from malloc(0), so failing to free it
  would be a small memory leak.

mfi(4): Don't assert lock holding when dumping or during a panic.

FreeBSD's mtx_assert() does it the same way, but we usually translate
mtx_assert() into a KKASSERT(lockstatus(&lock, curthread) != 0).

For now, replace all of these assertions in mfi(4) with a function that
mimics the mtx_assert() behavior of FreeBSD, since some of the asserting
functions are used by the dumping code.

We might think about a real lockassert() function in the future that
has this exception too.

This commit fixes dumping on most supported adapters. Thunderbolt series
adapters still have an (unrelated) command timeout issue which I'm
looking at.

Reported and tested (on a PERC 5/i) by Tim Howe <tim@130collective.org>.

igb: Configure TX head write back before turn enable bit in TXDCTL

The original configure sequence works on 82575 and 82576.  However,
it does not work on i350 and probably will not work on 82580.  For
these two chips TX head write back _must_ be configured before
turning on enable bit in TXDCTL according to their datasheet.

Reported-by: ftigeot@
Tested-by: ftigeot@ (i350), me w/ (82575, 82576)

vr: Switch from device_polling to ifpoll

fxp: Switch device_polling to ifpoll

rl: Switch from device_polling to ifpoll

Optimize the RX path a little bit by reading the RL_CURRXADDR and
RL_CURRXBUF only if necessary; reading these two registers is quite
time consuming

ifpoll: Closely follow the old status polling fraction in the compat code

ndiscvt(8): Add a missing space.

Submitted-by: Eitan Adler <lists@eitanadler.com>

hptrr(4): Add missing intrhook description.

hpt27xx(4): Add missing bootverbose and intrhook description.

Fix some typos in user visible messages, etc.

hexdump.3: Add missing .Sh LIBRARY and bump .Dd to when it was imported.

bsd-family-tree: Sync with FreeBSD (adds DragonFly 3.2 and OpenBSD 5.2).

sysctl.9: Fix another typo. frequence -> frequency

Found-with: igor

kernel: Remove unneeded #include <sys/devicestat.h> in disk/RAID drivers.

git gc --aggressive only cleaned up 4 mb of disk and took 7 minutes to run.
It doesn't seem to be worth the (admittedly small) time penalty.

boot - some VIA processors also have long mode!

Fix some typos in the manpages.

kgdb.1: Fix macro ordering.

Remove word duplicates in some manual pages.

colldef.1: Do the last commit a bit better.

Sync zoneinfo database with tzdata2012i from ftp://ftp.iana.org/tz/releases

* asia: Comment typo fix.

* northamerica: Cuba switched back to standard time on 2012-11-04, 01:00.

sis: Switch from device_polling to ifpoll

xl: Switch from device_polling to ifpoll

stge: Switch from device_polling to ifpoll

nfe: Switch from device_polling to ifpoll

re: Swicth from device_polling to ifpoll

bce: Switch from device_polling to ifpoll

ifpoll: Also check sysctl_tree in compat code setup

elf_common.h: Add EM_AMD64 as alias to EM_X86_64