resource: Per-CPU hardware resources support, step 5 of many

Fix up cpuid parameter passed to resource_list_add() after
bus_set_resource and bus_alloc_resource DEVMETHODs have cpuid
parameter.

resource: Per-CPU hardware resources support, step 4 of many

Add cpuid parameter to bus_alloc_resource DEVMETHOD, so cpuid
could be passed all the way to the nexus

rman: Record owner CPUID during initialization

resource: Per-CPU hardware resources support, step 3 of many

- Add cpuid parameter to bus_set_resource() and bus_set_resource
  DEVMETHOD; Pass this parameter to resource_list_add()
- Obtain interrupt resource's owner CPU, i.e. target CPU, from
  MachIntrABI and pass it to bus_set_resource(), so that the owner
  CPU of the interrupt resource could be correctly setup
- Rest of types of resources, e.g. IOPORT, MEMORY and DRQ, are
  shared across CPUs, so their cpuids are set to -1

MachIntrABI: Add method to return IRQ's target CPU

resource: Per-CPU hardware resources support, step 2 of many

Add cpuid parameter to resource_list_alloc, so that this parameter could
be passed to bus_alloc_resource DEVMETHOD

resource: Per-CPU hardware resources support, step 1 of many

- Add cpuid in the resource list entry, which points to the
  resource's owner CPU
- Add cpuid parameter to resource_list_add(), which could be used to
  set the resource's owner CPU

fsdb(8): Raise WARNS to 1.

kernel - VM MPSAFE fixes

* Apply amd64 PMAP fixes from a5fc46c91597d0af0cfa8fd257b4a8ed6e1cf341 to i386

* Hold vm_object in vm_swapcache_cleaning()

kernel - Numerous VM MPSAFE fixes

* Remove most critical sections from the VM subsystem, these are no longer
  applicable (vm_token covers the access).

* _pmap_allocpte() for x86-64 - Conditionalize the zeroing of the vm_page
  after the grab.  The grab can race other threads and result in a page
  which had already been zero'd AND populated with pte's, so we can't just
  zero it.

  Use m->valid to determine if the page is actually newly allocated or not.

  NOTE: The 32 bit code already properly zeros the page by detecting whether
the pte has already been entered or not.  The 64-bit code couldn't
do this neatly so we used another method.

* Hold the pmap vm_object in pmap_release() and pmap_object_init_pt() for
  the x86-64 pmap code.  This prevents related loops from blocking on the
  pmap vm_object when freeing VM pages which is not expected by the code.

* pmap_copy() for x86-64 needs the vm_token, critical sections are no longer
  sufficient.

* Assert that PG_MANAGED is set when clearing pte's out of a pmap via the
  PV entries.  The pte's must exist in this case and it's a critical panic
  if they don't.

* pmap_replacevm() for x86-64 - Adjust newvm->vm_sysref prior to assigning
  it to p->p_vmspace to handle any potential MP races with other sysrefs
  on the vmspace.

* faultin() needs p->p_token, not proc_token.

* swapout_procs_callback() needs p->p_token.

* Deallocate the VM object associated with a vm_page after freeing the
  page instead of before freeing the page.  This fixes a potential
  use-after-refs-transition-to-0 case if a MP race occurs.

Resurrect z*grep script to support gzip'ped files.

hammer(8): snaprm: fix edge case

Ensure that @@transid is at end of symlink.

hammer(8): fix snaprm argument parsing

Parse arguments according to SYNOPSIS.
snaprm didn't parse arguments fully:
e.g. PFS symlink was deleted if given as only argument.

DragonFly-bug: <http://bugs.dragonflybsd.org/issue2111>
Submitted-by: fix based on patch from "sgaerner@gmx.net"

hammer(8): whitespace cleanup: delete blank at end of line

Sync zoneinfo database with tzdata2011k from elsie.nci.nih.gov

asia:           8.65 -> 8.68
europe:         8.34 -> 8.38
northamerica:   8.48 -> 8.49
zone.tab:       8.47 -> 8.49

* asia: Palestine suspends DST during Ramadan in 2011; Gaza and Hebron
    split in 2011, leading to a new Asia/Hebron zone (thanks to
    Steffen Thorsen and Alexander Krivenshev). The different end of DST
    in Gaza and Hebron in 2008 is also reflected.

* europe: Belarus adopts permanent DST in 2011 (thanks to Yauhen Kharuzhy,
    Alexander Bokovoy, Alexander Krivenyshev, and Kirill A. Shutemov).
    Ukraine adopts permanent DST in 2011 (thanks to Alexander Krivenyshev).
    "Russia" rules changed to reflect end of use in 2010. "FET" used as
    abbreviation for Belarus, Ukraine, and western Russia (thanks to
    Paul Eggert). Also: a comment typo is fixed.

* northamerica: Updated comment on Newfoundland's 2011 change of time of
    day when DST starts and ends (thanks to Michael Pelley).

* zone.tab: New Asia/Hebron zone (thanks to Alexander Krivenshev).

kernel -- vfs_bio.c: Rework bread() in terms of breadn().

poll(2): Set POLLERR properly

If the other side closed the connection and error happens (so_error != 0)
POLLERR is turned on accordingly.

truss(1): On a second thought, keep the old entries.

truss(1): Remove an 'a' that sneaked in.

truss(1): Adjust for 315b8b8b77c1101b25fef36483a8d0474a1befb2.

We changed to "DragonFly ELF{32,64}."

patch(1): Don't try to mmap a zero length file.

Found-in: NetBSD

sys_socketpair: Free socketpair file descriptors if copyout() fails.

fifo: Restore the old semantics of select(2)/poll(2) for reading

select(2)/poll(2) for reading on a fifo should not return "ready
to read" if all of the writers have closed the fifo.

DragonFly-Bug: http://bugs.dragonflybsd.org/issue2028

kernel -- vm_page_dontneed: Fix interaction with vm_page_madvise and pagedaemon

vm_page_dontneed didn't clear the PG_REFERENCED flag on pages it is
deactivating. The pagedaemon would see references on the page (via
PG_REFERENCED) and reactivate it, undoing the effect of vm_page_dontneed.

stdio: Add __printflike for dprintf(3) and vdprintf(3)

Noticed-by: "Xia Zuoling" <zeroxia@gmail.com>

kevent: Restore old EV_EOF semantics

- EV_EOF should be set when the other side closed the connection, even
  if there are data pending in the read buffer (the old semantics).
- EV_NODATA is added to indicate there are no more data pending in the
  buffer and EOF is detected (EV_EOF is also set in this situation).

Kernel code now tests EV_NODATA instead of EV_EOF, since EV_NODATA
delivers the information which was delivered by the EV_EOF before
this commit.

DragonFly-Bug: http://bugs.dragonflybsd.org/issue1998

select(2)/kevent: Bail out immediately if EV_ERROR is set.

By setting *res to -1, if kevent registration failed, select(2)
will return error properly.

Add header guard to mntopts.h

kevent(2): Set errno properly

If we can't deliver the registration failure information in the
changelist, then we should set the errno properly.

<ucontext.h>: Conditionalize prototypes for {get,set,make,swap}context().

They are gone per OpenGroup Specifications Issue 7.

However, keep them visible in our default environment.

Update files for file-5.09 import.

Merge branch 'vendor/FILE'

Import file-5.09.

* Don't wait for any subprocess, just the one we forked.
* If the application name is not set in a cdf file, try to see
  if it has a directory with the application name on it.
* Fix ELF lseek(2) madness. Inspired by PR/134 by Jan Kaluza
* Don't use variable string formats.
* Fix detection of Zip files (Mantis #128).
* Make some minor improvements to file(1).
* Rename MIME types for filesystem objects for consistency with
  xdg-utils. Typically this means that application/x-foo becomes
  inode/foo, but some names also change slightly, e.g.
  application/x-character-device becomes inode/chardevice.

Update files for OpenSSL-1.0.0e import.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.0e.

      o Fix for CRL vulnerability issue CVE-2011-3207
      o Fix for ECDH crashes CVE-2011-3210
      o Protection against EC timing attacks.
      o Support ECDH ciphersuites for certificates using SHA2 algorithms.
      o Various DTLS fixes.

Update files for OpenSSH-5.9p1 import.

Merge branch 'vendor/OPENSSH'

Bring in a compat file needed for latest OpenSSH import.

Merge branch 'vendor/OPENSSH'

Import OpenSSH-5.9p1.

 * Introduce sandboxing of the pre-auth privsep child using an optional
   sshd_config(5) "UsePrivilegeSeparation=sandbox" mode that enables
   mandatory restrictions on the syscalls the privsep child can perform.
   This intention is to prevent a compromised privsep child from being
   used to attack other hosts (by opening sockets and proxying) or
   probing local kernel attack surface.

   The rlimit sandbox is a fallback choice for platforms that don't
   support a better one; it uses setrlimit() to reset the hard-limit
   of file descriptors and processes to zero, which should prevent
   the privsep child from forking or opening new network connections.

 * Add new SHA256-based HMAC transport integrity modes from
   http://www.ietf.org/id/draft-dbider-sha2-mac-for-ssh-02.txt
   These modes are hmac-sha2-256, hmac-sha2-256-96, hmac-sha2-512,
   and hmac-sha2-512-96, and are available by default in ssh(1) and
   sshd(8)

 * The pre-authentication sshd(8) privilege separation slave process
   now logs via a socket shared with the master process, avoiding the
   need to maintain /dev/log inside the chroot.

 * ssh(1) now warns when a server refuses X11 forwarding

 * sshd_config(5)'s AuthorizedKeysFile now accepts multiple paths,
   separated by whitespace. The undocumented AuthorizedKeysFile2
   option is deprecated (though the default for AuthorizedKeysFile
   includes .ssh/authorized_keys2)

 * sshd_config(5): similarly deprecate UserKnownHostsFile2 and
   GlobalKnownHostsFile2 by making UserKnownHostsFile and
   GlobalKnownHostsFile accept multiple options and default to
   include known_hosts2

 * Retain key comments when loading v.2 keys. These will be visible
   in "ssh-add -l" and other places. bz#439

 * ssh(1) and sshd(8): set IPv6 traffic class from IPQoS (as well as
   IPv4 ToS/DSCP). bz#1855

 * ssh_config(5)'s ControlPath option now expands %L to the host
   portion of the destination host name.

 * ssh_config(5) "Host" options now support negated Host matching, e.g.

     Host *.example.org !c.example.org
        User mekmitasdigoat

   Will match "a.example.org", "b.example.org", but not "c.example.org"

 * ssh_config(5): a new RequestTTY option provides control over when a
   TTY is requested for a connection, similar to the existing -t/-tt/-T
   ssh(1) commandline options.

 * sshd(8): allow GSSAPI authentication to detect when a server-side
   failure causes authentication failure and don't count such failures
   against MaxAuthTries; bz#1244

 * ssh-keygen(1): Add -A option. For each of the key types (rsa1, rsa,
   dsa and ecdsa) for which host keys do not exist, generate the host
   keys with the default key file path, an empty passphrase, default
   bits for the key type, and default comment. This is useful for
   system initialization scripts.

 * ssh(1): Allow graceful shutdown of multiplexing: request that a mux
   server removes its listener socket and refuse future multiplexing
   requests but don't kill existing connections. This may be requested
   using "ssh -O stop ..."

 * ssh-add(1) now accepts keys piped from standard input. E.g.
   "ssh-add - < /path/to/key"

 * ssh-keysign(8) now signs hostbased authentication
   challenges correctly using ECDSA keys; bz#1858

 * sftp(1): document that sftp accepts square brackets to delimit
   addresses (useful for IPv6); bz#1847a

 * ssh(1): when using session multiplexing, the master process will
   change its process title to reflect the control path in use and
   when a ControlPersist-ed master is waiting to close; bz#1883 and
   bz#1911

 * Other minor bugs fixed: 1849 1861 1862 1869 1875 1878 1879 1892
   1900 1905 1913

libarchive: Bump WARNS down for vendor-induced warnings.

Merge branch 'vendor/LIBARCHIVE'

Import libarchive-2.8.5.

* Now reads ISO images created by NetBSD makefs and other tools.
* Relax an lzma compression test to remove false negatives.
* Better handling of open failures and interrupted writes.
* Corrected compile warnings on various platforms.

libc/x86_64: Remove duplicate file in a Makefile.

ubsec(4) - update man page

Obtained-from: FreeBSD

ubsec - Fix & update

 * Fix ubsec(4) to work with our updated opencrypto. The main problem
   was that the argument to newsession, freesession, process and
   kprocess changed from an arbitrary arg (set to softc) to a device_t.

 * Update bits and pieces from FreeBSD, such as cleaning up the code a
   bit and adding support for bcm5825.

Tested with a BCM5821 PCI-x card.

machintr/x86_64: Function renaming; no functional changes

clock: register_int and unregister_int will enable/disable interrupt

machintr/i386: Function renaming; no functional changes

tcp.4: Add document for TCP_KEEP{INIT,IDLE,INTVL,CNT}

tcp.4: Document net.inet.tcp.keepcnt

tcp: Add comment for the keepinit and keepalive related stuffs

tcp: Remove no longer used tcp_slowtimo

tcp: Allow per-tcpcb keepintvl and keepcnt

- Expose tcp_keepcnt
- Add t_keepintvl, t_keepcnt and t_maxidle to tcpcb.  t_keepintvl and
  t_keepcnt is initialized to tcp_keepintvl and tcp_keepcnt respectively.
  t_maxidle is initialized to t_keepcnt * t_keepintvl
- The accepted socket's t_keepintvl, t_keepcnt and t_maxidle is inherited
  from the listen socket
- Add IPPROTO_TCP/TCP_KEEPINTVL and IPPROTO_TCP.TCP_KEEPCNT socket options
  to get and set t_keepintvl and t_keepcnt.  TCP_KEEPINTVL's unit is
  milliseconds, which is as same as the unit of the sysctl node
  net.inet.tcp.keepintvl
- Remove no longer used tcp_maxidle

tcp: Allow per-tcpcb keepidle

- Add t_keepidle to tcpcb, it is initialized to tcp_keepidle
- The accepted socket's t_keepidle is inherited from the listen socket
- Add IPPROTO_TCP/TCP_KEEPIDLE socket option to get and set t_keepidle.
  The unit is milliseconds, which is as same as the unit of the sysctl
  node net.inet.tcp.keepidle

tcp: Allow per-tcpcb keepinit

- Add t_keepinit to tcpcb, it is initialized to tcp_keepinit
- The accepted socket's t_keepinit is inherited from the listen socket
- Add IPPROTO_TCP/TCP_KEEPINIT socket option to get and set t_keepinit.
  The unit is milliseconds, which is as same as the unit of the sysctl
  node net.inet.tcp.keepinit

tcp: Expose tcp_keepcnt through sysctl net.inet.tcp.keepcnt

kernel - Fix various memory & swap leaks in tmpfs

* tmpfs was using a vref() instead of a vget() (cache_vget() to be precise)
  which does not necessarily reactivate an inactive vnode.  This can cause
  the vnode to languish in the vnode cache even when the underlying file
  has been removed and no longer has any open() descriptors.

* tmpfs_nrmdir(), tmpfs_nremove(), and tmpfs_nrename() (for target replacement
  renames) was effected.

Reported-by: sephe and others, tested by sephe, dillon

MachIntrABI: Field rename; no functional changes

i386/files: isa/clock.c is clean enough to compile w/ -Werror

open_memstream.3: A little bit of cleanup.

libc: Prototype and manual page for open_memstream.

Sync zoneinfo database with tzdata2011j from elsie.nci.nih.gov

africa:         8.32 -> 8.33
australasia:    8.25 -> 8.27

* africa: Four instances of 2:44:45 changed to 2:45 (one in a comment,
    one each in zones Africa/Dar_es_Salaam, Africa/Kampala, Africa/Nairobi)
    (thanks to Jules Descartes)

* australasia: Samoa uses DST in 2011-2012 (thanks to Laupue Raymond Hughes)

MachIntrABI: Split vectorctl into intr_setup and intr_teardown

UPDATING: Add some words about the ISA only drivers I removed recently.

libc: Initial implementation of open_memstream.

open_memstream allows wrapping a buffer via the FILE * interface; the
buffer is dynamically allocated and automatically expanding. The interface
appeared in POSIX 2008.

This implementation doesn't validate seek offsets and doesn't currently
handle SEEK_END.

kernel: mmap -- Return EINVAL for len = 0 mmap.

Closes bug: 2131

Update fmemopen from NetBSD.

NetBSD's version of fmemopen() was more correct than our own wrt error
handling and handling seeks at the tail of buffers. We now pass the ATF
fmemopen test set, with the exception of test08; that problem is related to
malloc return for SIZE_MAX requests.

Changes:
* Modified NetBSD's fmemopen to work with our libc's private FILE struct
* Modified fmemopen_read() to use bcopy() rather than a byte-at-a-time loop

Some cleanup in the ndis manpages.

ndis(4): Remove comment that doesn't apply to us.

kernel: Fix UP remove the "race averted" msg in callout_terminate().

Fix the VKERNEL/VKERNEL64 build.

Stuff dt_lock into <machine/segments.h>.

kernel - Add missing prototype for last commit

* Add missing prototype for last commit

kernel - Fix panic related to kqueue-based timers

* Fix a panic related to kqueue-based timers.  When a knote is destroyed it
  is possible for the callout_stop() to race a callout on another cpu that
  is blocked on a lock.

* Introduce callout_terminate() which stops a callout and ensures that no
  function calls for the callout is still in progress before returning.
  The kevent code now uses this function instead of callout_stop().

* We can't have this assurance for the normal callout_stop() function because
  it can deadlock a backend stuck waiting for a lock when a frontend holding
  that lock calls callout_stop().

Reported-by: Antonio Huete Jimenez <tuxillo@quantumachine.net>

Sync ndis(4) and tools with FreeBSD and hook it all back into the build.

It supports NDIS 5.x drivers, that means Windows XP and Server 2003.
The latter is an educated guess by me. No testing has actually been
done using Windows Server 2003 drivers.

It is tested on i386 with the following PCI adapters:

* D-Link DWL-G520+ (Texas Instruments ACX111 chip), aka acx(4).

* Linksys WMP600N (Ralink RT2860 chip).

* Planex GW-DS54GR (Realtek RTL8185 chip) which was kindly donated by
  sephe.

Thanks to Max Herrgard <herrgard@gmail.com> for testing it on x86_64
with a CNet CWP-854 (Ralink RT2561T chip), aka ral(4).

Note that this port has the following caveats:

* PCI adapters need hw.ioapic_enable=0 in /boot/loader.conf but worked
  great then. Without it, the box will completely freeze after a while.
  This has been observed on both my own testing box as well as on a
  different box by Max Herrgard. The cause is yet unknown. :-(

* PC Card adapters are untested (they might just work).

* USB adapters are not yet stable at all. Panics might ensue.

Taken-from: FreeBSD

kernel: Add dt_lock (for GDT and LDT).

kernel: Add m_extadd().

Fix some typos: in to -> into.

etc/rc.d/wpa_supplicant: Fix broken check for ndis(4) interfaces.

With the new wlan stack, we need to check a sysctl to determine if it
is an ndis(4) interface because it is now wlanX that gets passed to
the script.

Depending on this, wpa_supplicant(8) will be started with either
"-D bsd" or "-D ndis".

Reported-by: Max Herrgard <herrgard@gmail.com>
Taken-from:  FreeBSD

install.1: One more markup fix.

install.1: A little cleanup.

Add a -D option to install(1)

This option is implemented for compatibility with the NetBSD version of
install(1). Even though its code is fully operating, it is only useful
when used in combination with the non-implemented -M NetBSD flag.

Thus, it is effectively a dummy as of the present commit.

kernel: Add linker_file_foreach() (taken from FreeBSD).

<net/ethernet.h>: Add ETHER_MAX_FRAME (taken from FreeBSD).

machintr.h: Add header guardian

MachIntrABI: Remove unused setvar/getvar interfaces

machintr.h: Remove unnecessary inclusion

bfq.4: Fix and improve a bit.

dsched.4: Add a reference to bfq(4).

psm.4: Use %O for URLs. We don't have %U yet.

usb.4: Add a reference to lgue(4).

kernel: Use NULL for DRIVER_MODULE()'s evh & arg (which are pointers).

netif/e1000: Add a missing include file to the Makefile.

Reported-by: Miro Svetlik <miro@svetlik.be>

acpi/pcib: Use DEFINE_CLASS_1 to define acpi_pcib driver

This avoids code duplication and maintenance headache

pci: Declare pcib_driver

Third parameter of VFS_STATFS is no longer struct proc *

gdb: Remove previous local modification

Due to a previous effort that saw binutils support DragonFly, the
config.bfd file no longer needs to be modified.  Unfortunately the
official binutils version wasn't modified the same way as it was in
base, so the auto-merge didn't catch that there were two versions of
each DragonFly entry.  Luckily the good version came first, so this
is simply a cleanup.

Also the README.DRAGONFLY file was updated to include a new set of
local modifications introduced with the FAKE_PROCESS_ID changes.

kgdb: Tweak to avoid extra inferior

Since one inferior exists when kgdb launches, the code was changed to
update the pid of the first inferior rather than to add it outright.

gdb: Improve concept of FAKE_PROCESS_ID to fix JIT crash

The fix for 7.2 seems to break on gdb 7.3 with addition of JIT
initialization which assumes at least one inferior defined.  The problem
is that this inferior isn't defined before the JIT routine is run.

Changing the fake process ID from zero has a lot of risk (miss some,
accidently change zero's that need to remain zero, etc), but it seems to
be the only way to fix it cleanly.