bugfixes to previous commits

last and init - update for wtmpx

tzfile.h - install as include

man pages and other misc stuff

more utmpx work

ssh - use utmpx

misc

experimental import of pam_lastlog from netbsd

experimental import of pam_lastlog from netbsd

utmp_update - import from NetBSD

utmpx - Initial commit

utmpx - Initial commit

kern_proc - add kern.proc.cwd sysctl

* Add a kern.proc.cwd sysctl to be able to get the cwd of processes.
  Many terminal emulators need something this to set a window title.
  Right now, some simply don't work (konsole) and others (Terminal) use
  linprocfs.

kinfo.h - Document the units of some members

libcrypt - install crypt.h header

* Install the crypt.h header since some software (i.e. KDE) checks for
  crypt.h to decide whether it needs to link against libcrypt to be able
  to use crypt().

if_clone: Don't destroy iface which is not create through if_clone mechanism

DragonFly-bug: http://bugs.dragonflybsd.org/issue1919

Serialize IFADDR alteration by netisr0

libfsid(3): Make the filesystem type an enum and perform misc cleanup.

mdoc: Add libfsid to the list of libraries.

msdosfs: Add a define of 0x28 as extended boot record signature.

As per http://support.microsoft.com/kb/140418 (Detailed Explanation
of FAT Boot Sector), the "...extended boot record signature must be
either 0x28 or 0x29...".

Bump WARNS for latest import of ftp and adjust README.DRAGONFLY for git.

Merge branch 'vendor/TNFTP'

Snyc tnftp with NetBSD:

Fix numerous WARNS issues.

Rename internal getline() function to get_line() to prevent conflicts.

Rename argument from "bool" to "val".

Parse HTTP 'Date' entries in the `C' locale rather than the user's.

Avoid NULL dereference in log output if the command line parser
failed to extract a port number from the URL.

Use AF_INET instead of AF_UNSPEC as the default family if
!defined(INET6).

In ftpvis(), prevent incomplete escape sequences at end of dst,
and ensure NUL-termination of dst.  Also tweak for readibility.

Update to zlib-1.2.5.

This contains numerous bug fixes and improvements.  For more details,
see the ChangeLog.

Incorporated in this commit is removal of using patch files, and just
making the appropriate changes on master.

Merge branch 'vendor/ZLIB'

dm(4): Fix kernel compilation with 'device dm' in the config.

Import zlib-1.2.5.

Delete old version of zlib from vendor branch.

.gitignore: Remove .depend again.

If old .depend files are left lying around in /usr/src, this can
cause strange build failures.

Having .depend in .gitignore hides these files and makes the
failures hard to track. So it's not a good thing.

dm - add remove_all, refactor

* Refactor the dm dev creation and removal methods as to avoid
  duplication and, as a bonus, do things properly.

* Rename foo_destroy to foo_uninit, because that's what they really are,
  uninit functions.

* Add an experimental 'remove_all' method

* Move atoi64 into device-mapper so that the striped target works
  without loading the linear target.

cryptsetup - fix warning message

* Our module is called dm, not dm_mod.

libfsid, fsid - bind into build system

fsid - Don't check floppies

libfsid - A new library to determine filesystems.

* The idea is extracted from the sbin/fsid tool. The library provides an
  interface to probe a given device for a file system and get its volume
  label.

* fsid was changed to use libfsid functionality.

Sponsored-by: Google Code-In

include - install ext2fs headers

kernel - Mark kqfilters of several devices MPSAFE

* Memory I/O devices, Pipes, TTY's and PTY's

* Also correct MPSAFE'ty comment for kern_close()

kernel - Fix UP build

arcmsr(4): Add missing cam_simq_release and creation of /dev/arcX alias.

Remove KTR_GIANT_CONTENTION kernel option (no longer used).

Update for OpenSSL-1.0.0c.

This primarily fixes CVE-2010-4180.  See NEWS and CHANGES for more details.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.0c.

kernel - 48-core MP work

* Replace the cpu_contention_mask global with a per-token contention mask.

* Fold the lwkt.user_pri_sched feature into the scheduler and remove the
  sysctl.  The feature is now alwayws on.  The feature allows a lower
  priority non-contending thread to be scheduled in the face of a
  high-priority contending thread that would normally spin in the scheduler.

* A reschedule IPI is now performed when a high-priority contending thread
  might possibly resolve, which will kick the user process back into the
  kernel and allow rescheduling of the higher priority thread.

* Change the idle-cpu check semantics.  When a cpu's scheduler finds only
  contending threads it used to loop in the scheduler and the idle thread
  would be flagged to not halt.  We now allow the idle thread to halt in
  this case and expect to receive an IPI when any of the contending threads
  might possibly resolve.

  As a fringe benefit this should also benefit vkernels.

* lwkt_schedule() has been significantly simplified.  Or as I would say,
  decomplexified.

kernel - Have DDB print '?' for non-printable characters

* When DDB prints something just use '?' for non-printable characters
  to try to avoid messing up the screen too much.

kernel - Change the discrete mplock into mp_token

* Use a lwkt_token for the mp_lock.  This consolidates our longer-term
  spinnable locks (the mplock and tokens) into just tokens, making it
  easier to solve performance issues.

* Some refactoring of the token code was needed to guarantee the ordering
  when acquiring and releasing the mp_token vs other tokens.

* The thread switch code, lwkt_switch(), is simplified by this change
  though not necessarily faster.

* Remove td_mpcount, mp_lock, and other related fields.

* Remove assertions related to td_mpcount and friends, generally folding
  them into similar assertions for tokens.

kernel - Remove CACHE_*MPLOCK* macros & sysctl

* Remove the vfs.cache_mpsafe sysctl and related macros.  This has
  defaulted to 1 (mpsafe) for a while now and is no longer needed.

kernel - Mark pty devices D_MPSAFE

* Mark the pty devices D_MPSAFE.  They are protected by tty_token

utilities - Fix top -M when the window does not have sufficient rows

* Fixes a seg-fault.

kernel - Rearrange usched_bsd4.c a bit

* Rearrange the way the scheduler helpers are woken up.  This results in
  much better coverage on systems with large numbers of cpus.

  Tested on the 48-core opteron monster.

* Essentially we no longer do bogus wakeups of scheduler helpers, and the
  chaining has been fixed when a scheduler helper is unable to perform
  the operation it was scheduled for (it tries to find another idle cpu
  to forward to).

  Most cpumask operations are now performed while holding the spin lock.

kernel - Make swap, nullfs MPSAFE

* Mark the swap dummy mount as being MPSAFE so strategy operations do not
  acquire the mplock.

* Mark NULLFS mounts as being MPSAFE so operations do not acquire the
  mplock.  If the underlying VFS is not MPSAFE it will still acquire
  the mplock.

kernel - Record token & mplock collisions in thread->td_wmesg

* Record token & mplock collisions which the lwkt thread schedule spins
  on in the thread wmesg, which will show up in ps, top, etc.

  This makes it a lot more obvious when a thread is stalling on a token
  or the mplock and is generally superior to the old per-cpu collision
  record.

kernel - Add debugging features

* Add lwkt.mplock_backtrace to force the kernel to print a backtrace
  when it encounters a mplock collision.  This is a bit problematic
  though as the backtrace can sometimes crash the kernel.

* Allow lwkt.mplock_yield_delay to be set to 0.

kernel - Remove unnecessary mplock in sys_ofstat()

* Remove get/rel_mplock around kern_fstat() in the 4.3 fstat compat
  function.

amr(4): Some bugfixes.

* Add a missing devstat_end_transaction_buf(). Makes device stats actually
  work.

* Add a couple of missing cam_simq_release() calls.

kernel - Adjustments to if_igb

* Change the spin lock to a token.  A spinlock is inappropriate here because
  the thread can block with it held (resulting in a panic).

* Use rid 0 when allocating a legacy interrupt, fixing an issue where
  the interrupt bus resource could not be allocated.

kernel - Set wmesg when spinning on a token or the mplock

* When spinning on a token or the mplock set the wmesg so it shows up
  in ps and top output.

utilities - Fix top formatting when > 9 cpus present

* Change %1x format to %02d

installer - Increase administrative swap size limit to 512G

* Increase from 8G to 512G (which is the x86-64 default swap size limit).
  8G was too small either way.  Maybe the installer-enforced administrative
  limit should just be removed entirely.

Bring in an igb(4) manual page (from FreeBSD).

manual pages: Punctuation and whitespace cleanup.

kernel - Fix MP system call performance regression

* The userland scheduler was unconditionally calling lwkt_switch()
  via userexit() (i.e. on every system call), creating unnecessary
  overhead and possibly also triggering a bsd4 scheduler event
  requiring a common spinlock.

* Rearrange the code slightly to reduce instances where lwkt_switch()
  is called.  We want to try to keep instances where a higher priority
  LWKT thread is potentially runnable or when the LWKT fairq accumulator
  for the current thread has been exhausted.

* This removes system call overhead multiplication on MP systems.  For
  example, on a 48-core box system call overhead when all 48 cpus are
  busy doing getuid() loops went from 10uS back down to 270nS (which
  is near the single-cpu test results).

kernel - Add support for up to 63 cpus & 512G of ram for 64-bit builds (3)

* Correct compile-time errors in vkernel64 build.

kernel - Simplify AP CPU reporting on x86-64

* Simplify the AP CPU kprintf()s to reduce console spew.

kernel - Add support for up to 63 cpus & 512G of ram for 64-bit builds (2)

* Fix mis-translation in previous commit

style(9) - Prefer a lack of case '?' fallthrough for getopt

* This also coincides with the example in getopt(3)

Discussed-with: swildner@

Merge branch 'malloc_constructor'

Merge branch 'GCI2010'

vkernel - Add usage()

* Adds a new argument -h, which prints extended usage information

* Prints typical usage information (same as manpage) when no arguments are
  specified or an invalid argument is given. Otherwise, error output is the
  same as before.

* Convert to sysexits(3)

Sponsored-By: Google Code-In

kernel - Add support for up to 63 cpus & 512G of ram for 64-bit builds.

* Increase SMP_MAXCPU to 63 for 64-bit builds.

* cpumask_t is 64 bits on 64-bit builds now.  It remains 32 bits on 32-bit
  builds.

* Add #define's for atomic_set_cpumask(), atomic_clear_cpumask, and
  atomic_cmpset_cpumask().  Replace all use cases on cpu masks with
  these functions.

* Add CPUMASK(), BSRCPUMASK(), and BSFCPUMASK() macros.  Replace all
  use cases on cpu masks with these functions.

  In particular note that (1 << cpu) just doesn't work with a 64-bit
  cpumask.

  Numerous bits of assembly also had to be adjusted to use e.g. btq instead
  of btl, etc.

* Change __uint32_t declarations that were meant to be cpu masks to use
  cpumask_t (most already have).

  Also change other bits of code which work on cpu masks to be more agnostic.
  For example, poll_cpumask0 and lwp_cpumask.

* 64-bit atomic ops cannot use "iq", they must use "r", because most x86-64
  do NOT have 64-bit immediate value support.

* Rearrange initial kernel memory allocations to start from KvaStart and
  not KERNBASE, because only 2GB of KVM is available after KERNBASE.

  Certain VM allocations with > 32G of ram can exceed 2GB.  For example,
  vm_page_array[].  2GB was not enough.

* Remove numerous mdglobaldata fields that are not used.

* Align CPU_prvspace[] for now.  Eventually it will be moved into a
  mapped area.  Reserve sufficient space at MPPTDI now, but it is
  still unused.

* When pre-allocating kernel page table PD entries calculate the number
  of page table pages at KvaStart and at KERNBASE separately, since
  the KVA space starting at KERNBASE caps out at 2GB.

* Change kmem_init() and vm_page_startup() to not take memory range
  arguments.  Instead the globals (virtual_start and virtual_end) are
  manipualted directly.

periodic(8): Adjust the bsdstats script to use drill(1) instead of dig(1).

The check_dns() check is still wrong which is due to the setting of
IFS but until scrappy@ reports back, I won't touch that. For the
moment, it will succeed, but would also not fail in check_dns() if
the network was down.

Reported-by: Tim Darby <t+dfbsd@timdarby.net>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1927>

mfiutil(8): Fix a in the interval argument to the 'patrol auto' command.

swapcache.8: Fix typos.

devattr(8): Fix weird style and perform some general cleanup.

Fix installworld.

bitstring(3): Describe bit_fls and bit_nsearch.

bitstring.h: Add bit_fls to complement bit_ffs and bit_nsearch.

Import vm_map_findspace(9) manpage from FreeBSD and add flags/align arguments.

Kernel configs: Move twa(4) to the right place, too.

Clean up and sort the RAID sections in our configs.

kernel: Serial numbers have to be either 2 chars minimum or not be a blank.

The hptiop(4) controller's logical disks have a " " (single space)
serial number, which caused /dev/serno/_ to be created.

hptiop(4): Fix device description.

hptiop(4): Add the hptiop(4) RAID driver.

The driver supports the following adapters:

* HighPoint RocketRAID 3020
* HighPoint RocketRAID 3120
* HighPoint RocketRAID 3122
* HighPoint RocketRAID 3220
* HighPoint RocketRAID 3320
* HighPoint RocketRAID 3410
* HighPoint RocketRAID 3510
* HighPoint RocketRAID 3511
* HighPoint RocketRAID 3520
* HighPoint RocketRAID 3521
* HighPoint RocketRAID 3522
* HighPoint RocketRAID 3540
* HighPoint RocketRAID 4320

It was tested with the 3120.

Many thanks to FreeBSD, from which this code was obtained.

periodic/security: fix warnings on a system with no packages installed

devattr - a tool to expose the libdevattr functionality

kernel - Enable e1000 / igb netif in module build

* Add if_igb to the module build, via e1000.

kernel - 64-bit memory & ncpus work

* Create a macro and bsr function for cpu masks in preparation for
  making cpumask_t 64 bits on 64-bit builds.  cpumask_t is still
  32 bits in this commit.

* Expand SMP_MAXCPUS to 31 for 64-bit builds in preparation for
  eventually expanding it to 63.

* Fix an array overflow when probing ncpus on 64-bit.

* Increase the boot-time kmap entries to accomodate large numbers of
  cpus.

* Clean up a few places where integer overflows could occur on
  64-bit machines with large amounts of ram.

  For the moment we are limited to 32G.  This will change in a
  followup commit.

kernel - Fix lapic mask for > 16 apic ids

* The lapic mask in the MP startup was only allowing for 16 apic ids,
  adjust the mask to allow for all 256.

* Supermicro now boots w/12 cpus and probably 24.  More work required
  to get it to boot w/48.

amr(4): Return the correct error.

error was not being set for two functions, and if these failed, 0 was
incorrectly returned.

aac(4) & mfi(4): Fix masking bug.

When masking direct and processor devices during an inquiry, properly
preserve the upper bits of the first data byte.

Taken-from: FreeBSD

mfi(4): Shorten some lines.

Taken-from: FreeBSD

kernel - Provide descriptions for many net.inet sysctl's

* Switch net.inet.ip.dispatch_* to RD from RW

Submitted-by: Taras Klaskovsky
Sponsored-by: Google Code-In

kernel - mlockall: Return EINVAL for invalid flags combinations.

Reported by: swildner

Add a missing file for building libiconv into the kernel.

Make more things (HPFS, *_ICONV) buildable into the kernel.

test - Add test case for prior select(2)/EOF bug

* This test reproduces the problem fixed in commit:
  57b24f4ee66aaaa59b54e9577b93253cf435672f

Issue: http://bugs.dragonflybsd.org/issue1809
Submitted-by: Johannes Hofmann

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Dec  4, 2010
Mares:   Nov 24, 2010

Fix a typo and add PMAP_DEBUG to LINT.

kernel - remove extra crit_exit()

Those are leftover from 080c00e6fcafedf719b52e5de548a005201b0218 .

installer: Fix a bug when /boot (HAMMER) or / (UFS) is are to be encrypted.

The installer will warn that this is not possible, but previously left the
encryption flag set. Clear it.

docs - Expand the swapcache(8) manual page

* Add a description for static and dynamic wear leveling and write-combining

kernel: Remove some PC98 remains.

These were either not caught when we removed support, or they came back
in later.

kernel - Remove unneeded critical sections from VM code, add pmap asserts

* Various bits of VM code now only need vm_token and no longer need
  a critical section.

* Add pmap_page_assertzero() assertions in a couple of places when
  PMAP_DEBUG is enabled.

* Add PMAP_DEBUG as a global kernel config option.

* Be a bit more conservative and clear PG_ZERO for all page table
  pages and not just terminal page table pages.  When such pages
  are finally freed they will be zero again due to the way the
  pmap code works but don't make that assumption.