kernel - Add kern.usched_global_cpumask

* Add sysctl kern.usched_global_cpumask, a global cpumask that restricts
  which cpus userland processes are allowed to run on.  This sysctl may be
  set dynamically.

* NOTE: This sysctl is intended to be used by powerd.  Setting it manually
  will only work properly if powerd is not running.

pf: Fix typo in pf_mask_del()

Reported-by: Jan Lentfer <Jan.Lentfer@web.de>
Noticed-by: Joe Talbott <josepht@cstone.net>

kernrl: Fix LINT building for recent rn_inithead API change

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>

ps - Increase selected field widths

* Increase field widths for STAT, XSTAT, VSZ, RSS, and RSZ to accomodate
  more typical program run sizes and to accomodate systems with more than
  10 cpus.

kernel64 - Greatly reduce memory probe times, remove basemem calculation

* Greatly reduce memory probe times by testing in multiples of 128K instead
  of multiples of 4K.  Also add cpu_mfence() instructions to flush the
  cpu store buffer.

  This greatly reduces the startup time for x86-64 on monster machines
  with lots of memory (tested w/64G).

* Remove the basemem calculation, it is no longer used.

pc32: Split out isa_intr.h and move isa/intr_machdep.h to include/

pc64: Split out isa_intr.h and move isa/intr_machdep.h to include/

intr: Add ELCR support

This device controls/shows ICU pin's trigger mode (level/edge).

Currently, it is not enabled by default.

Obtained-from: FreeBSD (jhb@freebsd.org)

radix: Fix the non-per-cpu radix tree usage.

- Install a mask radix tree in each radix tree, while, mask radix tree does
  not have mask radix tree (of course).
- rn_cpumaskhead() is added to provide the global per-cpu mask radix tree.
- rn_inithead() requires a mask radix tree as paramter.  Mask radix tree is
  initialized by passing NULL.  INET/INET6/ATALK pass the mask radix tree
  obtained from rn_cpumaskhead(), i.e. the old sementics.
- pf(4) now creates its own mask radix tree, and all of its internal radix
  trees will use that mask radix tree instead of the global per-cpu mask
  radix tree.  pf(4) radix tree operations are protected by its own token.
- rn_addmask() requires a mask radix tree, instead of using the global
  per-cpu mask radix tree.  For most cases, the caller has access to the
  radix tree that has a mask radix tree installed.  For _rtmask_lookup(),
  which is always called from route_output(), we could safely assume that
  global per-cpu mask radix tree is used.

This is mainly used to fix the following bug concerning global per-cpu
mask radix tree:
Before this commit, pf(4) could create mask on CPU0's mask radix tree,
while the deletion of the mask happens on other CPUs, which results pf(4)'s
radix tree operation to fail (can't locate the mask).

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1969
Root-cause-found-by: Jan Lentfer <Jan.Lentfer@web.de>

kernel64 - Fix disabled interrupts during dbg/bpt trap

* Interrupts were left improperly disabled during a dbg or bpt trap.
  i386 enables interrupts for these traps.  x86-64 needs to as well
  or it will hit an assertion in lwkt_switch() under certain circumstances.

* Make debug code in lwkt_switch() also require INVARIANTS to function.

  NOTE: This is temporary debug code and should be removed at some point
  after 48-core testing is complete.

kernel - Fix SMP assumption of at least 2 cpus w/TCP

* TCP was assuming at least 2 cpus on SMP builds and would panic if only
  1 cpu was available.

* Fix by testing ncpus even for SMP builds.

* This problem did not effect UP builds.

kernel - Fix stall after mountroot w/ SMP & ncpus == 1

* Fix a degenerate case for SMP builds when ncpus == 1.  This effects
  both the vkernel and the normal kernel (when a SMP kernel is booted
  on a non-SMP box which has a LAPIC).

  The init process was not bring scheduled properly.

vkernel - Fix lwbuf build error for vkernel64

* Fix a compile error that was preventing vkernel64's from building.

Turn off all warnings when compiling gdtoa sources.

Obtained-from: FreeBSD

Merge branch 'vendor/GDTOA'

Remove unneeded files from contrib/gdtoa.

Add a README.DELETED while I'm here.

kernel options: Add MCLSHIFT

So on the system w/o wireless NICs, we could configure MCLBYTES to 2K
(options MCLSHIFT=11) instead of the default 4K

netisr barrier: Prevent netisr_barrier_dispatch() from false wakeup

- Change wait states into wait flags, only test NOTDONE flag when
  being woken up.
- Simplify wakeup logic.

With-help-from: dillon@

Import gdtoa-20101105.

netisr barrier: Avoid lockless wakeup/tsleep race

Add a waiting state (NETISR_BR_WAITDONE), before it is set wakeup()
will not be called.  And use atomic_cmpset_int() to do the state
transition.

With-help-from: dillon@

netisr: Make sure that netisr barrier's done is globally visible

netisr: Make netisr barrier's done and cpumask volatile

So that the assignment to these two variables and the following wakeup()
will not get reordered.

tcp6: Set TF_SYNCACHE properly in tcp6_usr_listen()

tcp: Make listen(2) socket close(2) MPSAFE

- Cleanup the syncache entries on each CPU for this inp.
- Before whacking the inp, we unhook the inp wildcard hash and cleanup
  its syncache entries by using a synchronized message.
- Fix up comment.

Reported-by: pavalos@
DragonFly-bug: http://bugs.dragonflybsd.org/issue1960

tcp_usr_listen: Use domsg when duplicate listen socket's inp wildcard hash

This makes sure that the each protocol threads sees the socket when
tcp_usr_listen() returns.

tcp: Don't abuse TF_SYNCACHE to ill-optimize syncache_destroy()

- We now turn on TF_SYNCACHE when listen(2) is called.
- When a listen(2) socket is to be close(2), the syncache list on the
  current CPU is thoroughly iterated and all related syncache are marked
  to be dropped instead of the first syncache.

udp6: Protect udbinfo by udbinfo barrier

inpcb: Save UDP inpcb into temporary memory during in_pcblist

The temorary memory is used later to do the SYSCTL_OUT without
the udbinfo serializer being held.  Mainly to avoid deadlock
triggered by holding serializer and copyout.

Reminded-by: dillon@

udp_getcred: Release serializer when doing SYSCTL_OUT

Mainly to avoid deadlock during copyout

Reminded-by: dillon@

udp: pcb list/hashtable protection stage 2/2

- Use serializer to protect pcb list/hashtable iteration not running
  in netisrs.
- Don't use marker pcb, so except for the functions running in netisr0,
  no other functions will alter pcb list.

inpcb: Add pcblist sysctl helper function w/o using marker inpcb

udp: pcb list/hashtable protection stage 1/2

Use netisr barrier make sure that netisr will not iterating pcb list or
hashtable when adding or removing pcb

Add assertion that all UDP pru functions run in netisr0.

netisr: Add netisr barrier which stalls all netisrs

netisr_barrier_set()
  Set a netisr barrier, which stalls all netisr.  Currently it must be
  called from netisr0.

netisr_barrier_rem()
  Remove the netisr barrier, which unstalls all netisr.  Currently it
  must be called from netisr0.

These interfaces could be used to work out a lockless pcb lookup or
iteration (on network hotpath e.g. input/output) at the cost of
relatively expensive pcb adding and removing (e.g. connect(2)).

kernel - Revert last commit for a better upcoming fix

* Revert this fix, a better one is going to be committed soon.

kernel - Fix syncache vs close(listen_socket) race

* Attempt to fix a race where a listen socket is closed with an active
  syncache.  The tcpcb is detached prior to the syncache being destroyed
  resulting in a race where a new incoming connection can complete and
  attempt to dive the listen socket's tcpcb.

* Detach the tcpcb after the syncache is destroyed rather than before.

libc: Remove some unneeded inclusions of <sys/cdefs.h>.

Fix up <utmp.h> and <utmpx.h> for C++ programs.

__BEGIN_DECLS and __END_DECLS are absolutely needed around prototypes
so the functions can be called from C++ code (see the definition of
__BEGIN_DECLS in <sys/ctype.h>).

While here, put non-standard stuff in __BSD_VISIBLE instead of just
noting it in a comment.

This fixes at least x11/rxvt-unicode.

Tested-by: tuxillo

libc - Fix bogus pthread_getspecific() return value due to bug in nmalloc

* nmalloc was calling pthread_set_specific() prior to calling
  pthread_key_create(), causing it to use key 0 which might already
  have been allocated for other purposes.

* Reorder initializations in _nmalloc_thr_init() to solve the problem.

* This also solves certain application crashes (mail/milter-greylist).

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

icu: Split out icu/icu.c

icu: Put ICU_IMR_OFFSET into machine_base/icu/icu.h

ioapic/icu: Rework PIC selection code

- In the early stage, before I/O APIC is detected and setup, ICU controls
  interrupts, so all IDT entries should be set to ICU's intr code.
- Switch to I/O APIC only after ICU is completely disconnected, i.e. after
  IMCR is set and LINT0 is masked.

kernel - Have the crypto subsystem use the new mpipe_alloc_callback() API

* The crypto subsystem can deadlock on blocked mpipe operations while
  holding a CAM lockmgr lock.

* Change the subsystem to use the new mpipe_alloc_callback() mechanism,
  avoiding any deadlocks.

Reported-by: Peter Avalos <peter@theshell.com>

kernel - Add callback API for mpipe

* Add a callback API for mpipe which uses a dedicated kthread,
  allowing clients to avoid deadlocks related to held locks during
  strategy calls.

* Add mpipe_alloc_callback().  Use of this function also requires
  that MPF_CALLBACK be supplied to mpipe_init().

* Add mpipe_wait().  This function may be used for clients which
  which to roll their own mpipe retry loop (or already have their
  own thread(s) to deal with it in a safe manner).

cpu_sfence: Don't use sfence

As suggested by dillon@, it will create many unnecessary stalls

kernel - Run emergency interrupt handlers in critical section

* Handlers run from the emergency interrupt polling thread
  (kern.emergency_intr_enable=1) are now run inside a critical
  section, just like the normal interrupt thread runs its handlers.

* This may or may not help stability issues reported when emergency
  interrupt polling is enabled.

kernel - Fix parent process signaling race during exit

* Fix a lwpsignal race when an exiting child signals its parent
  while the child is in the process of being reparented to process 1
  (due to the parent itself exiting).

Reported-by: YONETANI Tomokazu <y0n3t4n1@gmail.com>

kernel - More sound kmalloc adjustments.

* All remaining kmalloc()'s switched to M_WAITOK.  None of these should be
  using M_NOWAIT.

kernel - More sound kmalloc adjustments.

* Numerous additional kmalloc()s should not be using M_NOWAIT.

kernel - Fix /dev/dsp failure after a few days of uptime

* Numerous kmalloc()s should not be using M_NOWAIT.

Submitted-by: Rumko <rumcic@gmail.com>

Revert "devfs: Populate si_umajor, too."

This reverts commit 2c2ab0446f99e9b6f7cae69d99b4491fdf60e6f3.

It was causing the read/write remount of the root filesystem
to fail upon booting. I'll investigate a better fix.

Reported-by: Rumko <rumcic@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1973>

Update build for file-5.05 import.

Merge branch 'vendor/FILE'

Import file-5.05.

fstat(1): Raise WARNS to 6 and fix all warnings.

fstat(1): Add devfs support.

lwkt_synchronize_ipiqs: Add volatile to cpumask

Mainly to make sure compiler will not over-optimize it.

i386: Add CPU_HAS_SSE2 and CPU_HAS_FXSR options

Currently:
CPU_HAS_SSE2 enables the use of lfence and mfence
CPU_HAS_FXSR enables the use of sfence

They should be better than the locked instruction.

devfs: Populate si_umajor, too.

Pointed-out-by: alexh

kernel cleanup: Remove unnecessary inclusion of machine/isa/intr_machdep.h

icu_init: Cleanup

intr: Function renaming

installer: Add /usr/pkg/etc to sources.conf.

Previously, the installer did not copy this directory due to it being
on a separate (read/write) mount point and cpdup not crossing mount
point boundaries.

This should also fix (for newly installed systems) the XML catalog
problems various people were reporting.

A better solution would be to make the installer's installation
function to take this case into account.

Reported-by: Pierre Abbat <phma@phma.optus.ru>

nrelease: Remove an old mk.conf in /etc.

Reported-by: Pierre Abbat <phma@phma.optus.ru>

style(9) - Properly indent function prototype arguments with 4 spaces.

Discussed-With: swildner, Studbolt, sjg

Merge branch 'master' of git://git.theshell.com/dragonfly

UPROTO_BOOT_KEYBOARD is already defined in usb.h as UIPROTO_BOOT_KEYBOARD

Apple usb keybord doesn't generate an interrupt for Fn key when set to boot protocol, as raw Fn code from this device (0x01) is already assigned to ErrorRollOver (see 'HID Usage Tables' specification) to report keboard status/errors.

This quirk avoids ukbd driver setting Apple usb keyboard in boot protocol
mode.

apic: Removed unused apic_eoi()

intr: Remove wrongly-coded nexus_config_intr()

ioapic: Support upto 192 IDT entries

intr: Enable 192 IDT entries in machine independent code

intr: Prepare to support 192 IDT entries; don't allow syscall to be taken.

pc32: Move ipl.s and ipl_funcs.c from isa/ to i386/

They are actually not ISA specific at all.

kernel: Remove some no longer used stuff in clock.c.

ext2fs: Remove some unused variables.

fifofs: Remove an unused variable.

kernel: Remove an unused variable.

kernel -- lockmgr debugging.

* Track exclusive lockmgr locks held by a thread in a per-td stack,
  td->td_lockmgr_stack[]. The stack also tracks the depth of the lockmgr
  recursion, if any.

* Move td->td_locks count from SIMPLELOCK_DEBUG to DEBUG_LOCKS; we have not
  used a simplelock to interlock lockmgr lock updates in a very long time.

nullfs: Remove a no longer used variable.

kernel -- tmpfs: Mark tmpfs_write MPSAFE.

Push down synchronization for tmpfs_write from VN to tmpfs. Note that
tmpfs_write still takes the MPlock.

Add /usr/pkg/bin to a few paths in our building infrastructure.

This allows the clang static analyzer to find perl and python when run
in conjunction with one of our build* targets.

bsd-family-tree: Sync with FreeBSD.

Sync zoneinfo database with tzdata2011a from elsie.nci.nih.gov

australasia:    8.20 -> 8.22
northamerica:   8.34 -> 8.39
Theory:         8.5  -> 8.6

* australasia: Simplification and gratuitous optimization of
    South Australia rules.

* northamerica: Changes to Hawaiian time history (from an article
    by Schmitt and Cox): abandoned local mean time in 1896 rather
    than 1900; used DST during World War II.

* Theory: Add section on scope of the database.

clock: Remove no longer used statclock_disable and related code

Clean up the cryptdisks rc script a bit.

* When checking for dm(4), redirect stderr to /dev/null, too.

* Clarify the failure message.

* Remove empty REQUIRE.

* Don't check for /sbin/cryptdisks being executable, just assume it is.

* Uniformly use TAB for indenting.

em/emx: Reserve 2 (instead of 1) TX descriptors for TX ring

Same as what Intel's Linux driver is doing.

kernel - Fix a case where a panic dump can stall

* Change pmap_kenter_temporary() to not use IPI messaging for SMP pmap
  invalidation.  Instead the caller must call smp_invltlb() (which uses
  a dedicate IPI vector).

* This appears to reduce instances where panic dumps can stall in the
  middle and fail to complete.

Reported-by: Numerous people

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel: Silence an unused variable warning.

kernel - stop cpus on panic whether the debugger is entered or not

* Stop cpus on panic regardless of the state of debug.debugger_on_panic.

* Cpus were previously only stopped when entering the debugger, causing
  unattended panics not entering the debugger to often cause secondary
  panics on other cpus and lockup entirely.

Switch back to using CSTD=gnu89 for a number of things again.

* gcc44's libobjc
* libc_r
* gprof(1)

pppd(8): Fix some CSTD=gnu99 fallout.

rcs(1): Raise WARNS to 2 and fix warnings.

While here, set has_sa_sigaction to 1 in conf.h.

libthread_xu: Raise WARNS to 5 and fix warnings.

sort(1): Raise WARNS to 2 and fix warnings.

Remove another 8k PAGE_SIZE test in vm_page.h.

manpages: Fix some more typos.

manpages: Fix some typos.

lwbuf.9: Remove trailing whitespace.

kernel - Conditionalize ipiq debugging

* Only print cm=... debug messages if ipiq_debug is enabled.