tcp_usr_listen: Use domsg when duplicate listen socket's inp wildcard hash

This makes sure that the each protocol threads sees the socket when
tcp_usr_listen() returns.

tcp: Don't abuse TF_SYNCACHE to ill-optimize syncache_destroy()

- We now turn on TF_SYNCACHE when listen(2) is called.
- When a listen(2) socket is to be close(2), the syncache list on the
  current CPU is thoroughly iterated and all related syncache are marked
  to be dropped instead of the first syncache.

udp6: Protect udbinfo by udbinfo barrier

inpcb: Save UDP inpcb into temporary memory during in_pcblist

The temorary memory is used later to do the SYSCTL_OUT without
the udbinfo serializer being held.  Mainly to avoid deadlock
triggered by holding serializer and copyout.

Reminded-by: dillon@

udp_getcred: Release serializer when doing SYSCTL_OUT

Mainly to avoid deadlock during copyout

Reminded-by: dillon@

udp: pcb list/hashtable protection stage 2/2

- Use serializer to protect pcb list/hashtable iteration not running
  in netisrs.
- Don't use marker pcb, so except for the functions running in netisr0,
  no other functions will alter pcb list.

inpcb: Add pcblist sysctl helper function w/o using marker inpcb

udp: pcb list/hashtable protection stage 1/2

Use netisr barrier make sure that netisr will not iterating pcb list or
hashtable when adding or removing pcb

Add assertion that all UDP pru functions run in netisr0.

netisr: Add netisr barrier which stalls all netisrs

netisr_barrier_set()
  Set a netisr barrier, which stalls all netisr.  Currently it must be
  called from netisr0.

netisr_barrier_rem()
  Remove the netisr barrier, which unstalls all netisr.  Currently it
  must be called from netisr0.

These interfaces could be used to work out a lockless pcb lookup or
iteration (on network hotpath e.g. input/output) at the cost of
relatively expensive pcb adding and removing (e.g. connect(2)).

kernel - Revert last commit for a better upcoming fix

* Revert this fix, a better one is going to be committed soon.

kernel - Fix syncache vs close(listen_socket) race

* Attempt to fix a race where a listen socket is closed with an active
  syncache.  The tcpcb is detached prior to the syncache being destroyed
  resulting in a race where a new incoming connection can complete and
  attempt to dive the listen socket's tcpcb.

* Detach the tcpcb after the syncache is destroyed rather than before.

libc: Remove some unneeded inclusions of <sys/cdefs.h>.

Fix up <utmp.h> and <utmpx.h> for C++ programs.

__BEGIN_DECLS and __END_DECLS are absolutely needed around prototypes
so the functions can be called from C++ code (see the definition of
__BEGIN_DECLS in <sys/ctype.h>).

While here, put non-standard stuff in __BSD_VISIBLE instead of just
noting it in a comment.

This fixes at least x11/rxvt-unicode.

Tested-by: tuxillo

libc - Fix bogus pthread_getspecific() return value due to bug in nmalloc

* nmalloc was calling pthread_set_specific() prior to calling
  pthread_key_create(), causing it to use key 0 which might already
  have been allocated for other purposes.

* Reorder initializations in _nmalloc_thr_init() to solve the problem.

* This also solves certain application crashes (mail/milter-greylist).

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

icu: Split out icu/icu.c

icu: Put ICU_IMR_OFFSET into machine_base/icu/icu.h

ioapic/icu: Rework PIC selection code

- In the early stage, before I/O APIC is detected and setup, ICU controls
  interrupts, so all IDT entries should be set to ICU's intr code.
- Switch to I/O APIC only after ICU is completely disconnected, i.e. after
  IMCR is set and LINT0 is masked.

kernel - Have the crypto subsystem use the new mpipe_alloc_callback() API

* The crypto subsystem can deadlock on blocked mpipe operations while
  holding a CAM lockmgr lock.

* Change the subsystem to use the new mpipe_alloc_callback() mechanism,
  avoiding any deadlocks.

Reported-by: Peter Avalos <peter@theshell.com>

kernel - Add callback API for mpipe

* Add a callback API for mpipe which uses a dedicated kthread,
  allowing clients to avoid deadlocks related to held locks during
  strategy calls.

* Add mpipe_alloc_callback().  Use of this function also requires
  that MPF_CALLBACK be supplied to mpipe_init().

* Add mpipe_wait().  This function may be used for clients which
  which to roll their own mpipe retry loop (or already have their
  own thread(s) to deal with it in a safe manner).

cpu_sfence: Don't use sfence

As suggested by dillon@, it will create many unnecessary stalls

kernel - Run emergency interrupt handlers in critical section

* Handlers run from the emergency interrupt polling thread
  (kern.emergency_intr_enable=1) are now run inside a critical
  section, just like the normal interrupt thread runs its handlers.

* This may or may not help stability issues reported when emergency
  interrupt polling is enabled.

kernel - Fix parent process signaling race during exit

* Fix a lwpsignal race when an exiting child signals its parent
  while the child is in the process of being reparented to process 1
  (due to the parent itself exiting).

Reported-by: YONETANI Tomokazu <y0n3t4n1@gmail.com>

kernel - More sound kmalloc adjustments.

* All remaining kmalloc()'s switched to M_WAITOK.  None of these should be
  using M_NOWAIT.

kernel - More sound kmalloc adjustments.

* Numerous additional kmalloc()s should not be using M_NOWAIT.

kernel - Fix /dev/dsp failure after a few days of uptime

* Numerous kmalloc()s should not be using M_NOWAIT.

Submitted-by: Rumko <rumcic@gmail.com>

Revert "devfs: Populate si_umajor, too."

This reverts commit 2c2ab0446f99e9b6f7cae69d99b4491fdf60e6f3.

It was causing the read/write remount of the root filesystem
to fail upon booting. I'll investigate a better fix.

Reported-by: Rumko <rumcic@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1973>

Update build for file-5.05 import.

Merge branch 'vendor/FILE'

Import file-5.05.

fstat(1): Raise WARNS to 6 and fix all warnings.

fstat(1): Add devfs support.

lwkt_synchronize_ipiqs: Add volatile to cpumask

Mainly to make sure compiler will not over-optimize it.

i386: Add CPU_HAS_SSE2 and CPU_HAS_FXSR options

Currently:
CPU_HAS_SSE2 enables the use of lfence and mfence
CPU_HAS_FXSR enables the use of sfence

They should be better than the locked instruction.

devfs: Populate si_umajor, too.

Pointed-out-by: alexh

kernel cleanup: Remove unnecessary inclusion of machine/isa/intr_machdep.h

icu_init: Cleanup

intr: Function renaming

installer: Add /usr/pkg/etc to sources.conf.

Previously, the installer did not copy this directory due to it being
on a separate (read/write) mount point and cpdup not crossing mount
point boundaries.

This should also fix (for newly installed systems) the XML catalog
problems various people were reporting.

A better solution would be to make the installer's installation
function to take this case into account.

Reported-by: Pierre Abbat <phma@phma.optus.ru>

nrelease: Remove an old mk.conf in /etc.

Reported-by: Pierre Abbat <phma@phma.optus.ru>

style(9) - Properly indent function prototype arguments with 4 spaces.

Discussed-With: swildner, Studbolt, sjg

Merge branch 'master' of git://git.theshell.com/dragonfly

UPROTO_BOOT_KEYBOARD is already defined in usb.h as UIPROTO_BOOT_KEYBOARD

Apple usb keybord doesn't generate an interrupt for Fn key when set to boot protocol, as raw Fn code from this device (0x01) is already assigned to ErrorRollOver (see 'HID Usage Tables' specification) to report keboard status/errors.

This quirk avoids ukbd driver setting Apple usb keyboard in boot protocol
mode.

apic: Removed unused apic_eoi()

intr: Remove wrongly-coded nexus_config_intr()

ioapic: Support upto 192 IDT entries

intr: Enable 192 IDT entries in machine independent code

intr: Prepare to support 192 IDT entries; don't allow syscall to be taken.

pc32: Move ipl.s and ipl_funcs.c from isa/ to i386/

They are actually not ISA specific at all.

kernel: Remove some no longer used stuff in clock.c.

ext2fs: Remove some unused variables.

fifofs: Remove an unused variable.

kernel: Remove an unused variable.

kernel -- lockmgr debugging.

* Track exclusive lockmgr locks held by a thread in a per-td stack,
  td->td_lockmgr_stack[]. The stack also tracks the depth of the lockmgr
  recursion, if any.

* Move td->td_locks count from SIMPLELOCK_DEBUG to DEBUG_LOCKS; we have not
  used a simplelock to interlock lockmgr lock updates in a very long time.

nullfs: Remove a no longer used variable.

kernel -- tmpfs: Mark tmpfs_write MPSAFE.

Push down synchronization for tmpfs_write from VN to tmpfs. Note that
tmpfs_write still takes the MPlock.

Add /usr/pkg/bin to a few paths in our building infrastructure.

This allows the clang static analyzer to find perl and python when run
in conjunction with one of our build* targets.

bsd-family-tree: Sync with FreeBSD.

Sync zoneinfo database with tzdata2011a from elsie.nci.nih.gov

australasia:    8.20 -> 8.22
northamerica:   8.34 -> 8.39
Theory:         8.5  -> 8.6

* australasia: Simplification and gratuitous optimization of
    South Australia rules.

* northamerica: Changes to Hawaiian time history (from an article
    by Schmitt and Cox): abandoned local mean time in 1896 rather
    than 1900; used DST during World War II.

* Theory: Add section on scope of the database.

clock: Remove no longer used statclock_disable and related code

Clean up the cryptdisks rc script a bit.

* When checking for dm(4), redirect stderr to /dev/null, too.

* Clarify the failure message.

* Remove empty REQUIRE.

* Don't check for /sbin/cryptdisks being executable, just assume it is.

* Uniformly use TAB for indenting.

em/emx: Reserve 2 (instead of 1) TX descriptors for TX ring

Same as what Intel's Linux driver is doing.

kernel - Fix a case where a panic dump can stall

* Change pmap_kenter_temporary() to not use IPI messaging for SMP pmap
  invalidation.  Instead the caller must call smp_invltlb() (which uses
  a dedicate IPI vector).

* This appears to reduce instances where panic dumps can stall in the
  middle and fail to complete.

Reported-by: Numerous people

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel: Silence an unused variable warning.

kernel - stop cpus on panic whether the debugger is entered or not

* Stop cpus on panic regardless of the state of debug.debugger_on_panic.

* Cpus were previously only stopped when entering the debugger, causing
  unattended panics not entering the debugger to often cause secondary
  panics on other cpus and lockup entirely.

Switch back to using CSTD=gnu89 for a number of things again.

* gcc44's libobjc
* libc_r
* gprof(1)

pppd(8): Fix some CSTD=gnu99 fallout.

rcs(1): Raise WARNS to 2 and fix warnings.

While here, set has_sa_sigaction to 1 in conf.h.

libthread_xu: Raise WARNS to 5 and fix warnings.

sort(1): Raise WARNS to 2 and fix warnings.

Remove another 8k PAGE_SIZE test in vm_page.h.

manpages: Fix some more typos.

manpages: Fix some typos.

lwbuf.9: Remove trailing whitespace.

kernel - Conditionalize ipiq debugging

* Only print cm=... debug messages if ipiq_debug is enabled.

kernel - Fix lockup when debug.ktr.resynchronize is enabled

* The TSC resynchronization code can livelock the system due to the
  manual hard loops it runs to try to synchronize the TSC's on all
  cpus.

* Change the code to use the cpusync API.  It will be less accurate but
  it should no longer result in system livelocks.

kernel -- vm_page: Remove ifdef for 8K page size.

Remove sys/mplock2.h from more files.

Update token(9) removing MPSAFE flag and adding description to lwkt_token_init.

Remove mplock2.h include from files not using the mplock.

pf_socket_lookup: Don't domsg, which could easily lockup network system

pf_socket_lookup: lwkt_domsg is to be used, don't kmalloc the msg.

test - Make fsstress compile under x86-64

* Fix compile errors and warnings when compiling fsstress on x86-64

kernel - Remove mplock shims from global tokens

* cleanup (remove remaining sysctls).

kernel - Remove mplock shims from global tokens

* Remove the mplock safety shims from all global tokens.

* Remove the mplock flag and API arguments.  All tokens
  are now always MPSAFE.

HAMMER VFS - vfs.hammer.double_buffer adjustments

* Do not try to use the (currently broken) _vnode_validate() to
  validate de-dup data when double_buffer is turned on.  Use the
  device buffer cache instead.

ipflow: Use CPUMASK

kernel -- tmpfs: MPSAFE tmpfs_getattr.

Use the per-mount token to synchronize tmpfs_getattr.

Update lwbuf(9) manpage for recent lwbuf_alloc change.

kernel - Optimize the x86-64 lwbuf API

* Change lwbuf_alloc(m) to lwbuf_alloc(m, &lwb_cache), passing a pointer to
  a struct lwb which lwbuf_alloc() may used if it desires.

* The x86-64 lwbuf_alloc() now just fills in the passed lwb and returns it.
  The i386 lwbuf_alloc() still uses the objcache w/ its kva mappings.  This
  removes objcache calls from the critical path.

* The x86-64 lwbuf_alloc()/lwbuf_free() functions are now inlines (ALL x86-64
  lwbuf functions are now inlines).

kernel - Fix deadlock assertion panic with mmap/read combos

* Normally the uiomove() is called with the buffer locked.  When
  uiomove()ing into mmap'd memory this can cause a lock recursion and
  panic, or a deadlock.

* Fix the problem by adding bqhold() and bqdrop() and adjusting the use
  of the b_refs field to prevent the buffer from being invalidated,
  allowing VFS VOP_READ operations to release the buffer prior to the
  uiomove() into user memory.

* Adjust brelse() and getnewbuf() to do the right thing.  Note that there
  are two cases where b_refs can transition from 0->1.  The VFS
  release/uiomove case will only transition b_refs while the buffer is
  locked while findblk() will transition b_refs at any time (while holding
  the spin lock).  We only care about retaining the VM pages in the
  transition-during-locked case.

* Original problem reproducable with

  grep -r --mmap SomeString /usr/pkgsrc

Reported-by: YONETANI Tomokazu <qhwt.dfly@les.ath.cx>

kernel - Use atomic ops for devstat's ds->busy_count field.

* Use atomic ops to manage the busy_count field as these functions can
  be called MP.

* This should avoid negative busy_count transitions due to MP races on the
  field.

Reported-by: Peter Avalos <peter@theshell.com>

kernel: Some more style fixes.

cd9660: Style fix.

libc: Fix warnings fallout from the change to CSTD=gnu99.

groff: Raise WARNS to 1.

devd(8): Raise WARNS to 5 and fix a warning.

lib/libncp: Silence some warnings that cropped up with CSTD=gnu99.

compile_et(1): Set CSTD to gnu89 (compile_et(1) is in contrib/).