lib: Move the definition of WARNS into lib/Makefile.inc.

libncp: Fix format.

libc/csu: Include <machine/tls.h> for some prototypes.

ioapic/icu: Add irqmap

intr: Enable ELCR by default

libc: Raise WARNS to 6.

kernel - adjust devfs mount point according to init_chroot loader variable

/dev is mounted before /sbin/init is executed, so when it chroot() itself
and execute the shell, the chroot()'ed space doesn't contain the mounted
devfs inside it and the shell gets stuck.

<cpu/ieeefp.h>:  Use single-underscore instead of double.

This prevents conflicts for when someone decides to #include <fenv.h>
and <cpu/ieeefp.h>.

<cpu/ieeefp.h>: Sync i386 with x86_64.

The i386 fpget*() and fpset*() functions were obfuscated, and this
change reduces complexity and makes all the fp*() functions inline.

Update comments.

Obtained-from: FreeBSD

kern - aio - Add missing flags to objcache_get()

kern - Convert NFS from zalloc to objcache

Sponsored-By: Google Code-In

kern - Convert crypto from zalloc to objcache

Sponsored-By: Google Code-In

kern - Convert aio from zalloc to objcache

Sponsored-By: Google Code-In

kern - Convert ufs dirhash from zalloc to objcache

Sponsored-By: Google Code-In

HAMMER VFS - Fix deadlock which can occur under severe filesystem pressure

* Inode reflushes (a fsync occuring while the inode is still queued for
  a prior fsync) were not ensuring that the inode got pushed to the backend
  flusher.

  This could lead to deadlocks when the process trying to issue the flush
  is the syncer itself.

* The problem typically occured under filesystem loads where a large number
  of inodes (aka due to a bulk build) are being flushed at once, and the
  flush is unable to finish running before the next syncer cycle comes
  around.

kernel - Add missing vm_page_wakeup()

* Fix a long-standing issue where a VM page is improperly left PG_BUSY
  when vm_page_try_to_cache() races the Modified bit in underlying PTEs.

* This could only occur during periods of severe memory pressure and
  would typically lead to a program getting stuck in "pgtblk".

Reported-by: Peter Avalos <peter@theshell.com>

ps - Adjust field widths

* Reduce VSZ, RSS, RSZ by one (its still wider than the original but now
  only 6 digits).  We will have to come up with another way to represent
  process sizes >= 1GB.

* Reduce the tty column to 2 chars

ps - Support unix98 ttys for -t

* Support numeric ttys, e.g. ps xt5 specifies tty /dev/pts/5

vkernel64 - Raise the memory requirements to 64MB.

vkernel - Avoid appending the error message in some cases.

kern - Clarify the description of hw.physmem.

vm - Correct sysctl output formatting for kvm_size and kvm_free

kern - Properly return the number of bytes in hw.physmem sysctl.

- Changed physmem from int to long, now it can hold a
  really high number of pages.
- Return an unsigned long value with appropiate formatting
  for hw.physmem.
- Add description for it.

Based-upon: FreeBSD

kernel - Add options VM_PAGE_DEBUG

* Add options VM_PAGE_DEBUG for kernel configs.  This requires a full kernel
  rebuild (if you use the option) and supplies additional information in
  the vm_page structure to help track down problems.

ieeefp.h: Remove i386 specifics.

Move the contents of <machine/floatingpoint.h> to <machine/ieeefp.h> for
i386 to match x86_64.

While I'm here, mark which versions of these files we have for x86_64.

Obtained-from: FreeBSD

style(9): Remove whitespace.

fenv: Explicitly specify sizes for control and status words.

Obtained-from: FreeBSD

libc - fix handling of temporary file used by hash(3)

This fixes applications using DB_HASH, such as tsort, to unexpectedly
try to open a temporary file in the current directory and fail if it
has no write permission there.

Obtained from FreeBSD, r190485, by delphij:

  db/btree/bt_open.c: check return value of snprintf() and return value
  if the result is truncated.

  db/hash/hash_page.c: use the same way to create temporary file as
  bt_open.c; check snprintf() return value.

  Obtained from:  OpenBSD

Build our GCCs with CSTD=gnu89.

This fixes building of the GCCs using gcc44.

Reported-by: Max Herrgard <herrgard@gmail.com> and others
Submitted-by: Max Herrgard <herrgard@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1978>

kernel - Fix physmap base calculation for x86-64

Reported-by: luxh, tuxillo

kernel - migrate knote from zone to kmalloc

acpi(4): Always compile the files dealing with ACPI_DEBUG into the module.

Before this commit, one had to define ACPI_DEBUG as a make variable to
enable debugging support in the module, such as in:

$ make -DACPI_DEBUG buildkernel

Specifying ACPI_DEBUG in the kernel config alone did not enable it, but
our modules are supposed to honor kernel options. Also this was contrary
to what the manual page says.

So to make this work for ACPI_DEBUG too, we just put all the affected
source files into SRCS and always compile them. #ifdef's in these
source files will take care of enabling/disabling debugging support
so a module compiled without ACPI_DEBUG defined in the kernel or on the
command line will still not have support after this commit (I've checked
with nm(1)).

The only change for someone not using ACPI_DEBUG is a little bit of
additional buildkernel time.

FWIW, it is the same way in FreeBSD, too.

Reported-by: Andrea Magliano <masterblaster@tiscali.it>

intr: Further delay MachIntrABI.finalize()

It only affects SMP case.  For ICU, it will be better if finalize()
is called after IMCR detection is done, though on most modern systems
IMCR does not exist.  For I/O APIC, finalize() _should_ be called
after BSP's LAPIC is initialized, since it alters BSP LAPIC's LINT0
and LINT1 configuration.

Add stabilize() ABI to MachIntrABI which is only implemented by ICU
currently and this ABI is called in the place where finalize() used
to be called.

ioapic: File renaming (apic -> ioapic)

icu: Add icu/icu_abi.h

Mainly to avoid manually declaring MachIntrABI_ICU

ioapic: Function/variable renaming (apic -> ioapic)

apic_initialize: Adjust comment

powerd - Do a more sophisticated domain scan, use kern.usched_global_cpumask

* Do a more sophisticated domain scan, cpu domains do not necessarily start
  at 0.

* Handle the case where multiple cpus may belong to a single domain.

* Dynamically adjust kern.usched_global_cpumask to the number of cpus we
  are running at max frequency, leaving the remaining cpus set at their
  lowest frequency and left mostly idle.

* Tested on the 48-core monster and phenom x 6.

kernel - Add kern.usched_global_cpumask

* Add sysctl kern.usched_global_cpumask, a global cpumask that restricts
  which cpus userland processes are allowed to run on.  This sysctl may be
  set dynamically.

* NOTE: This sysctl is intended to be used by powerd.  Setting it manually
  will only work properly if powerd is not running.

pf: Fix typo in pf_mask_del()

Reported-by: Jan Lentfer <Jan.Lentfer@web.de>
Noticed-by: Joe Talbott <josepht@cstone.net>

kernrl: Fix LINT building for recent rn_inithead API change

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>

ps - Increase selected field widths

* Increase field widths for STAT, XSTAT, VSZ, RSS, and RSZ to accomodate
  more typical program run sizes and to accomodate systems with more than
  10 cpus.

kernel64 - Greatly reduce memory probe times, remove basemem calculation

* Greatly reduce memory probe times by testing in multiples of 128K instead
  of multiples of 4K.  Also add cpu_mfence() instructions to flush the
  cpu store buffer.

  This greatly reduces the startup time for x86-64 on monster machines
  with lots of memory (tested w/64G).

* Remove the basemem calculation, it is no longer used.

pc32: Split out isa_intr.h and move isa/intr_machdep.h to include/

pc64: Split out isa_intr.h and move isa/intr_machdep.h to include/

intr: Add ELCR support

This device controls/shows ICU pin's trigger mode (level/edge).

Currently, it is not enabled by default.

Obtained-from: FreeBSD (jhb@freebsd.org)

radix: Fix the non-per-cpu radix tree usage.

- Install a mask radix tree in each radix tree, while, mask radix tree does
  not have mask radix tree (of course).
- rn_cpumaskhead() is added to provide the global per-cpu mask radix tree.
- rn_inithead() requires a mask radix tree as paramter.  Mask radix tree is
  initialized by passing NULL.  INET/INET6/ATALK pass the mask radix tree
  obtained from rn_cpumaskhead(), i.e. the old sementics.
- pf(4) now creates its own mask radix tree, and all of its internal radix
  trees will use that mask radix tree instead of the global per-cpu mask
  radix tree.  pf(4) radix tree operations are protected by its own token.
- rn_addmask() requires a mask radix tree, instead of using the global
  per-cpu mask radix tree.  For most cases, the caller has access to the
  radix tree that has a mask radix tree installed.  For _rtmask_lookup(),
  which is always called from route_output(), we could safely assume that
  global per-cpu mask radix tree is used.

This is mainly used to fix the following bug concerning global per-cpu
mask radix tree:
Before this commit, pf(4) could create mask on CPU0's mask radix tree,
while the deletion of the mask happens on other CPUs, which results pf(4)'s
radix tree operation to fail (can't locate the mask).

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1969
Root-cause-found-by: Jan Lentfer <Jan.Lentfer@web.de>

kernel64 - Fix disabled interrupts during dbg/bpt trap

* Interrupts were left improperly disabled during a dbg or bpt trap.
  i386 enables interrupts for these traps.  x86-64 needs to as well
  or it will hit an assertion in lwkt_switch() under certain circumstances.

* Make debug code in lwkt_switch() also require INVARIANTS to function.

  NOTE: This is temporary debug code and should be removed at some point
  after 48-core testing is complete.

kernel - Fix SMP assumption of at least 2 cpus w/TCP

* TCP was assuming at least 2 cpus on SMP builds and would panic if only
  1 cpu was available.

* Fix by testing ncpus even for SMP builds.

* This problem did not effect UP builds.

kernel - Fix stall after mountroot w/ SMP & ncpus == 1

* Fix a degenerate case for SMP builds when ncpus == 1.  This effects
  both the vkernel and the normal kernel (when a SMP kernel is booted
  on a non-SMP box which has a LAPIC).

  The init process was not bring scheduled properly.

vkernel - Fix lwbuf build error for vkernel64

* Fix a compile error that was preventing vkernel64's from building.

Turn off all warnings when compiling gdtoa sources.

Obtained-from: FreeBSD

Merge branch 'vendor/GDTOA'

Remove unneeded files from contrib/gdtoa.

Add a README.DELETED while I'm here.

kernel options: Add MCLSHIFT

So on the system w/o wireless NICs, we could configure MCLBYTES to 2K
(options MCLSHIFT=11) instead of the default 4K

netisr barrier: Prevent netisr_barrier_dispatch() from false wakeup

- Change wait states into wait flags, only test NOTDONE flag when
  being woken up.
- Simplify wakeup logic.

With-help-from: dillon@

Import gdtoa-20101105.

netisr barrier: Avoid lockless wakeup/tsleep race

Add a waiting state (NETISR_BR_WAITDONE), before it is set wakeup()
will not be called.  And use atomic_cmpset_int() to do the state
transition.

With-help-from: dillon@

netisr: Make sure that netisr barrier's done is globally visible

netisr: Make netisr barrier's done and cpumask volatile

So that the assignment to these two variables and the following wakeup()
will not get reordered.

tcp6: Set TF_SYNCACHE properly in tcp6_usr_listen()

tcp: Make listen(2) socket close(2) MPSAFE

- Cleanup the syncache entries on each CPU for this inp.
- Before whacking the inp, we unhook the inp wildcard hash and cleanup
  its syncache entries by using a synchronized message.
- Fix up comment.

Reported-by: pavalos@
DragonFly-bug: http://bugs.dragonflybsd.org/issue1960

tcp_usr_listen: Use domsg when duplicate listen socket's inp wildcard hash

This makes sure that the each protocol threads sees the socket when
tcp_usr_listen() returns.

tcp: Don't abuse TF_SYNCACHE to ill-optimize syncache_destroy()

- We now turn on TF_SYNCACHE when listen(2) is called.
- When a listen(2) socket is to be close(2), the syncache list on the
  current CPU is thoroughly iterated and all related syncache are marked
  to be dropped instead of the first syncache.

udp6: Protect udbinfo by udbinfo barrier

inpcb: Save UDP inpcb into temporary memory during in_pcblist

The temorary memory is used later to do the SYSCTL_OUT without
the udbinfo serializer being held.  Mainly to avoid deadlock
triggered by holding serializer and copyout.

Reminded-by: dillon@

udp_getcred: Release serializer when doing SYSCTL_OUT

Mainly to avoid deadlock during copyout

Reminded-by: dillon@

udp: pcb list/hashtable protection stage 2/2

- Use serializer to protect pcb list/hashtable iteration not running
  in netisrs.
- Don't use marker pcb, so except for the functions running in netisr0,
  no other functions will alter pcb list.

inpcb: Add pcblist sysctl helper function w/o using marker inpcb

udp: pcb list/hashtable protection stage 1/2

Use netisr barrier make sure that netisr will not iterating pcb list or
hashtable when adding or removing pcb

Add assertion that all UDP pru functions run in netisr0.

netisr: Add netisr barrier which stalls all netisrs

netisr_barrier_set()
  Set a netisr barrier, which stalls all netisr.  Currently it must be
  called from netisr0.

netisr_barrier_rem()
  Remove the netisr barrier, which unstalls all netisr.  Currently it
  must be called from netisr0.

These interfaces could be used to work out a lockless pcb lookup or
iteration (on network hotpath e.g. input/output) at the cost of
relatively expensive pcb adding and removing (e.g. connect(2)).

kernel - Revert last commit for a better upcoming fix

* Revert this fix, a better one is going to be committed soon.

kernel - Fix syncache vs close(listen_socket) race

* Attempt to fix a race where a listen socket is closed with an active
  syncache.  The tcpcb is detached prior to the syncache being destroyed
  resulting in a race where a new incoming connection can complete and
  attempt to dive the listen socket's tcpcb.

* Detach the tcpcb after the syncache is destroyed rather than before.

libc: Remove some unneeded inclusions of <sys/cdefs.h>.

Fix up <utmp.h> and <utmpx.h> for C++ programs.

__BEGIN_DECLS and __END_DECLS are absolutely needed around prototypes
so the functions can be called from C++ code (see the definition of
__BEGIN_DECLS in <sys/ctype.h>).

While here, put non-standard stuff in __BSD_VISIBLE instead of just
noting it in a comment.

This fixes at least x11/rxvt-unicode.

Tested-by: tuxillo

libc - Fix bogus pthread_getspecific() return value due to bug in nmalloc

* nmalloc was calling pthread_set_specific() prior to calling
  pthread_key_create(), causing it to use key 0 which might already
  have been allocated for other purposes.

* Reorder initializations in _nmalloc_thr_init() to solve the problem.

* This also solves certain application crashes (mail/milter-greylist).

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

icu: Split out icu/icu.c

icu: Put ICU_IMR_OFFSET into machine_base/icu/icu.h

ioapic/icu: Rework PIC selection code

- In the early stage, before I/O APIC is detected and setup, ICU controls
  interrupts, so all IDT entries should be set to ICU's intr code.
- Switch to I/O APIC only after ICU is completely disconnected, i.e. after
  IMCR is set and LINT0 is masked.

kernel - Have the crypto subsystem use the new mpipe_alloc_callback() API

* The crypto subsystem can deadlock on blocked mpipe operations while
  holding a CAM lockmgr lock.

* Change the subsystem to use the new mpipe_alloc_callback() mechanism,
  avoiding any deadlocks.

Reported-by: Peter Avalos <peter@theshell.com>

kernel - Add callback API for mpipe

* Add a callback API for mpipe which uses a dedicated kthread,
  allowing clients to avoid deadlocks related to held locks during
  strategy calls.

* Add mpipe_alloc_callback().  Use of this function also requires
  that MPF_CALLBACK be supplied to mpipe_init().

* Add mpipe_wait().  This function may be used for clients which
  which to roll their own mpipe retry loop (or already have their
  own thread(s) to deal with it in a safe manner).

cpu_sfence: Don't use sfence

As suggested by dillon@, it will create many unnecessary stalls

kernel - Run emergency interrupt handlers in critical section

* Handlers run from the emergency interrupt polling thread
  (kern.emergency_intr_enable=1) are now run inside a critical
  section, just like the normal interrupt thread runs its handlers.

* This may or may not help stability issues reported when emergency
  interrupt polling is enabled.

kernel - Fix parent process signaling race during exit

* Fix a lwpsignal race when an exiting child signals its parent
  while the child is in the process of being reparented to process 1
  (due to the parent itself exiting).

Reported-by: YONETANI Tomokazu <y0n3t4n1@gmail.com>

kernel - More sound kmalloc adjustments.

* All remaining kmalloc()'s switched to M_WAITOK.  None of these should be
  using M_NOWAIT.

kernel - More sound kmalloc adjustments.

* Numerous additional kmalloc()s should not be using M_NOWAIT.

kernel - Fix /dev/dsp failure after a few days of uptime

* Numerous kmalloc()s should not be using M_NOWAIT.

Submitted-by: Rumko <rumcic@gmail.com>

Revert "devfs: Populate si_umajor, too."

This reverts commit 2c2ab0446f99e9b6f7cae69d99b4491fdf60e6f3.

It was causing the read/write remount of the root filesystem
to fail upon booting. I'll investigate a better fix.

Reported-by: Rumko <rumcic@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1973>

Update build for file-5.05 import.

Merge branch 'vendor/FILE'

Import file-5.05.

fstat(1): Raise WARNS to 6 and fix all warnings.

fstat(1): Add devfs support.

lwkt_synchronize_ipiqs: Add volatile to cpumask

Mainly to make sure compiler will not over-optimize it.

i386: Add CPU_HAS_SSE2 and CPU_HAS_FXSR options

Currently:
CPU_HAS_SSE2 enables the use of lfence and mfence
CPU_HAS_FXSR enables the use of sfence

They should be better than the locked instruction.

devfs: Populate si_umajor, too.

Pointed-out-by: alexh

kernel cleanup: Remove unnecessary inclusion of machine/isa/intr_machdep.h

icu_init: Cleanup

intr: Function renaming

installer: Add /usr/pkg/etc to sources.conf.

Previously, the installer did not copy this directory due to it being
on a separate (read/write) mount point and cpdup not crossing mount
point boundaries.

This should also fix (for newly installed systems) the XML catalog
problems various people were reporting.

A better solution would be to make the installer's installation
function to take this case into account.

Reported-by: Pierre Abbat <phma@phma.optus.ru>