kernel - Fix MP races in recent vm_object work

* lwkt_token_swap() needs a critical section to ensure that an interrupt
  does not catch it mid-swap.

* Adjust vm_object_terminate() and vm_object_vnterminate() mechanics to
  require that the object be locked and to eat the lock.

* Use vm_object_hold/drop in vm_map_copy_entry() (object must be locked
  upon call to vm_object_collapse()).

* Acquire object locks in various places and swap the token order as
  needed to chain locks in various loops.

* Shift some code around in vm_object.c

kernel - make vm_add_new_page() static

* Make vm_add_new_page() a static function

kernel - Fix a 'vm_page_unhold: hold count < 0' panic in kern_execve()

* imgp->firstpage is preloaded with lwbuf storage but we failed to NULL
  it out on error, causing the code to later attempt to release a bogus
  lwbuf.

* Fixes a hold count panic on random vm_page's.

kernel -- vm: Mark vm_contig_pg_free and vm_contig_pg_kmap static.

Document lwkt_token_swap in token(9).

kernel -- Implement lwkt_token_swap; swaps most recent tokens in tokref stack.

kernel -- Remove vestigial token flags field.

x86_64/ioapic: Staticize ioapic_config()

x86_64/ioapic: Cleanup header inclusion

i386/mptable: Always dump MPTABLE PCI interrupt routing information

i386/lapic: lapic_map() should take vm_paddr_t instead of vm_offset_t

i386/madt: Cleanup interrupt source override processing

i386/acpi: Remove unnecessary headers

i386/lapic: Include <machine/smp.h> for smp_active_mask

kernel - Allow signal delivery via KQ even if the process SIG_IGN's the signal

Reported-by: swildner@

Move in6_addr's s6_addr16 and s6_addr32 definitions to __BSD_VISIBLE.

x86_64/mptable: Always dump MPTABLE PCI interrupt routing information

x86_64/lapic: lapic_map() should take vm_paddr_t instead of vm_offset_t

x86_64/madt: Cleanup interrupt source override processing

x86_64/acpi: Remove unnecessary headers

x86_64/lapic: Include <machine/smp.h> for smp_active_mask

world - Fix buildworld after ifnet changes

* Use the _KERNEL_STRUCTURES mechanic to conditionalize struct ifnet
  and related structures needed by buildworld.

Reported-by: matthiasr

kernel - Serialize ifioctl() with a mutex

* ifioctl() calls (aka via ifconfig) make various assumptions about the
  stability of certain data structures and can panic otherwise.  Concurrent
  calls to ifioctl via ifconfig can create inconsistencies in the ifnet
  structure.

* Rearrange the ifioctl() code into a fall-through modem, add a struct mtx
  to the ifnet structure, and acquire and release the mutex in ifioctl()
  to enforce stability relative to concurrent ifconfig/ioctl commands
  issued on the interface.

* Fixes a panic reproduced via a while(1):

  while (1)
  echo -n x
  ifconfig re0 inet6 fe80::201:2eff:fe31:5469%re0 &
  ifconfig re0 inet6 fe80::201:2eff:fe31:5469%re0 delete &
  sleep 0.1
  end

* May fix other related panics.

NOTE: This mutex does not protect internal data structures related to
      network operation.  It is currently being used strictly to serialize
      ifconfig style operations on the interface.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

<vm/vm_object.h>: Some little style cleanup.

kernel -- vm_object locking: Interlock vm_object work in vm_fault.c
and vm_map.c with per-object token. Handle NULL objects for _hold and _drop.

i386: Allow UP kernel to use LAPIC timer and I/O APIC

i386: Remove unnecessary #ifdef SMP from files compiled with options SMP

kernel: Add a final p_lock wait loop before kfree'ing the process

Since p_lock can be acquired during the process removal, there
needs to be a final wait loop after the proc has been removed
from all queues, just before the kfree(p).  It will be a very
rare case but it definitely can still occur if e.g. the SYSCTL_OUT
code blocks on a VM fault or something like that.

Requested-by: dillon@
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1996>

i386: Split mp_enable() into multiple SYSINITs

i386: Split cpu_startup() into pic_finish() and cpu_finish()

i386: Prepare mp_enable() for multi-stage procedure segmentation

i386: Move base_memory from mp_machdep.c to machdep.c

coretemp(4): Sync with FreeBSD.

kernel: Add rdmsr_safe() in preparation for the coretemp(4) update.

x86_64: Allow UP kernel to use LAPIC timer and I/O APIC

x86_64: Remove unnecessary #ifdef SMP from files compiled with options SMP

x86_64: Split mp_enable() into multiple SYSINITs

Each SYSINIT is put into the proper file.  Garbage collect mp_start()
and mp_enable().

kernel -- snp: Correct bug in snpfilter_detach().

Signed-off-by: Nathaniel Filardo <nwfilardo@gmail.com>
Submitted-by: Nick Prokharau <nickprok@gmail.com>

mandoc(1): Bump version.

Merge branch 'vendor/MDOCML'

Import mdocml-1.11.3

Fix the VKERNEL build.

Reported-by: Thomas Nikolajsen

Add manpages for mkcsmapper(1) and mkesdb(1) (taken from FreeBSD).

kernel/x86_64: Rename some macros to allow easier i386/x86_64 code sharing.

kernel: Remove an extra p_lock == 0 check

proc_remove_zombie() waits for p_lock to drop to zero before removing
the process off zombproc, so this assertion is not needed (any more).

Revert "kernel: Don't disturb about-to-be reaped zombies."

p_nthreads == 0 just means that the process's threads have all exited,
but not necessarily means it's about to be reaped.  We still want it
to show up in the ps or top in case it gets stuck during the exit.

Pointed-out-by: dillon@
This reverts commit 9458c398c0b97d30032a6541f8ab452cd93f5a86.

rl(4): Fix an old typo

If receiving buffer wrapping happens, the first size of copy should be the
size of the buffer at the end of the receiving buffer.

DragonFly-Bug: http://bugs.dragonflybsd.org/issue2083

acpi: Fix use-before-initialization bug

Reported-by: swildner@

kernel: Use cpu_vendor_id instead of strcmp(cpu_vendor, "...").

x86_64: Split cpu_startup() into pic_finish() and cpu_finish()

x86_64: Prepare mp_enable() for multi-stage procedure segmentation

kern: Prepare to split SI_BOOT2_SMP into multi-stages

x86_64: Move base_memory from mp_machdep.c to machdep.c

<libutil.h>: Allow it to be included standalone (fixes security/heimdal).

x86_64: Move int_to_apicintpin from mp_machdep.c to apic/ioapic_abi.c

acpi/pstate: Don't allow intermittent disappearance of _PSD

acpi/pstate: Support Integer _PSD

Standard _PSD should be package, while some buggy BIOSes will use Integer
for _PSD, e.g. Gigbyte's GA-H67MA-UD2H-B3.

Following template is used for Integer _PSD, after I have fiddled
around with the hw.acpi.cpu sysctl tree a little bit:
- Coordination is set to software all
- The integer of _PSD is taken as the power domain number
- The number of CPUs in the power domain is updated when new CPU in that
  power domain is seen

i386: Move int_to_apicintpin from mp_machdep.c to apic/ioapic_abi.c

intr: Call machintr_intren() only for hardware interrupts

manpages: Remove a bunch of unneeded Pp macros.

LINT64: Uncomment vinum(4) (only VINUMDEBUG whines).

acpi: Add a missing initialization.

If acpi_get_handle() failed, the code would try to AcpiOsFree() a
garbage devinfo.

Adjust some more to reflect the desired order of manpage prologue macros.

Revert a change that I accidentally committed but which is not ready yet.

manpages: Uniformly order the prologue macros by Dd/Dt/Os.

This is the most widely used order and it also silences warnings
in mandoc -Tlint output.

Remove binutils 2.17 build hierarchy from gnu/.

Remove binutils 2.17 from contrib/.

Remove binutils 2.17 remains via 'make upgrade'.

libthread_xu: Fix a typo and add a missing STATIC_LIB_REQUIRE().

Reported-by: Goetz Isenmann <gisenmann@web.de>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue2058>

edquota(8): Raise WARNS to 6.

i386: Move mp_naps from mp_machdep.c to machdep.c

install(1): Raise WARNS to 6.

kernel: Don't disturb about-to-be reaped zombies.

Processes in zombproc with p_nthreads == 0 are about to be reaped,
so just leave them in peace.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1996>

x86_64: Move mp_naps from mp_machdep.c to machdep.c

i386: Move imcr_present from mp_machdep.c to machdep.c

i386: Split out machine/mptable.h from machine/smp.h

i386: Remove no longer used interrupt vector declaration

i386: Set EBDA address even for UP

re(4): Correct EEPROM location for certain versions of 8168F/8168E-VL

re(4): Preliminary 8168F support

re(4): Add 8168DP support

re(4): Correct 8168E settings

sockstat(1): Fix a warning and raise WARNS to 6.

powerd: Take 'nice' into consideration

devattr.8: Add missing .El

frexp.3: Use .Eo/.Ec instead of .Bo/.Pc

mkinitrd.8: Remove blank line.

prop_{array,dictionary}_util.3: Add missing .Nd's.

bridge.4: Add missing .Bl/.El

x86_64: Move imcr_present from mp_machdep.c to machdep.c

x86_64: Split out machine/mptable.h from machine/smp.h

x86_64: Remove no longer used interrupt vector declaration

x86_64: Set EBDA address even for UP

acpi: Fix up the interrupt timer after enabling ACPI

So that the interrupt cputimer that is choked by ACPI power management
could be resurrected before probing various devices.

kernel/lapic: Remove the special handling for VMware w/ 1 CPU again.

I've done some further testing here and it looks like I was on the
wrong path when I reported it to sephe.

The problem seems to be a local one. It fails occasionally (SMP kernel
or not) when the ISO is on my file server, but always succeeds when
the ISO is on the disk of the box running VMware.

smp.4: Adjust the apic io tunable name to the preferred name.

ioapic: Alias hw.apic_io_enable with hw.ioapic_enable

kernel: Remove unused #include.

nrelease/installer: No longer build and offer separate UP and SMP kernels.

Due to sephe's recent work, SMP kernels should boot on UP machines as
well. This is to give his work more exposure.

Also remove the (now redundant) *_SMP configs.

In-discussion-with: sephe

Put 'options SMP' in our standard GENERIC and X86_64_GENERIC configs.

Due to sephe's recent work, SMP kernels should boot on UP machines as
well. This is to give his work more exposure.

While doing this, remove the no longer needed APIC_IO options from
all configs (it is 1 by default since commit ed4d621d) and comment
'options SMP' in the LINT* configs so the still existing UP code
paths are still build-tested.

In-discussion-with: sephe