kernel - Implement QUICKHALT shortcut for unmounting during shutdown

* Add the MNTK_QUICKHALT flag which allows the system to just unlink but
  otherwise ignore certain mount types during a halt or reboot.  For now
  we flag tmpfs, devfs, and procfs.

* The main impetus for this is to reduce the messing around we
  do with devfs during a shutdown.  Devfs has its fingers, and its
  vnodes, prettymuch sunk throughout the system (e.g. /dev/null, system
  console, vty's, root mount, and so on and so forth).  There's no
  real need to attempt to unwind all of that mess nicely.

devfs - Fix a few more issues (3)

* devfs_unlinkp() was improperly setting node->v_node to NULL,
  which messes up certain interlocks for race avoidance.

* Use vhold()/vdrop() instead of vref()/vrele() to prevent
  vnode destruction during node teardown.  The node can be
  torndown with an unreferenced vnode.  vref() will panic if
  the refcnt is not already > 0.

* Refactor devfs_vop_reclaim() a bit.  Do not interpose the
  v_release_rdev() call between the node check and the call
  to devfs_freep().

kernel - Fix deadlock during halt/reboot

* Fix a deadlock which occurs between udev and devfs.  udev
  must issue devfs_clone_bitmap_put() outside of the udev_lk.

* Fixes numerous shutdown/reboot deadlocks.

devfs - Fix a few more issues (2)

* The devfs_freep() issues were more extensive then originally
  determined.  There was another race, primarily due to some
  vnodes (related to unlinked devfs nodes) getting torn down
  before aliases during umount.

* Add another flag and adjust the code to not free the node
  structure until all link references (nlinks) have gone
  away.

* Also refactor locking and sequencing to further bullet-proof
  vnode reclaims vs devfs_freep()'s.

pc64 - Improve TSC and LAPIC timer calibration code.

* The hw.tsc_calibrate_test=1 and hw.lapic_calibrate_test=1 tunables can
  be specified to test results of the calibration for different delays
  (from 100 milliseconds to 2 seconds in 100 millisecond steps).

* With this change the TSC and LAPIC calibration each should take only
  200 milliseconds, instead of the original 1 second and 2 second delays.

* This change tries to make the TSC calibration more exact, by averaging
  the TSC values from before and after reading the timer. By sampling the
  latency of reading the (HPET) timer, we can make sure that the start and
  end measurements of TSC and the (typically HPET or i8254) timer didn't
  get interrupted (e.g. by an SMI on hardware, or by the host when running
  virtualized), and filter out those outliers.

* Additionally for the TSC calibration the new code does 2 measurements at
  the start and end of the delay time, separated by 20 milliseconds. This
  should make results even more consistent.

* The hw.calibrate_tsc_fast=0 tunable can be set, to revert to the old TSC
  calibration code.

* Use the TSC to calibrate the LAPIC timer, when the TSC is invariant.
  Although this indirect calibration might accumulate inaccuracies, this
  still seems better. Since the TSC runs very fast, we can get a very
  accurate value in 200ms or even less.
  To forcibly disable the TSC based LAPIC calibration, set the
  hw.lapic_calibrate_fast=0 loader tunable.

* The fallback (without using the TSC) LAPIC calibration is slightly
  improved, by measuring the sysclock timestamp at the start and end of the
  measurement explicitly with sys_cputimer->count(). Also the lapic timer is
  explicitly read after starting the countdown.
  It also proves to be useful in at least some virtualization environments
  (e.g. QEMU with TCG emulation), to do some LAPIC timer access before
  actually measuring anything.

* The HPET and LAPIC mmio read accesses are no barrier for Intel and AMD
  cpus. So we explicitly have to avoid out-of-order execution of the rdtsc()
  call that follows the sys_cputimer->count(), by using rdtsc_ordered()
  which uses lfence or mfence on Intel and AMD CPUs respectively.

acpi_hpet - Implement early HPET initialization for TSC calibration.

pc64 - Allow for initializing other cputimers than i8254 in early boot.

A little mdoc cleanup in 3 manual pages.

dm - synchronize disk info before returning

* DM now issues a disk_config(NULL) after setting up the disk info
  in order to wait for the probe to complete, otherwise callers
  may race trying to open() the disk device before it is actually
  ready.

* Fixes cryptsetup luksOpen errors which occur due to probe races,
  typically when used in a VM or qemu.

Reported-by: Aaron LI

iwm - Improve firmware Time Event handling.

* This is a mix of the OpenBSD Git 7fd9664469d1b717a307eebd74aeececbd3c41cc
  change, and syncing with the Linux iwlwifi code.

Taken-From: Linux iwlwifi, and OpenBSD

<sys/mutex2.h>: Fix build without INVARIANTS.

Reported-by: ivadasz

iwm - Avoid Tx watchdog timeout, when dropping a connection.

iwm - Track firmware state better, and improve handling in iwm_newstate().

* This avoids firmware resets in all the cases in iwm_newstate(). Instead
  iwm_bring_down_firmware() is called, which tears down all the STA
  connection state, according to the sc->sc_firmware_state value.

* Improve the behaviour of the LED blinking a bit, so it only blinks when
  there really is a wireless scan going on.

* Print the newstate arg in debug output of iwm_newstate(), to help in
  debugging.

This is inspired by the firmware state maintaining change in OpenBSD's iwm, by
stsp@openbsd.org (OpenBSD Git 0ddb056fb7370664b1d4b84392697cb17d1a414a).

systat - Fix '?' suffix case for dirtybufspace reporting

* Dirtybufspace (dirtyb) reporting sometimes showed a '?'
  because put64() didn't know how to upgrade 'k'.  Using 'K'
  solves the problem.

devfs - Fix a few more issues

* Fix a devfs_freep() race.  VOP_RECLAIM generated by unrelated
  system load (such as a 'du' which causes vnodes to recycle quickly)
  can race a node teardown because devfs_freep() temporarily unlocks
  devfs_lock across a vnode op.

* Instead of asserting, use the DEVFS_DESTROYED flag to check
  for the race.  The state will be stable for this particular race
  due to the vnode lock.

Reported-by: multiple

devfs - Fix a few issues

* Report when an attempt is made to add a device node under a
  non-directory device node.

* devfs_freep() no longer asserts if the node is not linked.
  It's ok for the node to not be linked.  It still asserts on
  double calls to devfs_freep().

* Clean up nlinks during normal removals of nodes.

* Also iterate and remove orphan nodes on unmount.

* Misc syntax cleanups.

kernel - Fix udev devfs leak and possible panic

* udev was trying to add cloned nodes under /dev/udev, but /dev/udev
  is not a directory.

* Leave /dev/udev alone and put the cloned nodes under /dev/udevs/%d.

* Fixes 'X leaked device nodes' from devfs, particularly when mounted
  inside jails.

* Might also fix occassional devfs related panics.

hammer2 - Recover errornous lost flag (2)

* Also ensure the recovery pass is executed when remounting RW.

hammer2 - Recover errornous lost flag

* Add a scan of the PFS root inodes which fixes any missing
  HAMMER2_BREF_FLAG_PFSROOT bref flags.

Update files for libpcap-1.8.1 import

Merge branch 'vendor/LIBPCAP'

Conflicts:
contrib/libpcap/scanner.l

Import libpcap-1.8.1.

See CHANGES for the details.

efisetup - Use hammer2

* Adjust efisetup to use hammer2 instead of hammer1

kernel - Improve spinlock performance

* Primarily improve spinlock performance when transitioning
  from an exclusive to a shared lock by allowing atomic_fetchadd_int()
  to be used instead of atomic_cmpset_int().

* Also clean up a few remaining atomic_cmpset_int() cases that
  can use atomioc_fcmpset_int() instead.

Suggested-by: mjg

kernel - Clarify vsyncscan() operation

* Clarify vsyncscan() operation.

kernel - Fix rare race in mutex ownership transfer

* Fix cases where competing mutexes can get confused over ownership,
  due to the mutex code not properly NULLing out the field in
  certain situations.

hammer - Fix bugs, fix serious snapshot bug, flush adjustments

* Make sure we only flush the volume header for a general sync request
  and not for a fsync() on /.

* Fix more lock order reversals when translating directory entries
  to inodes.

* Separate out spmp elements into their own list to make umount ordering
  easier.

* Flush in three stages.

  (1) flush dirty filesystem inodes
  (2) flush PFS meta-data topology up to the filesystem inodes.
  (3) flush the volume root and its meta-data up to the PFS inodes.

  This is staging for later sync concurrency improvements.

* Fix a bug where creating enough snapshots (more than 4 total PFSs)
  causes some PFSs to lose an important flag in their blockref, which
  causes flushes to stop working properly on that PFS.

hammer2 - More involved refactoring of chain_repparent, cleanup

* Remove unused locking flags (remove the NOLOCK and NOUNLOCK
  features).

* Add HAMMER2_RESOLVE_NONBLOCK to hammer2_chain_lock() for use
  only by hammer2_chain_getparent() and hammer2_chain_repparent().

* Refactor hammer2_chain_getparent() and hammer2_chain_repparent().
  Add a hot-path that uses HAMMER2_RESOLVE_NONBLOCK.  If this fails
  we now do a much more involved tracking operation via 'reptrack'
  to deal with races against indirect block deletions.

* Cleanup the copyright messages.

* Fix an issue where a sync could be held-up indefinitely by
  ongoing overlapping modifying operations.

* Install a proper initial inode count when creating a snapshot.

* Fix a deadlock in checkdirempty().  A chain lock was winding
  up being ordered incorrectly.

hammer2 - Refactor LRU chain recycling

* Refactor LRU chain recycling by allowing a chain to remain on the
  LRU even if it gets referenced again.  This will be detected and
  handled properly if the LRU tries to recycle the chain.

* Improved LRU performance by avoiding unnecessary global-ish spinlocks.

* Also fixes a rare flagging/list race.

hammer2 - Flush asynchronization, bug fixes, stabilization (2)

* Add the HAMMER2_INODE_DIRTYDATA flag and use it to interlock
  clearing the vnode's dirty flag.

hammer2 - Flush asynchronization, bug fixes, stabilization

* Better-asynchronize the flush (sync) code.  Generally split flushing
  of inodes and flushing of topology above the inodes such that we can
  flush the inodes inside a normal transaction.

  This leaves only the topology flush in the flush transaction (which
  locks out all other modifying transactions).  Concurrent read/write/
  flush performance is significantly improved.

* Fix numerous bugs in the inode tracking code where the chain topology
  under an inode could wind up remaining in a modified state when the
  vnode is in a clean state.  This could cause hefty 'sync' latency on
  clean trees (that had already been flushed).

* Fix numerous bugs in the handling of lost parent links, which occurs
  due to locking races primarily when indirect blocks have to be
  inserted or deleted.

* Deleted-chain sub-topology tracking had some issues which could lead
  to chain's being lost, resulting in malloc complaints on umount.

* Rename a few H2 sysctl variables for readability.

* Adjust the "dumpchain" debugging directive to allow us to trace
  the ONFLUSH topology.

objformat(1): Fix comment in the Makefile.

libipsec: Using snprintf() to append to a buffer is not valid in C99.

This silences a gcc80 -Wrestrict warning.

Reported-by: zrj
Taken-from:  FreeBSD (r216369)

kernel/usb4bsd: Sync the quirks with FreeBSD.

Might be we don't yet properly support every device that some of
these quirks are for.

Update the pciconf(8) database.

March 6, 2018 snapshot from https://pci-ids.ucw.cz

dialog(1): Use ${} uniformly.

export.5: Bump .Dd

mountd(8): Fix several more warnings, raise WARNS to 3

exports.5: network prefixlength (CIDR) format is supported

Also take various minor fixes from FreeBSD.

mountd(8): Fix a type mismatch and several compilation warnings

The char ** type mismatch is taken from FreeBSD r292864

mountd(8): Replace malloc+strcpy with strdup/strndup

Taken-from: FreeBSD r324007,r324014

mountd(8): Change default uid/gid to nobody/nogroup (65534/65533)

The default values found in /etc/passwd and /etc/group are 65534, 65533.
In mountd.c, the defaults were -2, which was 65534 back when uid_t was 16bits.
Without this patch, a file created by root on an NFS exported volume without
the "-root=" export option will end up owned by uid 4**32 - 2.
When discussed on freebsd-current@, it seemed that users preferred the
values being changed to 65534/65533.
I have not added code to acquire these values from the databases, since
the mountd daemon might get "stuck" during startup waiting for a non-responsive
password database server.

Taken-from: FreeBSD usr.sbin/mountd/mountd.c r318262

mountd(8): Fix conversion of prefix length to a netmask

Taken-from: FreeBSD usr.sbin/mountd/mountd.c r219125

test - Fix fsx build

* Fix the 'install' target so it works as intended.

Add references to mount_hammer2.8 in a few manual pages.

ps.1: Update FILES section a bit.

mtree: Remove BSD.local.dist.

The (d)ports framework uses its own Templates/BSD.local.dist.

Discussed-with: zrj

etc/periodic: Add more xz(1)/zstd(1) support.

periodic/security/800.loginfail: Add xz(1) and zstd(1) support.

periodic.conf.5: Document two more variables.

kernel - Remove minidump debugging

* Remove minidump debugging "pdp %04x..." lines.  Minidump fixes have
  been well tested at this point.

periodic: Sync with FreeBSD current

* Sync periodic scripts, periodic.conf, periodic.conf.5 with FreeBSD
* The "{daily,weekly,monthly}_status_security_<var>_enable" variables are
  changed to be "security_status_<var>_enable" and
  "security_status_<var>_period" (daily, weekly, monthly).
* Keep DFly-specific settings (e.g., HAMMER and HAMMER2 related)
* Ignore the FreeBSD-specific things, e.g., ZFS, GEOM

rc.d/accounting: Sync with FreeBSD

Prepare to sync periodic with FreeBSD

periodic: Remove obsolete daily/status-named and weekly/clean-kvmdb

periodic: Remove already disabled monthly statistics report

The up-to-date tool can be obtained from DPorts: sysutils/bsdstats

To sync with FreeBSD

periodic(8): Sync with FreeBSD current

cryptsetup(8): Revert part of 0482a033108. We got mlockall().

initrd/oinit: chdir to the new root before chroot to it

chroot(2) doesn't change the working directory of the current process,
therefore a single chroot(2) to a new root (during the early boot with
encrypted root) causes getcwd(3) fail, which further causes problems for
some rc scripts.

For example:
Without this fix, and by placing a 'echo "PWD=`pwd`"' to the beginning
of /etc/rc, the following messages were logged on the console:
Mar 12 10:40:28 dfly kernel: pwd: .: No such file or directory
Mar 12 10:40:28 dfly kernel: PWD=

Another example with "unbound" rc start:
Mar  3 09:28:11 dfly kernel: Obtaining a trust anchor:
Mar  3 09:28:11 dfly kernel: _su: No such file or directory
Mar  3 09:28:11 dfly kernel: _su: Trying to start from "/"
Mar  3 09:28:12 dfly kernel: .
Mar  3 09:28:12 dfly kernel: [1520040492] unbound-checkconf[1138:0] error: cannot getcwd: No such file or directory
Mar  3 09:28:12 dfly kernel: Starting unbound.
Mar  3 09:28:12 dfly kernel: [1520040492] unbound[1139:0] warning: unbound is already running as pid 1139.

uWSGI rc startup also failed to setup correct working directory due to
this problem.

Import byacc-20170709

disklabel64 - Make disktype optional, fix alignment bug

* Make the disktype optional, use 'auto' automatically

* Fix a bug in the kernel's l64_makevirginlabel() calculation.
  It was not properly calculating the alignment relative to
  the physical disk.

* Refactor some of the documentation

* Refactor examples

Submitted-by: Aaron LI <aly@aaronly.me>

boot/efi: Sync our TianoCore EDK II headers with the UDK2018 branch.

Just comments in one header.

locate(1): Bring in some updates/fixes from FreeBSD

* The default value of "FILESYSTEMS" option is now determined using lsvfs(1),
  which contains all local file systems that are not synthetic, loopback mounts
  or read-only.
* New config option "PRUNEDIRS" in /etc/locate.rc with default value of ".git"
  to ignore the ".git" directories when making database.
* Warn when locate.updatedb(8) is directly run by root
* Some cleanups (no functional change)
* Improve license declarations, fix white spaces and typos

lsvfs(1): Return simply 1 on failure.

lsvfs(1): Tabify the rest of lsvfs.c.

lsvfs(1): Sync a bit with FreeBSD, as applicable.

Specifically, merge r185029/r251580 and sync the manual page.

Taken-from: FreeBSD

lsvfs.1: Explain why lsvfs(1) shows 2 references to UFS on encrypted root.

While here, fix two cases where a new sentence didn't start on a new
line.

Idea-by: Aaron LI <aly@aaronly.me>

nvmectl(8): Add missing DPADD in the Makefile.

locate.updatedb(8): Add hammer2 support.

Reported-by: Aaron LI <aly@aaronly.me>

des_crypt.3: Fix typo.

psm.4: Remove useless BUGS section.

sysmouse.4: Fix some typos.

sys/vfs/autofs: Cleanups

Move local varaibles to inner scopes where possible.
The existing local variable declarations are mostly from FreeBSD,
but I've also changed NetBSD autofs the way this commit does.

(Don't do this for autofs userspace though. Increasing diff from
FreeBSD for non functional thing like this is much less important,
whereas kernel side is basically a rewrite.)

kernel/extp{read,write}v: Change ioccnt from u_int to int.

Just like preadv(), pwritev(). Struct uio's uio_ioccnt is also int.
Also adjust iovec_copyin() to take an int.

While here, make iovec const, also like in preadv/pwritev.

Discussed-with: dillon

syscons: Remove unused variable.

syscons - Fix NULL pointer access in 0d7c8a4d1cafae68239

flopen.3: Use .Fa where appropriate.

syscons - Wait for drm modesetting at appropriate places.

* This avoids races between userland using DRM, and the drm modesetting
  callbacks called by syscons.

* Always call the drm modesetting callback, when we are switching from a
  virtual terminal that is in Graphics mode. Before that was skipped unless
  we were switching to a virtual terminal that is in Text mode.
  However with the framebuffer mmap-ing through syscons, it also makes sense
  to use virtual terminals in Graphics mode, without going through drm. So
  we have to make sure to restore the syscons framebuffer there as well.

pc64 - Unmask some AMD Family 15h and 16h CPUs for TSC mpsync test.

* The problematic
  Erratum 778 "Processor Core Time Stamp Counters May Experience Drift" is
  only listed for Family 15h < Model 30h and for Family 16h < Model 30h
  (Family 15h == Bulldozer, and Family 16h == Jaguar).

Fix typo in MLINK name.

Remove some sendsys()/waitsys() remains.

sysmouse - Fix sigio handling after c2962d9da8200947ee394b190eea39d437fb1af7

Remove some really old portability hacks that should no longer be needed.

This no longer declares ftruncate()/lseek()/mmap() and truncate() in
either <stdio.h> or <sys/types.h>. 20 years after FreeBSD added it
(in r24896) we should be over it. What's left, we'll fix better.

<arpa/inet.h>: Some cleanups.

* Stop defining struct in6_addr. This doesn't belong here, and it was
  originally only added because of some issue in pkgsrc. Thanks to
  Sevan Janiyan for confirming that this no longer occurs.

* Incude <stdint.h> instead of the full <sys/types.h> and define
  in_addr_t and in_port_t per POSIX.

* Put inet_ntoa_r under __BSD_VISIBLE.

* Remove an obsolete comment.

<pthread.h>: Add missing 'const' to four functions.

Sort SEE ALSO in two manual pages.

nfs.5: Add missing markup.

nfs.5: Clarify vfs.nfs.nfsv3_commit_on_close description a bit.

{read,write}.2: A bit more cleanup. Also add ext*() MLINKS.

world - Document extpread() and extpwrite()

* Document these DragonFly-specific system calls.

fstat(1): Add hammer2 support.

<vfs/hammer2/hammer2.h>: Expose VTOI() with _KERNEL_STRUCTURES.

kernel/netgraph7: Fix panic

We just unset the M_HASH flag for the mbuf before queueing the
message to the netisr, making sure the handler doesn't run
on the wrong CPU.

libc: Fix a comment in Makefile.inc.

string.3: Fix types of strlcat() and strlcpy() prototypes.

syscons - Detangle sysmouse from tty handling, implement a custom FIFO.

* This avoids unnecessary IPIs and other overhead from the tty handling.

* This also makes reads from the character device always get only complete
  sysmouse packets.

syscons - No special minor device number is needed anymore for sysmouse.

select.2: timeout is restrict too.

Add missing restrict qualifiers to various manual pages.

kernel/u4b: Some additional work for the recent cdce(4) addition.

* Add a manual page from FreeBSD.

* Add to LINT64.

* Adjust devd(8) configuration so that cdce.ko automatically loads upon
  plugging.

kernel/u4b: Use CDCE_LOCK/CDCE_UNLOCK macros