hammer2 - Flush asynchronization, bug fixes, stabilization

* Better-asynchronize the flush (sync) code.  Generally split flushing
  of inodes and flushing of topology above the inodes such that we can
  flush the inodes inside a normal transaction.

  This leaves only the topology flush in the flush transaction (which
  locks out all other modifying transactions).  Concurrent read/write/
  flush performance is significantly improved.

* Fix numerous bugs in the inode tracking code where the chain topology
  under an inode could wind up remaining in a modified state when the
  vnode is in a clean state.  This could cause hefty 'sync' latency on
  clean trees (that had already been flushed).

* Fix numerous bugs in the handling of lost parent links, which occurs
  due to locking races primarily when indirect blocks have to be
  inserted or deleted.

* Deleted-chain sub-topology tracking had some issues which could lead
  to chain's being lost, resulting in malloc complaints on umount.

* Rename a few H2 sysctl variables for readability.

* Adjust the "dumpchain" debugging directive to allow us to trace
  the ONFLUSH topology.

objformat(1): Fix comment in the Makefile.

libipsec: Using snprintf() to append to a buffer is not valid in C99.

This silences a gcc80 -Wrestrict warning.

Reported-by: zrj
Taken-from:  FreeBSD (r216369)

kernel/usb4bsd: Sync the quirks with FreeBSD.

Might be we don't yet properly support every device that some of
these quirks are for.

Update the pciconf(8) database.

March 6, 2018 snapshot from https://pci-ids.ucw.cz

dialog(1): Use ${} uniformly.

export.5: Bump .Dd

mountd(8): Fix several more warnings, raise WARNS to 3

exports.5: network prefixlength (CIDR) format is supported

Also take various minor fixes from FreeBSD.

mountd(8): Fix a type mismatch and several compilation warnings

The char ** type mismatch is taken from FreeBSD r292864

mountd(8): Replace malloc+strcpy with strdup/strndup

Taken-from: FreeBSD r324007,r324014

mountd(8): Change default uid/gid to nobody/nogroup (65534/65533)

The default values found in /etc/passwd and /etc/group are 65534, 65533.
In mountd.c, the defaults were -2, which was 65534 back when uid_t was 16bits.
Without this patch, a file created by root on an NFS exported volume without
the "-root=" export option will end up owned by uid 4**32 - 2.
When discussed on freebsd-current@, it seemed that users preferred the
values being changed to 65534/65533.
I have not added code to acquire these values from the databases, since
the mountd daemon might get "stuck" during startup waiting for a non-responsive
password database server.

Taken-from: FreeBSD usr.sbin/mountd/mountd.c r318262

mountd(8): Fix conversion of prefix length to a netmask

Taken-from: FreeBSD usr.sbin/mountd/mountd.c r219125

test - Fix fsx build

* Fix the 'install' target so it works as intended.

Add references to mount_hammer2.8 in a few manual pages.

ps.1: Update FILES section a bit.

mtree: Remove BSD.local.dist.

The (d)ports framework uses its own Templates/BSD.local.dist.

Discussed-with: zrj

etc/periodic: Add more xz(1)/zstd(1) support.

periodic/security/800.loginfail: Add xz(1) and zstd(1) support.

periodic.conf.5: Document two more variables.

kernel - Remove minidump debugging

* Remove minidump debugging "pdp %04x..." lines.  Minidump fixes have
  been well tested at this point.

periodic: Sync with FreeBSD current

* Sync periodic scripts, periodic.conf, periodic.conf.5 with FreeBSD
* The "{daily,weekly,monthly}_status_security_<var>_enable" variables are
  changed to be "security_status_<var>_enable" and
  "security_status_<var>_period" (daily, weekly, monthly).
* Keep DFly-specific settings (e.g., HAMMER and HAMMER2 related)
* Ignore the FreeBSD-specific things, e.g., ZFS, GEOM

rc.d/accounting: Sync with FreeBSD

Prepare to sync periodic with FreeBSD

periodic: Remove obsolete daily/status-named and weekly/clean-kvmdb

periodic: Remove already disabled monthly statistics report

The up-to-date tool can be obtained from DPorts: sysutils/bsdstats

To sync with FreeBSD

periodic(8): Sync with FreeBSD current

cryptsetup(8): Revert part of 0482a033108. We got mlockall().

initrd/oinit: chdir to the new root before chroot to it

chroot(2) doesn't change the working directory of the current process,
therefore a single chroot(2) to a new root (during the early boot with
encrypted root) causes getcwd(3) fail, which further causes problems for
some rc scripts.

For example:
Without this fix, and by placing a 'echo "PWD=`pwd`"' to the beginning
of /etc/rc, the following messages were logged on the console:
Mar 12 10:40:28 dfly kernel: pwd: .: No such file or directory
Mar 12 10:40:28 dfly kernel: PWD=

Another example with "unbound" rc start:
Mar  3 09:28:11 dfly kernel: Obtaining a trust anchor:
Mar  3 09:28:11 dfly kernel: _su: No such file or directory
Mar  3 09:28:11 dfly kernel: _su: Trying to start from "/"
Mar  3 09:28:12 dfly kernel: .
Mar  3 09:28:12 dfly kernel: [1520040492] unbound-checkconf[1138:0] error: cannot getcwd: No such file or directory
Mar  3 09:28:12 dfly kernel: Starting unbound.
Mar  3 09:28:12 dfly kernel: [1520040492] unbound[1139:0] warning: unbound is already running as pid 1139.

uWSGI rc startup also failed to setup correct working directory due to
this problem.

Import byacc-20170709

disklabel64 - Make disktype optional, fix alignment bug

* Make the disktype optional, use 'auto' automatically

* Fix a bug in the kernel's l64_makevirginlabel() calculation.
  It was not properly calculating the alignment relative to
  the physical disk.

* Refactor some of the documentation

* Refactor examples

Submitted-by: Aaron LI <aly@aaronly.me>

boot/efi: Sync our TianoCore EDK II headers with the UDK2018 branch.

Just comments in one header.

locate(1): Bring in some updates/fixes from FreeBSD

* The default value of "FILESYSTEMS" option is now determined using lsvfs(1),
  which contains all local file systems that are not synthetic, loopback mounts
  or read-only.
* New config option "PRUNEDIRS" in /etc/locate.rc with default value of ".git"
  to ignore the ".git" directories when making database.
* Warn when locate.updatedb(8) is directly run by root
* Some cleanups (no functional change)
* Improve license declarations, fix white spaces and typos

lsvfs(1): Return simply 1 on failure.

lsvfs(1): Tabify the rest of lsvfs.c.

lsvfs(1): Sync a bit with FreeBSD, as applicable.

Specifically, merge r185029/r251580 and sync the manual page.

Taken-from: FreeBSD

lsvfs.1: Explain why lsvfs(1) shows 2 references to UFS on encrypted root.

While here, fix two cases where a new sentence didn't start on a new
line.

Idea-by: Aaron LI <aly@aaronly.me>

nvmectl(8): Add missing DPADD in the Makefile.

locate.updatedb(8): Add hammer2 support.

Reported-by: Aaron LI <aly@aaronly.me>

des_crypt.3: Fix typo.

psm.4: Remove useless BUGS section.

sysmouse.4: Fix some typos.

sys/vfs/autofs: Cleanups

Move local varaibles to inner scopes where possible.
The existing local variable declarations are mostly from FreeBSD,
but I've also changed NetBSD autofs the way this commit does.

(Don't do this for autofs userspace though. Increasing diff from
FreeBSD for non functional thing like this is much less important,
whereas kernel side is basically a rewrite.)

kernel/extp{read,write}v: Change ioccnt from u_int to int.

Just like preadv(), pwritev(). Struct uio's uio_ioccnt is also int.
Also adjust iovec_copyin() to take an int.

While here, make iovec const, also like in preadv/pwritev.

Discussed-with: dillon

syscons: Remove unused variable.

syscons - Fix NULL pointer access in 0d7c8a4d1cafae68239

flopen.3: Use .Fa where appropriate.

syscons - Wait for drm modesetting at appropriate places.

* This avoids races between userland using DRM, and the drm modesetting
  callbacks called by syscons.

* Always call the drm modesetting callback, when we are switching from a
  virtual terminal that is in Graphics mode. Before that was skipped unless
  we were switching to a virtual terminal that is in Text mode.
  However with the framebuffer mmap-ing through syscons, it also makes sense
  to use virtual terminals in Graphics mode, without going through drm. So
  we have to make sure to restore the syscons framebuffer there as well.

pc64 - Unmask some AMD Family 15h and 16h CPUs for TSC mpsync test.

* The problematic
  Erratum 778 "Processor Core Time Stamp Counters May Experience Drift" is
  only listed for Family 15h < Model 30h and for Family 16h < Model 30h
  (Family 15h == Bulldozer, and Family 16h == Jaguar).

Fix typo in MLINK name.

Remove some sendsys()/waitsys() remains.

sysmouse - Fix sigio handling after c2962d9da8200947ee394b190eea39d437fb1af7

Remove some really old portability hacks that should no longer be needed.

This no longer declares ftruncate()/lseek()/mmap() and truncate() in
either <stdio.h> or <sys/types.h>. 20 years after FreeBSD added it
(in r24896) we should be over it. What's left, we'll fix better.

<arpa/inet.h>: Some cleanups.

* Stop defining struct in6_addr. This doesn't belong here, and it was
  originally only added because of some issue in pkgsrc. Thanks to
  Sevan Janiyan for confirming that this no longer occurs.

* Incude <stdint.h> instead of the full <sys/types.h> and define
  in_addr_t and in_port_t per POSIX.

* Put inet_ntoa_r under __BSD_VISIBLE.

* Remove an obsolete comment.

<pthread.h>: Add missing 'const' to four functions.

Sort SEE ALSO in two manual pages.

nfs.5: Add missing markup.

nfs.5: Clarify vfs.nfs.nfsv3_commit_on_close description a bit.

{read,write}.2: A bit more cleanup. Also add ext*() MLINKS.

world - Document extpread() and extpwrite()

* Document these DragonFly-specific system calls.

fstat(1): Add hammer2 support.

<vfs/hammer2/hammer2.h>: Expose VTOI() with _KERNEL_STRUCTURES.

kernel/netgraph7: Fix panic

We just unset the M_HASH flag for the mbuf before queueing the
message to the netisr, making sure the handler doesn't run
on the wrong CPU.

libc: Fix a comment in Makefile.inc.

string.3: Fix types of strlcat() and strlcpy() prototypes.

syscons - Detangle sysmouse from tty handling, implement a custom FIFO.

* This avoids unnecessary IPIs and other overhead from the tty handling.

* This also makes reads from the character device always get only complete
  sysmouse packets.

syscons - No special minor device number is needed anymore for sysmouse.

select.2: timeout is restrict too.

Add missing restrict qualifiers to various manual pages.

kernel/u4b: Some additional work for the recent cdce(4) addition.

* Add a manual page from FreeBSD.

* Add to LINT64.

* Adjust devd(8) configuration so that cdce.ko automatically loads upon
  plugging.

kernel/u4b: Use CDCE_LOCK/CDCE_UNLOCK macros

kernel: port if_cdce

While here also update it to FreeBSD's

kernel/acpi: Remove the old APM emulation code.

This is no longer needed by anything. The <machine/apm_bios.h> header
with APM ioctl defines can go as well.

While here, do a little adjustment of comments and manual pages too.

Pointed-out-by: ivadasz

UPGRADING: Mention the recent removal of 'device virtio_pci'.

nrelease - Add missing headers to src-sys.tar.bz2

* Add missing headers to src-sys.tar.bz2 so 'make nativekernel'
  actually works.

Reported-by: Constantine A. Murenin

libc/libc_rtld: Fix up some comments in the Makefiles.

gpt - Add a new directive called 'init'

* Add a new directive called 'init'.  This directive works like
  gpt create except it will also create a msdos slice 0 (and newfs_msdos
  it), and a "DragonFly Label64" slice 1, and
  'disklabel -r -w <slice1> auto'.

* If -B is also specified, the init directive will populate the msdos
  filesystem with efi/boot/bootx64.efi, and also supplies -B to the
  disklabel command.

* This command does not create the boot, swap, or root filesystem
  partitions in the disklabel.  It is meant to do something similar
  to what fdisk -IB used to do for us for legacy partitions (though
  I should note that fdisk -IB didn't initialize a new disklabel).  But
  we do for gpt.

kernel/ncr: Fix double assignment.

Taken-from: FreeBSD

kernel/i915: Fix double assignment (Linux' ed58570f55e2c5755).

kernel/i915: Fix double assignment (Linux' 52eb92c6fe8f89c30).

rtadvd(8): Fix double assignment.

ra->nd_ra_flags_reserved is initialized properly a few lines below.
Assigning 0 first is unnecessary.

kernel/urtw: Fix double assignments.

This driver hasn't been properly ported and isn't built currently. The
fix is just to silence coccinelle when searching for double assignments.

Taken-from: FreeBSD

tools/w00t: Fix double assignment.

Fix two double assignments in the kernel and the boot code.

virtio - Remove explicit load of virtio.ko. Remove device virtio_pci line.

* virtio.ko never needs to be loaded explicitly, since virtio_pci.ko
  depends on it.

* Also get rid of device virtio_pci line in the kernel config. Similar to
  other buses, link virtio_pci statically into the kernel when both
  device virtio and device pci are configured.

ncurses: Make sure to pass NXCFLAGS to NXCC.

Only the -I... paths are needed for cpp invocation.

LIBPRIV: Make sure sh(1) only depends on lib.so.

Avoid possible cases of failed installworld target.

sh(1): Add and use pregenerated headers.

These only add 30k to the repo while ensuring that bin/sh would not be
affected by bad shell script invocation etc. As the bonus it solves the
issue in share/initrd too. Nothing in the generated headers should fail
for our use cases. If that would change, please report it.

devinfo - Print info, whether a device is flagged as disabled.

* Also make -v print only enabled devices, specifying -v twice will also
  print disabled devices. This should make "devinfo -v" output less
  confusing on modern hardware with lots of non-present devices in the ACPI
  namespace.

libdevinfo - Fix enum devinfo_state.

kern - Add D_MEM flag to /dev/mem and /dev/kmem character devices.

* This makes seeking actually work on these character devices, which fixes
  performance of various tools when reading from /dev/mem or /dev/kmem.

atkbdc - Do not attach PS2 controller via legacy ISA bus, if FADT says so.

* If the FADT BootFlags value tells us that we shouldn't expect the PS2
  controller to be at the IO ports 0x60/0x64, we should instead only attach
  the atkbdc driver when there is a matching device in the ACPI namespace.

* This avoids attempts to attach the atkbdc PS2 controller driver on
  hardware which doesn't have a usable PS2 controller. This happens on
  many modern notebooks, and has been the case for some time on desktop
  hardware that doesn't provide an emulated PS2 controller for using USB
  input devices all the time (it either is never initialized, or might
  get disabled by some of the ACPI or USB initialization during bootup).

Replace local array size calculations with NELEM().

Convert from __arysize to NELEM

Try to use a single macro across the board

Discussed-with: zrj, swildner

nfs.5: Adjust (c) year.

nfs.5: Remove unneeded .Pp

devfs.5: Document sysctl.

Submitted-by: zrj

ffs.5: Document more sysctls.

Move ffs sysctls to their own section.

Submitted-by: zrj

Add nfs(5) manpage.

Document all sysctls.

Submitted-by: zrj

Add vfs(7) manpage.

Document all sysctls except for sizeof stuct ones.

Submitted-by: zrj

kernel - Fix syscons's visual bell

* The visual bell code was completely broken.

* Refactor the callout, and use the new callout_init_lk facility
  to deal with races.

Reported-by: snurg