sbin/hammer2: Don't show 0 freemap stats in quiet mode

Quiet mode has been ignoring freemap stats, so separate freemap
stats from data.

sbin/hammer2: Show freemap stats for all bitmap states

Add "Total possibly free storage" and "Total allocated storage"
stats which correspond to bitmap value of 2 and 3.

In addition to above, add "Total unavailable storage" (boot/aux/etc)
and "Total freemap storage". The total freemap storage value should
be sum of all others.

Note that unallocated or allocated stats represent space out of
freemap leaf that can be traversed from root, excluding space for
boot/aux/etc area. Not out of the entire device.

sbin/hammer2: Use appropriate macros and typedefs in CountFreeBlocks()

sbin/hammer2: Fix CountFreeBlocks()

Need to do 2 or 8 bit shift in each loop.

dsynth.1: Ada is the name of a person, not an acronym.

While here, start sentences on a new line and change 'cpu' to 'CPU',
because _that_ is an acronym. :)

sys/vfs/hammer2: hammer2_chain_t is unneeded for dummy blockref

hammer2_chain_create_indirect() only needs hammer2_blockref_t
part of chain as a local variable. Do the same as hammer2_chain_create()
to save stack a bit.

sys/vfs/hammer2: Cleanup freemap index calculation

Freemap bitmaps (64KB x 5levels x 8rotations) exist in the first
4MB area of every 1GB, so bitmap offset mask should be 4MB-1 rather
than 1GB-1. It explicitly wants to clear bit 22-29.

This doesn't change the result since bref->data_off for freemap
itself has to have 0 for bit 22-29.

sbin/hammer2: Add assertion for freemap index in "show"

Test lower end of index.

wtmpcvt.1: Fix a path and use .Mt for email addresses.

vkernel - Add MD_PAGE_FREEABLE() dummy macro

* Add a dummy macro for MD_PAGE_FREEABLE() so the vkernel builds.

* Fix vkernel compile error due to st_blksize size change.

Reported-by: swildner

Update the pciconf(8) database.

September 14, 2019 snapshot from https://pci-ids.ucw.cz

sbin/hammer2: Remove dofreemap argument from show_bref()

208afee512 removed `dofreemap` test from show_bref() by having
HAMMER2_BREF_TYPE_FREEMAP switch/case for blockref type,
so `dofreemap` is no longer needed in show_bref().

Blockref itself contains `dofreemap` information.

boot/efi: Sync our TianoCore EDK II headers with the edk2-stable201908 tag.

Not much to see here. Mostly whitespace in comments.

sbin/fsck_msdosfs: u_int32_t -> uint32_t

sbin/fsck_msdosfs: Bring in freebsd/freebsd@853a3e49 (fix cluster chain check)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@7716a7c6 (be permissive)

and freebsd/freebsd@4216ffd6.

sbin/fsck_msdosfs: Bring in freebsd/freebsd@915380d5 (preen flag)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@f4323232 (style(9))

sbin/fsck_msdosfs: Bring in freebsd/freebsd@55bd3d12 (fix index)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@3bf7697a (prevent OOB access when corrupted)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@7a3e0d6f (fix readboot() check)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@9d029ca4 (fix build)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@3b04951c (use MAX())

and remaining bits from freebsd/freebsd@d704245c.

sbin/fsck_msdosfs: Bring in freebsd/freebsd@e2cfe252 (optimize memsets)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@89f9bddc (properly restore lfcl)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@375de295 (fixes from other BSDs)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@9503e2d6 (distinguish lseek)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@f7ba4b24 (assertion)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@4438d719 (boot block)

Also bring in
freebsd/freebsd@d0f63ec230e612c0a7e95af6f95e401ddace4ac3
freebsd/freebsd@37cb22f7f4cfc363dfe7e014ca1155275ac2e55c
freebsd/freebsd@d85e2bfb0863227627e47856cb9a556a8f42a7ad

sbin/fsck_msdosfs: Minor fixes/sync with FreeBSD

sbin/fsck_msdosfs: Bring in freebsd/freebsd@ce102225 (respect FSFIXFAT)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@39c1449b (fix prompts)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@53d879fa (mix of unrelated changes...)

kernel - Fix improper use of CMSG_ALIGN() in unp_internalize()

* The data portion of a control message must be aligned, but the
  data length does not have to be (and in fact, should not be since
  it might represent an array of smaller elements and we do not
  want to calculate the wrong number of elements).

* Fixes chrome, xpdf, etc (sendmsg() calls were failing).

* Problem revealed after the CMSG alignment was upped from 4 to 8
  bytes.

nfs - Fix utimes() bugs in NFS

* Over the years I have tried very hard to avoid flushing pending writes
  when issuing [l]utimes() operations (i.e. setattr VOPs) in NFS, but
  it just causes issues every time.

* Give up.  We now flush pending writes prior to setattr() operations which
  adjust mtime.  This will slow down certain operations such as cp -Rp,
  cpdup, etc, but should improve the consistency and reliability of
  timestamps.

sbin/fsck_msdosfs: Bring in freebsd/freebsd@437a93c1 (test ./.. for dir dirents)

Also bring in freebsd/freebsd@76844b29.

sbin/fsck_msdosfs: Bring in freebsd/freebsd@c4e91f79 (cleanup)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@136be466 (s/filesystem/file system/)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@07ebfe1b (add va_end())

sbin/fsck_msdosfs: Bring in freebsd/freebsd@95647bc8 (fix ask())

sbin/fsck_msdosfs: Bring in freebsd/freebsd@cbe11b37 (add \n)

sbin/fsck_msdosfs: Bring in freebsd/freebsd@d704245c (s/perror/perr/)

Ignore most of sbin/fsck part (not in sync with FreeBSD at all).

sbin/fsck_msdosfs: Bring in freebsd/freebsd@ce3384ad (bsdl changes from NetBSD)

and freebsd/freebsd@7551d83c.

sbin/fsck_msdosfs: Bring in freebsd/freebsd@1bb580c8 (rename struct fields)

tmpfs - Close rare vnode recycle race

* Keep the node lock held when clearing tn_vnode in tmpfs_reclaim()
  to protect against a use-after-free race on tn_vnode against another
  thread.

* Keep the node locked across the node type check and vnode
  ref in tmpfs_unmount() to protect against asynchronous
  reclamation races.

kernel - Add needed ccfence and more error checks

* Add a cpu_ccfence() to PMAP_PAGE_BACKING_SCAN in order to prevent
  over-optimization of the ipte load by the compiler.

* Add machine-dependent assertion in the vm_page_free*() path to
  ensure that the page is not normally mapped at the time of the
  free.

dsynth(1): Fix DPADD situation in the Makefile.

dsynth(1): Fix 'make install' with $DESTDIR set.

Now that the creation of /usr/share/dsynth is in the mtree file
(see 652cecd95046a092589807c7eea9799b71530ca4) and given that dsynth
is hooked into the build too, we could remove the beforeinstall
target, but it might still be useful for people running release,
for example. So keep it instead and fix it for when $DESTDIR is set.

mtree: Fix installworld

ssh: Declare that we have memset_s().

This doesn't seem to do anything in openssh's source but set it
anyway.

libc/string: Add memset_s(3).

Taken-from: FreeBSD

<stdlib.h>: Fix typedef guard.

libc/string: Sort MLINKS

getifaddrs.3: Fix .Dd

dsynth - Fix repository generation

* pkg repo generates .txz files no matter what the suffix.  So if the
  suffix is not .txz we have to recompress the results.

* Supply the base path to pkg repo (sans the '/All') so the generated
  yaml properly specififes the relative path "All/blahblah".  Otherwise
  the generated yaml will just generate "blahblah" and rmeote accesses
  wont be able to find the packages.

synth.1: Fix some typos/markup.

world - Add dsynth to the build

* Add dsynth to the world build.

world - More ABI breakage

* Make more structural changes that will break ABIs.  Since we are
  breaking ABI's we might as well get as much of it done as possible.

  struct datum (ndbm and rpcsvc)
  struct stat (see note below)
  struct ipc_perm (sysv messaging and ipc)

* The struct stat changes use a spare field so the structure
  size has NOT changed.  The kernel has been modified to fill
  in the 'old' field for ABI compatibility.

  The other structures, however, will break ABIs, particularly
  struct ipc_perm.

* Tested with a full world + kernel build.  Additional work in
  dports will be needed, certainly a whole new package set for
  master (also needed due to other ABI-breaking commits).

Submitted-by: swildner

sbin/newfs_hammer2: Use sbin/hammer2/subs.c

This is same as how sbin/newfs_hammer makes use of common code
in sbin/hammer.

sbin/hammer2: Move hammer2_demon() to cmd_service.c

Remove dependencies (global variables and pthread) from subs.c
to make it usable from newfs_hammer2(8) which defines several
duplicated functions.

sbin/hammer2: Use libkern instead of sbin/hammer2/icrc.c

sys/vfs/hammer2 and sbin/newfs_hammer2 uses libkern.
Remove sbin/hammer2/icrc.c.

Also see d557434b1f5510b6fed895379af444f0d034c07b,
freebsd/freebsd@d22f1350d2b99a2c94df984d76b37089bc7d610a.

Update README

Merge branch 'vendor/DHCPCD'

Import dhcpcd-8.0.6 with the following changes:

  *  inet6: Fix default route not being installed
  *  DHCP: If root fs is network mounted, enable last lease extend
  *  man: Fix lint errors.
  *  BSD: avoid RTF_WASCLONED routes
  *  DHCP: Give a better message when packet validation fails
  *  DHCP: Ensure we have enough data to checksum IP and UDP

The last change fixes a potential DoS attack introduced in dhcpcd-8.0.3
when the checksuming code was changed to accomodate variable length IP headers.

dhcpcd(8): define HAVE_IFAM_ADDRFLAGS

As we can now pickup address flags from the ifa_msghdr message
from route(4).

pam_lastlog.8: Fix .Xr's

utmpx.5: Fix .Xr

inet6: Ensure that icmp6_error checks mbuf is for IPv6

Unsure where this error lies, but commit 5772e17c exposes this.
For now, add a diagnostic to the console and a note to where this
can be triggered - ping6 an unresolvable IPv6 address.

route: Remove ifam_pid for the time being.

We lose curproc in netisr0 and I don't see a way of getting
it easily. Will work on this in the future.

sbin/fsck_msdosfs: Bring in FreeBSD/Git 66dd3f2b (don't cast malloc(3))

sbin/fsck_msdosfs: Bring in FreeBSD/Git 0d367b12 (fix LFN check)

sbin/fsck_msdosfs: Bring in FreeBSD/Git 41a4c010 (use calloc(3))

sbin/fsck_msdosfs: Bring in FreeBSD/Git 10a5b874 (fix -F comment)

sbin/fsck_msdosfs: Bring in FreeBSD/Git f2e7bd69 (remove unused extern)

sbin/fsck_msdosfs: Bring in FreeBSD/Git 9502e5ba (fix fullpath())

build: define CMSG_ALIGN using __ALIGNBYTES

Temporarily define __ALIGNBYTES here as well, but it should
be moved to somewhere X64_64 specific.

sbin/fsck_msdosfs: u_int*_t -> uint*_t

sbin/fsck_msdosfs: Whitespace cleanups

dhcpcd(8): Add HAVE_IFADDRS_ADDRFLAGS to config.h

As libc now has support for it.

getifaddrs(3): Add ifa_addrflags to struct ifaddrs

This saves a SIOCGIFAFLAG_IN6 ioctl per IPv6 address when
you're also interested in how useable the address is.

Taken-from: NetBSD

route(4): Add ifam_pid and ifam_addrflags to ifa_msghdr

While here, re-arrange other route(4) message headers so the same
values appear in the same order for consistency.

Bump RTM_VERSION.

shmctl.2: Refer to <sys/ipc.h> for the ipc_perm structure.

msgctl.2: Fix structure member name.

libc/psignal: Minor sync with FreeBSD to adjust to int signum.

libc: Change psignal()'s signum argument from unsigned int to int.

See https://pubs.opengroup.org/onlinepubs/9699919799/functions/psiginfo.html

dsynth - Add more make.conf variables

* Add UID, AZRCH, OPSYS, DFLYVERSION, OSVERSION, OSREL,
  and _OSRELEASE.

Reported-by: tuxillo

build: Adjust _CMSG_ALIGN() for portability

Not every platform uses the same aligmnet, so use _ALIGNBYTES.
This an ABI break, but this is fine as there was already an ABI
break very recently.

ok: dillon

kern/pty: Fix comment to not name utmpx as reason for MAXPTYS == 1000.

at.1: Bump date.

<unistd.h>: Declare intptr_t as per X/Open.

 No functional change yet, for future reference.

libdevattr: Remove not needed header include.

 Nothing is needed from <sys/device.h> here.

libc: Remove a single use of vm_offset_t type.

 Use (uintptr_t) for casting (void *) like it is already used elsewhere
 for consistency.

 v2: use (uintptr_t) instead of (u_long) as suggested by swildner

lib: Remove no-op defines in CFLAGS for few libraries.

 No-op since 0d5acd7467c4e95f792ef49fceb3ab8e917ce86b.

libc/locale: Limit visibility in private headers for tools.

 The localedef(1) requires just a few struct lc_*_t layouts from private
 lib/libc/locale/ headers in order to convert source definitions.
 It is desired that it uses as minimal as possible amount of internal
 header information, since localedef(1) is also in BTOOLS group.
 Same could be done to zic(8) and pwd_mkdb(8).

 * Use __LIBC guard to limit visibility in libc internal headers.
 * Poison xlocale_private.h to warn early that internals were used.

 Another issue is that localedef(1) and zic(8) are not recompiled on
 libc changes and require full BTOOLS recompile.  Converting both of
 them to hostprog would solve this, however there are invoke issues.

 No function change.

libc: Add global __LIBC definition while building libc.

 It will be used to limit visibility for uses outside libc context.
 No functional change yet.

In-discussion-with: swilder

Adjust numerous manual pages, scripts and Makefiles for the utmp removal.

Also remove /var/run/utmp and /var/log/lastlog via 'make upgrade'. Keep
any /var/log/wtmp and /var/log/wtmp.* files in case the user wants to
convert them with wtmpcvt(1).

inet6: Restore ND6_LLINFO_WAITDELETE

This predates DragonFlyBSD by quite a few years, but
ND6_LLINFO_WAITDELETE was removed in 2000 from all the BSD's.
This change brings it back so that if someone *really* wants
to resolve the unresolvable we don't constant delete
and add cloned routes which is just a waste of resources.

It also helps to return EHOSTDOWN more consistently to senders.
If we don't resolve the address during the normal wait cyckle OR
attempt to resolve it again while in the ND6_LLINFO_WAITDELETE
state, then then cloned route is then freed.

inet6: Introduce nd6_resolve, the mirror of arpresolve

nd6_output now just sends the packet, nd6_resolve handles the NUD
that nd6_output used to. nd6_resolve also returns sensible errors,
but we mask out EWOULDBLOCK in the callers.

There is no longer a need for nd6_storelladdr and this makes the
code a lot easier to follow.

Heavily inspired by FreeBSD/Git 49332534.

telnetd(8): Fix a warning and bump WARNS to 5.

Add a wtmpcvt(1) utility from FreeBSD to convert wtmp -> wtmpx.