nvmm: Port to DragonFly #13: debug register save & restore

Derived from NetBSD's x86_dbregs_save()/x86_dbregs_restore() in
'sys/arch/x86/x86/dbregs.c'.

nvmm: Port to DragonFly #12: FPU save & restore

Note that the host FPU state is indeterminant and depends on whether
the user program used the FPU or not, so there might not be any state to
save.  npxpush() and npxpop() can handle this.  Accordingly, need to use
'mcontext_t' to store host FPU state.

At first I used fpu_area_save() and fpu_area_restore() to deal with the
host FPU state, but it caused a hard fault loop when trying to boot an
OS in QEMU, because it failed to handle an uninitialized FPU.  Thanks
to Matt Dillon for tracking it down and fixing it.

Credit to FreeBSD vmm code: save_guest_fpustate(), restore_guest_fpustate()

nvmm: Port to DragonFly #11: CPU features

nvmm: Port to DragonFly #10: cpu_info etc.

* Replace 'struct cpu_info' with 'struct globaldata'.
* Port cpu_info's ci_tss_sel/ci_tss/ci_gdt.
* Port curcpu(), cpu_number(), cpu_index() functions.
* Port CPU iteration code.

nvmm: Port to DragonFly #9: atomic operations

Add compat defines for NetBSD's atomic_inc_64(), atomic_{inc,dec}_uint().
However, we don't have an alternative for the type-generic
atomic_load_relaxed() function.  So just modify the code accordingly.

nvmm: Port to DragonFly #8: kcpuset(9) -> cpumask(9)

Translate NetBSD's kcpuset(9) API to our cpumask(9) API.  Use the atomic
version to avoid possible races between multiple vCPUs.

nvmm: Port to DragonFly #7: memory allocation

Add compat code to adapt NetBSD's kmem_alloc()/kmem_zalloc()/kmem_free().

nvmm: Port to DragonFly #6: mutex/rwlock

Add compat code to adapt NetBSD's mutex and rwlock to use DragonFly's
lockmgr(9).

nvmm: Port to DragonFly #5: constants/functions/macros

Update nvmm_compat.h to include various compat constant/functions
defines.

nvmm: Port to DragonFly #4: PAT modes

Adapt NetBSD's PATENTRY() and PAT_* modes to ours PAT_VALUE() and PAT_*
defines.

nvmm: Port to DragonFly #3: CR/MSR defines

Add XCR0 and various MSRs compat defines.

nvmm: Port to DragonFly #2: CPUID Fn0000_000B for SVM

Add CPUID Fn0000_000B (Extended Topology Enumeration) defines for SVM.

Obtained from NetBSD.

nvmm: Port to DragonFly #1: nvmm_x86_{svmfunc,vmxfunc}.S

nvmm: Port to DragonFly #0: initial nvmm_compat.h

Add nvmm_compat.h to hold the major compatibility code for the porting.
Currently there are mostly CPUID2_* and CPUID_SEF_* defines.

Credit to Jaromír Doleček for his initial porting of NVMM to DragonFly.
See: https://github.com/Moritz-Systems/DragonFlyBSD/commit/b96e5836fd25b448bb54775ac0107917adc2937d

Add group 'nvmm' and GID_NVMM for nvmm(4) & nvmmctl(8)

nvmm.4: Add HISTORY and hook to build

nvmm: Bring some minor changes from NetBSD-current

These changes help port NVMM to DragonFly by reducing the required
difference.

Import nvmm.4 manpage from NetBSD 9-stable

Branch: NetBSD 9-stable
Date: Fri Apr 30 14:08:16 2021 +0000
Path: share/man/man4/nvmm.4

Import nvmmctl(8) from NetBSD 9-stable

This is a program to control NVMM(4) virtual machines.  It currently
implements the following two commands:
- identify: display the capabilities of the system.
- list: display information on each virtual machine registered in the
  system.

Branch: NetBSD 9-stable
Date: Fri Apr 30 14:08:16 2021 +0000
Path: usr.sbin/nvmmctl

Import libnvmm(3) from NetBSD 9-stable

This is the virtualization API that provides a way for VMM software to
effortlessly create and manage virtual machines via NVMM(4).

Branch: NetBSD 9-stable
Date: Fri Apr 30 14:08:16 2021 +0000
Path: lib/libnvmm

Import nvmm(4) from NetBSD 9-stable

This is the kernel driver that provides support for hardware-accelerated
virtualization.  It is made of an MI frontend with the following two MD
backends:
- x86 Intel VMX
- x86 AMD SVM

Branch: NetBSD 9-stable
Date: Fri Apr 30 14:08:16 2021 +0000
Path: sys/dev/nvmm

<sys/signal.h>: Put sig_t and sigmask() under __BSD_VISIBLE.

pam_passwdqc: Local modifications.

Merge branch 'vendor/PAM_PASSWDQC'

Import passwdqc 2.0.2

openpam: Push README.DELETED to master.

Import OpenPAM Tabebuia.

Fixes an off-by-one in pam_getenv(3).

See HISTORY for the details.

sbin/hammer2: Print freemap leaf's linear offset when "show"

sys/vfs/hammer2: Fix compilation when HAMMER2_IO_DEBUG enabled

No such field debug_data in struct hammer2_io.

sys/vfs/hammer2: #if0 incomplete HAMMER2_FREEMAP_{DOMAYFREE,DOREALFREE} related

Disable related code in addition to already #if0'd parts.

Neither "how == HAMMER2_FREEMAP_DOMAYFREE" nor "how == HAMMER2_FREEMAP_DOREALFREE"
happen. Looks like these weren't completely implemented since first
appeared in 10136ab6cde1969ab6ca22168b2a10ed5d9cc557 in 2013.

sys/vfs/hammer2: Remove unused HAMMER2_XOP_IROOT

Never used since first appeared in 6f445d15835c6677a0a79c8d168ef44d0b9b22c3 in 2018.
Also remove a comment for nonexistent HAMMER2_XOP_RECURSE.

kernel/acpi: Adjust MADT revision check.

Update the pciconf(8) database.

July 5, 2021 snapshot from https://pci-ids.ucw.cz

libstand: Unbreak buildworld.

Oops, this was a stupid last minute mistake.

Make stand/lib an internal one, i.e. don't install libstand anymore.

Nothing in dports needs it either.

Also, leave the manual page.

boot: Move boot source code /usr/src/stand.

sys/boot becomes stand/boot and lib/libstand becomes stand/lib.

My main reason is to have boot out of the way when for example grepping
in sys/. It also makes more sense since it's not really userland or
kernel code.

Other BSDs have moved their boot/standalone code around too, but maybe
with different directory layouts.

Approved-by: dillon, zrj

sys/vfs/hammer2: Remove unused HAMMER2_OFFSET_{MIN,MAX}

Never used since first appeared in 504565062f34ec55037ac0cf308fe3562f091460 in 2014.

periodic/whatis: Remove whatis(1) db rebuilding for localized manpages.

makewhatis doesn't have an -L option since the switch to mandoc's version.

Besides, we don't have localized manual pages in base and also in dports
I couldn't find a trace of any.

periodic: Enable {daily,weekly,monthly,security}_show_badconfig by default.

It can be helpful and found an issue in a dports periodic script, so we
want this on, I guess. Our base scripts have been cleaned up to not error
on optional things like a missing accounting file when accounting is not
enabled, etc.

Reported-by: James Cook (falsifian)

periodic: Do not error with rc==2 for some optional stuff.

* UFS accounting has to be enabled in rc.conf, and if it is not, the
  script should just do nothing.

* /etc/news.expire is just some backwards compatibility stuff, so
  don't worry if it doesn't exist.

periodic: Do not error with rc=2 when /etc/daily.local etc. don't exist.

These scripts are only for backwards compatibility and we could even
remove 999.* but for now, just stay silent and do nothing if they
don't exist.

uname.1: Add missing options to the usage.

Submitted-by: yellowrabbit2010
Dragonfly-bug: https://bugs.dragonflybsd.org/issues/3285

sys/vfs/hammer2: Use HAMMER2_IND_COUNT_XXX

sys/vfs/hammer2: HAMMER2_CHAIN_BMAP* should be HAMMER2_CHAIN_BLKMAP*

The freemap code uses "bmap" and "BMAP" for bitmap,
so these two macros should be "BLKMAP" as the comment implies.

npx: Remove an unused typedef and clean up a bit

* Remove unused typedef bool_t
* Fix a minor typo: FXRSTR -> FXRSTOR
* Fix indentation
* Reorganize a bit

npx: Fix inline ASM error in fpu_clean_state()

I made a mistake in commit 6becaabbb80a1d1b37c868ce7f22fca2ef6a743f when
I changed it use 'fldz' in the inline ASM.  Fix it.

mknod(2): Allow for the creation of fifos with mknod() to satisfy POSIX.

Calling mknod() and mknodat() with S_IFIFO shall be equivalent to
calling mkfifo() and mkfifoat().

Note that we ignore 'dev' if S_IFIFO is passed, like Linux does, but
different from what {Free,Net,Open}BSD do, which require it to be 0.
It's true that the standard leaves anything but 0 undefined for this
case but also note the standard's example which does indeed pass a
'dev' arg and doesn't take any precautions of initializing it:

https://pubs.opengroup.org/onlinepubs/9699919799/functions/mknod.html#tag_16_328_06

I don't think it makes any difference in practice, though.

Reported-by: DanDan
While here, fix the manual page's HISTORY a bit (taken from FreeBSD).

periodic/snapshot-hammer2: Change scarce free space handling slightly.

The idea is that whenever the user falls into free space shortage
situation, the "sliding window" of snapshots potentially continues
rolling forward, instead of becoming stuck into the past.

Submitted-by: Francis GUDIN
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/3287>

npx: Use 64-bit version FXSAVE64/FXRSTOR64 and XSAVE64/XRSTOR64

Since DragonFly is 64-bit only, use the 64-bit version
FXSAVE64/FXRSTOR64 and XSAVE64/XRSTOR64.

The new FXSAVE64/FXRSTOR64 version represents FIP/FDP as 64-bit fields
(union fp_addr.fa_64), while the legacy FXSAVE/FXRSTOR version uses
split fields: 32-bit offset, 16-bit segment and 16-bit reserved field
(union fp_addr.fa_32).  The latter implies that the actual addresses are
truncated to 32 bits which is insufficient in modern programs.

Improve the inline ASM code a bit to use 'xsave64'/'xrstor64' names.
The extra 'area' variable is introduced to help avoid dereferencing
'void *' pointer.

Referred-to: NetBSD

npx: Extend fpusave/fpurstor() to accept an XSAVE mask argument

XSAVE/XRSTOR requires a mask argument that determines the
components/states to save/restore.  Thus this argument controls the
save area size.

Extend fpusave/fpurstor() functions to accept an XSAVE mask argument,
so the caller can choose the wanted components/states to save/restore
and knows the exact area size.

NVMM will use this feature.

npx: Use 'fldz' in fpu_clean_state() to load dummy zero

The 'fldz' instruction pushs +0.0 onto the FPU register stack.  Use it
to replace the 'dummy_variable' variable.

Referred-to: NetBSD

ffs.5 : ffs is the default filesystem for /boot only

inetd: Adjust error message too (a la the removed fcntl one).

inetd: Use pipe2() instead of pipe()/fcntl()/fcntl() combo.

file: Update README.DRAGONFLY and config.h.

Merge branch 'vendor/FILE'

vendor/file: upgrade from 5.39 to 5.40

For details, see ChangeLog.

libmagic/mkmagic: Add generated header(s) to CLEANFILES.

kernel/modules: Simplify a number of .PATHs in module Makefiles.

<sys/sensors.h>: Include <sys/types.h> for timeval and int64_t.

While here, remove an unused define.

world - Add covid(1) utility and port manual page from netbsd (2)

* Though perhaps one could say that the 512-byte page-table pages
  the VAX had were a kind of disease, no... we won't go there.

  Fix manual page, move to section 1, and it isn't vax-specific.

world - Add covid(1) utility and port manual page from netbsd

* Move from section (4) to section (1) and include a utility which
  dumps one of the genome sequences.  Just to put an exclamation
  mark on the amount of damage such an absurdly short genetic sequence
  can wreak on the world

Makefile.inc1: Remove unneeded exists() checks.

Just doing 'make' in /usr/src isn't used for building anymore for a long
time, and our targets don't really make sense with an incomplete sounrce
tree.

Makefile.inc1: Put all backup related stuff under the NO_BACKUP check.

Main effect is that /usr/obj/world_backup is no longer created when
NO_BACKUP is set.

sys/vfs/hammer2: #if0 unused HAMMER2_DIRHASH_{HIMASK,FORCED}

HIMASK was no longer used since e028fa747e9825425f74da7e9c57a50a82b48e82 in 2012.
FORCED bit was never used since first appeared in above commit.

Only LOMASK bits are relevant for dirent lookup.

sys/vfs/hammer2: Fix function name in xop kprintf's

libc: Sync namespace.h and un-namespace.h a bit more pedantically.

kernel: Staticize some variables.

kernel/vm: Remove an unused variable.

It is no longer needed since f2c2051ee473577d22178d55f782ceebbd88d58f.

kernel: Remove ndis(4) and associated tools and stuff.

ndis(4) was a wrapper to allow running binary Windows network
drivers that conformed to the Network Driver Interface Specification,
i.e. NDIS.

It only ever supported drivers from the days of Windows XP and
Windows Server 2003 (i.e. NDIS 5.1). And even if one was actually
able to extract the .sys and .inf files from the driver package and
successfully convert them to a building module, which both were
adventures in itself, it could be any result when trying to run it,
depending on the card and driver, from resonably working to not
working, even crashing. But it did work for some cards, so it had
some limited merit in its time.

NetBSD removed it in 2018, FreeBSD in January 2021, so let's follow
suit now.

wpa_cli.8: command is actually optional.

wpa_supplicant: Adjust READMEs.

Merge branch 'vendor/WPA_SUPPLICANT'

wpa_supplicant: Remove NDIS specific code on the vendor branch.

ipfw3nat: Fix indentation

A follow-up to eb4c9e6d01df1803b884c6499ab99062a4453975.

netinet6 - Add bridge test to ND6_RTENTRY_IS_NEIGHBOR()

* Refactor ND6_RTENTRY_IS_NEIGHBOR() to get rid of
  the confusing double-negative.

* Change the IFP test to also allow the case where
  the route belongs to a bridge that the ifp is
  associated with.

* Fixes bogus "nd6_lookup: failed to lookup..." console messages.

netinet6 - Fix 'not IPV6' console warning

* Remove the ethernet header before issuing the icmp6_error()
  after an ARP (well, IPV6 equivalent) failure.

  Fixes a console warning.

hammer2 - Remove fhtovp debugging

* Remove kprintf() in fhtovp().

Fix a few mdoc issues in various manual pages.

sys/vfs/hammer2: Move cache_xops global variable to hammer2_admin.c

Not much to do with vnops.

sys/vfs/hammer2: Avoid two hammer2_knote() implementation

kernel: Detect NVMM hypervisor

Now sysctl 'kern.vmm_guest' would report 'nvmm' instead of 'unknown'
when running in NVMM hypervisor.

Suggested-by: swildner

Revert "Makefile: Install 'passwd' and 'group' if not exist"

This reverts commit 169805dbaab55a640955a7d94cd0cc7d15160523.

swildner reported that this commit broke 'installworld' to an empty
$DESTDIR, because the destination directory $DESTDIR/etc didn't exist
yet.

Revert this commit now, and I'll revisit it later.

Reported-by: swildner

sound - Fix panic

* Fix panic due to uninitialized variable that can be triggered by
  a browser under certain circumstances.

Reported-by: mwiencek (Michael Wiencek)

kernel: Various minor whitespace adjustments and tweaks

printf.3: Add reference to snprintb.3.

sysctl.3: Remove wrong Dv's.

usbdi.9: Use Dv for defined values.

bsd-family-tree: Sync with FreeBSD.

dsynth - Support chromium WITH_DEBUG build

* WITH_DEBUG=yes plus STRIP= on a chromium build, including dependencies,
  requires more than 16GB in /usr/local and more than 64GB in /construction.

* For those interested, the final link with full debugging takes 3 hours,
  burns around 100GB of filesystem space, and 54GB of ram for the llvm10
  linker.

  Unfortunately, the debug link for chromium still fails.

  ld.lld: error: headless_devtools_manager_delegate.cc:(.debug_info+0x27FEF):
relocation R_X86_64_32 out of range: 4714474997 is not in
[0, 4294967295]; consider recompiling with -fdebug-types-section to
reduce size of debug sections.

  But keep the dsynth changes anyway in case this can get resolved in
  the future.

libdevinfo: Remove enum devinfo_state (duplicate of enum device_state).

For maintenance reasons, use <sys/bus.h> defintions.

Taken-from: FreeBSD

While here, adjust the manual page to show the correct type of dd_state.

<sys/ucontext.h>: The *_quick() versions are specific to DragonFly.

sys/vfs/hammer2: Fix volhdrno initialization bug

While hammer2_init_volumes() returned correct root volume header,
hmp->volhdrno was always initialized with 0.

This resulted in always flushing volume header in 1->2->3->0->... order,
instead of starting off from where previous mount had written +1.

sbin/hammer2: Introduce HAMMER2_SHOW_ALL_VOLUME_HEADERS to show all volhdrs when -q

Previously only VerboseOpt>=3 printed all volume headers,
and because of this quiet mode could only print best zone.

kernel - Offset the scheduler clock systimers

* Offset the scheduler clock systimers slightly on each cpu so they
  do not all fire at the same time.  This is an attempt to reduce
  qemu contention due to its global I/O mutex.

  Note that the hz and stathz main system clocks already use this
  feature.

pthreads - Improve low level lock performance when heavily contested

* The low-level __thr_umtx_lock()/unlock and related primitives are
  used by pthreads, but have very poor performance when heavily contested:

  * Calling sched_yield() just doesn't work well.

  * Attempts to sleep too quickly, which costs a great deal of
    system overhead.

  * And issues broadcast wakeups for waiters, causing excessive IPIs.

* Stop calling sched_yield() in the loop.  Let the userland scheduler's
  dynamic priority deal with it.

* Scale the spin count up significantly, and then further based on
  the number of pthreads in the application.  If the program is stupid
  enough to cause excessive contention, then the penalty for making that
  perform well is going to be more cpu time.

* Issue a wakeup1() equivalent on unlock if there are any waiters,
  significantly reducing system IPIs.

  To make this work reliably, the primary lock loop, when it sleeps,
  will now always do so with a 1mS timeout, then loop/recheck.  If
  an API timeout is specified in excess of 1mS, the timo variable
  is reduced on each loop and proper timeout handling occurs on
  the last call.

* Running qemu w/ 32-cores specified (on a 64/128 threadripper host),
  with nvmm, reduces build-all time from 9:10 to 8:20, relative to
  a native host build time (usched restricted to 32 cores) of 6:11.
  So this is a significant improvement.

  (currently qemi-6.0.0 w/nvmm has some significant contention when a
   high cpu count is configured, due to the implementation).

npx: Fix XMM register count issue in 'savexmm64' struct

On 64-bit systems, there are 16 XMM registers (XMM0 - XMM15).  And
FXSAVE64/FXRSTOR64 instructions save/restore them to/from the 512-byte
data area.

So fix the 'savexmm64' structure to say 'struct xmmacc sv_xmm[16]', i.e.,
16 XMM registers.  The padding area is shrunk accordingly.

This issue is minor and has never caused any problems (because of the
padding area), but still fix it.

While there, adjust various whitespace to look much better.

npx: Adjust the 'envxmm64' structure

* Replace 'en_rip' and 'en_rdp' fields with union equivalents, for
  accessing break-downs of these 64-bit fields.

* The break-down representation 'union fp_addr' is obtained from NetBSD.

* This helps adapt the NVMM backend code in QEMU to DragonFly.

x86_64/pmap.h: Adjust Intel EPT defines

According to Intel SDM (Section 28.2.2: EPT Translation Mechanism), bit
10 indicates the execute access for user-mode linear addresses when the
"mode-based execute control for EPT" VM-execution control is enabled,
otherwise, it's ignored.

So to be future-proof, don't define bit 10 as EPT_PG_AVAIL1, which is
use as the "wired" bit.  Instead, use the ignored bit 11 for this
purpose.

In addition, use ignored bits 59:52 for other EPT_PG_AVAIL* bits.

kernel/makesyscalls.sh: Mark two headers as kernel only.