kernel - Intel user/kernel separation MMU bug fix part 3/3

* Implement the isolated pmap template, iso_pmap.  The pmap code will
  generate a dummy iso_pmap containing only the kernel mappings required
  for userland to be able to transition into the kernel and vise-versa.

  The mappings needed are:

  (1) The per-cpu trampoline area for our stack (rsp0)
  (2) The global descriptor table (gdt) for all cpus
  (3) The interrupt descriptor table (idt) for all cpus
  (4) The TSS block for all cpus (we store this in the trampoline page)
  (5) Kernel code addresses for the interrupt vector entry and exit

* In this implementation the 'kernel code' addresses are currently just
  btext to etext.  That is, the kernel's primary text area.  Kernel
  data and bss are not part of the isolation map.

  TODO - just put the vector entry and exit points in the map, and
  not the entire kernel.

* System call performance is reduced when isolation is turned on.
  100ns -> 350ns or so.  However, typical workloads should not lose
  more than 5% performance or so.  System-call heavy and interrupt-heavy
  workloads (network, database, high-speed storage, etc) can lose a lot
  more performance.

  We leave the trampoline code in-place whether isolation is turned on
  or not.  The trampoline overhead, without isolation, is only 5nS or so.

* Fix a missing exec-related trampoline initialization.

* Clean-up kernel page table PTEs a bit. PG_M is ignored on non-terminal
  PTEs, so don't set it.  Also don't set PG_U in non-terminal kernel
  page table pages (PG_U is never set on terminal PTEs so this wasn't
  a problem, but we should be correct).

* Fix a bug in fast_syscall's trampoline stack.  The wrong stack
  pointer was being loaded.

* Move mdglobaldata->gd_common_tss to privatespace->common_tss.
  Place common_tss in the same page as the trampoline to reduce
  exposure to globaldata from the isolated MMU context.

* 16-byte align struct trampframe for convenience.

* Fix a bug in POP_FRAME.  Always cli in order to avoid getting
  an interrupt just at the iretq instruction, which might be
  misinterpreted.

kernel - Intel user/kernel separation MMU bug fix part 2/3

* Cleanup pass.  Throw in some documentation.

* Move the gd_pcb_* fields into the trampoline page to allow
  kernel memory to be further restricted in part 3.

kernel - Intel user/kernel separation MMU bug fix part 1/3

* Part 1/3 of the fix for the Intel user/kernel separation MMU bug.
  It appears that it is possible to discern the contents of kernel
  memory with careful timing measurements of instructions due to
  speculative memory reads and speculative instruction execution
  by Intel cpus.  This can happen because Intel will allow both to
  occur even when the memory access is later disallowed due to
  privilege separation in the PTE.

  Even though the execution is always aborted, the speculative
  reads and speculative execution results in timing artifacts which
  can be measured.  A speculative compare/branch can lead to timing
  artifacts that allow the actual contents of kernel memory to be
  discerned.

  While there are multiple speculative attacks possible, the Intel
  bug is particularly bad because it allows a user program to more
  or less effortlessly access kernel memory (and if a DMAP is
  present, all of physical memory).

* Part 1 implements all the logic required to load an 'isolated'
  version of the user process's PML4e into %cr3 on all user
  transitions, and to load the 'normal' U+K version into %cr3 on
  all transitions from user to kernel.

* Part 1 fully allocates, copies, and implements the %cr3 loads for
  the 'isolated' version of the user process PML4e.

* Part 1 does not yet actually adjust the contents of this isolated
  version to replace the kernel map with just a trampoline map in
  kernel space.  It does remove the DMAP as a test, though.  The
  full separation will be done in part 3.

kernel/vmxnet3: Fix wrong check (no functional change).

morse(6): correct email for original author

Obtained-From: FreeBSD

libthread_xu: Fix a typo in a comment.

Clean up a bit for symlinked headers.

<errno.h> as well as <poll.h> are symlinked to their <sys/...>
counterparts, so there is no need to include both.

Also fix a comment that suggests that there is a difference.

kernel/evdev: Expose headers to userland.

libc/nls: Sync with FreeBSD.

Move out catentry structure destroy code to its own function.
Set refcount = 0 in SAVEFAIL() macro.

Taken-from: FreeBSD

Remove src/share/nls.

It was never hooked into the build after initial Citrus import in:
32a7b49af5025caa26dc703952f47b39d046c9eb

Simplify legacy share/nls handling.

Remove src/nls.alias and create legacy compat links directly.
The nls.alias method is unsafe and will break with our 'make upgrade'.

morse(6): add static where appropriate

ipfw.8: Fix 'not [iface]' and 'not [iface:net]' support

em/emx: Sync with Intel's em 7.6.2

- Fix RX filter settings when exiting promiscous mode.
- Add workaround for I219 resetting.
- Fix some settings for 82574.

Tested-by: dillon@ (I219)

drm/i915: Add Coffee Lake support

* This commit mostly adds PCI IDs

* Handle all Coffee Lake GPUs as Kaby Lake ones for now

cal(1): Rename to use de_AT.ISO8859-15 calendar.

locales: Add "is_IS.ISO8859-1" locale.

Mainly for testing, we already have -15 and UTF-8 ones.

cldr2def: Fix few typos in tools.

While there, do not hardcode /usr/src as a source directory.

kernel/nata: Add loader hint to disable nata attach.

For cases where atapci devices (including cdroms) would fail to attach or have
other issues and are not needed for booting(like setup uses CAM, NVME, VIRTIO).

We include nata(4) in a X86_64_GENERIC kernel config, probing of ata bus can be
disabled by setting: "atapciN.disabled=1" (where N is ata pci unit).

Bump the copyrights.

Happy new 2018 to everyone and thanks for all the help and support! :)

kernel/nata: Add more INTEL chipset IDs.

Refactor the ata_intel_new_setmode().

Taken-from: FreeBSD

kernel/nata: Add bunch of chipset IDs.

Minor fixes here and there. Expertimental.

Taken-from: FreeBSD

kernel/nata: Handle soft resets in ahci better.

This brings back the ATA_AHCI_GHC_AE|ATA_AHCI_GHC_HR.

Could not make ata_ahci_issue_cmd() to work reliably on my Intel 63XXESB2
SATA300 controller, for now this version will do. Experimental.

It is better to focus on implementing the CAM_ATA and prune ata-ahci.c.

kernel/nata: Deal with ATA_DEV() and atadev->unit.

Hopefully I got all places correctly.

While there, some misc cleanup.

kernel/nata: Fix HT1000 DMA engine 64k transfer issue.

Some chips seem to need 16bit writes.

Taken-from: FreeBSD

Also noticed interesting change back in:
  5b527db0a83182c576889a67555810d780759bb7

kernel/nata: Extract ata_tf_read() and ata_tf_write().

While there swap check order ata_intel_31244_command() and
adjust few places to use request->parent.

No functional change.

kernel/nata: Extract ad_get_geometry().

While there, extract ata_unit2str() too.

kernel/nata: Add Adaptec 1420 support.

It depends on Marwell so group it together.

While there, split out Cenatek, Micron generic chipset support to their own
drivers. Also fix up few drivers that cannot reliably do 64k transfers and
remove few unused ATA_AHCI_P_CMD_* defines.

Taken-from: FreeBSD

kernel/nata: Extract reset functions in chipset drivers.

Explicitly do not import any port multipliers support for now.
Use only higher half of device signature, some devices return
incorrect values in lower part and causes issues in detection.
All of this is a bit messy in ata-ahci.c.

While there, include several later bugfixes.

Taken-from: FreeBSD

kernel/nata: Misc cleanup in non chipset codes.

  * Move some stuff around.
  * Add local implementations of biofinish() and g_io_deliver().
  * Add prints for READ_NATIVE_MAX_ADDRESS.
  * Use >= in comparisons for devclass_get_maxunit()

No functional change.

kernel/nata: Return more data for natacontrol(8).

 * include info about backing subdisks
 * use last 16 bytes of serial number in meta (as MatrixRAID does)
 * add optional automatc spindown/spinup support (dmesg noisy)
 * various cleanups
 * natacontrol(8) additions + cleanup

Taken-from: FreeBSD

kernel/nata: Pass interrupt function to ata_setup_interrupt().

There is one strange change ATA_AHCI_GHC_HR 0x80000001 -> 0x00000001.
It is used for AHCI reset, all other bits are already in place so going
with the flow on this one.

Futher reduce differences with FreeBSD r183724:
  * add ata_netcell_setmode() instead of relying on ata_generic_chipinit()
  * add ata_promise_mio_setprd() for promise
  * prepare siliconimage for port multipliers
  * spray some KASSERT() here and there
  * fix typo for ATA_READ_NATIVE_MAX_ADDRESS

Taken-from: FreeBSD

kernel/nata: Constification.

Attempt at making nata a bit more safe:
  * const attributes where possible
  * add and use ata_set_desc() helper
  * add early returns (for future split modules support)
  * fix a bug in ata-sis.c where it was patching ids table.

As a bonus, now CCVER=gcc47 no longer warn on -Warray-bounds in ata-ite.c,
finally allowing to buildkernel w/o NO_WERROR (ata_mode2idx() in ata-pci.c).

No functional change intended, except for bugfix in ata-sis.c.

kernel/nata: Separate sata bits.

Do some cleanup of defines and headers.
Rename few ATI controllers.

While there, remove no longer used PC98 defines.

kernel/nata: Allow disabling complicated chipset drivers.

There is no point for ATA_NO_ATI option (ati chipset setup relies on sii).
Using ATA_NO_AHCI will automatically disable these ata chipset drivers:
  intel, marvel, nvidia, promise, siliconimage, sis, via

Only for development until nata(4) gets updated.

kernel/nata: Move-out public chipset setup related defines.

Taken-from: FreeBSD

kernel/nata: Use reg == 0x63 for NVIDIA chipsets.

It is not clear whether it was modularization artifact or actual bugfix.
For now changing to match FreeBSD ata variant. No hardware to test it.

This might need to be reverted if chipset initialization is wrong.

kernel/nata: Use cfg1 on AMD and NVIDIA chipsets.

It is now clear that only one config state is needed.
Mainly to match the FreeBSD variant for less diffs.

kernel/nata: Remove common ata_via_family_setmode().

Just extract and use vendor specific versions.
Note: there is some confusion about reg == 0x53 vs 0x63 for some chipsets.

For now leave the previous behaviour, thus no functional change.

kernel/nata: Split out huge ata-chipsets.c

In preparations for pseudo-modularization.
If we decide to modularizate this one, it would be just wrapping each of the
chipsets sources in its own kernel module. Current variant just simply includes
everything back together while still allowing to work with individual chipset.
Thus no functional change.

ftpd(8): Revert a Makefile change that was not meant to be pushed.

Add __attribute__((__noreturn__)) to various function prototypes in libexec/.

This general cleanup is useful in various ways. It helps the compiler
optimize better and it also helps later GCCs detect better when to give
-Wimplicit-fallthrough warnings and when not.

Found-with: -Wsuggest-attribute=noreturn

rpc.sprayd(8): Staticize.

tftpd(8): Staticize.

telnetd(8): Remove duplicate prototypes.

tools: Do not hardcode path to perl.

Solves issue with DPorts and Ravenports.

world: Avoid extended ASCII.

Use UTF-8 where needed, use plain ASCII where possible.

No functional change.

sys: Avoid extended ASCII.

Use UTF-8 where needed, use plain ASCII where possible.
Minor cleanup in dev/raid/arcmsr/arcmsr.h (for readability).

No functional change.

Remove various 'r' commands and daemons.

rcp(1), rlogin(1), rlogind(1), rsh(1) and rshd(1). In the unlikely case
that someone still needs them, they can use the net/bsdrcmds port to
bring them back.

FreeBSD removed them in October 2017 and I took their work as a guideline.

lib/libc_rtld: Fix 'make install'.

Do not install nls categories and uuid(3) manpages. These are handled by libc.

skel: Quote default alias for pager

mt(1): Staticize.

mkstr(1): Staticize.

m4(1): Add some __printflike.

locate(1): Staticize.

localedef(1): Add some __printflike.

locale(1): Staticize and remove an unused variable.

leave(1): Staticize.

gencat(1): Staticize and remove a wrong prototype.

libc: Remove 'table' argument from call to collate_range_cmp() in __sccl().

This prevents segfaults when called with say incomplete locale.
Introduce a separate wide variant of __wcollate_range_cmp() and use proper
variant were needed. The __sccl() does not use wchar_t types.
Also use '\0' instead of plain 0.

Similar change was done in FreeBSD.

libc/locale: Fix leading space issue in wcstof().

On failure correctly set endptr to report failure.
It was reported by libc++ testsuite.

Taken-from: FreeBSD

newlocale(3): Add support for native complex locale.

Now newlocale(LC_ALL_MASK, setlocale(LC_ALL, NULL), NULL) should work
as intended even with combinations like LC_CTYPE=lv_LT LC_TIME=lt_LT.

While there, add compat support in setlocale(3) and fix a wrong git am
in previous newlocale(3) commit.

bsd-family-tree: Update to latest

- add NetBSD 6.06, 7.1.1
- add HardenedBSD 10, 11
- correct 'NDB' to 'NBD'

Obtained-from:   FreeBSD

shutdown(8): Fix building with -DDEBUG.

csplit(1): Staticize.

newlocale(3): Add compat support for c++ runtime libs.

Implement simple 'private' env support that mimics the internal
__get_locale_env(). Not to be used in a context of C.

While there, fix off by one in array index (_LC_LAST vs XLC_LAST).

libc/locale: Prevent bad builds on partial XLC_ enum changes.

Add static asserts and document them.

Taken-from: FreeBSD

mbtowc(3): Set EILSEQ on incomplete character case.

There are several cases where EILSEQ is already handled, yet not handled
in other cases. Make it consistent.

In-discussion-with: swildner
Taken-from: OpenBSD

libc/locale: Misc cleanup.

Mostly whitespace, use NULL and fix typo.

crunchgen(1)/crunchide(1): Staticize.

compress(1): Staticize.

chat(8): Staticize.

cap_mkdb(1): Staticize and remove an unused variable.

c99(1): Staticize.

btpin(1): Staticize.

basename(1): Staticize.

Add __attribute__((__noreturn__)) to various function prototypes in games/.

This general cleanup is useful in various ways. It helps the compiler
optimize better and it also helps later GCCs detect better when to give
-Wimplicit-fallthrough warnings and when not.

Found-with: -Wsuggest-attribute=noreturn

wump(6): Staticize.

worms(6): Staticize.

worm(6): Staticize and remove some "return" (crash() never returns).

sail(6): pl_main() never returns, so don't pretend it does.

pig(6): Staticize.

number(6): Staticize and remove a wrong prototype.

hangman(6): Move __dead2 to the prototype.

arithmetic(6): Staticize.

iso639: Add Montenegrin.

See http://www.loc.gov/standards/iso639-2/php/code_changes.php

Update the pciconf(8) database.

2017-12-20 snapshot from https://pci-ids.ucw.cz/v2.2/pci.ids

libc/nmalloc: Handle size_t overflows in malloc().

Similar to e9586122ca8be1e743aa9cd2f9622dfe2f434ece.

kerne: Move vfs.pbuf_{kva,mem,raw}_count sysctls to vm node.

The vm.pbud_kva_count, vm.pbud_mem_count and vm.pbud_raw_count
matches other sysctls in sys/vm/.
No userland usage was detected in base and dports.

Fix several speelling errors

Reviewed by: swildner, zrj

kernel: Remove 3 no longer used sysctls in vfs_bio.c

passwd.1/security.7: Some kerberos removal cleanup.

socket: Use fast close if SO_LINGER and linger==0.

It is widely used to reset TCP connection by userland application.

Makefile.inc1: Adjust an obsolete comment and fix trailing whitespace.

Submitted-by: zrj

ls(1): Add -_ option to include nanotime in ls -l.

Very useful when debugging Makefile races in rules with
vfs.timestamp_precision=1 set.
Yes, ls -l_ seems strage, but we are running out of letters and
FreeBSD already has the "-," flag in their ls(1).

ls(1): Add -D option to set date-time format in ls -l.

Taken-from: FreeBSD

ls(1): Sort flags by order in usage() and manpage.

Add missing 'S' in SYNOPSIS.

While there, move out trailing space separator handling to caller.

ls(1): Minor cleanup.

No functional change.

libc/stdtime: Use style(9) comments in strftime.c

Cleanup usr.sbin's Makefile a bit.