kernel - Improve vm_page_register_action*() performance.

* Improve the performance for vm_page_register_action() and related
  routines by splitting the global lock into per-hash-index locks.
  Also change from a token to lockmgr locks.

* Shift some code around in umtx_sleep() so the tsleep_interlock()
  occurs after the registration code to avoid interference with
  the new lockmgr() operations in the registration code.

vkernel - Fix vmspace_*() call bottleneck

* Remove a global token in most cases by caching ve's, and hold it shared
  for lookups if it cannot be found in the cache.

vkernel - Fix races in if_vke.c

* Fix races in if_vke.c, several cpu_lfence() calls were in the wrong place.

if_iwm - Add firmware API definitions for TX power commands.

* While there remove unused IWM_UCODE_TLV_CAPA_LMAC_UPLOAD definition,
  which isn't defined in iwlwifi.

Taken-From: Linux iwlwifi

kernel/if_wi: Unlock before returning.

vkernel - Fix pv_entry_count bug

* Now that we are not protected by a global vm_token, pv_entry_count
  must use atomic ops.

kernel - Fix NFS sillyrename code

* Due to the delayed vnode reclamation changes done several years ago
  the NFS client code was not properly removing silly-renamed files
  on last-close (these are files which NFS renames to .nfs* when
  remove()'d while still open()).

* Fixed by flagging finalization on last-close if a sillyrename occurs.

sched: Add cpuset_t for FreeBSD compat

libc: Add sched_getcpu().

vkernel - Restabilize pmap code, redo kqueue, systimer, and console code

* Remove vm_token and add necessary vm_page spin locks to the vkernel's
  pmap code, improving its stability.

* Separate the systimer interrupt and console tty support from the
  kqueue subsystem.

  Uses SIGURG for systimer
  Uses SIGIO for kqueue
  Uses SIGALRM for cothread signalling

* The vkernel systimer code now uses a dedicated cothread for timing.  The
  cothread is a bit of a hack at the moment but is a more direct way of
  handling systimers.

* Attempt to fix user%/sys%/intr%/idle% in the systat -vm and
  systat -pv output.  Still isn't perfect, but it is now more
  accurate.

vkernel.7 - Update manual page

* Update the manual page with a better vkernel NFS client example.

vkernel: Make kptobj a static structure.

  - There is a chicken-egg problem while allocating kptobj. Recent changes
    have made vm_object allocation to depend on kmalloc() which will call
    pmap_growkernel() when kptobj is not yet ready.

kernel: Add a new vm_object_init()

kernel: Rename vm_object_init() to vm_object_init1()

  - No functional change.

vkernel: Fix build

  - Partially-submitted by: zrj

lwp: vkernel actually uses some lwp_* functions

sdhci - Simplify SDHCI_PRESENT_STATE register loop in sdhci_start_command().

Taken-From: FreeBSD (svn r311693)

sdhci - Add a new interface method, get_card_present.

Taken-From: FreeBSD (svn r311660)

Sync ACPICA with Intel's version 20170119.

Just some minor things:

* In iASL, fix an inadvertent remark.

* Remove the compiler bit width from the common signon of all tools.

* Add 2017 copyright.

For a more detailed list, please see sys/contrib/dev/acpica/changes.txt.

kernel/acpica: Include <stdarg.h> only for userland compilation.

We generally don't include /usr/include/*.h headers in kernel code,
and the kernel doesn't need it.

It also caused issues when compiling with clang (due to redefinitions).

Reported-by: zrj

Update the pciconf(8) database.

January 8, 2017 snapshot from http://pciids.sourceforge.net/

cpdup: When verbose, also log the successful creation of a directory.

em/emx: Retry interrupt allocation with MSI

Reported-by: jh32

tools/kq_sendrecv: Fix building on FreeBSD

kernel - kmemstatistics list wasn't MPSAFE

* Put a spinlock around the kmemstatistics list.  This list is modified
  whenever a kmalloc area is created or destroyed, and this generally does
  not happen concurrently except with kernels run by expert hackers like
  us and get scared.

* ...Or if a machine is running synth and/or doing a lot of concurrent
  tmpfs mounts and unmounts.

Reported-by: swildner

npx.h: fix comment alignments (cosmetic)

Expand fpusave union to include x86_64 versions

The structure of envmmx remains a constant size, but changes composition
between the i386 and x86_64 versions.  While here, flesh out the
832-byte saveymm structure, also distinguishing between 32 and 64 bit
versions.

While here, convert u_char, u_short, u_int16_t, u_int32_t to standard
integers; <sys/types.h> with it's redundant guards is no longer required
although <stdint> is now needed.

This allows the fpu context to be seen on x86_64 by casting the fpusave
union to the new savexmm64 and saveymm64 structures.

tools/kq_recvserv: Add option to set receiving thread's CPU affinity.

tools/kq_recvserv: Add option to enable SO_REUSEPORT

tools/kq_sendcli: Add option to set sending thread's CPU affinity

tools/kq_recvserv: Add option to set read size

tool/kq_sendcli: Add option to set write size.

tools/kq_sendcli: Add sendfile support.

Based on work done by QianYue You.

sdhci - Use the right capability field for printing the bus width.

* In sdhci_init_slot(), use the right capability field for determining
  the announced bus width based on MMC_CAP_*_BIT_DATA.

Taken-From: FreeBSD (svn r311794)

lwp: Move all lwp syscalls to sys/lwp.h

Discussed-with: swildner, zrj

param: Bump version according to the comment.

kernel/usb4bsd: Configure the correct bMaxPacketSize for control endpoints.

* Configure the correct bMaxPacketSize for control endpoints before
  requesting the initial complete device descriptor and not as part of
  the subsequent babble error recovery. Babble means that the received
  USB packet was bigger than than configured maximum packet size. This
  only affects enumeration of FULL speed USB devices which use a
  bMaxPacketSize different from 8 bytes. This patch might help fix
  enumeration of USB devices which exhibit USB I/O errors in dmesg
  during boot.

Taken-From: FreeBSD (svn r295928)

Wipe the start of the disk when formatting the disk with MBR, too.

installer: Add basic UEFI system setup.

GPT partition 0 is a 128MB FAT32 EFI system partition. Microsoft
recommends at least 100MB and FAT32 in [1]. Partition 1 is a
"DragonFly Label64" (aka "dragonfly" in gpt(8)) for the rest of
the disk. It is analogous to slice 1 in our MBR setup, and has the
same name, e.g. /dev/da0s1. The rest of the UEFI setup is identical
to an MBR setup. disklabel64, newfs*, and so forth.

We currently only support installing DragonFly to the whole disk
in UEFI mode, and we don't set any NVRAM EFI variables during
installation, so for now we are copying our stage 1 loader to
\EFI\BOOT\BOOTX64.EFI on the EFI system partition.

Also, there isn't any support for Secure Boot.

[1] https://technet.microsoft.com/en-us/library/hh824839.aspx#DiskPartitionRules

Add a uefi(8) manual page giving some info on the UEFI boot procedure.

Adapted-from: FreeBSD

rconfig: Add a script for setting up a HAMMER/UEFI system.

nrelease: Add UEFI mode capable boot media.

Add an EFI system partition to the IMG (to boot on UEFI systems) but
keep MBR (to boot on legacy BIOS systems).

The approach in https://wiki.freebsd.org/UEFI#CD.2FDVD_Boot_under_UEFI
is used to make the ISO boot on both UEFI and legacy systems.

pthread: Implement pthread_attr_{get,set}affinity_np

x86_64: Fix machdep.smp_active sysctl type.

lwp: Add lwp_create2 syscll, which takes cpumask for scheduling.

if_iwm - Configure the PCIe LTR, fix PCI express capability accesses.

Taken-From: Linux iwlwifi

kernel - Add PCIER_DEVCAP2 and PCIER_DEVCTRL2 definitions to pcireg.h.

Partly Taken-From: FreeBSD

vgapci: Remove verbose printf() messages from pci_(get/set)_powerstate().

<stddef.h>: Add max_align_t guards for future reference.

There are some confusion how this c++11 feature should be implemented.

drm/linux: Remove a redundant definition of NSEC_PER_SEC

drm/linux: Add local_clock()

drm/linux: Add acpi/video.h

man: Add cross references

pthread: Implement pthread_{set,get}affinity_np

libc: Take cpusetsize into consideration for sched_getaffinity()

libc: Add const to the cpu_set_t for sched_setaffinity.

libc: Add sched_{set,get}affinity().

Same as other sched_ fucntions, these two functions do _not_ support
the overriding pid as tid as what Linux supports.

security/libressl: Fix ECDSA P-256 timing attack vulnerability

OpenBSD 6.0 errata 16, Jan 5, 2017:
Avoid possible side-channel leak of ECDSA private keys when signing.

security: CVE-2016-7056

Update libressl README.DRAGONFLY for v2.4.4

Merge branch 'vendor/LIBRESSL'

Update LibreSSL from version 2.4.3 => 2.4.4

if_iwm - Update struct iwm_scan_results_notif. Remove old/unused definitions

* Remove outdated notifications IWM_SCAN_ABORT_CMD,
  IWM_SCAN_START_NOTIFICATION and IWM_SCAN_RESULTS_NOTIFICATION.

* Remove unused enum iwm_scan_complete_status.

* Use the updated FW Api version 3 of struct iwm_scan_results_notif.

* No functional change, since struct iwm_scan_results_notif is never
  accessed in iwm at the moment.

Taken-From: Linux iwlwifi commits 1083fd7391e989be52022f0f338e9dadc048b063
            and 75118fdb63496e4611ab50380499ddd62b9de69f.

<sys/diskmbr.h>: Rename DOSPTYP_GPT to DOSPTYP_EFI.

The former name was rather misleading since an EFI system partition can
also exist on an MBR disk (see 79363655e5db).

kernel: Fix GPT detection a bit.

Having a legacy MBR partition of type 0xef aka EFI system
partition is a perfectly legal case, and it is covered by
the UEFI specification too (in version 2.6, see section 12.3.1).

That means it is not a sufficient indicator that this is a
disk with a GPT, so don't automatically treat it as one. For
the partition in the PMBR on actual GPT disks, type 0xee
will always be used, so that check alone is sufficient for
what is intended here.

Background: Using legacy MBR and having an EFI system
partition at the same time is the layout most USB installation
media use in order to boot on both UEFI and legacy BIOS systems.
The upcoming UEFI installation support work will do the same.

acpi - Incidental MPSAFE (2)

* The changes in a639f788 revealed bubgs in acpi_thermal's support
  threads.  These threads start executing before the main acpi device
  finishes its attach.  The mplock serialization saved us before, and
  removing it revealed the problem.

* Force serialization using the main acpi lock to prevent the support
  threads from starting up until after the main acpi attach has
  completed.

Reported-by: swildner

kernel - Change vm.swapcache.use_chflags default to 0

* Change the vm.swapcache.use_chflags default to 0, meaning that swapcache
  will generally cache everything it sees if enabled.  Can be set back to
  1 by the sysop when more sophisticated operation is desired.

kernel - kernel - Incidental MPLOCK removal (usched, affinity)

* Affinity code needs to be protected via p->p_token and lwp->lwp_token.
  Remove use of the mplock.

* If tid is -1 getaffinity() will lookup the lowest-numbered thread,
  and setaffinity will adjust ALL threads associated with the process.

* usched doesn't need mplock2.h

kernel - Incidental MPLOCK removal

* Remove misc #include <sys/mplock2.h> statements that are no longer needed.

* Replace mplock with acct_lock in kern_acct.c

* Replace mplock with msg_token in sysv_msg.c

* Replace mplock with p->p_token in the profiling code.

usched: Fix the returned CPU affinity make by smp_active_mask.

lwp: Add two syscalls to set/get lwp's CPU affinity mask.

usched: Implement LWP lazy migration support.

Non-self migration can be achieved by just setting LWP's cpumask,
which is almost costless.  The migration will happen upon next
time the target LWP is scheduled.

Reviewed-by: dillon@

kernel - Fix recursive module loading (from MPSAFE changes)

* Fix recursive module loading which I broke in the
  recent MPSAFE work.

* Fix firmware loader callback deadlock.

* Fixes radeon drm lockup on startx

Reported-by: mneumann

drm/i1915: Disable stolen memory support

Some initialization code paths are not yet enabled, making
it crash-prone on some hardware

mmcsd - Wasn't quite MPSAFE, fix startup race (2)

* Needed to rearrange one more thing to report capacity properly.

mmcsd - Wasn't quite MPSAFE, fix startup race

* mmcsd was attaching the drive before finishing the softc setup.  Being
  MPSAFE, the system tried to probe the mmcsd before it could finish the
  setup.

* Fixed by shifting things around a little.

kernel - Remove mplock in process trap/signal code (non-performance)

* Remove the mplock from paths that no longer need it.  This is mostly
  incidental, since processes do not usually recover from traps like
  SIGBUS or SIGSEGV.

mmcsd(4): Declare device D_MPSAFE. Move start_transaction to mmcsd thread.

* SD card commands are issued in the mmcsd thread after it takes the bio
  command from the queue, so we should do the devstat_start_transaction()
  there, instead of directly in mmcsd_strategy().

kernel - Make misc crypto functions MPSAFE

* Remove mplock from the crypto device code.

* Implement cryptodev_lock for cryptof_ioctl() and related functions.

* Prevent cryptof functions from imploding on concurrent access.

buf - Remove B_ORDERED, Incidental CAM MPSAFE (2)

* Remove bowrite() operation in UFS (use bwrite() instead).

kernel - Incidental MPLOCK removal (devfs)

* Fix ordering issues for devfs initialization vs libprop that previously
  depended on the MPLOCK.

* Use a private devfs_token for other areas of devfs previously using
  the mplock.

* Make /dev/devfs MPSAFE.

kernel - Incidental MPLOCK removal

* A few more mplocks in the moutn and umount paths.  Also fix a rootmount
  case (the latter being non-performance) for completeness.

kernel - Incidental MPLOCK removal (non-performance)

* varsym is MPSAFE.

kernel - Incidental MPLOCK removal (non-performance)

* proc filterops.

* kernel linkerops and kld code.

* Warn if a non-MPSAFE interrupt is installed.

* Use a private token in the disk messaging core (subr_disk) instead of
  the mp token.

* Use a private token for sysv shm adminstrative calls.

* Cleanup.

kernel - Remove global debug counters from device path

* Remove global debugging counters from the device path, including
  dev_dstrategy().  Improves performance when heavily concurrent I/O
  is being performed.

kernel - Incidental mplock removal - NTP support

* Make the NTP support functions MPSAFE.

kernel - Incidental mplock removal

* We don't need to acquire the mplock when exec'ing the init program.

kernel - Make gpio and gpio_led MPSAFE

* Convert to a private lock.

acpi - Incidental MPSAFE

* Make ACPI devices MPSAFE (use a private token).

* Make the ACPI interupt MPSAFE.

buf - Remove B_ORDERED, Incidental CAM MPSAFE

* Remove support for B_ORDERED.  Most drivers ignore it, and it is basically
  unusable.

* The CAM "xpt", "pass", and "sg" devices are MPSAFE, flag them
  appropriately.

kernel - Incidental MPLOCK removal (non-performance)

* Remove the MPLOCK in a ton of places that don't need it or can be
  trivially tokenized or locked.

* Mostly non-performance adjustments, though the X server does use
  scmouse or sysmouse.

sdhci - Use MPSAFE version for the taskqueue and callouts

* Use the MPSAFE version for the taskqueue and callouts.

drm/i915: Revert DisplayPort fast link training feature

DisplayPort fast link training causes screen flickering on some hw combinations

Obtained-from: Linux 4.6.7, Commit b0f7095f8bd503eddf9a91a258e796da0058f182

drm/i915/psr: Try to program link training times correctly

Increase link training time to 2.5ms, fixing
flickering issues associated with PSR.

Obtained-from: Linux 4.6.7, commit 69205c5c16df0702870179c8419e89cc954bd311

sdhci - Fix typo, support bits for drive types A,C,D are in capabilities.

* The drive type support flags in the capabilities register (0x40) are for
  drive types A,C,D, drive type B is the default setting (value 0) of the
  drive strength field in the HOST_CONTROL2 register.

sdhci - Add some missing register constants, and dump some more registers.

* Adds defines for content of SDHCI_ADMA_ERR and SDHCI_HOST_CONTROL2
  registers.

* Add slot type capability bits. These bits should allow recognizing
  removable card slots, embedded cards and shared buses (shared bus
  supposedly is always comprised of non-removable cards).

* Dump CAPABILITIES2, ADMA_ERR, HOST_CONTROL2 and ADMA_ADDRESS_LOW
  registers in sdhci_dumpregs().

sdhci - Use bus_dmamem_coherent for allocating memory for sdma DMA.

* While there, rename various constants which are related to SDMA (and not
  going to be used for ADMA2) from *_DMA_* names to *_SDMA_*.

usched: Add USCHED_SET_CPUMASK.

test/passdesc: Allow specifying the payload length.

We don't suffer the following bug though.

Inspired-by: FreeBSD https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=181741

kernel - Further refactor vmstats, adjust page coloring algorithm

* Further refactor vmstats by tracking adjustments in gd->gd_vmstats_adj
  and doing a copyback of the global vmstats into gd->gd_vmstats.  All
  code critical paths access the localized copy to test VM state, removing
  most global cache ping pongs of the global structure.   The global
  structure 'vmstats' still contains the master copy.

* Bump PQ_L2_SIZE up to 512.  We use this to localized the VM page queues.
  Make some adjustments to the pg_color calculation to reduce (in fact
  almost eliminate) SMP conflicts on the vm_page_queue[] between cpus
  when the VM system is operating normally (not paging).

* This pumps the 4-socket opteron test system up to ~4.5-4.7M page
  faults/sec in testing (using a mmap/bzero/munmap loop on 16MB x N
  processes).

  This pumps the 2-socket xeon test system up to 4.6M page faults/sec
  with 32 threads (250K/sec on one core, 1M on 4 cores, 4M on 16 cores,
  5.6M on 32 threads).  This is near the theoretical maximum possible for
  this test.

* In this particular page fault test, PC sampling indicates *NO* further
  globals are undergoing cache ping-ponging.  The PC sampling predominantly
  indicates pagezero(), which is expected.  The Xeon is zeroing an aggregate
  of 22GBytes/sec at 32 threads running normal vm_fault's.

kernel - Refactor struct vmstats and vm_zone

* These changes significantly improve the simultaneous non-conflicting
  VM fault rate.  On our 4-socket opteron (48 cores, which makes a great
  test case because its cache mastership stalls are so expensive), the
  maximum concurrent VM fault rate increased from ~2.4M/sec to ~3.5M/sec,
  and suffers no degredation after topping out.

* Refactor the fields in struct vmstats to separate out mostly
  read-only variables from nominally modified variables, reducing
  cache mastership stalls.

* Remove vm_shared_hit, vm_shared_count, and vm_shared_miss sysctl
  statistics, removing related cache mastership stalls from the
  critical path.

* Move the spinlock in vpgqueues to the base of the structure.

* Increase the vmstats slop (how large a negative value can accumulate
  in pcpu stats before rolling it up).

* Fix cache mastership stalls in the zalloc() and zfree() paths by
  consolidating pcpus elements into its own cache-aligned structure
  and giving each pcpu its on znalloc counter.