if_vtnet - Remove vtnet_{rx,tx}_size variables. Change rx_header padding.

* With a padding of 2 bytes, struct vtnet_rx_header will be 12 bytes now,
  which should be correct to ensure the 4 byte alignment of the frame
  payload, when mergeable Rx buffers are not negotiated.

virtio_blk - No need to negotiate unused (and legacy) VIRTIO_BLK_F_BARRIER.

if_vtnet - Default to link up, when VIRTIO_NET_F_STATUS is not negotiated.

virtio_blk - Clean up some unneeded functionalities.

* Get rid of remaining code for handling the B_ORDERED flag.
  B_ORDERED doesn't even exist anymore in DragonFly.

* Get rid of sc->vtblk_req_ready request list. We can just use
  bioqdisksort() to add a request - that we failed to enqueue ino the
  virtqueue - back into the bioq.

* Rename req->vbr_bp field to req->vbr_bio.

* Switch vtblk_req_free list from TAILQ to SLIST. A small optimization,
  none of the additional features of the TAILQ are needed here.

virtio: Replace one cpu_mfence() by cpu_lfence(), and one by cpu_sfence().

* The cpu_mfence() in virtqueue_dequeue() can be replaced by cpu_lfence(),
  since we only need to make sure that we read the vq->vq_ring.used->idx
  value before reading any other entries from the vq->vq_ring.used ring.

* The cpu_mfence() in vq_ring_update_avail() can be replaced by
  cpu_sfence(), since no one else is writing to the vq->vq_ring.avail
  struct.

virtio - Get rid of nop {vtblk/vtnet}_modevent methods.

kernel - Fix broken wakeup in crypto code

* Depending on which crypto driver is being used and the crypto load,
  the crp_sleep variable for the wrong tdinfo is tested to determine
  whether a wakeup is needed or not.  This can result in the crypto thread
  not being woken up when new work is pending.

* Can cause the crypto subsystem to stall indefinitely, in particular
  during a normal shutdown,

Reported-by: jh32

Fix some cases where an index was used before its limits check.

Dragonfly-bugs: 2998, 2999, 3000, 3001

libkvm: Fix char pointer dereference.

usr.sbin/Makefile: Fix sorting.

uefi.8: Leave the .Dd.

Partly revert "uefi.8: Extend SEE ALSO and fix HISTORY."

This partly reverts commit 2bd356f2144fabf57cc538aa4ebb0a70c1baacc9.

UEFI boot support as such was indeed added in 4.5. 4.7 only added
support to the installer.

uefi.8: Extend SEE ALSO and fix HISTORY.

efisetup.8: Some mdoc improvements.

efisetup(8): Fix permissions in the tree.

mdoc: Fix manlint warning in efisetup.8

<sys/libkern.h>: Fix whitespace/indent, remove arg names in prototypes.

<machine/stdint.h>: Check __cplusplus first.

Avoids -Wundef warnings when compiling C++ (which does not define
__STDC_VERSION__).

test/vkernel - Add MAKE_JOBS

nrelease - Show MAKE_JOBS in help

vkernel - Fix build

mixer - Fix sscanf() overflow

* Fix %s buffer sizes in sscanf().

Reported-by: dcb

gcore - fix overflow in sscanf

* Fix an overflow which can occur in the sscanf() used to parse
  /proc/*/map

Reported-by: dcb

camcontrol - non-critical fgetc() cleanup

* fgetc() returns int, check EOF against int return, not char.

Reported-by: dcb

kernel - Fix deadlock in sound system

* There is a deadlock between the sound system and devfs where one thread
  locks the sound system and calls into devfs, and another calls into devfs
  which holds the devfs lock while calling back into the sound system.

* Fixed by unlocking devfs across the callback.

* Easily triggered by the mate desktop (mate-session, sound preference,
  click random sound effects until deadlock occurs).

Reported-by: ozmage

gcc - Adjust the unwind code to use the new sigtramp probe sysctl

* Adjust the unwind code to use the new sigtramp probe sysctl instead
  of hardwiring an address range relative to the ps_strings sysctl.

Reported-by: marino

kernel - Add KERN_PROC_SIGTRAMP

* Add a sysctl to retrieve the sigtramp address range for gdb.

Reported-by: marino

Kernel - Temporarily move sigtramp lower

* There is a bug in Ryzen related to the kernel iretq'ing into a high user
  %rip address near the end of the user address space (top of user stack).
  This is a temporary workaround for the issue.

* The original %rip for sigtramp was 0x00007fffffffffe0.  Moving it down
  to fa0 wasn't sufficient.  Moving it down to f00 moved the bug from nearly
  instant to taking a few hours to reproduce.  Moving it down to be0 it took
  a day to reproduce.  Moving it down to 0x00007ffffffffba0 (this commit)
  survived the overnight test.

acpi/pstate: Don't attach, if _PSS contains invalid frequency.

Reported-and-Tested-by: OzMage

powerd: Add option to disable adjusting userland scheduler's usable CPUs.

kern: Add per-cpu helper threads, which handles lwkt messages.

They will be used to avoid netisr abusing.

kernel/ale: Fix one more parentheses issue.

Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/2991>

kernel - Fix improper parens

* Fix improper parens.  The code paths luckily worked correctly
  even with the mistakes, for the most part.

* Fix bug in netgraph (netgraph is not used much in DragonFly).

Reported-by: dcb / bugs #2989, 2990, 2991, 2992

kernel/identcpu: Add string for MONITORX/MWAITX support to AMD Features2.

Taken-from: FreeBSD

drm: Enable commented-out vga_switcheroo code

With-input-from: peeter0007 and ivadasz

sound/hda: Sync device ID table with FreeBSD

Obtained-from: FreeBSD

kernel - Add a BIOS quirks for AMD

* BIOS may fail to set InitApicIdCpuIdLo.  Set it if no VMM capability.

* BIOS may configure Family 10h processors to convert WC+ to CD,
  fixup if the BIOS did this.

Taken-From: FreeBSD

kernel - Add GD_IRESERVED access to assembly

* Useful for debugging.  No use-cases committed.

kernel - Spread IPIs out to more priority levels

* Due to the brandamaged way the LAPIC queues received IPIs, each
  priority level (the top 4 bits of the 8 bit vector) has a 2-entry
  FIFO.  Bring in comments from FreeBSD on how this works.

* Change our IPI vectors which previously used 2 priority levels to now
  use 3 priority levels.  Each source is generally limited by an atomic
  op to avoid multi-queueing and hopefully that means the above LAPIC hw
  queue will never refuse to accept an IPI.

  IPIQ and TIMER use group 1

  INVLTLB (and INVLPG) uses group 2

  SNIFF, CPUSTOP, and SPURIOUSINT use group 3

* Reduces the number of vectors available per cpu by 16, but shouldn't
  present that big a problem.

kernel - Enhance the sniff code, refactor interrupt disablement for IPIs

* Add kern.sniff_enable, default to 1.  Allows the sysop to disable the
  feature if desired.

* Add kern.sniff_target, allows sniff IPIs to be targetted to all cpus
  (-1), or to a particular cpu (0...N).  This feature allows the sysop
  to test IPI delivery to particular CPUs (typically monitoring with
  systat -pv 0.1) to determine that delivery is working properly.

* Bring in some additional AMD-specific setup from FreeBSD, beginnings
  of support for the APIC Extended space.  For now just make sure the
  extended entries are masked.

* Change interrupt disablement expectations.  The caller of apic_ipi(),
  selected_apic_ipi(), and related macros is now required to hard-disable
  interrupts rather than these functions doing so.  This allows the caller
  to run certain operational sequences atomically.

* Use the TSC to detect IPI send stalls instead of a hard-coded loop count.

* Also set the APIC_LEVEL_ASSERT bit when issuing a directed IPI, though
  the spec says this is unnecessary.  Do it anyway.

* Remove unnecessary critical section in selected_apic_ipi().  We are in
  a hard-disablement and in particular we do not want to accidently trigger
  a splz() due to the crit_exit() while in the hard-disablement.

* Enhance the IPI stall detection and recovery code.  Provide more
  inforamtion.  Also enable the LOOPMASK_IN debugging tracker by default.

* Add a testing feature to machdep.all_but_self_ipi_enable.  By setting
  this to 2, we force the smp_invltlb() to always use the ALL_BUT_SELF IPI.
  For testing only.

kernel - Use the TSC as the cpu clock on AMD Ryzen or later

* The TSC is usable as the cpu clock on AMD Ryzen or later, adjust
  the code for this.

* Recode hw.tsc_cputimer_force to still run the TSC test, but then
  force use of the TSC for the cpu clock whether the test succeeds
  or fails.

Suggested-by: Sephe

kernel - Enhance machdep.cpu_idle_hlt

* Enhance machdep.cpu_idle_hlt.  It was not operating as advertised for
  settings 0 or 3+.  Add mode 5.

  0 - Now spins as documented (wasn't, before)
  1 - Uses MONITOR/MWAIT if supported, HLT otherwise
  2 - Uses mode (1) up to a point, then uses mode (3)
  3 - Always use the ACPI halt code.
  4 - Always use HLT (do not use MONITOR/MWAIT even if supported)
  5 - Always spin

* Recode the default setting for AMD cpus (but no functional changes).
  Default setting is 3 for AMD.

kernel - Enhanced reporting by process killer

* Issue a kprintf() when trying to kill a process so we know when
  the attempt is made.  The 'killed' message we already have only
  prints when the attempt succeeds.

* Additional metrics when reporting 'low on memory+swap' now available
  with bootverbose.

kernel - Remove if_sl, if_ppp, and if_faith from the kernel build

* Remove if_sl, if_ppp, and if_faith from the kernel build.  These
  interfaces may be loaded as modules.

* Add missing MODULE_VERSION for if_sl and if_ppp.  This allows these
  modules to be specified in /boot/loader.conf without crashing the
  kernel if the kernel already happens to build them in, for forwards
  and backwards run-time compatibility.

hammer - HAMMER Version 7

* Add support for version 7 which changes the CRC mechanic from the
  old slow CRC code to the faster ISCSI CRC code.  We don't use the CRC
  instruction yet but ths base ISCSI CRC from FreeBSD is 6x faster than
  the CRC code we were using before.

* Change newfs_hammer default to version 7 (for master).

hammer2 - Fix cluster synchronization bug (2+ nodes)

* Fix a bug where hammer2_cluster_check() can end up in an infinite
  loop.

* Look for pfs_names[] in all PFSs associated with a cluster.

* Add missing xop retirement in pfs-delete.

* Skip the directory empty check in pfs-delete.

* Preliminary code to deallocate an element of a live PFS

hammer2 - Stabilization for cluster code, features

* Start working on stabilizing cluster operations when two or more
  nodes are present for a PFS.

* Fix a race in the strategy write code when writing out a buffer.  The
  buffer can be retired by the frontend before all cluster entities have
  a chance to use it.  This is what we actualy want to have happen (we
  don't want a dead or slow SLAVE to hold-up front-end operations, for
  example).

  Fix this by verifying that the bp is good and, at least for now, copying
  its data to a temporary buffer.

  Note that while it is expected that SLAVEs can get out of sync here,
  the synchronization thread is intended to eventually get everything
  synched up.

  (we may address this later for SLAVEs that are in good working later).

* Refactor the XOP API a bit to make access to the temporary buffer easier.

* We no longer need to pass (bp) into the strategy write support routines.
  Pass the data buffer instead.

* When reconstituting a hammer2 support thread, make sure any flags
  left-over from the previous use have been cleared.  Fixes an issue
  where support threads go missing after repeated unmount/mount
  operations.

* Add the feature where a hammer2 mount can simply specify @LABEL.  If
  LABEL is already available, the mount code will find and mount it.
  This feature will eventually be used to make it easier to access
  networked H2 PFSs.

  Note that the hammer2 user must still issue base mounts (typically
  /dev/blah@LOCAL) for hammer2 to recognize hammer2 partitions.  Ultimately
  I may auto-scan available drives but for now I am not.

* Fix missing CFLAGS->KCFLAGS conversion in Makefile.

* Fix administrative thread signaling interactions, tsleep and wakeup
  addresses were not matched up properly.

hammer2 - Have mount assume that @LABEL refers to a hammer2 vfs

* hammer2 will soon allow mount @LABEL <mountpt> for any LABEL that it
  already knows about.  Make the base mount program aware of this and
  do not require the user to specify the vfs type.

debug - separate out crc32.c and icrc32.c

* Separate the code out into two test programs, one for the original crc
  code and one using the iscsi crc code.

Kernel - quick workaround for Ryzen

* Quick workaround for a Ryzen issue that we can release with.

kernel - Stir longer in arc4random

* Stir longer in arc4random

Taken-from: FreeBSD
Reported-by: jaykishan mutkawoa

if_vtnet - Allocate struct vtnet_tx_header entries from a queue.

* The existing code was sequentially allocating from an array of
  struct vtnet_tx_header, using an appropriately sized area.
  But this scheme turns out to be a very bad idea when we get out-of-order
  completions in the virtqueue.

* Instead allocate struct vtnet_tx_header entries from an SLIST.

* This should avoid crashes from memory-corruption or use-after-free in
  if_vtnet(9), when running in KVM on Linux, using Linux's vhost-net
  in-kernel virtqueue accelerator.

drm/i915: Update to Linux 4.7.10

* Various bugfixes, including GPU-specific ones on Ironlake and more
  recent hardware.
  Runtime power management and atomic modesetting have been specially
  improved.

* Fix Hardware hangs on Ironlake, Sandybridge, Ivybridge, Skylake and
  Kabylake GPUs

* Fix various display flickering issues, including PSR, Broadwell and
  Display-port specific ones

* Kabylake support is no longer considered experimental

* Color management has been added for Broadwell, Skylake, Kabylake as
  well as Cherryview and Broxton GPUs. The intent is to obtain more
  accurate color representation on various types of panel.

kernel: Add a port of the Linux 4.8 vga_switcheroo module

Submitted-by: Peeter Must <karu.pruun@gmail.com>

<sys/unistd.h>: Add missing _PC_TIMESTAMP_RESOLUTION.

We don't handle it yet though.

build - Add the 'efisetup' script

* Add the 'efisetup' script to /usr/sbin.  This script is capable of
  creating a pristine UEFI bootable DragonFlyBSD installation on the
  target drive.  The target drive will be wiped.

  Note that this script does only a basic installation... literally once
  it sets up the partitions it just does an installworld, make distribution,
  and installkernel, and then some minor adjustments to create the initial
  /etc/rc.conf, /etc/fstab, and /boot/loader.conf.

* Requires that you previously did a buildworld and buildkernel
  before running the script.

kernel - Fix panic in zget() during heavy paging

* Fix a panic that can occur in zget() when a large number of swap info
  blocks are needed from the swap_zone.

  Fix by reformulation how new items are added to the zone.  This is a
  non-critical code path, but we make it a bit more SMP friendly anyway.

* Use the opportunity to get rid of the VM object ZONE_INTERRUPT uses.
  The two that are left are never destroyed, so there's no need to track
  the pages in an object.

Reported-by: tkusumi

<time.h>: Shuffle some prototypes around (no functional change).

Update the pciconf(8) database.

March 16, 2017 snapshot from http://pciids.sourceforge.net/

bsd-family-tree: Sync with FreeBSD.

Sync zoneinfo database with tzdata2017b from ftp://ftp.iana.org/tz/releases

Haiti resumed observance of DST in 2017.  (Thanks to Steffen Thorsen.)

test - Flesh out randread statistics reporting

* Cleanup the output.  Report the aggregate IOPS, average latency,
  aggregate bandwidth, low and high latencies, and the standard
  deviation for the test on a per-second basis.

* Standard deviation notes:

  68%     Of the samples are within 1 standard deviation, so if the
    reported stddev is 7uS, then 68% of the samples are +/- 7uS
    of the average reported value.

  95.45%    Of the samples are within 2 standard deviations.  +/- 14uS
    in the example.

  99.73%    Of the samples are within 3 standard deviations.  +/- 21uS
    in the example.

Bring in uefisign(8) example script.

It was forgotten in bb7548fd68273597588b57868a739b2d3a8a8d94.

Taken-from: FreeBSD

installer: Fix the "missing /var/run/sem" issues better.

* Add -C to the tmpfs mount of /var/run on the USB image. This
  ensures that the USB image itself keeps the ppp/, sem/, and
  wpa_supplicant/ dirs under /var/run.

* Since we do not cpdup /var/run explicitly during installation
  it ends up empty on the installed system. Ensure that it has
  the subdirectories it needs by running mtree on /var.

* It looks like the 1e5a476188185cf1161f4fe3ffc060465562ef0d
  change could be reverted because the issue never was that
  /var/run/sem wasn't existing _after_ make upgrade. The mtree
  in the preceding installworld takes care of it. It doesn't
  hurt either, so just shuffle the commands a bit downwards.

kernel/mmcsd: Add some dummy values for d_nheads and d_secpertrack.

Values taken from nvme(4). newfs_msdos(8) uses these, and the way
we call it from the installer (not specifying them explicitly) broke
installing to an SD card.

Reported-by: Pontus Lundkvist <p@article.se>

build - Validate sshd_config

* Make sure the default sshd_config contains certain lines
  that we require.  At the moment, this adjustment makes sure
  that the sshd_config file has the correct PasswordAuthentication
  directive.

* Intended to catch snafus when openssh is updated from the vendor.

sshd - Fix default password authentication (2)

* Oops, last commit had to change it in servconf.c, not readconf.c

sshd - Fix default password authentication

* The default for PasswordAuthentication somehow got reverted to
  being enabled.

* Disable PasswordAuthentication by default.

* Uncomment PasswordAuthentication in the default sshd_config,
  defaulting to 'no', and always overriding sshd's own defaults.

kernel/options: EFIRT can go to opt_dontuse.h. No need for opt_efirt.h.

The EFIRT option only enables compilation of whole files.

df.1: Fix example for -t. It's null, not nullfs.

Reported-by: marino

drm/linux: Improve vmap/vunmap API, add is_vmalloc_addr()

* vmap() and vunmap() only take a single argument

drm/linux: Add smp_store_mb()

drm/linux: Add linux/vga_switcheroo.h

Submitted-by: Peeter Must <karu.pruun@gmail.com>

sched_setaffinity.2: Small markup fix.

Remove some more duplicate includes in our tree.

<sys/globaldata.h>: Remove duplicate include.

UPDATING: Add note for OpenSSH HPN removal

Correct param.h entry for this version.

Noticed-by: Thomas Nikolajsen

drm/linux: Add linux/hardirq.h

drm/linux: Implement hrtimers

This initial implementation is based on callouts and not
highly precise.

It nevertheless works fine with the drm/i915 driver from
Linux 4.7 and will be enough for now.

kernel: Remove broken DRM_LINUX option

drm/linux: Add READ_ONCE and WRITE_ONCE

Obtained-from: FreeBSD

drm/linux: Improve linux/workqueue.h

drm/linux: Add u64_to_user_ptr

drm/linux: Add asm/shmparam.h

drm/linux: Add pci_bus_read_config_byte and pci_bus_read_config_word

drm/linux: Add atomic_andnot()

zone.9: Adjust prototypes for some recent changes.

drm/linux: Expand linux/kobject.h scope

drm/linux: Add asm/cpufeatures.h

sbin/hammer: Have consistent naming for volume variables

Use *volume.
Userspace is mix of *vol and *volume for no reason.
sys/vfs/hammer is always *volume.

sbin/hammer: Have consistent naming for buffer variables

Use *buffer.
Userspace is mix of *buf and *buffer for no reason.
sys/vfs/hammer is always *buffer.

drm/linux: Add linux/console.h

drm/linux: Add cacheflushopt()

Numbering changes for master -> 4.9.

drm/linux: fix tasklets

The set_bit() and clear_bit() macros expect pointers as arguments.

sys/vfs/hammer: Cleanup hammer_modify_node()

The only purpose of crcptr was to avoid split into multiple lines
(according to dillon@), but we could do with the same two lines..

re: Only limited versions of this chip require explicit padding.

Certain versions of this chip fail to generate correct UDP checksum
on explicitly padded UDP datagrams.

Reported-and-Tested-by: Daniel Bilik

kernel - Fix cluster_write() inefficiency

* A bug in the cluster code was causing HAMMER to write out 64KB buffers in
  32KB overlapping segments, resulting in data being written to the media
  twice.

* This fix just about doubles HAMMER's sequential write bandwidth.

Always use unix line endings