hier.7: Adjust for binutils234.

kernel: Fix kernel build with 'options KTR' after 2ff21866646c375554d6.

While here, indent the KTR_COND_LOG() macro like the KTR_LOG() macro,
which looks slightly better.

kernel - Add kern.usched_dfly.poll_ticks

* Add kern.usched_dfly.poll_ticks (default 0, same as previous
  operation) for testing a more aggressive scheduler 'pulling'
  mode.

kernel - Code path optimization for kmalloc/kfree

* Use __read_frequently for numerous variables.

* Increase the pcpu slab cache on high-memory machines.  This reduces
  kernel_map and smpinvltlb interactions.

* Get rid of the ZoneGenAlloc and ZoneBigAlloc sysctl tracking
  variables.  These were causing unnecessary frequent cache line
  bouncing between cpus.

  Also get rid of SlabsFreed and SlabsAllocated.

* Get rid of unused sysctl variables.

* Make the on-kfree bcopy of weirdary optional (default OFF now).
  It was previously unconditional and on by default.

kernel - Simple code path optimizations

* Add __read_mostly and __read_frequently to numerous variables as
  appropriate to reduce unnecessary cache line ping-ponging.

* Adjust conditionals in the syscall code with __predict_true/false
  to clean up the execution path.

kernel - Rearrange uidinfo structure a bit

* Rearrange the structure to move ui_lock and ui_refs
  into a cache-line isolated area of the structure.

kernel/options: Fix wrong LINT->LINT64 replacement in a comment.

kernel - Simple cache line optimizations

* Reorder struct vm_page, struct vnode, and struct vm_object a bit
  to improve cache-line locality.

* Use atomic_fcmpset_*() instead of atomic_cmpset_*() in several
  places to reduce the inter-cpu cache coherency load a bit.

kernel - Try to fix tcp ISN generator

* The ISN generator couldn't stand the test of time.  Very fast port
  reuse can catch the destination host inpcb still in a TIME_WAIT
  state and a bad ISN results in the destination ignoring the new SYN.
  The old ISN generator could wind up returning the same sequence
  number for fast reconnects occuring within the same tick.

  Reimplement the ISN generator and also make it SMP friendly and
  cache friendly.  Because... it really wasn't before.  Also attempt
  to modernize the monotonic sequence space algorithm, reseed the
  secret every 20 seconds, and make the reseeding non-disruptive to
  sequence space monotonicity.

* Change the TH_SYN + TIME_WAIT state handling.  Generally speaking it
  is inteded that a new SYN when the inpcb is in TIME_WAIT recycle the
  port/address pair and allow the new connection.

  The sequence space checks for the TH_SYN may have been too strict.
  Change the check to allow the recycling of the port/address pair
  as long as the SYN has a different sequence number as the previous
  connection.

  I believe this is relatively safe since the recycling can only happen
  if the socket is already in a TIME_WAIT state, but consider the code
  still under test.

jail - add jail.defaults.allow_listen_override (3)

* Normalize the nominal jail IP conversions to the system call
  interface whenever it is convenient.  Remove conversions that
  were previously in the udp and tcp connect and send code.

* Also do jail IP conversions in bind(), connect(), extconnect(),
  sendto(), sendmsg(), recvfrom(), recvmsg().

* Refactor in_pcbladdr_find() to improve jail bindings, try to find
  the correct interface IP to bind to.  When a route is utilized,
  iterate available interface IPs to locate a jail-acceptable IP
  on the same interface.

boot/loader: Small improvement to merge_help.awk.

FreeBSD's r162742:

Ignore a sub-topic match if it is inside the command description.
Otherwise, merge-help can get confused by a command description that
includes a word that starts with a capital S.

syscons.4: Mention restrictions on the resolution of ttyv0.

jail - add jail.defaults.allow_listen_override (2)

* Also munge the returned sockaddr for accept4() when inside a
  jail.

jail - add jail.defaults.allow_listen_override

* Add jail.defaults.allow_listen_override (also per-jail settable).
  This feature is disabled by default.

  When enabled, this feature allows both wildcard and non-wildcard listen
  sockets in the jail to override wildcard listen sockets on the host.
  These sockets will be masked by the jail's IP list, meaning that a
  wildcard socket in the jail effectively covers just the jail's IP list.

  Non-wildcard listen sockets on the host are not overriden.

  Use of this feature allows the host to operate normally, without having
  to make its services jail-friendly.  Only those services which bind to
  specific IPs that might conflict with the jail IPs will need modification,
  and only if the jail needs to have that service as well.

* In order to use the feature safely each jail should be given its
  own unique IPs for both localhost and its externally routable IP.
  For example:

  jail -u root / tr3990xJ 127.0.0.2,10.0.0.139 /bin/csh

  ifconfig can be used on the host to create multiple 127.0.0.X aliases
  on lo0 and to assign additional routable IPs to the machine for use
  in its jails.  For example:

  ifconfig lo0 inet 127.0.0.2  alias
  ifconfig lo0 inet 127.0.0.3  alias
  ifconfig lo0 inet6 ::2 alias
  ifconfig lo0 inet6 ::3 alias
  ifconfig em0 inet 10.0.0.139 netmask 255.255.0.0 alias
  ifconfig em0 inet 10.0.0.140 netmask 255.255.0.0 alias
  ...

* Within a jail, use of localhost (127.0.0.1 or ::1) will automatically
  be converted to the jail's localhost IP (such as 127.0.0.2).  Also,
  accept(), getsockname(), and getpeername() will translate the jail's
  localhost IP back to 127.0.0.1 or ::1.  Most services within the
  jail can thus use localhost without being the wiser.

* Listen address/port pairs within a jail can now be overloaded with the
  same address/port pairs on the host, or overloaded verses other jails
  without generating an error.  However, accessibility to these ports is
  governed by the 'jail.deafults.allow_listen_override' sysctl setting
  for the jail (or the jail-specific version of the same sysctl).

  Any jail-to-jail overloading of identical address/port pairs is allowed,
  but operationally undefined.  Only one jail will receive connections.

  It is best to supply each jail with its own unique local and routable
  IPs.

* IPV6 is now fully supported using the same mechanisms.  You can supply
  a mix of IPV4 and IPV6 addresses in the jail command if desired.  The
  overloading feature works the same.

nfs - Strip out cr_prison from cached creds

* Strip out cr_prison from creds cached in struct nfs_node to
  prevent exited jails from sticking around indefinitely.

jail - Fix broken port matching code

* in_pcblookup_local() and in_pcblookup_localremote() were trying to
  use the cred to distinguish between jails, but these routines are used
  to locate a free port for bindind purposes and could wind up returning
  a lookup failure for an occupied port.

  The code may have been present in an early isolation attempt for jails.

* Remove the code.  Isolating the IPs for a jail basically requires using
  IP aliases, not by trying to isolate port number sets between jails.

jail - Allow loopback interface in in_pcbladdr_find()

* Prior jail adjustments to allow loopback IPs to be specified in
  the ip-list missed this bit of code which caused the binding
  code to ignore routes to loopback interfaces.

* Adjust the code to accept such routes.  If a loopback IP is in
  the jail's ip-list, it can now be bound to.  If not, and a loopback
  route is returned, it will use the first non-loopback IP in the jail's
  ip-list.

* Note that listen sockets within a jail are not overloaded and so can
  connect to listen sockets on the host or in other jails when a common
  IP (such as 127.0.0.1) is in the ip-list for both.  In this regard,
  shared loopback IPs now work identically to shared NIC IPs.

  IP aliases may be used to create a separation.  If you use e.g. 127.0.0.2
  in a jail, bindings to 127.0.0.1 will automatically be adjusted to
  use 127.0.0.2.

tmpfs - Fix races in tmpfs_nrename() and tmpfs_nrmdir()

* Lock all nrename elements before checks.  This is particularly
  important when renaming over a file or empty directory, but other
  manipulations done by this code without locks could also cause
  races which result in corruption, particularly with the link count.

* Lock all nrmdir elements before checks, for the same reason.

tmpfs - Cleanup, refactor tmpfs_alloc_vp()

* Refactor tmpfs_alloc_vp() to handle races without having to have
  a weird intermediate TMPFS_VNODE_ALLOCATING state.  This also
  removes the related ALLOCATING/WAIT code which had a totally broken
  tsleep() call in it.

* Properly zero fields in tmpfs_alloc_node().

* Cleanup some comments

kernel and world - Replace bcmp/bcopy/bzero/memcmp/memcpy/memmove/memset

* Replace bcmp/bcopy/bzero/memcmp/memcpy/memmove/memset with mjg's
  code, with some minor adjustments.

* mjg's code has been given its own header file,
  <machine/asm_mjgmacros.h>

* Also replaces copyin and copyout.

* Around a 1.7% improvement in bulk-build performance.

sbin/fsck_msdosfs: Use humanize_number to format available and bad space sizes

from freebsd/freebsd@996c6aefcf2ed50629407b6ad8794ebfce8ac794

drm/i915: Update base driver to 20160808

drm/linux: Implement more parts of prepare_to_wait() and finish_wait()

drm/linux: Add RCU functions

drm: Add linux/vt.h

drm: Add linux/pnp.h

drm: Add linux/oom.h

drm/linux: Add dev_notice()

drm/linux: Add prefetchw()

drm/linux: Add pagefault_disabled

realpath.3: Sort SEE ALSO.

gcore(1): Don't include <sys/user.h>. Only <errno.h> is needed.

Remove <sys/user.h> inclusion from a few files that don't need it.

<sys/user.h>: Restrict inclusion to userland and fix a comment typo.

boot: Small indent fix.

nfssvc.2/quotactl.2: Fix includes.

drm/i915: Use stop_machine()

drm/linux: Add stop_machine()

drm: Add linux/mempolicy.h

dsynth - Fix generic flavor scan for the Nth time

* The commit in 4986398e0bafb7 fixed one problem and created another
  because it didn't quite skip past enough of the checks on the dummy
  node.  Skip past the last check as well so we can decend into the
  true dependency.

Remove old binutils225 manual pages via 'make upgrade'.

dsynth - pkg install -U and improve debug support

* pkg install now passes the -U option to avoid trying to access remote
  repos.

* Multiple -d's will turn off ncurses and log to stdout, but what we
  really want to do is to log to a file.  Fix thet 'single -d option'
  feature to now log to 07_debug.log.

* Package dependencies on generic flavored ports (i.e. a depdency which
  does not specify the flavor) were sometimes improperly flagged for
  building even when the default flavor had failed.

Reported-by: zrj

Update the pciconf(8) database.

February 12, 2020 snapshot from https://pci-ids.ucw.cz

5.9 setup

kernel - Microoptimization, avoid dirtying vm_page_hash entry

* Avoid dirtying the vm_page_hash entry unnecessarily with a
  ticks update if the existing field already has the correct value.

  The VM page hash has an extreme level of SMP concurrency, so
  avoiding cache coherency contention is important.

kernel - Micro-optimization, only set v_lastwrite_ts for regular files

* When mmap()ing a file SHARED/RW, only update v_lastwrite_ts
  for regular files.   This avoids an unnecessary exclusive lock
  and related SMP contention on devices (such as /dev/lpmap).

kernel - Micro optimization for vnode exclusive lock

* Micro-optimize open(... O_RDWR) by allowing a shared vnode lock for
  this case when opening a file which is not an executable.

  We used to unconditionally get an exclusive lock to deal with VTEXT vs
  O_RDWR races against executables, but this can cause unnecessary SMP
  contention on normal files and devices opened O_RDWR which are not
  executables.

objformat(1): Remove incremental-dump handling.

 Utility is incremental linking test/debug tool and no longer installed
 in binutils-2.34.  Remove handling for consistency.

Retire the binutils-2.25.

binutils225: Unhook from the build.

 Remove makefiles and installed parts.

binutils234: Hook to the buildworld as alternative set.

 Requires changes in kernel and sys/boot/efi.

binutils234: Add pregenerated manpages.

 Only ld.1 and gprof.1 are now provided in tarball.  Add all locally.

binutils234: Add configs and pregenerated headers.

binutils234: Add build makefiles.

binutils234: Add DF READMEs and local modifications.

Merge remote-tracking branch 'origin/vendor/BINUTILS234'

Initial import of binutils 2.34 on vendor branch

drm/i915: Update base driver to 20160725

drm/linux: Add drain_workqueue()

drm/linux: Add boot_cpu_data

drm/linux: Improve linux/bug.h

drm/linux: Improve linux/fence.h

drm/linux: Add jiffies_to_nsecs()

drm/linux: Fix DEFINE_SPINLOCK()

Stop passing "-s labels" to vnconfig(4).

The option is deprecated and has no effect.

rcorder(8): Import rcorder-visualize.sh from FreeBSD

This script draws the dependency graph for rc scripts using dot(1).
This script was imported to FreeBSD from NetBSD.

mtree.8: Add examples to create /var and /usr/include hierarchies

These two examples are actually used in the Makefiles and installer.

While there, fix a markup in the COMPATIBILITY section.

Suggested-by: noob237 (Gonzalo Nemmi)

dsynth - Adjust 'Limit' display in upper right-hand corner

* Increase the Limit display from 2 to 3 digits, fixing minor
  display corruption when dsynth is run with greater than 99
  worker slots.

kernel - Reduce SMP contention during low-memory stress

* When memory gets low vm_page_alloc() is forced to stray into
  adjacent VM page queues to find free pages.  This search can
  expand to the whole queue and cause massive SMP contention on
  systems with many cores.

  For example, if PQ_FREE has almost no pages but PQ_CACHE has
  plenty of pages, the previous scan code widened its search
  to the entire PQ_FREE queue (causing a ton of SMP contention)
  before beginning a search of PQ_CACHE.

* The new scan code starts in PQ_FREE but once the search widens
  sufficiently it will also simultaneously begin searching PQ_CACHE.

  This allows the system to continue to allocate memory with minimal
  contention as long as PQ_FREE or PQ_CACHE have pages.

* The new mechanism integrated a whole lot better with pageout
  daemon behavior.  The pageout daemon generally triggers off
  the FREE+CACHE total and not (generally) off of low levels
  for one or the other.

kernel - Fix rare wait*() deadlock

* It is possible for the kernel to deadlock two processes or process
  threads attempting to wait*() on the same pid.

* Fix by adding a bit of magic to give ownership of the reaping
  operation to one of the waiters, and causing the other waiters
  to skip/reject that pid.

kernel - Recode the namecache mount transition cache

* DragonFlyBSD uses (mp, ncp/vp) tuples to track mount recursions,
  which allows nullfs to not have to create shadow vnodes.  However,
  this means that mount points cannot be stored in the vnode structure.
  Instead, DFly relies on a (mp, ncp) -> targetmp translation cache
  to avoid having to scan the mountlist.

* Increase the size of this cache and convert it from a straight
  single-entry prime-number mod hash to a 4-way set-associative
  power-of-2 hash, and improve the hash algorithm.

* This SIGNIFICANTLY reduces lock stalls during heavliy concurrent
  filesystem operations (aka bulk builds) when in the presence of
  a large number of mounts (again bulk builds with [d]synth).

devfs - Clean up some SMP inefficiencies

* We don't need the devfs master lock around a setattr call.  This
  fixes the open(O_CREAT|O_TRUNC) path for redirects to e.g. /dev/null,
  which is used all over the place in ports builds.

* The devfs spec open (open() again) path can obtain the devfs master
  lock shared instead of exclusive, except in the cloning case.
  This significantly reduces stalls during heavily concurrent bulk
  builds.

kernel - Rejigger mount code to add vfs_flags in struct vfsops

* Rejigger the mount code so we can add a vfs_flags field to vfsops,
  which mount_init() has visibility to.

* Allows nullfs to flag that its mounts do not need a syncer thread.
  Previously nullfs would destroy the syncer thread after the
  fact.

* Improves dsynth performance (it does lots of nullfs mounts).

kernel - Increase size of the vm_page hash table

* Increase the size of the vm_page hash table used to shortcut
  page lookups during a fault.  Improves the hit rate on machines
  with large amounts of memory.

* Adjust the ticks overflow test from < 0 to < -1 in to avoid
  getting tripped up by SMP races on the global 'ticks' variable
  (which is not accessed atomically).  One cpu can conceivably
  update a hash ticks value while another cpu is doing a calculation
  based on a stale copy of ticks.

  Avoids premature vm_page_hash cache evictions due to this race.

dsynth - return max_load to 5.0x, reduce PkgDepMemoryTarget

* Restore the max_load cap to 5.0x.  Instead, reduce the estimated
  package dependency storage cap from PhysMem / 2 to PhysMem / 3.

* Document the effects of adding t_pw to the load calculation.

kernel - Start work on a better burst page-fault mechanic

* The vm.fault_quick sysctl is now a burst count.  It still
  defaults to 1 which is the same operation as before.

  Performance is roughly the same with it set to 1 to 8 as
  more work needs to be done to optimize pmap_enter().

Use <fcntl.h> instead of <sys/file.h> for open()'s prototype and flags.

Use our new partition id (0x6c) in several more places.

Mainly, adjust the USB img's own ID and use it in the installer's
legacy BIOS install.

While here, adjust DragonFly BSD's name in a few places (written with
a space).

Reported-by: zrj

Sync ACPICA with Intel's version 20200214.

Not much to see:

* Some improvements to sleep button handling when resuming from sleep
  (which we don't support).

* New AcpiAnyGpeStatusSet() function.

* Improvements to iASL.

For detailed list, please see sys/contrib/dev/acpica/changes.txt.

drm: Use the Linux version of DRM_WAIT_ON()

Avoid sleeping for vblank events when not required.

drm/linux: Rework wait_event_xxx and finish_wait functions

* Add required task state change in finish_wait()

* Move some formerly inline code to linux_wait.c in order to avoid
  problematic header interactions

sys/boot: Unbreak efi build with WORLD_LDVER=ld.bfd.

 Adjust 64-bit libstand.a location to use full path if available as it is
 done for 32-bit loaders already.

 The ld.bfd when invoked with -ffreestanding will not look for /usr/lib.

 Match ldscript.x86_64 to sys/platform/pc64/conf/ldscript.x86_64.
 Our ld.bfd does not support freebsd emulation target.  Generic target is
 enough to convert boot1.sym and loader.sym intermediates to PE32+.

 While there, use something sane for section padding in ldscript.x86_64.

gcc80: Unbreak ctools on OpenBSD.

 For some reason cpp(1) has --traditional-cpp enforced in clang-cpp, that
 does not expand macros with spaces like "FOO (blah);".
 Use plain cc -E -P for compat in NXCC for now (both headers do not
 depend on arch specific code or external headers, so it should be safe.

rdrand - Document massive improvement in performance

* Document the huge difference going from 512 to 16 bytes.  General
  system performance is improved by 9.3% on a TR3990X.

  This is not entirely the fault of rdrand.  It is also in a large
  part due to the overhead of add_buffer_randomness().

kernel - Add more dtypes to sys/dtype.h

* Add a few from FreeBSD, and also add some placeholder types for
  "encrypted" and "unspecified" partition types.

pctrack - Fix symbol table scan

* Fix the symbol table scan to properly parse kernel symbols and not
  get confused by non-code symbols.

kernel - Offset the stathz systimer by 50% of the hz timer

* Offset the initial starting point of the stathz systimer by
  50% of the hz timer, so they do not interfere with each other
  if they happen to be set to the same frequency.

* Change the default stathz frequency to hz + 1 (101hz) so it
  slides across the tick interval window.

kernel - Reduce excessive rdrand harvesting

* Our rdrand driver harvests 512 bytes on each cpu thread at a rate
  of 10hz.  Ryzen CPUs appear to burn about 0.73uS per word, creating
  an overhead of about 460uS/sec on EACH cpu thread in the system.

  When added to the even higher overhead of the add_buffer_randomness()
  call, the result was a roughly 3% loss of performance across the board.

* Reduce the harvest size to 16 bytes, which honestly is still plenty
  of entropy to inject.

* Change some symbolic branch targets to local branch targets in the
  rdrand and padlock code to avoid generating symbols that can cause
  weird output in our PC sampler (I was getting 'loop+N' and 'out+N'
  while testing the above).

kernel - Improve tmpfs support

* When a file in tmpfs is truncated to a size that is not on a block
  boundary, or extended (but not written) to a size that is not on a
  block boundary, the nvextendbuf() and nvtruncbuf() functions must
  modify the contents of the straddling buffer and bdwrite().

  However, a bdwrite() for a tmpfs buffer will result in a dirty buffer
  cache buffer and likely force it to be cycled out to swap relatively
  soon under a modest load.  This is not desirable if there is no memory
  pressure present to force it out.

  Tmpfs almost always uses buwrite() in order to leave the buffer 'clean'
  (the underlying VM pages are dirtied instead), to prevent unecessary
  paging of tmpfs data to swap when the buffer gets recycled or the vnode
  cycles out.

* Add support for calling buwrite() in these functions by changing the
  'trivial' boolean into a flags variable.

* Tmpfs now passes the appropriate flag, preventing the undesirable
  behavior.

drm/linux: Add framebuffer_alloc() and framebuffer_release()

wait.2: Fix markup and comment out some references.

drm/linux: Implement outb()

Makefile.inc1: Pass _SHLIBDIRPREFIX for btools too.

 Allow to to link in with crossworld target built libraries if available.

 These are not needed for DragonFly crossworld target, however helps with
 bootstrapping on OpenBSD or glibc based systems where static versions
 are not available or mismatches the lex(1) too much.

grep(1): Disable use of unlocked IO in btools.

 Our use of grep during bootstrapping process does not require it and
 solves issues when bootstrapping utility on OpenBSD.

find(1): Disable use of getvfsbyname(3) in btools.

 Not needed by our buildworld/buildkernel infrastructure.
 This allows utility to be used on OpenBSD host.

find(1): Reduce bootstrap locale specific requirements.

 The F_TIME2_T functionality is not available on all OSes.

 While there, check for D_MD_ORDER availability and fallback to month
 first if not available.

find(1): Check for _ST_FLAGS_PRESENT_ availability.

find(1): Check for FTS_CONST just like mtree(8).

 For compatibility with OpenBSD.

cp(1): Check for FTS_CONST just like mtree(8).

 For compatibility with OpenBSD.

cp(1): Check for _ST_FLAGS_PRESENT_ availability.