kernel - Reduce excessive rdrand harvesting

* Our rdrand driver harvests 512 bytes on each cpu thread at a rate
  of 10hz.  Ryzen CPUs appear to burn about 0.73uS per word, creating
  an overhead of about 460uS/sec on EACH cpu thread in the system.

  When added to the even higher overhead of the add_buffer_randomness()
  call, the result was a roughly 3% loss of performance across the board.

* Reduce the harvest size to 16 bytes, which honestly is still plenty
  of entropy to inject.

* Change some symbolic branch targets to local branch targets in the
  rdrand and padlock code to avoid generating symbols that can cause
  weird output in our PC sampler (I was getting 'loop+N' and 'out+N'
  while testing the above).

kernel - Improve tmpfs support

* When a file in tmpfs is truncated to a size that is not on a block
  boundary, or extended (but not written) to a size that is not on a
  block boundary, the nvextendbuf() and nvtruncbuf() functions must
  modify the contents of the straddling buffer and bdwrite().

  However, a bdwrite() for a tmpfs buffer will result in a dirty buffer
  cache buffer and likely force it to be cycled out to swap relatively
  soon under a modest load.  This is not desirable if there is no memory
  pressure present to force it out.

  Tmpfs almost always uses buwrite() in order to leave the buffer 'clean'
  (the underlying VM pages are dirtied instead), to prevent unecessary
  paging of tmpfs data to swap when the buffer gets recycled or the vnode
  cycles out.

* Add support for calling buwrite() in these functions by changing the
  'trivial' boolean into a flags variable.

* Tmpfs now passes the appropriate flag, preventing the undesirable
  behavior.

drm/linux: Add framebuffer_alloc() and framebuffer_release()

wait.2: Fix markup and comment out some references.

drm/linux: Implement outb()

Makefile.inc1: Pass _SHLIBDIRPREFIX for btools too.

 Allow to to link in with crossworld target built libraries if available.

 These are not needed for DragonFly crossworld target, however helps with
 bootstrapping on OpenBSD or glibc based systems where static versions
 are not available or mismatches the lex(1) too much.

grep(1): Disable use of unlocked IO in btools.

 Our use of grep during bootstrapping process does not require it and
 solves issues when bootstrapping utility on OpenBSD.

find(1): Disable use of getvfsbyname(3) in btools.

 Not needed by our buildworld/buildkernel infrastructure.
 This allows utility to be used on OpenBSD host.

find(1): Reduce bootstrap locale specific requirements.

 The F_TIME2_T functionality is not available on all OSes.

 While there, check for D_MD_ORDER availability and fallback to month
 first if not available.

find(1): Check for _ST_FLAGS_PRESENT_ availability.

find(1): Check for FTS_CONST just like mtree(8).

 For compatibility with OpenBSD.

cp(1): Check for FTS_CONST just like mtree(8).

 For compatibility with OpenBSD.

cp(1): Check for _ST_FLAGS_PRESENT_ availability.

cp(1): Install signal handler only if SIGINFO is available.

mv(1): Check for _ST_FLAGS_PRESENT_ availability.

 While there, check for MNAMELEN availability that indicates presence of
 f_mntonname field in struct statfs.

mv(1): Install signal handler only if SIGINFO is available.

rm(1): Check for _ST_FLAGS_PRESENT_ availability.

 This allows utility to be used on glibc based systems.

rm(1): Check for whiteout support.

 The S_IFWHT is not available on all OSes.

rm(1): Install signal handler only if SIGINFO is available.

gzip(1): Check for _ST_FLAGS_PRESENT_ availability.

m4(1): Add const attribute to __progname.

stat(1): Disable -H support in btools.

 While there, limit features in btools too (used only in sys/boot/).

install(1): Check for _ST_FLAGS_PRESENT_ availability.

 Our <sys/stat.h> provides the definition.  Unbreaks build on Linux.

install(1): Use at least 6 characters for template.

 Glibc mkstemp(3) requires at least 6 characters in template.

install(1): Disable -N option in btools.

 Our installworld has installcheck and preupgrade and we do not make use
 of mtree -N option.  This removes hard dependency on pwcache(3).

mtree(8): Add missing checks for HAVE_STRUCT_STAT_ST_FLAGS.

 This make mtree(8) usable when building on Linux host.

 While there, adjust few included headers too.

mtree(8): Disable -N option in btools.

 Our installworld has installcheck and preupgrade and we do not make use
 of mtree -N option.  This removes hard dependency on pwcache(3).

vmstat - Change re, pi, po and fr from counts to bytes

* Change re, pi, po, and fr to bytes.  re, pi, and po were previously
  paging related transaction counts (not even page counts) which really
  tells us absolutely nothing.

  The values are now displayed in terms of bytes reclaimed, paged in,
  paged out, and freed, with appropriate suffixes (nothing, K, M, or G).

tmpfs - Improve write clustering

* Setup bmap and max iosize parameters so the kernel's clustering
  code can actually cluster 16KB tmpfs blocks together into 64KB
  blocks.

* In low-memory situations the pageout daemon will flush tmpfs
  pages via the VM page queues.  This ultimately runs through
  the tmpfs_vop_write() UIO_NOCOPY path which was previously using
  cluster_awrite().  However, because other nearby buffers are
  probably not present (buwrite()'s can allow buffers to be
  dismissed early), there is nothing for cluster_awrite() to
  latch onto to improve write granularity beyond 16KB.

  Go back to using cluster_write() when SYNC and DIRECT are not
  specified.  This allows the clustering code to collect buffers
  and flush them in larger chunks.

* Reduces low-memory tmpfs paging I/O overheads by 4x and
  generally increases paging throughput to SSD-based swap by
  2x-4x.  Tmpfs is now able to issue a lot more 64KB I/Os when under
  memory pressure.

kernel - Add vm.pageout_allow_active sysctl

* Add vm.pageout_allow_active sysctl and default to 1.  The pageout
  daemon scans inactive pages for work.  This sysctl allows the pageout
  daemon to cluster nearby active OR inactive pages with the inactive
  page it found.

  Default to enabled.

tmpfs - Flush and recycle pages quickly during heavy paging activity

* When the pagedaemon is operating any write()s made via tmpfs will
  be forced to operate through the buffer cache via cluster_write()
  or bdwrite() instead of using buwrite().

  This will cause the pages to be pipelined to backing store (swap)
  under these conditions, making them clean immediately to avoid
  having tmpfs cause further paging pressure on the system when it
  is already under paging pressure.

* In addition, the B_TTC flag is set on these buffers to attempt to
  recycle the pages directly into PQ_CACHE ASAP after they are flushed.

* Implement cluster_write() operation by default to try to improve
  block sizes for physical I/O.

* TMPFS currently must move pages between two VM objects when
  reclaiming a vnode, and back again upon re-use.  The current
  VM mechanism for renaming VM pages dirties them and this can
  potentially cause the paging system to thrash on the same page
  under heavy vnode recycling loads.

  Instead of allowing this to happen, TMPFS now frees any clean
  page that have backing store assigned when moving from the backing
  object, and any clean pages that were instantiated from backing
  store when moving to the backing object.

kernel - Add B_TTC flag (buffer cache try-to-cache flag)

* This allows filesystems to set a flag, B_TTC, that causes the
  kernel to attempt to cycle the underlying pages into PQ_CACHE
  when the buffer is disposed of.

kernel - Improve vm_page_try_to_cache()

* In situations where this function is not able to cache the
  page due to the page being dirtied, instead of just returning
  at least ensure that it is moved to the inactive queue if it
  is currently on the active queue.

kernel - Adjust vm.pageout_memuse_mode

* Generally speaking pages in the INACTIVE queue are cycled through
  the queue once if they are clean, and twice if they are dirty
  (cycle, clean, cycle again).

  This could lead to an excessive lack of progress when paging heavily
  and a lot of dirty data is present in INACTIVE, such as when a great
  deal of just-written tmpfs related data is present.

* Change the default to cycle dirty pages through the queue just
  once, same as clean pages.

* Only scan 1/10 of each of the 1024 ACTIVE / INACTIVE queues in
  each pass.  This is particularly important for the INACTIVE queue
  because we want to give pages in this queue a chance to reactivate
  and they might not be given that chance when the full queue is
  scanned.

  This became an issue when we greatly increased the number of queues
  in previous SMP partitioning work (the CPU topology is mapped onto to
  the queue space for initial allocation attempts in order to reduce
  contention).

kernel - Require pages to be PQ_ACTIVE for quick vm_page soft refs

* Require the a VM page be ACTIVE when allowing a quick soft ref
  on it for a vm_fault().  If the page is not ACTIVE, the fault will
  access it normally and activate it.

  Previously the page could be ACTIVE or INACTIVE.

* This ensures that pages often-referenced by vm_fault do not accidently
  flow through states and get freed prematurely, causing light paging
  to unnecessarily stall active processes.

dsynth - Add one more column for 'Lines'

* Increase Lines column width from 6 digits to 7.

vmstat - Adjust format slightly

* Adjust the format for the "r b w" columns slightly to keep things
  aligned on modern systems.

dsynth - Adjust load calculations

* Change the load cap from 5.0 x ncpus to 4.0 x ncpus.

* Add vmtotal.t_pw to the 1-minute load.  This adds in any processes
  waiting on a page-fault in an attempt to not improperly increase the
  job cap due to low swap-thrashing-caused load averages.

flock.2: Document the correct header (<fcntl.h>) for flock().

While here, remove some pointless quotations from the header.

dsynth - Improve auto SlowStart a bit

* When MaxWorkers is >= 16, set the SlowStart at MaxWorkers / 4 instead
  of at 1 so we do not have to wait forever for it to inch up to a
  stable value.

kernel - Improve pageout daemon pipelining.

* Improve the pageout daemon's ability to pipeline writes to the
  swap pager.  This deals with a number of low-memory situations
  where the pageout daemon was stopping too early (at the minimum
  free page mark).

* We don't want the pageout daemon to enforce the paging targets
  after a successful pass (as this makes it impossible to actually
  use the memory in question), but we DO want it to continue pipelining
  if the page stats are still below the hysteresis point governed by
  vm_paging_needed().

tmpfs - Cycle through buffer cache when pageout daemon is running

* tmpfs usually allocates VM pages directly, but this can overwhelm
  the VM system in low-memory situations, causing processes to make
  very little progress in normal run-time operation if one or more
  of them are doing heavy writing to tmpfs.

* Significantly improves dsynth performance in low-memory situations
  where multiple worker slots are in the install-pkgs phase.

kernel - Warn/assert on broken ACPI MADT

* Add warnings and assertions for broken ACPI MADT tables.  I encountered
  this trying to boot a 3990X on a motherboard with an old BIOS that didn't
  support it.  It tried to boot anyway, but the MADT table was mangled
  and caused a null-pointer indirection in the kernel.  Assert nicely
  instead.

kernel - Add cpu ident bit ADMSKX (address mask extensions)

* Add cpu ident bit ADMSKX (address mask extensions)

Taken-from: FreeBSD

Merge branch 'vendor/OPENBSD_LIBM'

Really sync <math.h> with OpenBSD on the vendor branch.

libm: Remove sincos() and friends from lib/libm.

Merge branch 'vendor/OPENBSD_LIBM'

Import sincos() and friends directly to the vendor branch.

sincos.3: Add missing MLINKS.

inet6: report RTM_MISS when probing a known address fails

This allows unreachable to hit userland faster.

<sys/ttydefaults.h>: Sync up with FreeBSD, mainly for r179567.

The rest of it was already brought in.

FreeBSD's commit msg:

r179567 | ed | 2008-06-05 19:44:18 +0200 (Thu, 05 Jun 2008) | 13 lines

Fix faulty character to control-character conversion for CTRL().

The CTRL() macro seems to perform character to control-character
conversion (i.e. 'A' to 0x01) to lowercase characters. This is actually
not valid. If we use lowercase characters, conversions such as
CTRL('\\') and CTRL('?') will result to invalid conversions.

Because we must still support old source code that uses CTRL() (bad!),
we make CTRL() accept both forms. When the character is a lowercase
character, we perform the old style conversion.

<sys/ttydefaults.h>: Add some includes for self-sufficiency.

route(4): Remove a leftover closing brace.

Assuming the opening one was removed for style reasons.

installer: Silence a kenv(1) warning.

On non-comconsole systems, this is undefined, so silence any warnings
about it (that would show up briefly when logging in as installer).

route(4): add RO_MISSFILTER socket option.

This allows filtering of specific RTM_MISS destination sockaddrs.

route: make INET6 addrs human readable with sockaddr_print

route: constify sockaddr_print

kernel/apple_gmux: Add missing opt_ddb.h to the Makefile and sort.

kernel/vga_switcheroo: Add missing opt_ddb.h to the Makefile.

kernel/drm: Add missing opt_ddb.h to the Makefiles.

While here, adjust some SRCS declaration style with the rest of the
Makefile.

kernel - Clean up memory leaks and a stack buffer disclosure bug

* Clean up memory leaks, a stack buffer disclosure bug, and a
  missing priv check in if_oce (which probably never attaches these
  days).  All in the network subsystem.

Reported-by: Ilja van Sprundel

sbin/fsck_msdosfs: Diff reduction against FreeBSD against NetBSD

from freebsd/freebsd@28bbeac80931cc14571ef4b6455d8da7466411a2

sbin/fsck_msdosfs: Tighten FAT checks and fix off-by-one error in corner case

See below for details.
https://reviews.freebsd.org/D23065

from freebsd/freebsd@b60894b10adb071a8dc2b6fea5f9867c24bc9c47

libm: Bring in sincos, sincosf, and sincosl from OpenBSD

drm/linux: fix a bug in DEFINE_WAIT()

The wake-up function was not properly set up.

sbin/fsck_msdosfs: Document -M

from freebsd/freebsd@0371742d8ddb1c53201a1141a58076535e0b2f9c

sbin/fsck_msdosfs: Reduce memory footprint of fsck_msdosfs

See below for details.
https://reviews.freebsd.org/D22965

from freebsd/freebsd@41655e1cf1451b788f6437c91ec74bcecd2192b7

drm: Improve drm_can_sleep()

drm - Remove some of the linux_sched debugging

* Remove some debugging that we no longer need.

hammer2.8: Fix typo.

dsynth - Add HTML support (2)

* Fix 'ignored' and 'failed' reason format (the js expects a certain
  format and coughs pop-up errors up if it doesn't get it).

dsynth - Add HTML support

* Bring in progress.css, progress.html, progress.js, and icons from
  the synth project.  Add John's copyright to progress.js.

* dsynth now generates the logs/Report subdirectory, all necessary
  files, and dynamically generates the json.

  The summary.json database is updated every 10 seconds to reduce wear and
  tear.

* Split the history files in 50KB segments to reduce network traffic.

etc/defaults/rc.conf: Remove some leftovers from the mrouted(8) removal.

kernel/iwm: Add back support for IWM_DEBUG (default is inactive).

Dunno why it got lost in the last upgrade.

Also, comment it out in the module Makefile.

getrandom.2: Use .Dv for defines.

iso639: Fix some descriptions (from upstream).

kernel - Fix usb crash on detach

* Sometimes a bad usb link can flicker off before the usb bus is able
  to finish attaching it, resulting in an attempt to kfree() a NULL
  pointer.  Check for NULL.

sysctl.9/sysctl_add_oid.9: Add missing BIT32 and BIT64 MLINKS.

rman.9: Fix rman_make_alignment_flags() prototype.

getrandom.2: Comment out reference to getentropy.3 and fix date.

vkernel: Include <sys/malloc.h> for malloc_reinit_ncpus() prototype.

Fixes the VKERNEL64 build.

gcc80: Hide NO_WERROR in tools better.

hostprog: Remove NO_WERROR from btools tic.

Pointed-out-by: swildner

<alloca.h>: Add comment for special handling case.

kernel - Make writing to /dev/urandom (to add entropy) faster

* Speed this up a bit by chunking up 256 byte blocks instead of
  64.  The SHA256 hash eats a lot of time, this should speed the
  boot-time entropy injection up by 4x.

Reported-by: zrj

libc - Update manual page for realpath(3) and add page for __realpath(2)

* Add a manual page for __realpath(2) which clarifies differences
  between realpath(3) and __realpath(2).

libc - Update for realpath() system call support (2)

* Fix bug last commit, on failure if a buffer is supplied we copy
  the source path to the target buffer before returning.

Reported-by: zrj

boot/pxe: Fix some typos in comments and (unused, as it seems) type names.

While here, use our __packed.

kernel - Rejigger random number generator to be per-cpu 2/2

* The initializer tries to diverge each cpu's csprng a bit more
  now.  These initial conditions are not intended to produce secure
  random numbers, but they should be reasonably secure by the time the
  kernel is finished booting.

* Once the csprng is operational, do not always inject the same
  entropy into both csprngs since that would make having two and
  XOR'ing the results together kinda worthless.

* If RDRAND is available the csprng will get new injections 25 times
  a second on each cpu.  Without it, however, entropy injection is
  relatively slow.

kernel - Rejigger random number generator to be per-cpu 1/2

* Refactor all the kernel random number generation code to
  operate on a per-cpu basis.  The csprng, ibaa, and l15
  structures are now per-cpu.

* RDRAND now runs a periodic timer callback on all available cpus
  rather than just on cpu 0, allowing rdrand data to mix on
  each cpu's rng independently.

* The nrandom helper thread now chains state with an iteration
  between cpus, injecting a random data buffer generated from
  the previous cpu into the mix of the current.

kernel - Add __realpath() and getrandom() system calls (2)

* Move GRND_* defines to the right spot in sys/random.h

make(1): Add OpenBSD support.

 OpenBSD does not have 'A' support in malloc_options.  Use supported 'S'
 to prevent a lot of warnings during every bmake invoke.

tic(1): Explicitly disable WERROR in hostprog tic.

 This special version is used during buildworld.
 Helps with bootstrapping on OpenBSD.

world: Explicitly disable WERROR for hostprog and hostlib.

 Explicit tracking of currently toolchain is too fragile for c++.
 Add CROSS_CFLAGS helper in NXFLAGS for bootstrapping on OpenBSD.

gcc80: Make bootstrapping more permissive.

 To allow boostrapping on OpenBSD/Linux hosts:
 * provide CROSS_LIBDL knob when needed;
 * disable use of iconv in support libs;
 * disable werror in hostlibs.

binutils227: Explicitly include <stdint.h> and add CROSS_LIBDL.

 On glibc based systems dlopen() functionality is not in libc.

gdb(1): Explicitly include <stdint.h>.

libc - Update for realpath() system call support

* The realpath() implementation now checks to see if the system call
  is available and uses it.

* getosreldate() now caches the result to avoid multiple sysctl()
  calls.

* Add the new system calls (__realpath and getrandom()) to the symbol
  list.

kernel - Add __realpath() and getrandom() system calls

* Add a kernel __realpath() system call.  libc must still implement
  the realpath() function to handle NULL buffers (malloc()d buffer
  returned).

  The libc implementation checks the osversion for backwards compatibility
  before attempting to use the new system call.

* Add a kernel getrandom() system call.

* Bump __DragonFly_version to 500710.

Suggested-by: tuxillo, mjg