kernel - Rejigger midistat functions to close a race

* Make sure lock has full coverage across midistat_open() and
  midistat_read().  The temporary drop of the lock in midistat_read()
  lead to a race which allows one to read kernel memory beyond the
  end of the sbuf buffer.

* Rejigger the code to remove the global offset and just use
  uio_offset, which also fixes the same race (but leave the
  lock coverage in place regardless).

Taken-From: FreeBSD
Security:       CVE-2019-5612

kernel - merge m_pulldown() bug fix

In m_pulldown(), before trying to prepend bytes to the subsequent mbuf,
ensure that the subsequent mbuf contains the remainder of the bytes
the caller sought. If this is not the case, fall through to the code
which gathers the bytes in a new mbuf.

This fixes a bug where m_pulldown() could fail to gather all the desired
bytes into consecutive memory.

Patch-by: sephe
FreeBSD-PR: 238787
Reported by: A reddit user
Discussed with: emaste
Obtained from: NetBSD
Obtained from: FreeBSD

dsynth - Stabilization

* Set the PORTSDIR and BATCH environment variables for bulk pkglist
  operations (these were already being set properly for chroot'd
  operations).

  This will fix the PORTSDIR prefix test and removal for dependencies
  done by resolveDepString().

dsynth - Optimize pty use

* Have the WORKER process allocate the pty once and use it in all
  phases, instead of allocating and closing a new pty for each phase.

* Make N copies of /bin, /lib, /usr/bin, and /libexec into the base
  directory and mount those in the chroots instead of the system
  directory, essentially unsharing these directories.  Each worker
  gets an independent copy.

  This should reduce contention and cache-line ping-ponging overhead
  on /bin/sh, libc, make, etc, significantly.

* Create the template conditionally whether 'pkg' has been built or
  not.

dsynth - Get skips working, etc

* Get 'Skipped' working, and print a nice depdency chain for the reason
  why a packge got skipped.

* Added swap% to the dynamic worker reduction algorithm.  It startsr at
  10% swap used and maxes out at a 75% reduction with 40% of swap used.

* Add a slow-start feature so dsynth does not try to load all workers
  at startup simultaneously.  This gives the swap% and loadavg worker
  reduction code a chance to activate before the system becomes totally
  smashed.

* Cache the 0*.log logfile descirptors instead of open/write/close.

route: Remove ref counting around rt_newaddrmsg().

Doesn't seem to be needed anymore.
As proposed by sephe.

Merge remote-tracking branch 'remotes/crater/vendor/BYACC'

sbin/hammer2: Use hammer2_uuid_to_str() instead of uuid_to_string()

sbin/hammer2: Use hammer2_time64_to_str() in "printinode"

dsynth - Misc work

* Try to get Skipped working, propagate the NOBUILD flag upward
  and process it as a Skipped in startbuild().

* Change descriptor 0 in the forkpty()'d sub-process to /dev/null
  to try to shortcut ports which sometimes ask questions.
  (We do set BATCH as well, but some ports still ask questions).

* Change the dynamic MaxWorkers adjustment to reduce MaxWorkers
  by up to 75% at (5 * ncpus) of load.  The adjustment begins
  at 0% at (1.5 * ncpus) load.

sbin/hammer2: Fix remaining type warnings on Linux distros

Bring in local changes existed in https://github.com/kusumi/lh1.
These ondisk fields are not of char*.

dsynth - Reap processes more generally in the poll loop

* Adjust the dsynth worker process to reap any pid needing
  reaping within the poll loop instead of just checking the
  primary exec'd make pid.

* This catches any orphaned children that would otherwise
  accumulate during the build.

dsynth - Misc/stabilization

* Add missing environment variables PORT_DBDIR, PACKAGE_BUILDING,
  and PKG_CREATE_VERBOSE.

* Increase field width for Impulse and Pkg/hour to 5 digits.

* Fix bugs in the dynamic MaxWorkers reduction code (based on load).

dsynth - Fleshout functions

* Add dynamic MaxWorker reduction based on the load.  The number of
  workers will be reduced by (load * 2 / ncpus) when the load
  exceeds (ncpus * 2.0), with a floor of min(4, MaxWorkers).

  The idea here is to reduce unnecessary swap use when building
  larger packages that push the load up greatly.

* Clean-up terminal spam after ncurses has been turned on.

* Generate fatal error if required configured directories are
  missing.

* Add -y (yes to all) option.

* Implement 'status' and 'status-everything'

* Implement 'purge-distfiles' (initial work)

* In scans that dump percentages, print 100% at the end before
  moving onto the next step.

dsynth - Initial commit (unhooked from buildworld)

* DSynth is basically synth written in C, from scratch.  It is designed
  to give us a bulk builder in base and be friendly to porting and jails
  down the line (for now its uses chroot's).

  The original synth was written by John R. Marino and its basic flow
  was used in writing this program, but as it was written in ada no
  code was directly copied.

* The intent is to make dsynth compatible with synth's configuration
  files and directory structure.

* This is a work in progress and not yet ready for prime-time.  Pushing
  so we can get some more eyeballs.  Most of the directives do not yet
  work (everything, and build works, and 'cleanup' can be used to clean
  up any dangling mounts).

* Not connected to the build yet.  A great deal more work is needed.
  As-of this commit, these areas need work:

  - Uname/architecture/release-versioning stuff.

  - Possibly additional environment variables or make variables
    for certain cases and situations.

  - The repo building step.

  - Web interface.

  - Dynamic load management (reduce the number of workers dynamically
    based on load/ncpus).

  - curses cleanup and window resizing.

sbin/hammer2: Minor fix in man

Correct d371ccd28ada846c26eb398d4f4798fd4a74d47d.

lib/libdmsg: Fix compile warning on Linux distros

Appeared since 030e3428e0c23c47cef4dfab51f988a8fa665d19.

--
msg.c:202: warning: pointer targets in passing argument 1 of 'atomic_set_int' differ in signedness
atomic.h:129: note: expected 'volatile u_int *' but argument is of type 'int *'

sbin/hammer2: Fix compile warning on Linux distros

--
cmd_debug.c: In function 'show_bref':
cmd_debug.c:812: warning: pointer targets in passing argument 2 of 'CountFreeBlocks' differ in signedness
cmd_debug.c:42: note: expected 'hammer2_off_t *' but argument is of type 'int64_t *'
cmd_debug.c:812: warning: pointer targets in passing argument 3 of 'CountFreeBlocks' differ in signedness
cmd_debug.c:42: note: expected 'hammer2_off_t *' but argument is of type 'int64_t *'

cmd_debug.c: In function 'cmd_hash':
cmd_debug.c:890: warning: pointer targets in passing argument 1 of 'dirhash' differ in signedness

usr.sbin/fstyp: Fix compile warning on Linux distros

Ondisk inode's filename[] is of unsigned char.

--
hammer2.c: In function '__read_label':
hammer2.c:123: warning: pointer targets in passing argument 2 of 'strncpy' differ in signedness

sbin/hammer2: Add missing usage() exit for "destroy"/"destroy-inum"

sbin/hammer2: Align usage() output

sbin/hammer2: Fix hammer2(8) and usage()

sbin/mount_hammer2: Fix usage() output

Sync with mount_hammer2(8).

last(1): Fix braces.

kernel - Fix race in sys_shmmat()

* Fix a race whereby two threads can attempt to allocate the
  same shmmap_s.  The race can occur because blocking conditions
  interrupt the token interlock.

  Simply add a simple reserved field to stage the allocation
  prior to the shmid being assigned.

printenv(1) - Sync with FreeBSD

- Remove MLINKS, env.1 has its own manpage now.

env(1) - Sync with FreeBSD

- There have been almost no changes since it was first imported.
- Now it has its own manpage

sbin/newfs_hammer2: Eliminate (an only)tab in result output

Other lines are aligned with space.

sbin/newfs_hammer2: Zero clear boot/aux area

Although currently unused, don't leave unrelated garbage.
This increases runtime by 1 sec or so with default boot/aux size.

Also drop redundant bzero() call against zero'd buffer.

sbin/newfs_hammer2: Make ascii-art a bit more descriptive

inet6: Take route reference before announcing address

This mirrors the behaviour in rtinit_rtrequest_callback.

bump version for prior

inet6: emit RTM_NEWADDR messages on address flag changes.

We no longer emit RTM_NEWADDR right away when adding a new address
and starting DAD. Instead the result of the DAD will be emitted.

Some minor fixes from NetBSD are also brought in, such as
starting DAD when addresses are no longer detached and the
tentative state not being added when address lifetime is
extended.

Taken-from: NetBSD
Reviewed-by: sephe

route: Add support for route(4) message filtering.

This saves waking up listeners for messages they have no interest in.
It also helps to reduce the chance of a receive buffer overflow.

Taken-from: OpenBSD
Reviewd-by: sephe

sbin/mount_hammer2: Include <errno.h> for errno

It's currently included via <dmsg.h>.

sbin/*_hammer2: Fix/cleanup Makefile

sys/vfs/hammer2: Drop obsolete comment on chain allocation

This comment no longer applies to this switch/case.
See 355d67fcd81e0a7b17007d691bb00bdd151f3d28 in 2013.

sbin/hammer2: Simplify bitmap offset calculation in "freemap"

Eliminate a magic number 256 (4MB / 16KB).
Each hammer2_bmap_data in leaf covers 4MB (level 0) data store.

sbin/hammer2: Print rotation# (0-7) in "freemap"

sbin/hammer2: Print bcount(>0) for all blockrefs in "show"/"freemap"

sbin/hammer2: Refactor show_bref()

No functional difference.
Read media buf, get bscan pointer, and calculate bcount first.

sbin/hammer2: Remove unused local variable

Always 1 and never used for anything.

Update the pciconf(8) database.

August 8, 2019 snapshot from https://pci-ids.ucw.cz

ahci - Add quirk for MCP73 AHCI Controller

- The AHCI chip for the MCP73 motherboard, which is identified as below, does
  not properly handle certain handshake operations.

  ahci0@pci0:0:14:0:      class=0x010601 card=0xe03a1631 chip=0x07f410de rev=0xa2 hdr=0x00
    vendor     = 'NVIDIA Corporation'
    device     = 'GeForce 7100/nForce 630i SATA'
    class      = mass storage
    subclass   = SATA
    cap 01[44] = powerspec 2  supports D0 D3  current D0
    cap 12[8c] = SATA Index-Data Pair
    cap 05[b0] = MSI supports 8 messages, 64 bit enabled with 1 message

Pointed-out-by: dillon

sbin/hammer2: Whitespace cleanups/etc for cmd_debug.c

sbin/hammer2: Add -q mode (no blockref data) for "show"/"freemap"

net/raw: Assert all APIs are called from netisr0.

Remove the raw pcb list lock, since thread serialization is used.

kernel - Fix SMP races in raw socket code

* The raw socket code was not properly dealing with SMP races
  in attach/detach verses receive processing.  Replace the token
  with a lockmgr lock.

  These issues never really caused an issue because raw sockets just
  aren't used very often, but they still need to be dealt with.

* SMP performance is not super-critical in this case so I just use a
  normal lock and keep it simple.

sbin/hammer2: Fix root blockref type in "freemap"

The root blockref type for freemap should be
HAMMER2_BREF_TYPE_FREEMAP rather than HAMMER2_BREF_TYPE_VOLUME.
Both are pseudo types, but sync with what fchain uses.

sys/vfs/hammer2: Use HAMMER2_FREEMAP_LEVEL1_MASK

(HAMMER2_FREEMAP_LEVEL1_SIZE - 1) -> HAMMER2_FREEMAP_LEVEL1_MASK

sys/vfs/hammer2: Drop redundant H2FMSHIFT() macro

Since H2FMSHIFT() is only used with freemap radix levels, it can be
completely replaced with the existing HAMMER2_FREEMAP_LEVEL*_SIZE.
This is more readable.

sys/vfs/hammer2: Move duplicated macros H2FM*() to hammer2_disk.h

These macros exist in both freemap and bulkfree code.
Should be part of ondisk layout spec.

sys/vfs/hammer2: Drop unused inline function hammer2_freemapradix()

Unused since 93f3933ac3e2ad37a7ba775663c711b13588f147 in 2013.

sys/vfs/hammer2: Use HAMMER2_FREEMAP_LEVEL1_SIZE

sbin/newfs_hammer2: Drop -Isbin/hammer2 in Makefile

Unlike newfs_hammer(8), newfs_hammer2(8) just creates root inodes,
therefore it doesn't (need to) rely on hammer2(8) for ondisk
initialization nor does it have such functionality.

sbin/hammer2: Don't test uuid on "info"/"mountall" if uuid is 0

Don't terminate if HAMMER2 device/partition has 0 uuid.

sbin/hammer2: Remove unnecessary { ... } scope

sbin/newfs_hammer2: Whitespace cleanups

sbin/newfs_hammer2: Fix usage() output

Sync with newfs_hammer2(8).
Unlike HAMMER1, label name via -L is optional.

sbin/newfs_hammer2: Drop unused GIG

from 2012.
There is no block device size requirement like HAMMER1.

sys/vfs/hammer2: Cleanup unused bp/nbio's in strategy

sys/vfs/hammer2: Use MAXBSIZE for getblk() size limit

drm/linux: Add X86_FEATURE_HYPERVISOR

Build: Bump __DragonFly_version to 500703

Knowing whether static TLS binding is useable or not is important
for some ports like graphics/mesa-libs

sys/vfs/hammer2: Fix comments on inode lock on truncation

Inodes are locked when these are called.

sys/vfs/hammer2: Fix indentation

kernel: Fix the _KERNEL/_KERNEL_STRUCTURES checks w/ error msg a bit.

Uniformly use this style:

#ifndef _KERNEL
#error "..."
#endif

over this style:

#ifndef _KERNEL
#error "..."
#else
[rest of header]
#endif

Pointed-out-by: zrj

kdump(1): Remove an unneeded include path in the Makefile.

Include syscalls.c relative to ${.CURDIR}/../../sys, that we need
anyway.

rtld - Support static TLS bindings for late-loaded shared libraries (2)

* Add missing static_tls.h

Reported-by: ftigeot

rtld - Support static TLS bindings for late-loaded shared libraries

* Allow late (manual) dlopen()s to load shared libraries which
  use static TLS variables, as long as there is space.  Do proper
  late-binding and initialize the area for all threads.

* rtld will cache a symbol lookup on first-need for:
  "_pthread_distribute_static_tls" and then call it as needed to
  initialize late-bound static TLS space.

  This symbol is weakly bounded to __libc_distribute_static_tls in libc,
  and strongly overridden by _libthread_distribute_static_tls in
  libthread_xu.

* Fixes mesa glx-tls and others.

* Test code from FreeBSD.  Also tested with other combinations
  including a pthread_create() and -static compilation.

https://github.com/dumbbell/test-tls-initial-exec

<machine/stdint.h>: Move __offsetof() to <sys/cdefs.h>.

It didn't really fit well into <machine/stdint.h> which is for machine
dependent types only.

See FreeBSD's r99594.

I took a comment and some additional casts from FreeBSD.

Pointed-out-by: zrj

libc/utmpx: Fix updwtmpx() across newsyslog rotation of /var/log/wtmpx.

When /var/log/wtmpx is rotated by newsyslog(8), an empty /var/log/wtmpx
is created. Fix updwtmpx() to write the signature record this case as
well. This signature record is used by setutxdb() to verify the file.

<machine/stdint.h>: Use __GNUC_PREREQ__() for a __GNUC__ check.

Reported-by: zrj

reboot(8): Fix argument order in logwtmpx().

inet6: discard NA messages with a lladdress we own

This allows userland to send NA messages for already existing
addresses without the kernel reporting incorrectly that a
duplicate address has been detected.

net/if: introduce if_bylla to find an interface by hardware address

<sys/stdint.h>: Remove obsolete typedefs for __wctrans_t and __wctype.h.

These are no longer used since 0d5acd7467c4e95f792ef49fceb3ab8e917ce86b.

Reported-by: zrj

<uchar.h>: Define char16_t and char32_t better.

Define them unless we use C++11 or higher. Also, remove __char16_t
and __char32_t from <sys/types.h>. Furthermore, remove the unneeded
declaration guards.

Thanks to zrj for his help.

drm/linux: Implement more idr routines

Add idr_get_next() and idr_for_each_entry()

Inspired-from: FreeBSD

kernel: Enable more generic drm code

Reduce differences with Linux 4.7.10

Document ENOBUFS error in read(2) and recv(2).

socket: introduce SO_RERROR to detect receive buffer overflow

kernel receive buffers are initially of a limited size and
generally the network protocols that use them don't care
if a packet gets lost.

However some users do care about lost messages even if not
baked into the protocol - such as consumers of route(4) to
track state.

POSIX states that read(2) can return an error of ENOBUFS so
return this error code when an overflow is detected.
Guard this with socket option SO_RERROR so that existing
applications which do not care can carry on not caring by
default.

Taken-from: NetBSD
Reviewed-by: sephe

Test commit

dbopen.3: Mention O_CLOEXEC.

<sys/copyright.h>: Remove a K&R leftover; use just spaces instead of /**/.

sys/vfs/hammer2: Drop redundant ; in H2XOPDESCRIPTOR()

FWIW, fix systags.sh.

kernel/ixgbe: Use __restrict instead of restrict like everywhere else.

kernel/drm: Add print_hex_buffer() and use it.

sail(6): Sync with NetBSD.

This, among other things, fixes an old curses related bug that caused
FreeBSD ports to take NetBSD's instead of ours (the games/bsdgames port
takes our source as the distfile). They've since switched to debian's
sail.

See https://svnweb.freebsd.org/ports?view=revision&revision=495354

sys/vfs/hammer2: Drop obsolete comments on chain

"dbtree", "dbq", "core_entry", "domodify" are all removed in around 2014.

ahci - sili - Reduce insertion delay from 10 seconds to 5

* Reduce the insertion delay for hot-plug from 10 seconds to
  5 seconds.

sys/vfs/hammer2: Test bref type HAMMER2_BREF_TYPE_EMPTY instead 0

telnet - Apply FreeBSD-SA-19:12.telnet.asc to telnet

* Fix two environment variable vulnerabililties in the telnet
  client.

* Generally replace all sprintf()s with snprintf()s.

sys/vfs/hammer2: Fix function name in panic() calls

sys/vfs/hammer2: Drop unused CHAIN_CORE_DELETE_BMAP_ENTRIES

Added in 8138a154be31c3db1d8bd046ca7b003a6c79c01c in 2014,
but never used. It also doesn't seem to have any meaning in
current implementation.

kernel - Add SIOCGIFALIAS

* Add SIOCGIFALIAS to retrieve ifconfig information on a single
  alias entry.

Submitted-by: rsmarples (Roy Marples)
Taken-from: NetBSD

kernel: Clean up a bit after the recent tap/tun changes.

hammer2 - Reorder errno priority for unlink directory errors

* When AT_REMOVEDIR is not specified, or unlink() is called on a
  directory, prioritize returning EISDIR over ENOTEMPTY.

* Unbreaks part of 'go'.

Reported-by: hsw

drm/linux: Add pci_name()

Obtained-from: FreeBSD