Merge branch 'vendor/XZ'

Remove {lz,xz}less and manual pages from the vendor branch.

Merge branch 'vendor/ZSTD'

Remove external *less programs/manpages.

* Point {xz,bz,...}less manual pages at less(1) since all compressed
  less is handled by its own lessopen.sh support.

* Stop installing external {lz,xz,zstd,z}less programs and manual pages.

Remove zstdless and its manual page from the vendor branch.

less: Add {z,bz,xz,lz,zstd}less wrappers for viewing compressed files.

Taken-from: FreeBSD

newsyslog.8: Uncomment a reference to zstd.1.

libarchive: Fix Symbol.map.

The two symbols added in c37c9ab3239b3abb889e6cfd43e7211513955129 do not
exist in libarchive. Anything else related to zstd was already present in
the Symbol.map.

zstd(1): Enable multi-threading support in the zstd(1) utility.

Note that it is only used when -T is specified.

Leave libzstd itself without multi-threading, to prevent libarchive from
getting a libpthread dependency. Instead, compile libzstd's necessary
bits into zstd(1) and enable multi-threading only in the utilitily.

For detailed reasoning on this, please check zrj's commit message for
3ff63cdaea3abd5eece6e57d01a1ab57a4312636.

While here, clean up libzstd's Makefile a bit.

mtree: Indent with spaces.

libzstd: Raise WARNS to 4.

zstd: Remove Makefile.depend's.

zstd: Add our READMEs.

zstd: Remove unneeded gunk from contrib/zstd.

Merge branch 'vendor/ZSTD' into master

Import zstd 1.4.8 to a vendor branch.

libzstd: Fix specifying -fno-tree-vectorize for zstd_decompress_block.c.

newsyslog.conf.5: Add zstd.1 reference and bump .Dd

Revert "newsyslog(8): Comment out zstd support for now."

This reverts commit b4fcc362a220df584355e7fae6974e113e4caf3a.

build - Add zstd to the build (libzstd as private library)

* Bring in contrib/zstd from FreeBSD.

* Add libzstd as a private library (i.e. priv/libprivate_zstd) to
  avoid confusion.  (Note that FreeBSD also has zstd in base as
  a private library).

* Add zstd, unzstd, zstdcat, zstdmt utilities.

* Integrate into libarchive, initrd, dsynth, and misc other
  base system elements.

Ported-from: FreeBSD

Sync ACPICA with Intel's version 20210331.

* ACPI 6.4 support.

* Various fixes.

For a detailed list, please see sys/contrib/dev/acpica/changes.txt.

Fix typo in various licenses: merchantibility -> merchantability

dsynth - add zstd support (2)

* Fix a suffix test to handle tar+zstd's 4-character suffix.

fcntl.2: Fix typo in .Dd

kernel - More fixes to libc's uname

* Remove no no-longer-used buf[] (and fix syntax error during
  compilation).

* Do not parse garbage data in buffers in case the sysctls fail.
  This would not have been fatal anyway since we always ensure
  that the buffers are zero-terminated, but it wasn't clean either.
  Clean it up.

* Use the proper name->arrayname for a pointer to the array instead
  of &name->arrayname.  We could also use &name->arrayname[0] but
  just stick with the first method.

Pointed-out-by: dan

kernel - Adjust varsym API to match manual page, remove from uname

* Adjust the varsym system call to match the manual page.  It
  now returns 0 on success instead of the length, and returns
  -1 with an errno of EOVERFLOW if the supplied buffer is too small.

* The uname*() code in libc actually assumed 0 would be returned
  on success, and thus never actually allowed varsym overrides.  Just
  remove the functionality (that nobody uses) entirely.

Reported-by: dan

kernel - Add fcntl(F_GETPATH) (3)

* cache_fullpath() limits the result to MAXPATHLEN, but we must
  still adjust the error code to match the manual page and netbsd.

Modify fcntl.2 manpage to include informations about F_GETPATH

kernel - Add fcntl(F_GETPATH)

* Implement fcntl(F_GETPATH).  For now limit to fp's representing
  vnodes only.  Use cache_fullpath().

* This fcntl() allows a program to retrieve the file path related to
  an open descriptor.

Author:    1338-1 <1338minus1@protonmail.com> also known as dan_
Tested-by: dillon

vmstat - Adjust kmalloc zone name display

* Replace any spaces in zone names with underscores in the output
  to make sorting the output by field easier.

* Add double -mm option to sort output by the higher of MemUse
  or SlabUse to make it easier to pick-out high-use zones.

kernel - Use kmalloc_obj for M_VM_OBJECT

* Use the kmalloc_obj API for struct vm_object management.  Further
  reduces kernel memory fragmentation.

dsynth: add zstd support

* Add support for the extension

* However, we need support in base and in pkg before this will work, so it
  is not the default.

Submitted-by: piecuch (pikrzyszt)

em/emx: Add support for I219 LM15~19 and I219 V15~19

Obtained-from: e1000e

em/emx: Merge Intel em-7.7.8.

Mainly fix setting for I219-LM12 and I219-V12.

bmake: Update README.DRAGONFLY.

Merge branch 'vendor/BMAKE'

vendor/bmake: upgrade from 20210206 to 20210314

Fixes an issue where strict mode (-dL) was giving spurious errors.

Thanks to Roland Illig and Simon Gerraty for taking care of it.

kernel/nfs: Garbage collect M_NFSMOUNT.

grdc.6: Improve grammar a little bit.

kernel: Fix build without INVARIANTS.

gpt - Fix corruption in device_name string

* gpt_open() was assign a global char * to a local stack-based buffer.
  Change the stack-based buffer to a static.

* Fixes corrupted device names.

Makefile_upgrade.inc: Remove obsolete comment.

We stopped keeping formatted manual pages.

See 105f26b55c3c3ffc9913e781deca4c5973a4940c.

include/Makefile: Remove a 'make upgrade' predecessor.

A few days after we pushed RMHEADERS to include/Makefile, the 'upgrade'
target was added as a more general approach, but these two headers were
never added to it and removed from include's Makefile.

Add them at the top of Makefile_upgrade.inc.

bnx: Change clock speed to fix several types of hangs

- During reset, increase the clock speed temporarily to fix hang
  on 5717/5719/5720.
- On 5762, always increase the clock speed even for normal operation
  to avoid hang on TX.

Obtained-from: tg3
f82995b65c44f353358179f4e2745cf967e00b31
3a498606bb04af603a46ebde8296040b2de350d1

kernel - Add some sysctls to kmalloc_obj

* kern.kzone_pollfreq (default 1hz) - Set polling frequency for
  kmalloc zone cleanups.

* kern.kzone_bretire (default 4) - Set number of zones the kmalloc
  poller can retire per interval.  Too high a number can create
  noticable system stalls due to kernel_map operations.

* Add a few more fields to the kmalloc_mgt structure.  Track
  retirement count to help with debugging.

kernel - Implement type-stable EXIS semantics for kfree_obj() - step 2

* Put an exislock_t in the kmalloc_slab structure and issue
  exis_terminate() upon entering the slab on the full list.

* Do not return a full slab to the gcache until it becomes
  exis_freeable().

  This implements type-stable operation for objects allocated via the
  kmalloc_obj() mechanism.  Kernel code operating inside an
  exis_hold() / exis_drop() sequence is guaranteed type-stability.

* Note that destroying a kmalloc_obj zone shreds any related slabs
  regardless of their EXIS state.  However, this is not a problem
  for the zones we care about because they are global zones that
  will never be destroyed.

kernel - Refactor exis_terminate()

* Change exis_terminate() to set the EXIS lock into a CACHED(0) state
  unconditionally, meaning that in one pseudo tick it will wind up
  in NOTCACHED and in two pseudo_ticks it will wind up in the
  TERMINATE (freeable) state.

  This is less confusing, and allows EXIS locks in their simplest form.
  We can add other inlines to perform more nuanced operations.

kernel - Use kmalloc_obj for more zones - step 1b

* Use kmalloc_obj for M_FILE (struct file).

* Use kmalloc_obj for hammer2_io structures.

* Use kmalloc_obj for nfsnode structures, and make it per-mount.

  I don't know if its a good idea to make it per-mount or not.
  As the number of nodes is limited by kern.maxvnodes, it might
  be better to have a global M_NFSNODE kmalloc_obj zone instead
  of a per-mount one.

  (same goes with hammer2_io and hammer2_inode, which are also
  per-mount atm).

kernel - Add kmalloc_obj subsystem  step 1a

* Cleanup for LINT64 build

kernel - Add kmalloc_obj subsystem  step 1

* Implement per-zone memory management to kmalloc() in the form of
  kmalloc_obj() and friends.  Currently the subsystem uses the same
  malloc_type structure but is otherwise distinct from the normal
  kmalloc(), so to avoid programming mistakes the *_obj() subsystem
  post-pends '_obj' to malloc_type pointers passed into it.

  This mechanism will eventually replace objcache.  This mechanism is
  designed to greatly reduce fragmentation issues on systems with long
  uptimes.

  Eventually the feature will be better integrated and I will be able
  to remove the _obj stuff.

* This is a object allocator, so the zone must be dedicated to one
  type of object with a fixed size.  All allocations out of the zone
  are of the object.

  The allocator is not quite type-stable yet, but will be once existential
  locks are integrated into the freeing mechanism.

* Implement a mini-slab allocator for management.  Since the zones are
  single-object, similar to objcache, the fixed-size mini-slabs are a
  lot easier to optimize and much simpler in construction than the
  main kernel slab allocator.

  Uses a per-zone/per-cpu active/alternate slab with an ultra-optimized
  allocation path, and a per-zone partial/full/empty list.

  Also has a globaldata-based per-cpu cache of free slabs.  The mini-slab
  allocator frees slabs back to the same cpu they were originally
  allocated from in order to retain memory locality over time.

* Implement a passive cleanup poller.  This currently polls kmalloc zones
  very slowly looking for excess full slabs to release back to the global
  slab cache or the system (if the global slab cache is full).

  This code will ultimately also handle existential type-stable freeing.

* Fragmentation is greatly reduced due to the distinct zones.  Slabs are
  dedicated to the zone and do not share allocation space with other zones.
  Also, when a zone is destroyed, all of its memory is cleanly disposed
  of and there will be no left-over fragmentation.

* Initially use the new interface for the following.  These zones
  tend to or can become quite big:

  vnodes
  namecache (but not related strings)
  hammer2 chains
  hammer2 inodes
  tmpfs nodes
  tmpfs dirents (but not related strings)

kernel - Fix /dev/fd/N and clean up the old dup error-code-driven path

* When opening /dev/fd/N, replicate the file pointer for descriptors
  that represent vnodes instead of dup()ing.  This ensures that the seek
  offset and other fp-related elements are not shared unexpectedly.

* Refactor the open() path to allow dev_dopen() to replace the
  struct file by passing a struct file ** instead of a struct file *.
  This removes old error-code-based hacks.

* This fixes the shared seek position that fexecve() was operating with
  due to its use of /dev/fd/N for scripts.

Reported-by: aly

pciconf(8): Do actually enable the -e and -B options.

Handling them was added in d650e2183cf9557d58c726150ef990202fc85b98 but
for some reason they were neither added to getopt() nor documented.

Documentation was taken from FreeBSD.

ching(6): Fix typo.

edk2: Fix some comment typos in a header (syncs with edk2-stable202102).

bnx: Support 57764, 57767 and 57787

Obtained-from: tg3
68273712a19e9107a498a371532b3b3eb6dbb14c

bnx: Prevent UDP fragments be routed to APE on 5762.

Obtained-from: tg3
378b72c873b4828cde5b4bc85c7029d98f8f1df4

Fix some wrong #else/#endif comments in various <sys/*.h> headers.

<sys/time.h>: Use standard integer types. Also, fix a comment.

<sys/sbuf.h>: Include <sys/cdefs.h> and <sys/types.h> for self sufficiency.

<sys/cpuctl.h> Include <sys/types.h> for int types.

<sys/cpu_topology.h> Include <sys/param.h> for int types and MAXCPU.

While here, add our copyright.

bnx: Fix potential hardware uninitialized TX DMA length registers.

It can only happen on 5719 and 5720.

Obtained-from: tg3
091f0ea30074bc43f9250961b3247af713024bc6
9bc297ea0622bb2a6b3abfa2fa84f0a3b86ef8c8

Update the pciconf(8) database.

March 11, 2021 snapshot from https://pci-ids.ucw.cz

bnx: Fix comment.

tcp: Remove debug prints.

Reported-by: peeterm

od(1): Fix alignment issue in long double (-t fL) output

Long double has one more digit in the exponential besides the longer
fractional digits.  So the output width should be LDBL_DIG+9.  While
there, improve the width calculation for all float types.

In addition, minor style tweaks.

od(1): Fix long ints (L) format output on x86_64 platform

Long ints are of size 8 bytes on x86_64 platform, and the handle of
8-byte integers was missing in od(1)/hexdump(1).  So using '-t [doux]L'
(long ints) options in od(1) resulted in error:

od: d: bad byte count

Update the parse code to handle 8-byte long integers to fix it, and
update odformatint() to correctly calculate the digits.
In addition, fix the type error of 's8' (int8_t -> int64_t) in print(),
otherwise, long ints are truncated and get wrong.

Reported-by: swildner

drm - Fix drm_modeset_unlock() panic

* Fix a bug in drm_modeset_lock() which sometimes improperly returned
  success when the ww mutex actually failed.

* This should fix a panic in the related drm_modeset_unlock() code
  that complains about unlocking a lock that isn't being held.

Fix some minor issues in various headers for self sufficiency.

* <netgraph/ksocket/ng_ksocket.h>, <netgraph7/ksocket/ng_ksocket.h> and
  <rpc/auth.h>: Include <sys/types.h> because <sys/socket.h> no longer
  brings it in.

* <sys/sysunion.h>: Include <sys/sysproto.h> for struct <syscall>_args
  definitions.

world: Add <byteswap.h> compat header.

 This header is to reduce porting efforts in ports.
 Once codebases move to common <endian.h> use <machine/endian.h> for the
 __bswapXY() definitions.

<machine/endian.h>: Use __builtin_bswapXY function if c++.

 There builtins seem to be supported since gcc 4.8.  In theory we could
 use them for C code too, but for now limit this to c++ so to help
 compilers to deal with fun what is constexpr, lambdas, templates, etc.
 Generally, this reduces amount of debug code created through the
 __word_swap_foo() expansions too.

 Note: g++8 implements __word_swap_foo_var() with a bit different asm.

<sys/endian.h>: Prefer double underscore versions.

kernel: Include <sys/types.h> directly.

 Do not rely on <sys/endian.h> to bring in all needed integer types.

libstand: Move H and L macros were they are used.

 Avoid possible issues where plain "L" is used for unicode strings.

<sys/endian.h>: Unify _QUAD_*WORD macros.

Taken-from: NetBSD

<machine/endian.h>: Provide userland double underscore endianess variants.

 For compatibility with GNU userland in ports.

sys/vfs/hammer2: Add break; (not a bug)

killall.1: Mention pkill(1)

While there, group the -h, -? and -help options together so it looks
clearer.

killall(1): Handle -h and -? options as described in man page

As described in its man page, options -h and -? are supported to print
the help text, same as -help option.  However, it didn't work and
killall(1) gave such errors:

killall: unknown signal h; valid signals: ...
killall: unknown signal ?; valid signals: ...

While there, update usage text to match the supported options.

pkill(1): Add option -T to restrict to current terminal

This option is introduced for feature parity with killall(1) where it
restricts to matching processes in the current terminal by specifying
the -T option.  While this is achievable via pkill(1)'s -t option, for
feature parity and convenience, this commit implements the -T option.

Signed-off-by: Levente Kurusa <lkurusa@kernelstuff.org>
(aly)
I've reviewed and revised the original patch:
* Adjust the option orders in code and in the man page.
* Check and copy the return of ttyname(), which can be NULL and is a
  internal static buffer.
* Make option '-t' accept a full path to the terminal device.  This
  simplifies the code by avoiding the strip of "/dev/".  Meanwhile
  update the man page accordingly.
* Fix some minor issues in the original patch.

DragonFly-bug: #3163

drm - Hack around a drm_setmaster issue

* Currently the first-open automatically sets master.  A later attempt
  to issue the drm_set_master ioctl then fails because it is already set.

  It is unclear whether linux automatically sets master on first open
  or not, and quickly hacking that to not results in unhappiness, so...

* For now, just allow the master to be overridden by the ioctl.  And
  throw in some additional kprintf()s to help with debugging.

* Fixes the setDrmMaster error message on X startup and allows X
  to start.

ethernet: Add AF_ARP support.

Bump __DragonFly_version.

Submitted-by: dillon@ (minor changes from me)
Obtained-from: NetBSD

<timeconv.h>: Stop including <sys/types.h>. <machine/stdint.h> is enough.

<sys/procctl.h>: Add missing __BEGIN_DECLS/__END_DECLS.

Needed by x11-wm/gamescope.

Reported-by: zrj

libpthread: Implement pthread_getname_np() and pthread_setname_np().

Varieties of pthread_get_name_np() and pthread_set_name_np() that return
an integer (0 or error number).

These are only used for debugging but it looks like some ports want them.

I took some of the documentation from FreeBSD.

Reported-by: zrj

libpthread: Separate the MLINKS better.

sbin/mount_hammer2: Minor cleanup

<ifaddrs.h>: Clean it up a bit.

* Include the necessary headers to make it self sufficient.

* Move <sys/cdefs.h> to the top.

* Remove 'extern' from prototypes.

Reported-by: zrj (broke devel/kiwix-lib)

unzip: Remove duplicate brace.

hammer2 - Fix rename-over-non-empty-directory bug

* hammer2 was allowing renames to replace non-empty directories.
  Fix by disallowing the case.

Reported-by: zrj

mount - Do not exit with an error if mountd cannot be signaled

* The mount program signals mountd to re-test exports.  Do not exit
  with an error if the kill(... SIGUSR1) system call fails.

x86_64/atomic: Fix comment of testand{clear,set}_long comment.

cgram(6): Sync with NetBSD

* Properly handle input errors from child fortune(6) process.
* Add advanced cursor movement with tab, shift+tab, return.
* Fix the assertion issue in another way as in commit
  18d09f18cf4c93d9a07b8129fed0bdc0d0b967a7.
* Make the '*solved*' marker stand out more (suggested by me).
* Place the '*solved*' marker nearer to the text.
* Don't beep if the window is resized.

utimensat.2: Fix the description of EINVAL.

Reported-by: zrj
Taken-from:  FreeBSD

Remove last bits of Intel compiler support. We never had or cared about it.

FreeBSD removed theirs too, a while ago. Our remains were just inherited.

Clean up the POSIX namespace in <unistd.h> and <sys/socket.h>.

Thanks to zrj for testing it with a full dports bulk build.

liblzma: Add a liblzma.pc file for the benefit of dports.

Reported-by: zrj

Fix -Wundef in some code imported from NetBSD.

libc: Attempt to execute new atexit() destructors during __cxa_finalize().

 Some c++ programs might and do register new destructors from other
 destructors.  Try to handle such cases by relooping scan upto
 CXA_DTORS_ITERATIONS times (like what _thread_finalize() does) if new
 destructors get added even if that will not strictly match LIFO order.

LINT64: Comment out an option to cover more code.