libaura: More tests for dicts, duplicate handling

libaura: Add another test for dicts

libaura: Return NULL in some cases.

  - Fail if there's not enough memory for allocating
    num_buckets or if the method is unknown.
  - Add test.

libaura: Staticize non-interface functions

bce: Use IF_Mbps to avoid float number in kernel.

Reported-by: zrj

re: Sync with Realtek's re-196.04; and fix re_start/re_tx_collect.

- Add several new chips' support, noticably RTL8125 support.
- Reorder chip related initializaton on the attach path a bit;
  mainly to make sure ifnet is initialized.
- In re_start(), solely rely on the re_tx_free for the TX descriptor
  setup loop.  This avoids the fixup on the end of the loop.  Add
  assertion that the TX descriptor's corresponding mbuf is not setup
  yet.
- On RTL8125, the EOF in the TX descriptor is no longer left uncleared
  upon TX done, so simply rely on whether the TX descriptor's
  corresponding mbuf is set or not to unload the busdma(9) and free the
  TX mbuf.  We actually should do this instead of rely on the EOF.

Tested-by: me (8101, 8111, 8168, 8125)
    Romick <yellowrabbit2010 gmail.com> (8111)
    Daniel Fojt <df neosystem.org> (8111)

sys/vfs/hammer2: Make kprintf prefix consistent

sys/vfs/hammer2: Don't ignore vn_isdisk() result on mount

nrelease: Define BUILDING_NRELEASE_DPORTS when building packages.

Requested by zrj to allow further optimization at the ports level.

Update dhcpcd README.DRAGONFLY

Merge branch 'vendor/DHCPCD'

Update to dhcpcd-9.3.4 with the following changes:

 * DHCP: If error adding the address in oneshot, exit with failure
 * DHCP: Only listen to the address if we successfully added it
 * DHCP6: Fix segfault introduced in dhcpcd-9.3.3
 * DHCP6: Abort in test mode when an error is returned by server
 * options: allow --ia_na=1 and --ia_pd=2 on the command line
 * options: Allow duid to take a value

<sys/sysproto.h>: Remove unneeded inclusion of <sys/sysmsg.h>.

After 80d831e1ad5c5886e45827bf13837cf84baba296, which removed the
struct sysmsg's in the *_args structures, this is no longer needed.

It also resolves circular #include issues because that commit at the
same time added #include <sys/sysproto.h> to <sys/sysmsg.h>.

sh(1) tests: dfregress support

dfregress: Add 'rc' option

  - Allows to specify which return code will be considered success for the
    test case being run. In the example below, a return code of '1' will
    make the test PASS.

    # Testcase            type        Options         Args
    builtins/alias.1      userland    nobuild,rc=1    myarg1 myarg2

dfregress: Fix mistake in the previous commit

  - We only return NULL on failure when fatal is false.

dfregress: Add 'interpreter' option

  - Allows to specify the interpreter that will run the testcase file.
    Some test cases just provide a file without execution permissions or no
    shebang, etc. In some cases it is not desirable to modify the test case
    files (i.e. contrib stuff).

    Taking the example below, the previous behavior was to execvp() the file
    'builtins/alias.0' but with 'interpreter' option, now you can specify
    the shell you want to use to run it.

    # Testcase            type        Options                   Args
    builtins/alias.0      userland    nobuild,interpreter=sh    myarg1 myarg2

udp: Port FreeBSD's IPPROTO_IP/IP_SENDSRCADDR.

Minor difference:
- Multicast src is not allowed.
- Always allow src, if it is same as inp_laddr and is not multicast.

While I'm here, fix datagram sending for multicast bound and connected
UDP socket.

tbridge: Add a section 4 man page.

<sys/poll.h>: Expose POLLSTANDARD and INFTIM only in the default env.

Cleans up the POSIX namespace.

vkernel - Fix the vkernel build after recent syscall changes (2)

* Another fix.  Now the vkernel actually works again.

Reported-by: pikrzyszt, tuxillo

kernel - Fix sys_vmspace_ctl()

* This system call overwrites the trap-frame.  The new syscall code
  just has the argument pointer (uap) pointing into the trap-frame,
  so in this particular case we have to copy the arguments out before
  overwriting it.

Reported-by: pikrzyszt, tuxillo

kernel - Fix shared spin-lock starvation bug in VMs

* 'indefinite_uses_rdtsc' is set to zero by default when running in
  a virtual machine (and set to 1 on a real machine).  However, this
  disables the windowing code in _spin_lock_shared_contested() and
  causes it to defer to pending execusive lock requests indefinitely
  under heavy-enough loads.

* Add a comment and always use a windowing test w/rdtsc() in
  _spin_lock_shared_contested().

  We were trying to avoid using the rdtsc() in VMs because some of them
  apparently trap the rdtsc instruction.  However, this puts us in a
  no-win situation when it comes to dealing with spin-locks.  So take the
  hit and start using rdtsc again in some situations when operating in
  a VM.

Reported-by: mjg

inet: Refactor in_pcbbind() for IP_SENDSRCADDR support.

The newly factored out function will be used to validate address
passed through IP_SENDSRCADDR cmsg.

tools/udpecho: Add command line option to prevent REUSEPORT.

tbridge: Add MODULE_DEPEND to the test module declaration.

  - Makes sure you can't unload the tbridge module while
    there are test modules loaded.

libc/stdio: Add missing MLINK.

inpcb: Factor out function to obtain lport hash token.

jail: Constify the address to be checked.

Put all definitions of htonl() and friends under _BYTEORDER_FUNC_DEFINED.

This is the intended way to properly deal with non-__GNUC__ cases (see
<machine/endian.h>). But it was only done properly in <arpa/inet.h> so
far.

Noticed-by: zrj

libc/stdio: Add _unlocked() flavors of fflush, fputc, fputs, fread, fwrite.

These are needed by some dports and can also be used in various things
in base. Bump __DragonFly_version, too.

Reported-by: zrj
Taken-from:  FreeBSD

libc/siglist: Oops, CKPTX should be CKPTEXIT.

Clean up the namespace of <arpa/inet.h>, <netdb.h> and <netinet/in.h>.

These are further cleanups for stricter POSIX conformance, all related
to the uint*_t types, for which we previously had to include <stdint.h>
wholesale. Instead, wrap them in *_DECLARED macros and typedef them in
the headers that need them, usually just a subset.

Thanks to zrj for testing this with a dports bulk build.

sys/netproto/smb: Do not trust <netinet/in.h> to bring in <sys/types.h>.

<sys/types.h> will be removed from <netinet/in.h> in an upcoming commit.

Remove non-__STDC__ cases in a number of places.

We expect a standard C compiler for building DragonFly.

libc: Make the signal name array uppercase.

This is to satisfy POSIX which requires that the string printed by
'kill -l <signal number>' shall be the name of the symbolic constant
(for example, SIGKILL) without the 'SIG' part.

This also fixes a number of sh(1) tests.

While here, sync a bit further with FreeBSD. Specifically, use
C99 designated initialization.

Taken-from: FreeBSD

sh(1) tests: fix ld-elf.so version for DragonFly.

test/netperf: Fix "clobbered" warning.

Test commit.

usr.sbin/fstyp: Fix HAMMER1 partial volumes detection (-u option)

dhcpcd: update README

Merge branch 'vendor/DHCPCD'

dhcpcd: Update to dhcpcd-9.3.3 with the following changes:

 * dhcpcd: Don't create a launcher process if keeping in foreground
 * dhcpcd: Add --noconfigure option
 * control: Create an unpriv socket for non master mode
 * options: Don't log unknown ones when printing pidfile location

usr.sbin/fstyp: Properly support -l for HAMMER1

usr.sbin/fstyp: Minor HAMMER1 fixes

sbin/newfs_hammer2: Remove redundant \n in err/errx

sbin/hammer2: Add bulkfree_tid for "volhdr"

<sys/callout.h>: Add a missing semicolon in the callout_set_arg() macro.

Fixes buildkernel with WANT_NETGRAPH7.

dsynth: Enable 'install' and 'deinstall' phases on test.

dsynth: Remove any trace of 'install-mtree' phase.

  - It's an empty target, poudriere-specific and it will
    be removed from ports at some point.

Update the pciconf(8) database.

November 14, 2020 snapshot from https://pci-ids.ucw.cz

kernel - Rewrite the callout API, major structural changes (2)

* Fix deadlock during recursive callback, triggered by the USB
  subsystem.

  Basically we have to clear the SET bit immediately after setting
  INPROG, and also allow normal processing to occur synchronously
  from the same thread that dispatched the callback (normally INPROG
  prevents normal processing from occuring).

Reported-by: zrj

kernel - Add PROC_PDEATHSIG_CTL and PROC_PDEATHSIG_STATUS

* Add PROC_PDEATHSIG_CTL and PROC_PDEATHSIG_STATUS to procctl(2).

  This follows the linux and freebsd semantics, however it should be noted
  that since the child of a fork() clears the setting, these semantics have
  a fork/exit race between an exiting parent and a child which has not
  yet setup its death wish.

* Also fix a number of signal ranging checks.

Requested-by: zrj

kernel - Rewrite the callout API, major structural changes

* Make struct callout much smaller, primarily now just containing
  a pointer to a shadow structure which is allocated on first use.

  The callout backend uses this shadow structure on the callout
  lists instead of the embedded struct callout.  This should reduce
  occurances of untraceable panics due to list corruption.  Instead,
  the callout-v-shadow structure linkages are validated with an assertion
  and if this panics it should be possible to determine which subsystem
  was responsible from the kernel core.

* tsleep() etc is used early in the boot sequence and use some
  bypass functions to streamline operations and avoid allocation
  calls.  This should also improve tsleep()s performance a bit over
  the original implementation.

Sync ACPICA with Intel's version 20201113.

* Fix a memory leak that could occur in _HID repair.

* Improve namespace debugging.

* Handle "orphan" _REG methods.

* Improve iasl(8) and acpihelp(8).

* Add 5 new NVDIMM and NFIT table related UUIDs to the known UUID table.

For detailed list, please see sys/contrib/dev/acpica/changes.txt.

drm/linux: Add llist_for_each_entry() and llist_del_first()

Obtained-from: OpenBSD

kernel: Add atomic_cas_ptr()

Obtained-from: OpenBSD

drm/linux: Rewrite the workqueue implementation

Most workqueues now use one runner thread per logical CPU, except for
WQ_UNBOUND ones, which only have a single kernel thread.

This commit contains critical fixes from Matthew Dillon for multithread
interaction issues in queue_work() and the cancel functions.

drm/linux: Add atomic_dec_if_positive()

Obtained-from: FreeBSD

libdialog: Add missing function attribute definitions. Raise WARNS to 6.

For some reason, 'configure' does not define them ootb.

kernel/ufs: Add some __dead2 to the stubs for the non-SOFTUPDATES case.

build - Adjust message output after a make build-all

* Clarify that the recommended pkg upgrade -f should be run after
  rebooting into the new system.

dmesg - Check current directory when -n is used

* When -n is used, first check the current directory for kern.n and
  vmcore.n.  If either is not found, then check /var/crash as before.

kernel: Use howmany() in a couple of places.

kernel - Incorporate drm79.patch to master, cleaned up

* Should fix a number of niggling issues in master now,
  that are already incorporated into the next drm sync.

kernel - Change pager interface to pass page index 3/*

* Don't shortcut vm_object_page_remove() with a resident_page_count
  test for MGTDEVICE objects.  These objects are not required to have
  their VM pages entered into them.

* in vm_object_page_remove(), change pmap_remove_pages() to
  pmap_remove().  The former is meant to be used only in the
  exit code and does not bother with TLB synchronization.
  pmap_remove() properly handles any TLB synchronization.

Add a minimal kernel configuration file.

For testing the kernel build without any options.

LINT64: Note that 'ident' and 'cpu' are mandatory, too.

kernel: Fix building without 'options _KPOSIX_PRIORITY_SCHEDULING'.

Prototype generation for this case was broken after 80d831e1ad5c5886e458.

Reported-by: zrj

Upgrade libressl. 2/2

Update README.{DELETED,DRAGONFLY} and adapt Makefiles.

Upgrade libressl. 1/2

Merge branch 'vendor/LIBRESSL' into master.

vendor/libressl: upgrade from 3.1.4 to 3.2.2

Summary of notable changes:

  * new TLSv1.3 implementation enabled by default for both client
    and server

  * new X509 certificate chain validator that correctly handles
    multiple paths through intermediate certificates

  * new name constraints verification implementation which passes
    the bettertls.com certificate validation check suite

  * numerous leaks and out-of-bounds write fixed

  * many improvements, refactoring, optimizations and code cleanups

See ChangeLog for details.

kernel: Reindent a few functions that were not using tabs.

While here, fix a typo in the comments.

kernel/amd{smn,temp}: Sync with FreeBSD.

Adds support for Ryzen 4000 APU (Zen 2, "Renoir").

Reported-by: zrj

lib/csu: Add ifunc support for statically linked programs.

 This assumes that both _init_tls() and _rtld_call_init() paths in libc
 will not contain ifunc calls.  For now should be enough since there was
 no ifunc support previously.

Derived-from: NetBSD crt0-common.c implementation

rtld: Handle non-PLT type 37 relocations.

 Mainly to unbreak certain use cases of ifunc.

rtld: Extract reloc_iresolve_one().

 Will be used to properly handle non-PLT 37 ifunc relocations in -pie.

kernel - Change pager interface to pass page index 2/2

* Adjust the DRM calls to vm_pager_get_page() to pass the
  page index.

* Greatly simplify drm/linux_shmem.c and drm/ttm/ttm_bo_vm.c,
  removing the need to deal with placemarker pages for
  VM faults on OBJT_MGTDEVICE objects.

kernel - Change pager interface to pass page index 1/2

* Change the *getpage() API to include the page index as
  an argument.  This allows us to avoid passing any vm_page_t
  for OBJT_MGTDEVICE VM pages.

  By removing this requirement, the VM system no longer has to
  pre-allocate a placemarker page for DRM faults and the DRM
  system can directly install the page in the pmap without
  tracking it via a vm_page_t.

kernel - Fix uninitialized variable in kqueue_register()

* Fix another uninitialized variable that gcc didn't detect,
  this time in kqueue_register().

* Caused kernel compiled with -O0 to not operate properly.

* Initializing the error variable to 0 solves the problem.

Reported-by: zrj

kernel - Fix missing initialization in vnode_pager_lock()

* struct vnode *vp was not being initialized to NULL, causing
  a garbage return not caught by gcc if no while() condition
  is met.

* Only occurred with -O0.  The optimized case doesn't seem to hit
  the issue through luck.

Reported-by: zrj

sys/vfs/hammer2: Illustrate level1-6 freemap

kernel: Avoid spurious diagnostic with older gcc47.

bsd.sys.mk: Make -Wmissing-field-initializers non-fatal.

 It was decided that gcc47 gives few diagnostics wrongly in C99 mode.

Sync zoneinfo database with tzdata2020d from ftp://ftp.iana.org/tz/releases

* Palestine ends DST earlier than predicted, on 2020-10-24.

* Fiji starts DST later than usual, on 2020-12-20.

For a detailed list of changes, see share/zoneinfo/NEWS.

script.7: Fix description of the length of the '#!' line.

environ.7: Sync with FreeBSD.

kernel: fix getcwd(3) return value for non-existing directory

In case current directory no longer exists, properly return ENOENT
from getcwd(), as described in manpage.

Issue: https://bugs.dragonflybsd.org/issues/3250

sys/vfs/hammer2: Remove obsolete comment on copyids

copyids in inode was removed in
ae183399278ee71fba31527cd18a7545ac9af2e4 in 2012.

Note dhcpcd update

Merge branch 'vendor/DHCPCD'

Update to dhcpcd-9.3.2 with the following changes:

 * DHCP: Add support for IPv6-Only Preferred option, RFC 8925.
 * BSD: `LINK_STATE_UNKNOWN` is treated as UP once again
 * privsep: pass logging to the privileged actioneer
 * privsep: allow logfile re-opening to work
 * privsep: close BPF socket on ENXIO
 * privsep: don't leave a BOOTP BPF listener rebooting in non master mode

boot/pc32: Fix ambiguity in legacy loaders for Hammer selection.

 Explicitly name both variants.  Default Hammer2 stays in legacy loader.
 Allow to built loader with HAMMER(5) support for testing purposes.
 Adjust libstand(3).

boot/pc32: Reorder fs probe list.

 Sort by: disk, cd, net, file.
 This should increase lookup speed for network loaders.

boot/pc32: Conditionalize splitfs support in legacy loaders.

 This floppy feature was inherited and not so useful anymore.  Disabling
 it reduces filename lookups by half.  Also put it last, if enabled.

Switch to ld.bfd as default ld for world stage.

 Until boot/efi issues are resolved:
 * ld.gold not respecting linker script for section merges;
 * clang built boot1.efi and loader.efi failures.

 Default can be restored by setting WORLD_LDVER=ld.gold in make.conf(5).
 Final installed ld(1) will still default to ld.gold to not disturb
 things in DPorts.

 NOTE: this might produce different final binaries if building in tree,
 but it should not be fatal as we support both ld.bfd and ld.gold.
 Use "make LDVER=ld.bfd" to mimic buildworld behaviour when needed.

Switch to binutils234 as default base binutils.

boot/efi: Objcopy more sections to final *.efi objects.

 Unbreaks uefi boot with when compiled with ld.gold from binutils234.

boot/pc32: Consistently disable integrated-as for intermediates.

 This ensures that produced assembly intermediates are compatible with
 external as(1) when compiling with clang.

kernel: Disable use of clang's integrated as.