adduser(8): Honor uidstart in adduser.conf when showing in the prompt

When using 'uidstart' in /etc/adduser.conf, get the next available user
ID and show it in the 'Uid [xxx]' prompt.

Obtained-from: FreeBSD (revision 232146)

adduser(8): Allow standard IFS characters in passwords

Notably, the default IFS contains space/tab, thus any leading/trailing
whitespace characters tend to be removed.

Set IFS= for just the read lines to mitigate this, allowing the user to
be less surprised when their leading/trailing spaces weren't actually
captured in the password as they are with other means of setting a
user's password.

Obtained-from: FreeBSD (revision 359642)

file(1): Re-add README.D{ELETED,RAGONFLY} on 

Merge branch 'vendor/FILE'

vendor/file: Small file mode fix.

vendor/file: upgrade from 5.32 to 5.38

[I forgot to push the vendor branch previously.]

Submitted-by: Daniel Fojt <df@neosystem.org>

daemon(8): Make daemon aware of log rotation

* Make daemon listen to SIGUSR1 so that when newsyslog
  has finished log rotation, it can send SIGUSR1 to
  daemon, who can then reopen the log file specified by
  the '-o' option.

* Failure to open the log file will be logged through
  syslog with LOG_NOTICE. The next attempt to reopen
  the log file will be made upon receiving signal SIGUSR1.

Reviewed-by: swildner, tuxillo, dillon, aly

drm/linux/tasklets: Factor out common code

Use a common macro for tasklet_schedule() and tasklet_hi_schedule()

file(1): Adapt build to vendor update.

Add README.DRAGONFLY and README.DELETED on master.

Merge branch 'vendor/FILE'

vendor/file: upgrade from 5.32 to 5.38

Submitted-by: Daniel Fojt <df@neosystem.org>

drm/linux: Add tasklet enable and disable functions

Remove a debug message in passing

drm/linux: Add xchg()

VOP_GETPAGES.9: Improve a tiny bit.

kernel/vm: Rename *_putpages()'s 'sync' argument to 'flags'.

It used to be a boolean but has now become a general flags argument
(for OBJPC_*).

kernel/vm: Rename VM_PAGER_PUT_* to OBJPC_*.

While here, rename the rest of the VM_PAGER_* flags too.

Suggested-by: dillon

kernel/vm_pager: Add some pagerops typedefs to improve readability.

I've left the swap pager alone for now because some of its ops are
global functions.

vendor/wpa_supplicant: upgrade from 2.1 to 2.9

Some little cleanup after the tcplay upgrade.

* Remove old lib via 'make upgrade'. I don't think libtcplay is used
  by anything in dports.

* Remove two references to kpartx in libtcplay's manual page.

kernel/vinum: Fix panic when vinum was loaded twice.

Occurred when it was both compiled into the kernel and in loader.conf
at the same time.

Reported-by: CuteLarva (on IRC)

dsynth - Automatically run at nice 10 by default

* dsynth now automatically nices sub-processes to +10.  This is a
  good middle-of-the-road nice to ensure that dsynth does not interfere
  with other system tasks too much (beyond the massive amount of memory
  and cpu these builds burn normally).

  We don't want to nice it too high or the scheduler won't have enough
  room for its normal dynamic priority management.

* This feature may be disabled via -N.

Sync ACPICA with Intel's version 20200430.

* Various bug fixes and cleanups.

For detailed list, please see sys/contrib/dev/acpica/changes.txt.

__realpath.2: Small mdoc correction.

test/debug: Remove duplicate #include <vm/vm_page.h>

tcplay.3: Add missing .Pp

Update tcplay(8) manpage.

- bump date
- move '--fde' option to correct place in synopsis
- remove kpartx and Linux references
- use valid ciphers combination for volume creation example
- add missing '--device' option to several example commands
- adapt examples to Dragonfly context

Update tcplay from 2.0 to 3.3

libc - Fix a serious memory leak in the nmalloc code

* Fix a bug where mtmagazine_free() would assign mt->newmag without
  re-checking its contents, potentially overwriting an assignment
  made by _slaballoc(), causing a memory leak.

* This bug generally rears its ugly head in heavily pthreaded programs,
  but it can occur under other conditions too.

Reported-by: hsw (irc)

tmpfs - Fix bug in page-free bypass path

* tmpfs moves pages between two objects in order to allow data to
  be paged to swap.  Tmpfs makes an optimization to evict pages
  that are already backed by swap when reclaiming a vnode.

  Fix a bug in this code which can sometimes attempt to free a VM
  page which is still flagged PG_MAPPED, causing an assertion and
  panic.  The page is not mapped at this point in time but the meaning
  of the flag has changed somewhat and the flag can still be left
  set by the time the page gets to this bit of code.

cpdup(1): Drop old compatible code for other OSes

The compatible code of cpdup(1) for Linux and other BSDs has been better
maintained in its standalone repository:
https://github.com/DragonFlyBSD/cpdup

So let's drop the old and unmaintained compatible code here.

rc.d: Add mounttmpfs to support tmpfs at /var/run and /tmp

We are already mounting a tmpfs at /var/run/shm to support shm_open()
etc functions.  However, this makes it harder for a user to make
/var/run on a tmpfs.  Actually, using a tmpfs for /var/run is a good
idea, though the deamons/system need to create necessary folders, and
Linux has adopted such a model for /run (symlink to /var/run) for years.

Introduce the 'mounttmpfs' rc script to support mounting tmpfs at
/var/run and /tmp, which is enabled by setting 'tmpfs_var_run=YES'
and 'tmpfs_tmp=YES' in /etc/rc.conf, respectively.  The default values
for these two new configurations are both 'NO'.

The new 'mounttmpfs' rc script is ordered *after* 'mountcritremote', so
that NFS-mounted /var is also properly handled, although I think
NFS-mounted /var is not a good idea and I don't know anyone really need
to do so.

Also move the tmpfs mounting at /var/run/shm from 'mountcritlocal' to
the new 'mounttmpfs' script.

Reviewed-by: tuxillo

sbin/fsck_msdosfs: Do not overflow when calculating file system size

from freebsd/freebsd@2ccadef77b81e7f18dd6bc4380357d6c6a797c5a

Fix various grammatical issues in our messages, documentation etc. (2)

<sys/flame_graph.h>: Include <sys/types.h> for some used types.

While here, add a copyright header.

<sys/namecache.h>: Include <sys/lock.h> for nc_lock.

While here, remove <sys/thread.h> which is no longer needed.

libc/setproctitle(): Add missing va_end()s in error paths.

libc/strcoll_l(): Remove bogus checks.

t1 and t2 are guaranteed to be non-NULL at this point.

<sys/sglist.h>: Adjust the type of struct sglist's sg_refs to unsigned.

To match the refcount API which is used under the hood.

Fix various grammatical issues in our messages, documentation etc.

inet6: nd6_na_input() now considers ln_state <= ND6_LLINFO_INCOMPLETE

Otherwise if ln_state != ND6_LLINFO_INCOMPLETE and the is no lladdr
and this message was solicited then ln_state is set to ND6_LLINFO_REACHABLE
which then causes confusion elsewhere in the stack.
If ln_state > ND6_LLINFO_INCOMPLETE then it's assumed we have a lladdr.

Depending on the timing, it's technically possible to receive such
a message after the llentry is created with ND6_LLINFO_NOSTATE.

Taken from NetBSD.

sbin/fsck_msdosfs: Fix a bug with dirty file system handling

r356313 broke handling of dirty file system because we have restricted
the correction of "odd" byte sequences to checkfat(), and as a result
the dirty bit is never cleared.  The old fsck_msdosfs code would write
FAT twice to fix the dirty bit, which is also not ideal.

Fix this by introducing a new rountine, cleardirty() which will perform
the set of clean bit only, and use it in checkfilesys() if we thought
the file system was dirty.

https://svnweb.freebsd.org/base?view=revision&revision=356313

from freebsd/freebsd@ffa396196c4c0fcf8a6bf4d1dd88ffb9ce531ccc

route.4: Fix date

Fix date for commit ced8848230553786e51dc0d08f17ccc302f556d1.

drm/linux: Add for_each_clear_bit()

Obtained-from: FreeBSD

drm/linux: Add BIT_ULL() and GENMASK_ULL()

kernel - Detune memory slab allocator pcpu caching a little

* The kernel tries to cache a lot of slab zones on a pcpu basis
  due to the high overhead of mapping and unmapping kernel memory.
  However, this can burn an excessive amount of physical memory on
  high-core-count cpus.

* Reduce the pcpu cache hysteresis on systems with more than 32 cpu
  threads.  So on a 128-thread TR with 256GB of ram, this reduces
  the slab cache from a ridiculous 30GB to a more reasonable 10GB.

sbin/fsck_hammer2: Refactor print_blockref_verbose()

kernel - Remove CACHE_VREF: RACED debugging output

* Remove 'CACHE_VREF: RACED' debugging output after verifying
  that the race can occur and is properly handled.

hammer2 - Fix serious de-duplication bug and a few other things (2)

* Remove debugging kprintf()

hammer2 - Fix serious de-duplication bug and a few other things

* Fix a serious de-duplication bug.  When small files <= 512
  bytes are extended with write()s to being larger than 512 bytes,
  it triggers a de-duplication bug in the first block of the file
  if that block can be de-duplicated from other sources.

  A mishandled skip condition combined with modest buffer cache
  flush loads can cause this first block can wind up getting
  zero'd out and cause a CHECK failure (I/O error) on the file.

  The fixes for this are primarily in hammer2_chain_modify().

* Replace HAMMER2_BREF_FLAG_ZERO in the bref.flags with
  HAMMER2_CHAIN_NOTTESTED in the chain structure and deprecate
  the flag.  This flag could sometimes accidentally be flushed
  to the media.

* Clear HAMMER2_CHAIN_INITIAL in two strategy write paths
  that are not typically hit.  The flag is probably already
  clear at this point since hammer2_chain_modify() has likely
  already been called, but be sure.

kernel - Fix excessive VM pageout flushes (2)

* Add a couple of missing page-rebusy tests in the vnode/putpages
  path for the pageout daemon.

build - Add a few things in test/debug

* Add a few more kernel probing utilities.

sbin/fsck_hammer2: Support regular file

sbin/fsck_hammer2: Adjust indentations for error messages

dsynth - Revert PkgDepMemoryTarget default

* The issues observed were actually not the fault of dsynth, but
  instead due to paging behavior by the kernel.  Changing this value
  did not actually fix anything, but fixes to the kernel did.

  Revert the calculation back to divide-by-3.

kernel - Fix excessive VM pageout flushes

* The VM pageout code was calculating the laundering limit improperly.
  We were trying to calculate a per-pass limit within each queue list
  but were not taking into account the fact that the number of queues
  have greatly increased in the last few years AND also that the paging
  scans only check 1/10 of each queue for each scan.

  These fixes allow the pageout scan to pick-up many more clean pages
  before beginning to stall-out on dirty pages.

* vm_max_launder is now calculated as 1/256 of physical memory at startup
  instead of hardwired.

* local max_launder calculations now take into account the number of
  queues and the fact that only 1/10 of each queue is checked in each
  pass.

  In addition, the local max_launder calculation is increased by the
  pass number divided by 10 so as to only increase for each full queue
  scan.

* the 'pass' variable passed down into helper functions is now divided
  by 10 because we do not want it to 'increment' and trigger stronger
  behavior until after the entire inactive queue has been scanned.

tmpfs - Change paging behavior, fix two directory-entry races

* Change the paging behavior for vfs.tmpfs.bufcache_mode.

  These changes try to reduce unnecessary tmpfs flushes to swap when
  the pageout daemon is able to locate sufficient clean VM pages.
  The pageout daemon can still page tmpfs data to swap via its normal
  operation, but tmpfs itself will not force write()s to pipeline to
  swap unless memory pressure is severe.

  0 tmpfs write()s are pipelined to swap via the buffer cache only
if the VM system is below the minimum free page count.

(this is the new default)

  1 tmpfs write()s are pipelined to swap via the buffer cache when
the VM system is paging.

  2 Same as (1) but be more aggressive about releasing buffer cache
buffers.

  3 tmpfs_write()s are always pipelined to swap via the buffer cache,
regardless.

* Fix tmpfs file creation, hard-linking, and rename to ensure that the
  new file is not created in a deleted directory.  We must lock the
  directory node around existing tests and add checks that were missing.

  Also remove a few unnecessary recursive locks.

tmpfs - Too aggressive during paging

* tmpfs was being a bit too aggressive during paging.  We were trying to
  bypass all the way to PQ_CACHE as well as unconditionally age the
  buffers.  This caused the pageout daemon to thrash on any underlying
  tmpfs pages that were being re-referenced quickly.

* Change the defaults to (1) Not try to flush all the way to PQ_CACHE
  unless the system is in an extreme low memory condition.  And (2) to
  only B_AGE the buffer when the system is paging and otherwise allow
  it to cycle normally.

kernel - Double LRU dirty pages by default

* The pageout daemon was supposed to double-LRU dirty pages in the inactive
  queue by default and it wasn't.  This was causing dirty tmpfs pages to
  have too much priority in the inactive queue.

  Theoretically since tmpfs now issues direct writes to backing store in
  low-memory situations, we should be able to allow its dirty pages to
  cycle normally in all other situations.

sbin/fsck_hammer2: Consider device size with less than 4 zones

Unlike HAMMER1 which had volume size requirement, HAMMER2 allows
creation of small filesystem without having 4 zones for volume headers.
Make fsck_hammer2 also consider that, otherwise segfaults if the
device has less than 4 zones.

cpdup - Fix type-o in help output

* Fix 'patch' -> 'path'

Reported-by: bdrewery

dsynth - Reduce the pkg dependency memory target heuristic

* Reducing the memory target will cause dsynth to clamp down on
  the number of builders a bit more when they enough of them
  have large pkg dependency footprints.  These dependencies
  are stored in tmpfs filesystems and having too many builders
  installing pkg ddpenencies at the same time can cause excessive
  paging to swap.

  Reduced from PhysMem / 3 to PhysMem / 4.

* When CCache is enabled, reduce the memory target even further
  to PhysMem / 5.

dsynth - Enable ccache support

* Get ccache support working

Tested-by: kworr, dillon

sys/vfs/autofs: Silence down a warning which should really be a debug message

from freebsd/freebsd@7327b4d738a20b6af545efb195cea68fd14ff96a

Fix build for dhcpcd-9.0.2

Note import of dhcpcd-9.0.2

Merge branch 'vendor/DHCPCD'

Import dhcpcd-9.0.2 with the following changes:

 * Control sockets are not opened in test mode
 * privsep: no longer aborts if protocol not available
 * inet6: Don't regen temporary addresses without a state
 * inet6: Reduce RA log spam
 * dhcp6: Don't log when things consitently fail
 * inet6: Add temporary directive to slaac option [1]
 * Ensure current interface flags persist when setting a flag
 * DHCP via BPF is now aligned correctly
 * CMSG buffers are now aligned correctly
 * hostnames are no longer clobbered when being forced and a RA is recieved

[1] dhcpcd no longer looks at any possible kernel settings when deciding to
manage IPv6 temporary addresses or not. You now instruct dhcpcd to do this
in dhcpcd.conf. Playing whack-a-mole with various kernel knobs wasn't fun
and some OS's have or are removing RA and thus temporary address managemnt
from the kernel so said knobs are no longer there.

sbin/fsck_hammer2: Make debug mode more verbose on failure

Make failed bref visually clear within radix tree if DebugOpt>1.

sbin/fsck_hammer2: Add debug mode for DebugOpt>1

sbin/fsck_hammer2: Make debug mode more verbose

rc.conf.5: Small markup fix.

drm/linux: Really implement irqs_disabled()

drm/linux: Add add_taint()

sbin/fsck_hammer2: Fix delta stats bug (-c option)

It's possible that a cached delta is a part of another delta(s) to be
cached. When this happens, the parent delta needs to include stats
from the child delta, otherwise remaining zone scanning results could
be incorrect.

rc.conf.5: Describe dhcpcd_chrootdir.

mtree/BSD.var.dist: Indent with spaces.

Update the pciconf(8) database.

April 13, 2020 snapshot from https://pci-ids.ucw.cz

upgrade: Move dhcpcd files from the old db dir to the relative chroot

This allows the user to get the same address upon upgrading.

dhcpcd: Remove dependency on netifs

dhcpcd currently depends on being able to bind to the
unspecified address on the BOOTPC port and DHCPv6-client port
as well as listen to ICMP6.
This means that some routes need to be established first and
the rc.d infrastructure relies on netif being started before that.

We need to document not to configure an interface to start DHCP,
but rather just to start dhcpcd and if any extra configuration is
needed to limit the scope of interfaces it should be done in
dhcpcd.conf instead. However, the default should be fine.

drm/i915: Enable stolen memory support

drm/linux: Add uapi/asm/byteorder.h

dsynth - Add skip count for ignored and other failure conditions

* Improve implementation for the skip count in the logs and HTML
  interfaces.

Requested-by: tuxillo

kernel - Streamline refcount API

* Streamline the refcount API, with a few provisios, to improve SMP
  performance.

mtree: Support dhcpcd chroot

dhcpcd: 02-dump is no longer supplied

dhcpcd: Add syslog chroot support

dhcpcd: Build support for Privilege Separation, using the _dhcp user

dhcpcd: Note import of new version

Merge branch 'vendor/DHCPCD'

upgrade: Update _dhcp home dir to /var/chroot/dhcp if empty

passwd: Give _dhcp a homedirectory of /var/chroot/dhcp

Update to dhcpcd-9.0.1 with the following changes:

* privsep: Improve error when we don't have permission to write lease
* privsep: Fix hooks restarting other daemons

kernel: GC a few old system calls which are libc functions in DragonFly.

Namely, getdomainname, setdomainname, and uname, all of which were
deprecated in early FreeBSD but never really phased out. They were
likely never used (as system calls) in DragonFly at all.

For more information on the FreeBSD history, see FreeBSD's r184789.

ifconfig(8): Do not wrongly use 'create' as hostname

Do not allow to use the 'create' keyword as a hostname when ifconfig(8)
is invoked for an already existing interface.

Without this commit, ifconfig(8) assumes the 'create' keyword as a
hostname and tries to resolve it when 'ifconfig ifname create' invoked
for an already existing interface.  This can produce some misleading
error messages (e.g., 'create: bad value') or even unexpected results
(e.g., when the hostname resolving succeeds).

With this commit, when an interface is already exists and the 'create'
is the only argument, return an error message.  But when there are some
other arguments, just ignore the 'create' keyword and carry on.

Obtained from FreeBSD:
https://github.com/freebsd/freebsd/commit/e383c28ab5b8d0bdc15281e7522c368d56ac1a76
https://reviews.freebsd.org/D17171

kernel/sysmouse: Add evdev support

Obtained-from: FreeBSD

drm/linux: Add put_page()

bsd-family-tree: Sync with FreeBSD.

cpdup(1): Move version and authors info to cpdup.h and bump version

Bump the tool version from 1.20 to 1.21 due to the recent microsecond
timestamp precision support and protocol version bump.

cpdup(1): Use POSIX-defined timespec fields to be more portable

While we defines 'st_atimespec', 'st_mtimespec' and 'st_ctimespec'
macros in 'struct stat', they are not defined on Linux and maybe other
platforms or C libraries.  Change to check the definitions of
'st_atime', 'st_mtime' and 'st_ctime' macros to check whether we're on a
modern POSIX (>= 2008) platform.

See also: https://github.com/DragonFlyBSD/cpdup/commit/7a715bd5cc6853c3973ce84a5df3c779e47082d1
Credit: https://github.com/ninja-build/ninja/pull/1513

stat.2: Fix minor identation issue