bzip2: Update README.DRAGONFLY.

Merge branch 'vendor/BZIP'

vendor/bzip: upgrade bzip2 from 1.0.6 to 1.0.8

Fixes CVE-2016-3189 and CVE-2019-12900.

hier.7: Describe /var/chroot (taken from NetBSD).

syscall.9: Adjust for the makesyscalls.sh changes.

kernel: Clean up some no longer used types from makesyscalls.sh.

<machine/pc/bios.h>: Switch to standard types for a few remaining cases.

kernel: Clean up a few headers a bit.

Remove 'extern' and parameter names from function prototypes.

zoneinfo: Remove the obsolete systemv file.

wpa_supplicant: Adjust master for the 2.9 upgrade.

- update README.DRAGONFLY and README.DELETED
- apply local modifications to contrib/wpa_supplicant
- adapt build to vendor update
- update manpages wpa_cli(8), wpa_passphrase(8) and wpa_supplicant(8)
- update /etc/wpa_supplicant.conf

Adapt rc script:

- add is_wired_interface() and is_ndis_interface() to network.subr (taken
  from FreeBSD)
- remove "security" warning
- don't consider DPorts wpa_supplicant anymore
- allow wpa_supplicant to be launched either for a single interface or in
  interface matching mode, ie. single daemon handling multiple interfaces
- add wpa_supplicant_* variables to /etc/defaults/rc.conf

Merge branch 'vendor/WPA_SUPPLICANT'

world - libmagic depends on several other libraries

* Fix missing dependencies. libmagic needs libbz2 and liblzma.

* Fixes devel/py-subversion@py27 build

Reported-by: tuxillo

tzsetup(8): Sync with FreeBSD, more or less, with some modifications.

New things:

* When in a VM, skip the initial question about the hardware clock
  being set to UTC because it is assumed that the hardware clock in
  a VM is set to UTC.

* Split out the dialog(3) code into #ifdef HAVE_DIALOG.

* Some miscellaneous fixes.

The dialog(3) code separation allows us to build tzsetup(8) as a
bootstrap tool without needing libdialog and friends. Prepare the
Makefile for this by not defining HAVE_DIALOG when bootstrapping.
It will be used in a later commit to upgrade /etc/localtime upon
installing new timezones.

ndp(8): Tweak Makefile against the tcpdump update

The new tcpdump enables IPv6 by default, so there is no need to define
the 'INET6' flag.

Clean the style a bit.

tcpdump(8): Workaround compilation warnings and raise WARNS to 3

It's necessay to fix these compilation warnings in print-esp.c,
otherwise we would be forced to use WARNS of 0.

Credit to FreeBSD for the workaround.

tcpdump(8): Regenerate config.h and update Makefile

* Regenerate config.h
* Update Makefile against to the vendor update
* Define more macros / flags in Makefile for IPv6 and our private
  LibreSSL library. (Credit to FreeBSD)
* Improve the tcpdump.1 man page generate a bit
* Clean up the Makefile a bit

Credit to deef (Daniel Fojt) for doing the vendor update.

contrib/tcpdump: Apply our own modifications

contrib/tcpdump: Update README.DRAGONFLY

Merge branch 'vendor/TCPDUMP' (version 4.3.0 -> 4.9.3)

contrib/tcpdump: Revert local modification for vendor update

vendor/TCPDUMP: Import tcpdump 4.9.3

Original source can be downloaded from:
https://www.tcpdump.org/release/

file = tcpdump-4.9.3.tar.gz
date = 2019-10-01
size = 2333119
sha1 = 59b309f3620ac4b709de2eaf7bf3a83bf04bc048

A list of files and directories removed is in README.DELETED.

libpcap: Remove unused header file after the upgrade

libpcap: Regenerate config.h and update Makefile

* Regenerate config.h
* Update Makefile against to the vendor update

Don't bump the libpcap so version because the API change is small as
suggested by zrj.  In addition, my limited tests showed that tcpdump(8),
wpa_supplicant(8) and pflogd(8) also works with the new libpcap.so.

Credit to deef (Daniel Fojt) for doing most of the work.

contrib/libpcap: Apply patches from DPorts net/libpcap

contrib/libpcap: Reapply our local modifications

contrib/libpcap: Update README.DRAGONFLY

<net/dlt.h>: Sync with libpcap 1.9.1

Our current <net/dlt.h> is missing some macros for libpcap 1.9.1, so
sync ours with the one from libpcap 1.9.1.  FreeBSD is also using the
<net/dlt.h> from libpcap.

libpcap: Clean up Makefile

* Group sections better and sort files
* Add 'scanner.h' to SRCS and specify its dependency.  Without this,
  just 'make' in the lib/libpcap directory would fail because it cannot
  find the 'scanner.h' file.

Merge branch 'vendor/LIBPCAP' (version 1.8.1 -> 1.9.1)

contrib/libpcap: Revert local modification for vendor update

vendor/LIBPCAP: Import libpcap 1.9.1

Original source can be downloaded from:
https://www.tcpdump.org/release/

file = libpcap-1.9.1.tar.gz
date = 2019-10-01
size = 861228
sha1 = 04d6e619defad5bb17af15f6d2304e79b649786c

A list of files and directories removed is in README.DELETED.

installer: Fix process killing issue in installer.sh

The original way of obtaining PIDs is actually wrong, becuase it would
get the user of processes instead of the process ID.

Directly use killall(1) to fix the issue as well as clean the code.

nrelease: Use pw(8) and chpass(1) to setup 'installer' and 'root' users

Use pw(8) to add the 'installer' user and use chpass(1) to disable
passwords for the 'installer' and 'root' users.  So we can drop the
customized 'master.passwd' file and be in sync with the one in
usr/src/etc.

nrelease: Recopy passwd and master.passwd as well

Ports/packages may also install new users.

While there, use '--yes' option for 'pkg autoremove' to clean a bit.

nrelease: Remove superfluous files

* The 'pwd.db' and 'spwd.db' files should be generated by pwd_mkdb(8).
* The 'login.conf' is not customized and thus not needed.

Anyway, the 'gui' framework is still using the deprecated pkgsrc
framework and has not been maintained for years...

rc.d: fix mounttmpfs rcorder

In case tmpfs is to be mounted under /var/run, ensure it's done before any
other components start using it, either to store pidfiles or (more important)
to create sockets, like syslogd(8) does.

Update the pciconf(8) database.

May 13, 2020 snapshot from https://pci-ids.ucw.cz

daemon.8: Document the changes made in 9f0202884c1ad1d00fb71dad7.

Discussed-with: Peeter Must

Sync zoneinfo database with tzdata2020a from ftp://ftp.iana.org/tz/releases

* Morocco's second spring-forward transition in 2020 will be May 31,
    not May 24 as predicted earlier.  (Thanks to Semlali Naoufal.)

* Canada's Yukon advanced to -07 year-round on 2020-03-08.

* America/Nuuk renamed from America/Godthab.

* Shanghai observed DST in 1919.  (Thanks to Phake Nick.)

* To reflect current usage in English better, America/Godthab has
    been renamed to America/Nuuk.  A backwards-compatibility link
    remains for the old name.

For a detailed list of changes, see share/zoneinfo/NEWS.

drm/linux/tasklets: queue new requests after existing ones

* The i915 driver expects its requests to be processed in the same
  order they were submitted

* Insert new tasklets at the tail of regular and high priority lists

release: Mount tmpfs at /usr/local/etc only if exists for ISO

For an ISO release built with the 'nopkgs' option, it doesn't have the
'/usr/local/etc' directory.  Thus the boot process would fail because it
cannot mount tmpfs at the non-existent directory '/usr/local/etc'.

Fix this issue by checking the existence of '/usr/local/etc' before
appending the corresponding entry to the ISO's fstab.

nrelease/Makefile: Fix 'pkg_${PKG}' to 'PKG_${PKG}' in a message

installer: Allow special characters in passwords

Store the password in an environment variable and pass it to the pw(8)
command.  This way of passing passwords allows special characters in the
password.  Actually, adduser(8) uses the same method to deal with the
password.  So this closes the old bug #3027.

In addition, this prevents the plaintext password from appearing on the
command line or in the installation log file.  Although the installer
will print every executed command to the install.log (located at
'/var/log/install.log' with mode 0600 though), the root password setting
and new user creation steps belong to the 'configuration' stage rather
than the 'installation', so currently the plaintext passwords won't go
to the install.log.

Credit to pikrzyszt (Krzysztof Piecuch) for submitting the initial patch
in bug #3027.

installer/dfuibe_installer: Clean up fn_root_passwd()

Improve the logic of fn_root_passwd() by referring to fn_add_user().

nrelease/Makefile: Display help text when no target specified

Make the 'help' target the default, so that the help text is shown when
no target is specified.  Before this change, a bare 'make' would give
message: `gui' is up to date.

adduser(8): Honor uidstart in adduser.conf when showing in the prompt

When using 'uidstart' in /etc/adduser.conf, get the next available user
ID and show it in the 'Uid [xxx]' prompt.

Obtained-from: FreeBSD (revision 232146)

adduser(8): Allow standard IFS characters in passwords

Notably, the default IFS contains space/tab, thus any leading/trailing
whitespace characters tend to be removed.

Set IFS= for just the read lines to mitigate this, allowing the user to
be less surprised when their leading/trailing spaces weren't actually
captured in the password as they are with other means of setting a
user's password.

Obtained-from: FreeBSD (revision 359642)

file(1): Re-add README.D{ELETED,RAGONFLY} on 

Merge branch 'vendor/FILE'

vendor/file: Small file mode fix.

vendor/file: upgrade from 5.32 to 5.38

[I forgot to push the vendor branch previously.]

Submitted-by: Daniel Fojt <df@neosystem.org>

daemon(8): Make daemon aware of log rotation

* Make daemon listen to SIGUSR1 so that when newsyslog
  has finished log rotation, it can send SIGUSR1 to
  daemon, who can then reopen the log file specified by
  the '-o' option.

* Failure to open the log file will be logged through
  syslog with LOG_NOTICE. The next attempt to reopen
  the log file will be made upon receiving signal SIGUSR1.

Reviewed-by: swildner, tuxillo, dillon, aly

drm/linux/tasklets: Factor out common code

Use a common macro for tasklet_schedule() and tasklet_hi_schedule()

file(1): Adapt build to vendor update.

Add README.DRAGONFLY and README.DELETED on master.

Merge branch 'vendor/FILE'

vendor/file: upgrade from 5.32 to 5.38

Submitted-by: Daniel Fojt <df@neosystem.org>

drm/linux: Add tasklet enable and disable functions

Remove a debug message in passing

drm/linux: Add xchg()

VOP_GETPAGES.9: Improve a tiny bit.

kernel/vm: Rename *_putpages()'s 'sync' argument to 'flags'.

It used to be a boolean but has now become a general flags argument
(for OBJPC_*).

kernel/vm: Rename VM_PAGER_PUT_* to OBJPC_*.

While here, rename the rest of the VM_PAGER_* flags too.

Suggested-by: dillon

kernel/vm_pager: Add some pagerops typedefs to improve readability.

I've left the swap pager alone for now because some of its ops are
global functions.

vendor/wpa_supplicant: upgrade from 2.1 to 2.9

Some little cleanup after the tcplay upgrade.

* Remove old lib via 'make upgrade'. I don't think libtcplay is used
  by anything in dports.

* Remove two references to kpartx in libtcplay's manual page.

kernel/vinum: Fix panic when vinum was loaded twice.

Occurred when it was both compiled into the kernel and in loader.conf
at the same time.

Reported-by: CuteLarva (on IRC)

dsynth - Automatically run at nice 10 by default

* dsynth now automatically nices sub-processes to +10.  This is a
  good middle-of-the-road nice to ensure that dsynth does not interfere
  with other system tasks too much (beyond the massive amount of memory
  and cpu these builds burn normally).

  We don't want to nice it too high or the scheduler won't have enough
  room for its normal dynamic priority management.

* This feature may be disabled via -N.

Sync ACPICA with Intel's version 20200430.

* Various bug fixes and cleanups.

For detailed list, please see sys/contrib/dev/acpica/changes.txt.

__realpath.2: Small mdoc correction.

test/debug: Remove duplicate #include <vm/vm_page.h>

tcplay.3: Add missing .Pp

Update tcplay(8) manpage.

- bump date
- move '--fde' option to correct place in synopsis
- remove kpartx and Linux references
- use valid ciphers combination for volume creation example
- add missing '--device' option to several example commands
- adapt examples to Dragonfly context

Update tcplay from 2.0 to 3.3

libc - Fix a serious memory leak in the nmalloc code

* Fix a bug where mtmagazine_free() would assign mt->newmag without
  re-checking its contents, potentially overwriting an assignment
  made by _slaballoc(), causing a memory leak.

* This bug generally rears its ugly head in heavily pthreaded programs,
  but it can occur under other conditions too.

Reported-by: hsw (irc)

tmpfs - Fix bug in page-free bypass path

* tmpfs moves pages between two objects in order to allow data to
  be paged to swap.  Tmpfs makes an optimization to evict pages
  that are already backed by swap when reclaiming a vnode.

  Fix a bug in this code which can sometimes attempt to free a VM
  page which is still flagged PG_MAPPED, causing an assertion and
  panic.  The page is not mapped at this point in time but the meaning
  of the flag has changed somewhat and the flag can still be left
  set by the time the page gets to this bit of code.

cpdup(1): Drop old compatible code for other OSes

The compatible code of cpdup(1) for Linux and other BSDs has been better
maintained in its standalone repository:
https://github.com/DragonFlyBSD/cpdup

So let's drop the old and unmaintained compatible code here.

rc.d: Add mounttmpfs to support tmpfs at /var/run and /tmp

We are already mounting a tmpfs at /var/run/shm to support shm_open()
etc functions.  However, this makes it harder for a user to make
/var/run on a tmpfs.  Actually, using a tmpfs for /var/run is a good
idea, though the deamons/system need to create necessary folders, and
Linux has adopted such a model for /run (symlink to /var/run) for years.

Introduce the 'mounttmpfs' rc script to support mounting tmpfs at
/var/run and /tmp, which is enabled by setting 'tmpfs_var_run=YES'
and 'tmpfs_tmp=YES' in /etc/rc.conf, respectively.  The default values
for these two new configurations are both 'NO'.

The new 'mounttmpfs' rc script is ordered *after* 'mountcritremote', so
that NFS-mounted /var is also properly handled, although I think
NFS-mounted /var is not a good idea and I don't know anyone really need
to do so.

Also move the tmpfs mounting at /var/run/shm from 'mountcritlocal' to
the new 'mounttmpfs' script.

Reviewed-by: tuxillo

sbin/fsck_msdosfs: Do not overflow when calculating file system size

from freebsd/freebsd@2ccadef77b81e7f18dd6bc4380357d6c6a797c5a

Fix various grammatical issues in our messages, documentation etc. (2)

<sys/flame_graph.h>: Include <sys/types.h> for some used types.

While here, add a copyright header.

<sys/namecache.h>: Include <sys/lock.h> for nc_lock.

While here, remove <sys/thread.h> which is no longer needed.

libc/setproctitle(): Add missing va_end()s in error paths.

libc/strcoll_l(): Remove bogus checks.

t1 and t2 are guaranteed to be non-NULL at this point.

<sys/sglist.h>: Adjust the type of struct sglist's sg_refs to unsigned.

To match the refcount API which is used under the hood.

Fix various grammatical issues in our messages, documentation etc.

inet6: nd6_na_input() now considers ln_state <= ND6_LLINFO_INCOMPLETE

Otherwise if ln_state != ND6_LLINFO_INCOMPLETE and the is no lladdr
and this message was solicited then ln_state is set to ND6_LLINFO_REACHABLE
which then causes confusion elsewhere in the stack.
If ln_state > ND6_LLINFO_INCOMPLETE then it's assumed we have a lladdr.

Depending on the timing, it's technically possible to receive such
a message after the llentry is created with ND6_LLINFO_NOSTATE.

Taken from NetBSD.

sbin/fsck_msdosfs: Fix a bug with dirty file system handling

r356313 broke handling of dirty file system because we have restricted
the correction of "odd" byte sequences to checkfat(), and as a result
the dirty bit is never cleared.  The old fsck_msdosfs code would write
FAT twice to fix the dirty bit, which is also not ideal.

Fix this by introducing a new rountine, cleardirty() which will perform
the set of clean bit only, and use it in checkfilesys() if we thought
the file system was dirty.

https://svnweb.freebsd.org/base?view=revision&revision=356313

from freebsd/freebsd@ffa396196c4c0fcf8a6bf4d1dd88ffb9ce531ccc

route.4: Fix date

Fix date for commit ced8848230553786e51dc0d08f17ccc302f556d1.

drm/linux: Add for_each_clear_bit()

Obtained-from: FreeBSD

drm/linux: Add BIT_ULL() and GENMASK_ULL()

kernel - Detune memory slab allocator pcpu caching a little

* The kernel tries to cache a lot of slab zones on a pcpu basis
  due to the high overhead of mapping and unmapping kernel memory.
  However, this can burn an excessive amount of physical memory on
  high-core-count cpus.

* Reduce the pcpu cache hysteresis on systems with more than 32 cpu
  threads.  So on a 128-thread TR with 256GB of ram, this reduces
  the slab cache from a ridiculous 30GB to a more reasonable 10GB.

sbin/fsck_hammer2: Refactor print_blockref_verbose()

kernel - Remove CACHE_VREF: RACED debugging output

* Remove 'CACHE_VREF: RACED' debugging output after verifying
  that the race can occur and is properly handled.

hammer2 - Fix serious de-duplication bug and a few other things (2)

* Remove debugging kprintf()

hammer2 - Fix serious de-duplication bug and a few other things

* Fix a serious de-duplication bug.  When small files <= 512
  bytes are extended with write()s to being larger than 512 bytes,
  it triggers a de-duplication bug in the first block of the file
  if that block can be de-duplicated from other sources.

  A mishandled skip condition combined with modest buffer cache
  flush loads can cause this first block can wind up getting
  zero'd out and cause a CHECK failure (I/O error) on the file.

  The fixes for this are primarily in hammer2_chain_modify().

* Replace HAMMER2_BREF_FLAG_ZERO in the bref.flags with
  HAMMER2_CHAIN_NOTTESTED in the chain structure and deprecate
  the flag.  This flag could sometimes accidentally be flushed
  to the media.

* Clear HAMMER2_CHAIN_INITIAL in two strategy write paths
  that are not typically hit.  The flag is probably already
  clear at this point since hammer2_chain_modify() has likely
  already been called, but be sure.

kernel - Fix excessive VM pageout flushes (2)

* Add a couple of missing page-rebusy tests in the vnode/putpages
  path for the pageout daemon.

build - Add a few things in test/debug

* Add a few more kernel probing utilities.

sbin/fsck_hammer2: Support regular file

sbin/fsck_hammer2: Adjust indentations for error messages

dsynth - Revert PkgDepMemoryTarget default

* The issues observed were actually not the fault of dsynth, but
  instead due to paging behavior by the kernel.  Changing this value
  did not actually fix anything, but fixes to the kernel did.

  Revert the calculation back to divide-by-3.

kernel - Fix excessive VM pageout flushes

* The VM pageout code was calculating the laundering limit improperly.
  We were trying to calculate a per-pass limit within each queue list
  but were not taking into account the fact that the number of queues
  have greatly increased in the last few years AND also that the paging
  scans only check 1/10 of each queue for each scan.

  These fixes allow the pageout scan to pick-up many more clean pages
  before beginning to stall-out on dirty pages.

* vm_max_launder is now calculated as 1/256 of physical memory at startup
  instead of hardwired.

* local max_launder calculations now take into account the number of
  queues and the fact that only 1/10 of each queue is checked in each
  pass.

  In addition, the local max_launder calculation is increased by the
  pass number divided by 10 so as to only increase for each full queue
  scan.

* the 'pass' variable passed down into helper functions is now divided
  by 10 because we do not want it to 'increment' and trigger stronger
  behavior until after the entire inactive queue has been scanned.