Revert "libssh: Remove local vis.c from the build."

This reverts commit dc312142da731a4dd82f924bf4442734ec45e880.

It needs further thought, our <vis.h> does not have VIS_ALL
(see BROKEN_STRNVIS in lib/libssh/config.h).

libssh: Remove local vis.c from the build.

contrib/libpcap - Local adjustments

- Use system's net/bpf.h instead of libpcap's one.
- Will help fixing net/vde2 and possible other ports that use a
  combination of net/bpf.h and pcap.h as described in f92f178f07f

<net/dlt.h> - Add a bunch of DLTs from libpcap

- As done in commit 34b07254ea and for the same reason as in
  f92f178f07f
- In prepartion to libpcap local adjustments

bpf - Add two new instructions

- Add BPF_MOD and BPF_XOR
- In prepartion to libpcap local adjustments

Sync unvis(1) and vis(1) with NetBSD.

<bus/cam/scsi/scsi_daio.h>: Include <sys/types.h> for off_t.

vis.3: Use .Er for errno values.

Move the IOCTLTRIM ioctl to a better header and rename it to DAIOCTRIM.

<sys/ioctl_compat.h> really is only for old tty related stuff.

Also bump __DragonFly_version, because there is one port which uses
IOCTLTRIM currently, i.e. benchmarks/fio. We'll send a patch upstream
that switches it to DAIOCTRIM, and once the updated version has hit
the /usr/dports tree, I will remove IOCTLTRIM from base.

libutil: Specify MLINKS a bit more readable.

<vis.h>: Bring back namespace pollution reduction.

ipfw3nat: when the nat config is already exists

sys/vfs/autofs: Use d_xxx_t typedefs for /dev/autofs

Sync err(3) message with 4be4de019f

libc: Move to a format for specifying MLINKS that's less hard on the eyes.

We do it like this in other places of the tree already and will eventually
move to this everywhere.

libc: Sort unvis.3 MLINKS alphabetically, too.

libc: Fix up MLINKS for the recent upgrade of vis.3 and unvis.3.

MLINKS have the format:

MLINKS+=<src> <targ> <src> <targ> ...

ipfw3nat: show nat config in kernel

ipfw3nat: show config in userland

ipfw3nat: func to get new alias

Remove a number of duplicated includes in userland.

libc: Replace vis(3) and unvis(3) files with NetBSD versions

* Rendering the corresponding APIs compatible with NetBSD and FreeBSD.

* Keep strnvis() as-is, keeping it compatible with previous DragonFly
  versions, OpenBSD and libbsd

* We already had the original OpenBSD version of strnvis(), which
  predates the NetBSD one by more than 10 years

* New userland utilities code partially obtained from FreeBSD.

Reviewed-by: swildner

ipfw3nat: nat func to replace the src or dst

The `src` will be replaced by `alias` when a packet is leaving the system.
Hence, the packet is from `src` to `dst` before been translated. And after
been translated, the packet is from `alias` to `dst`.

The state for outgoing packet will be stored in the nat_context of current
CPU. But due to the nature of the NAT, the returning packet may be handled
by another CPU. Hence, a state for the returning packet will be prepared and
store into the nat_context of the right CPU.

ipfw3nat: check_nat func

ipfw3nat: add conf in kernel

ipfw3nat: nat_config func in userland.

ipfw3nat: standardize the function names
prefix:
ip_fw3_  - function in kernel space
ipfw3_   - function in userland.

ncurses: Allow for easier bootstrap of libtic.

Mainly as backwards compat for gcc80.

Cherry-pick to 5.2

gcc50: Deal with -Wnarrowing when compiled by gcc80.

Cherry-pick to 5.2

bootpd/wpa_supplicant: Fix some warnings.

mtree/BSD.include.dist: Sort a bit.

Remove libalias headers and kernel module via 'make upgrade'.

ipfw3nat: move implimentation back to *.c file

ipfw3nat: cleanup for LINT64 build

ipfw3nat: standardize the function names

prefix:
    ip_fw3_  - function in kernel space
    ipfw_    - function in userland.

ipfw3nat: remove the module dependency

ipfw3nat: cleanup 3

ipfw3nat: RB_tree to keep the translation records

ipfw3nat: cleanup 2

ipfw3nat: delete the libalias 3

ipfw3nat: delete the libalias 2

ipfw3nat: delete the libalias 1

ipfw3nat: cleanup

kernel - Change AcpiOs*Lock() operation to reduce freezes

* Rework the AcpiOs*Lock() functions to use a lockmgr lock + critical
  section instead of a spin lock.  There are situations where the
  ACPI contrib code is holding one of these locks and then issues
  high level calls that might block.

* When called from the idle thread, AcpiOs*Lock() uses a separate
  spin-lock as before.  The idle thread of course is not allowed to
  block (except for HLT related activities).  This lock will be
  independent of the lockmgr lock, so we are assuming that cpu->idle
  operation is independent from ACPI execution on other cpu threads.

* Fixes at least one panic, and also possibly lockups here and
  there.

kernel - Fix pageout / sbusy race

* For now, vm_page_sbusy_try() cannot safely increment m->busy_count,
  and then decrement it if it turns out to be busy.  This interferes
  with any other thread that is holding the page hard-busy and expects
  the soft-busy mask to remain 0.

* Eventually we should be able to rework the fetchadd optimization back
  in.  Use atomic_cmpset_*() for now though.

ufs: Rename a number of UFS constants throughout the tree.

ROOTINO       -> UFS_ROOTINO
WINO          -> UFS_WINO
NDADDR        -> UFS_NDADDR
NIADDR        -> UFS_NIADDR
MAXSYMLINKLEN -> UFS1_MAXSYMLINKLEN

This helps to better sepate them from identically named EXT2 constants
which I'll rename in a later commit.

It also helps with my makefs(8) port.

I went with FreeBSD's names, so it is UFS1_MAXSYMLINKLEN even though
we'll probably never have UFS2, but since they are in public headers,
some stuff in dports might benefit from it in the future.

For safety, bump <sys/param.h> too.

getty(8): Sync with FreeBSD.

* Change gettytab's 'he' capability to accept a POSIX extended regexp
  to mess with the system's hostname better (r313107).

* Add a new 'iM' capability to specify a program to be run that
  generates the banner message displayed before the login prompt.
  This extends the functionality of 'im'.

* Do not loop indefinitely if the device node doesn't exist (think
  USB serial adapters e.g.).

* Various bug fixes and minor issue adjustments.

Remove usage of syslog(3)'s LOG_ODELAY because it is the default.

sdp.3: Adjust protos to follow the code.

ypclnt.3: Adjust yp_first() and yp_next() protos to follow the code.

ioctl.9: Remove ioctl() from SYNOPSIS, it's described in ioctl.2.

zone.9: Update a bit better.

* zinitna() doesn't take a vm_object anymore (see e16c650d787872d60f6ca),
  so this commit reverts 35f324174f2040a627e18e8b6f008e7a37d818e9.

* Use .Fn instead of .Fa for functions.

* Remove old documentation about the zone functions not being SMP-safe.

pax(8): Remove old prototypes.

zone.9: Include <vm/vm_object.h> for struct vm_object.

pax(8): Switch to using libc's pwcache instead of a local implementation.

Based-on: NetBSD

libc/pwcache: Some further work on the pwcache import.

* Add prototypes

* Adjust Symbol.map and Versions.def

* Add MLINKS

* Bump .Dd in the manual page to the date it came into our tree

Update pwcache(3) support files from NetBSD

* Bringing the API up-to-date with NetBSD and FreeBSD

* This effectively adds the uid_from_user() and gid_from_group()
  functions, the reverse of user_from_uid() and groups_from_gid()

* (void) casts for discarded return values have been removed

rmt(8): Remove unneeded include of <sgtty.h>.

<sys/ioctl_compat.h>: Add a reminder comment about IOCTLTRIM.

This ioctl really doesn't belong in this header. Unfortunately, it is
used by the benchmarks/fio port, so we can't fix it right away.

ioctl.9: Document that 'C' is used by some cam(4) ioctls as well.

libcompat: Remove the old and unused insque() and remque() functions.

We have a conforming implementation of those two functions in libc, so
nothing was taking the ones from libcompat. However, libcompat's
outdated manual pages were shadowing the good ones from libc.

Reported-by: zrj

kernel/vtnet: Add opt_ifpoll.h to the Makefile.

Sync zoneinfo database with tzdata2018d from ftp://ftp.iana.org/tz/releases

* Palestine started DST a week earlier, on March 24.

* Various changes to past time stamps and zone abbreviations.

For a detailed list of changes, see share/zoneinfo/NEWS.

re_format.7: Make regex.7 an MLINK.

Suggested-by: aly

man(1): Make -a default.

Fix -Wsizeof-pointer-memaccess better.

My previous commits:

56267d362d5769c8df07bf26d5e322610e0d24b4
562a180a58780b719830629307e6283c30c85229

caused out of bounds write by one byte. This commit fixes the
warning and restores the code what was there before.

kernel/vkernel: Add __printflike() to two internal functions, for -Wformat.

loader/menu: Fix 'vfs.root.real_root' to be 'vfs.root.realroot'

This should be the same variable as used in /boot/loader.conf to specify
the real root partition.  See loader(8) and mkinitrd(8) for more info.

The intent here by unsetting it for the *rescue boot mode* is to prevent
the real root been mounted, and hence the system will stay in the md0
rescue root.

Verified-by: Matt Dillon

cpdup(1): Fix a typo in the usage

hammer2 - Increase bulkfree buffer size request and cap

* Increase the kernel buffer size cap for hammer2 cleanups
  (aka bulkfree's) from 64MB to 1/16 physical memory.  Systems
  with more memory can accomodate larger in-memory bulkfree bitmap
  buffers.  Systems with less memory simply do multiple scan
  passes as per usual.

* Increase the buffer size requested by the hammer2 utility
  from 8MB to 1/16 physical memory.  The actual amount of memory
  allocated by the kernel will be 32MB per 1TB of filesystem, up to
  the cap.

* This will generally reduce the number of scans required for
  a 4TB filesystem from 16 to 1, meaning that bulkfree will take
  1/16 the time as it did before for a filesystem of that size.

  For example, a system with 128GB of ram would be able to
  request up to 8GB of buffer which can accomodate a bulkfree
  operation on a 256TB filesystem in a single pass.

mkinitrd(8): Fix a wrong variable name, and more improvements

* Fix the wrong variable name 'CONTENT_DIR' to be 'CONTENT_DIRS', which is
  used in the configuration file as well as this tool.

* Add a function check_dirs() to check the existence of directories.

* Append the PID to the temporary build directory to make it unique.

* Remove the temporary build directory after use.

* Backup the old initrd.img.gz before copy the new one over.

if_vtnet - Add polling support.

* We need to tear down the interrupts, to reliably stop them from firing,
  when enabling polling. So when disabling polling, we need to hope that
  we can get all interrupts set up again, as before.

* When polling, handle the rx and tx virtqueues on the same cpu.

if_vtnet - Factor out the virtio_bind_intr() calls into a separate function.

* And most importantly, store the bindings in the vtnet_softc struct, so we
  can restore the interrupt <-> virtqueue bindings when disabling polling
  mode.

mkinitrd(8): improve the man page and styles

Suggested-by: swildner

mkinitrd(8): determine the initrd size from the contents size

* Calculate the contents size to determine the required initrd size.

  The used initrd size is determined from the total contents size, rounded up
  to align with 1 MiB, added additional 1 MiB.

  The calculated initrd size is 12 MiB at the moment, so we have 3 MiB
  more usable memory now (compared to the fixed 15 MiB before).

* Add options "-s" to specify the required initrd size as before.  But a check
  against the above determined required initrd size is performance to avoid the
  out-of-space error, resulting in a broken initrd image.

* Add option "-S" to constrain the allowed maximum initrd size, because a too
  big initrd image will also lead to boot failure, due to the boot loader
  limitation.

* Some minor cleanups and improvements, better error handle and messages.

* Update the mkinitrd.conf and man page accordingly.

Reviewed-by: zrj

kernel/usb4bsd: Add missing descriptions for C610/X99 controllers.

Codename Wellsburg.

While there, fix few typos and match entries in share/misc/pci_vendors.

kernel - Fix UFS bug on filesystem full conditions

* UFS was not properly translating the lbn to a block offset
  when trying to back-out an indirect block allocation during
  a write() which fails due to lack of space.

* Fixes a panic which could occur in the above situation.

Reported-by: Aaron LI

rc.d: Add ipfw3 rc script

To use ipfw3, add 'ipfw3_enable=YES' to /etc/rc.conf .  By default, only
the 'ipfw3' and 'ipfw3_basic' modules will be loaded.  If you need more
ipfw3 modules, set them with 'ipfw3_modules="<modules> ..."' in
/etc/rc.conf .  See also the rc.conf(5) man page.

This ipfw3 rc script is largely based on the ipfw script.

The /etc/ipfw3.rules (a shell script) should be present to setup the
firewall rules, otherwise the default setup will block all incoming
connections, including your current connection!

NOTE:
I wrote this script for use in my VPS last year, but switched to
PF later, so more tests and improvements (e.g., flush tables on stop)
to this script are needed.

Reviewed-by: swildner

rc.subr: Add _rc_subr_loaded to avoid sourcing it again

* Once /etc/rc.subr been sourced, $_rc_subr_loaded="YES", then /etc/rc.subr
  takes care of avoiding sourcing it again. (obtained from FreeBSD)

* Remove the unnecessary "$_rc_subr_loaded" prefix from several rc scripts,
  which also make the "$_rc_subr_loaded . /etc/rc.subr" command fail.

rcorder(8): Multiple cleanups

* Add static for rcorder.c (obtained from FreeBSD)
* Remove commented lines (commit: 70c6c3571b5250b7cabfad3d20d4f7c09a5aadaf)
* Describe function arguments in hash.c
* Fix several typos (obtained from FreeBSD)
* Break two long lines
* Clean up whitespaces

virtio_pci - Fix vtpci_reinit MSI-X vector reinitialization.

if_vtnet - Fixup serialized assertion in vtnet_is_link_up().

* We check vtnet_is_link_up() from the config interrupt, which runs with
  just the sc->vtnet_slz serializer.

bridge - Fix dereference race

* bri->bri_dead can be set asynchronously vs gc scans, catching a
  scan in the middle.

* Add a ref count, bri_refs, to be able to properly determine when
  we can kfree() the bri.  Before we kfree()'d it in the last chained
  netisr, but that had the above race.

bridge - Fix arp issue

* Fix an issue when an arp route is associated with a bridge.  When an
  arp request comes in on an interface that is not destined for us, do
  not reply to it if the interface belongs to the bridge the arp route
  is associated with.

  Replying to such arp requests would result in a double-reply, one from
  the bridge MAC and one from the target MAC.

* The request will be relayed over the bridge normally, as intended.

iwm - Always clear watchdog timer, when bringing down firmware state.

iwm - Clear Time Event active state, when receiving End Notification.

* This hopefully avoids some firmware panics, I was occasionally seeing,
  when iwm disconnects upon losing signal to an access point at some point.

* This is synchronizing the if_iwm_time_event.c file a bit more from the
  corresponding Linux iwlwifi/mvm/time-event.c.

Taken-From: Linux iwlwifi

vtnet - Split up serializers, now has separate rx and tx serializers.

* This uses the MULTI SERIALIZERS MODE in the DragonFly net framework.

* This allows the rx and tx paths of if_vtnet to run in parallel.

sys/file.h: Expand struct file for drm/linux shim

The struct file.private_data field will be used to pass drm_file information,
removing the need for some of the existing devfs cdevpriv code.

Distinct commit suggested-by: zrj

Makefile.usr: allow easier change of repo URL and cleanups

* Introduce variables GITURL_SRC and GITURL_DPORTS to replace GITHOST and
  GITHOST_DPORTS, respectively, allowing easier change the git repo URLs, e.g.,
  changing to use the HTTPs clone from GitHub.

* Introduce variable BRANCH to specify the src branch to be checked out, either
  "master" (the development branch) or "DragonFly_RELEASE_x_y" (for stable
  releases).  Also print the checkout branch in the help.

* Simplify "src-create" and "src-create-shallow" targets to a one-line git clone
  command with the --depth and --branch options.

* Target "src-create-repo" is merged into "src-create", and target
  "src-checkout" is removed as it is no longer needed.

* Protect "release-sys-extract" target with the existence check of
  src-sys.tar.bz2 .

* Other minor updates and cleanups.

Changes for DragonFly 5.3.

if_vtnet - Cleanup ifalt_subque handling a bit.

kernel/{ext2,u}fs: Remove unused 'in_exists' from struct indir.

if_vtnet - Get rid of separate vtnet_{rx,tx}_intr_task functions.

* Just inline them into vtnet_rx_vq_intr and vtnet_tx_vq_intr respectively.

if_vtnet - Fixup previous commit.

if_vtnet - Use ifsq_watchdog_* functions as the watchdog.

* The existing watchdog code was commented out.

sys/vfs/autofs: Cleanups (sync with NetBSD and OpenBSD)

FreeBSD has these in autofs.c, but only vfsops needs init/uninit.

locate.updatedb(8): improve default search paths with small updates

* Make locate.updatedb(8) default to search from all mount points with
  the allowed filesystem types.  Therefore, it is allowed to exclude the
  root filesystem type, while still correctly index other mounted
  filesystem with allowed types.  Otherwise, the whole filesystem is
  simply ignored if the root filesystem type is excluded.

* Although we can now ignore the root filesystem type from being indexed,
  but this is generally a configuration mistake, so we warn about this.

* Use stat(1) instead of the obscure "find -c" to help check whether the
  created database is empty.

* Print out the full find command by default (to help config/debug), also print
  a message when the database is successfully built.

* Update locate.rc accordingly.

* Explain why use cat instead of cp for the final database creation.

if_vtnet - Don't drop vtnet_slz in some of the virtqueue_notify() calls.

* There are several cases where the vtnet_slz serializer is dropped around
  virtqueue_notify() calls, with the hope that this allows other cores to
  run if_vtnet code in parallel.

* In vtnet_exec_ctrl_cmd(), it shouldn't make a significant performance
  difference, and avoids some theoretical race possibilities.

* In the vtnet_init_rx_vq initialization code, it also is irrelevant for
  performance, and only complicates things.

* In the vtnet_rxeof() and vtnet_start() cases it might actually be relevant
  for performance, so we keep those for now. When changing the driver to
  use the MULTI_SERIALIZERS MODE, the serializer dropping can also be
  removed in those two cases.

if_vtnet - Remove vtnet_tick_ch and vtnet_cfgchg_task from softc struct.

* Forgot to remove the softc variables in the changes
  c5f8e1538bcc13f7a39b805bcc5b774780 and 603be9646446bdb4292b6cd27544788c2c.

* Also remove a leftover taskqueue_drain() call.

if_vtnet - Pass the vtnet serializer in ether_ifattach().

* This is likely just an intermediate step, the plan is to eventually use
  the MULTI SERIALIZER MODE.