kernel - Fix duplicate da0 or da* and locked up boot

* Fix duplicate da* reporting at boot which usually results in
  the boot locking up.

* The diskinfo was being installed while before CAM's softc->state
  normalized, potentially allowing I/O to occur during the probe
  sequence and causing the probe state to be repeated.

  Delay calling disk_setdiskinfo() until after softc->state is
  normalized.

sys/vfs/autofs: Use ksnprintf() (sync with NetBSD)

FreeBSD and DragonFly had strcpy()+strcat().
NetBSD changed it to snprintf().

sys/vfs/autofs: Fix a comment

This isn't really a FALLTHROUGH. Not sure why I even originally
added this since this had never existed in FreeBSD too.

ipfw3nat: remove the state from the proper tree

kernel - Increase vm_object hash table

* Increase table from 64 to 256 entries.

* Improve the hash algorithm considerably for better coverage.

kernel - Implement td_limit reflection of p_limit

* Reflect proc->p_limit onto thread->td_limit to allow lockless
  rlimits testing.

* Significantly improves performance for rlimits-testing-centric
  operations such as for dup() and dup2().

* Also fixes performance issues across processes when the plimit
  structure is shared across many processes.  In this situation,
  unnecessary locking conflicts developed due to the high level
  of sharing across what would normally be considered distinct
  processes.

Suggested-by: mjg

rc.d - Be quiet when check if modules are loaded

kernel - Handle spinlock indefinite wait edge case

* The spinlock exclusive priority mechanism can cause an indefinite
  wait situation for shared locks to arise when a large number of cpu
  cores are cycling the same spinlock both shared and exclusive.

  This situation just won't happen for any real workload, but it
  can come up in benchmarks.

* Introduce a quick hack to ensure that this situation does not lead
  to a panic.  The exclusive priority mechanism is ignored once a
  shared spinlock has spun for greater than one second.

kernel/LINT64: Fix comment.

Remove some old tty related code, such as <sgtty.h>, old ioctls etc.

It is replaced by POSIX termios on modern systems. Also, remove related
code in libcompat.

<sys/ioctl_compat.h> is now just a few lines. This header will eventually
be removed completely.

Two ports, devel/xxgdb and editors/aee, were still using <sgtty.h> and
have since been fixed. But let's bump __DragonFly_version anyway.

Dports-checking-and-fixing: zrj

bpf - Add BIOC{S,G}FEEDBACK ioctls

- When set it allows reinjecting packets that were written to the bpf device
  as input to the interface when the output is successful.
- Add an alias to BIOCFEEDBACK which is the name of the
  of the 'set' ioctl in FreeBSD.

Partially-taken-from: NetBSD
Reviewed-by: sephe
Closes: #3126

<net/dlt.h> - Remove a comment which is no longer applicable

<net/dlt.h> - Add some more DLTs

- The DLT_USER* dlts are reserved for private use, they won't be
  used ever by libpcap/tcpdump themselves.
- net/wireshark-qt5 (and probably others) use it

hammer2 - Add vfs.hammer2.limit_dirty_inodes

* Add vfs.hammer2.limit_dirty_inodes which causes hammer2 to
  immediately begin fsync()ing dirty inodes when the count exceeds
  the limit.  Set a reasonable limit.

* Fixes issues on slower storage when the syncer is unable to
  keep up with the userland frontend, causing the number of
  dirty inodes to increase almost unbounded (limited only by
  kern.maxvnodes).

  Allowing a large number of dirty inodes to accumulate can
  can result in a situation where the clean device buffer
  underpinning the dirty inode is discarded by the kernel before
  the filesystem is able to flush it, forcing additional disk reads
  and slowing things down even more.

* Improve the operation of speedup_syncer() by limiting the
  rate at which we call the function.  It is now called a maximum
  of approximately once per tick (each call speeding up a sync
  by one second).

kernel - Add dirty vnode management facility

* Keep track of how many vnodes are queued to the syncer, which
  is basically the number of dirty vnodes.  The syncer vnode is
  included so the idle count is usually 1 and not 0.

* vn_syncer_count() returns the count.

* vn_syncer_one() attempts to fsync the next dirty vnode immediately,
  if it can acquire it non-blocking.  The special syncer vnode is
  ignored.  On failure the vnode will be requeued for 1 second,
  so this routine can be cycled.

inet6/pim: Return IPPROTO_DONE if the mbuf is freed.

This prevents the caller from using the freed mbuf.

Obtained-from: NetBSD via FreeBSD

kernel - Improve spinlock performance a bit

* Rearrange indefinite_init() and cpu_pause() in _spin_lock_contested()
  and _spin_lock_shared_contested() to improve performance.

* Fix conditional clearing the SHARED bit to use ovalue intead of
  value.  After review, either can be used but ovalue is more
  appropriate and give us an interlock against SPINLOCK_EXCLWAIT.

Reported-by: mjg_

kernel: Add -Wmissing-include-dirs to our kernel build.

kernel/acpica: Remove ${.OBJDIR}/include from Makefile.inc.

This file is included by various module Makefiles, of which only that
of acpica proper needs it. And that already cares about it in the
Makefile. Besides, we build acpica into our standard kernels anyway
now.

This fixes various -Wmissing-include-dirs warnings.

lvm(8): Use relative path for symlinks and clean up Makefile

* Use relative path for creating symlinks to the lvm binary

* Remove the unnecessary man page links (which is also broken since the
  wrong variable 'MKLINKS' was used)

* Improve styles a bit

gcc50: Backport c++11 literal fixes from gcc80.

Fixes: -Wliteral-suffix
C++11 requires a space between literal and string macro

While there, backport 222884 to suppress -Wdeprecated
use of an operand of type 'bool' in 'operator++' is deprecated

Makefile.inc1: Add sbin and remove games from btools and ctools path

* Add ${BTOOLSDEST}/sbin and ${CTOOLSDEST}/sbin to ${STRICTTMPPATH} which
  is set as the PATH during the buildworld, although no sbin tools is
  currently used for the buildworld.

* Introduce the variable CTOOLSPATH to hold the ctools path, similar to
  the BTOOLSPATH variable.

* Explain that '/usr/local/bin:/usr/pkg/bin' is appended to STRICTTMPPATH
  to support external compilers.

diff: s/.o/.c/ in the Makefile.

kern: Unbreak compilation w/o INVARIANTS

Update the pciconf(8) database.

April 6, 2018 snapshot from https://pci-ids.ucw.cz

<sys/elf_common.h>: Add an Elf_Nhdr definition.

Submitted-by: bserrao
Dragonfly-bug: https://bugs.dragonflybsd.org/issues/3130

ipfw3: remove legacy macros

ipfw3: format

ipfw3: list loaded modules

ipfw3nat: move the implementation back to *.c file

nvme - Improve likelihood of dump success

* Get rid of blocking locks in the dump path.  This can cause severe
  problems if curthread is the idle thread.

* Set aside a request on every queue for dump operation.  This
  request can be retrieved and returned trivially.

* Add a few functions to support dump requests and polling for
  completionsssssssss.

* Remove the unused 'ticks' argument from nvme_wait_request().

kernel - Improve SPINLOCK, acpi_timer performance under qemu/kvm/VMs

* Improve acpi_timer 24-bit performance by reducing use of clock_lock().

* Integrate a delta test into acpi_cputimer.base and remove the
  out-of-band tracking globals.  We can query the timer and calculate
  the return value for deltas less than 1/16 full-range.  Beyond
  that range we need to get the clock_lock() to calculate the high
  24 bits safely and update acpi_cputimer.base.

  On SMP systems, cpu #1 will update acpi_cputimer.base more
  frequently, reducing the chance that multiple cpus will need the
  clock_lock() at the same time.

* Refactor the safe24 code to make it easier to use.

* Improve the regressive SPINLOCK assembly macro, bringing it up to
  modern performance levels.  This fixes unnecessary cache ping-ponging
  during contention.

Suggested-by: mjg_

ipfw3.8: Some minor adjustments.

ipfw3layer2: misc

ipfw3basic: misc

ipfw3nat: kernel NAT without libalias

More than just one address can be configured in each NAT
configuraton and each coming packet will be translated to
one of these addresses randomly.

e.g.
    ipfw3 nat 1 config ip 192.168.1.1 192.168.1.2

A schedule will automatically purge the expired translations.
and its interval can be configure via below sysctl variables.
    net.inet.ip.fw3_nat.udp_timeout
    net.inet.ip.fw3_nat.tcp_timeout
    net.inet.ip.fw3_nat.icmp_timeout

ipfw3basic: fix `to me`

ipfw3nat: a cleanup callout to purge the expired translations

sysctl net.inet.ip.fw3_nat.cleanup_interval to configure its interval

ipfw3nat: show translations

same as 'show ip nat translations'

ipfw3nat: release the nat context during fini

ipfw3nat: flush all configurations

ipfw3nat: delete configuration

kbdmux - Simplify taskqueue handling, and get rid of the 1HZ callout.

[bsd-family-tree] add OpenBSD 6.3, DragonFly 5.2.0

ipfw3nat: sysctl vars for nat state timeouts

Revert "libssh: Remove local vis.c from the build."

This reverts commit dc312142da731a4dd82f924bf4442734ec45e880.

It needs further thought, our <vis.h> does not have VIS_ALL
(see BROKEN_STRNVIS in lib/libssh/config.h).

libssh: Remove local vis.c from the build.

contrib/libpcap - Local adjustments

- Use system's net/bpf.h instead of libpcap's one.
- Will help fixing net/vde2 and possible other ports that use a
  combination of net/bpf.h and pcap.h as described in f92f178f07f

<net/dlt.h> - Add a bunch of DLTs from libpcap

- As done in commit 34b07254ea and for the same reason as in
  f92f178f07f
- In prepartion to libpcap local adjustments

bpf - Add two new instructions

- Add BPF_MOD and BPF_XOR
- In prepartion to libpcap local adjustments

Sync unvis(1) and vis(1) with NetBSD.

<bus/cam/scsi/scsi_daio.h>: Include <sys/types.h> for off_t.

vis.3: Use .Er for errno values.

Move the IOCTLTRIM ioctl to a better header and rename it to DAIOCTRIM.

<sys/ioctl_compat.h> really is only for old tty related stuff.

Also bump __DragonFly_version, because there is one port which uses
IOCTLTRIM currently, i.e. benchmarks/fio. We'll send a patch upstream
that switches it to DAIOCTRIM, and once the updated version has hit
the /usr/dports tree, I will remove IOCTLTRIM from base.

libutil: Specify MLINKS a bit more readable.

<vis.h>: Bring back namespace pollution reduction.

ipfw3nat: when the nat config is already exists

sys/vfs/autofs: Use d_xxx_t typedefs for /dev/autofs

Sync err(3) message with 4be4de019f

libc: Move to a format for specifying MLINKS that's less hard on the eyes.

We do it like this in other places of the tree already and will eventually
move to this everywhere.

libc: Sort unvis.3 MLINKS alphabetically, too.

libc: Fix up MLINKS for the recent upgrade of vis.3 and unvis.3.

MLINKS have the format:

MLINKS+=<src> <targ> <src> <targ> ...

ipfw3nat: show nat config in kernel

ipfw3nat: show config in userland

ipfw3nat: func to get new alias

Remove a number of duplicated includes in userland.

libc: Replace vis(3) and unvis(3) files with NetBSD versions

* Rendering the corresponding APIs compatible with NetBSD and FreeBSD.

* Keep strnvis() as-is, keeping it compatible with previous DragonFly
  versions, OpenBSD and libbsd

* We already had the original OpenBSD version of strnvis(), which
  predates the NetBSD one by more than 10 years

* New userland utilities code partially obtained from FreeBSD.

Reviewed-by: swildner

ipfw3nat: nat func to replace the src or dst

The `src` will be replaced by `alias` when a packet is leaving the system.
Hence, the packet is from `src` to `dst` before been translated. And after
been translated, the packet is from `alias` to `dst`.

The state for outgoing packet will be stored in the nat_context of current
CPU. But due to the nature of the NAT, the returning packet may be handled
by another CPU. Hence, a state for the returning packet will be prepared and
store into the nat_context of the right CPU.

ipfw3nat: check_nat func

ipfw3nat: add conf in kernel

ipfw3nat: nat_config func in userland.

ipfw3nat: standardize the function names
prefix:
ip_fw3_  - function in kernel space
ipfw3_   - function in userland.

ncurses: Allow for easier bootstrap of libtic.

Mainly as backwards compat for gcc80.

Cherry-pick to 5.2

gcc50: Deal with -Wnarrowing when compiled by gcc80.

Cherry-pick to 5.2

bootpd/wpa_supplicant: Fix some warnings.

mtree/BSD.include.dist: Sort a bit.

Remove libalias headers and kernel module via 'make upgrade'.

ipfw3nat: move implimentation back to *.c file

ipfw3nat: cleanup for LINT64 build

ipfw3nat: standardize the function names

prefix:
    ip_fw3_  - function in kernel space
    ipfw_    - function in userland.

ipfw3nat: remove the module dependency

ipfw3nat: cleanup 3

ipfw3nat: RB_tree to keep the translation records

ipfw3nat: cleanup 2

ipfw3nat: delete the libalias 3

ipfw3nat: delete the libalias 2

ipfw3nat: delete the libalias 1

ipfw3nat: cleanup

kernel - Change AcpiOs*Lock() operation to reduce freezes

* Rework the AcpiOs*Lock() functions to use a lockmgr lock + critical
  section instead of a spin lock.  There are situations where the
  ACPI contrib code is holding one of these locks and then issues
  high level calls that might block.

* When called from the idle thread, AcpiOs*Lock() uses a separate
  spin-lock as before.  The idle thread of course is not allowed to
  block (except for HLT related activities).  This lock will be
  independent of the lockmgr lock, so we are assuming that cpu->idle
  operation is independent from ACPI execution on other cpu threads.

* Fixes at least one panic, and also possibly lockups here and
  there.

kernel - Fix pageout / sbusy race

* For now, vm_page_sbusy_try() cannot safely increment m->busy_count,
  and then decrement it if it turns out to be busy.  This interferes
  with any other thread that is holding the page hard-busy and expects
  the soft-busy mask to remain 0.

* Eventually we should be able to rework the fetchadd optimization back
  in.  Use atomic_cmpset_*() for now though.

ufs: Rename a number of UFS constants throughout the tree.

ROOTINO       -> UFS_ROOTINO
WINO          -> UFS_WINO
NDADDR        -> UFS_NDADDR
NIADDR        -> UFS_NIADDR
MAXSYMLINKLEN -> UFS1_MAXSYMLINKLEN

This helps to better sepate them from identically named EXT2 constants
which I'll rename in a later commit.

It also helps with my makefs(8) port.

I went with FreeBSD's names, so it is UFS1_MAXSYMLINKLEN even though
we'll probably never have UFS2, but since they are in public headers,
some stuff in dports might benefit from it in the future.

For safety, bump <sys/param.h> too.

getty(8): Sync with FreeBSD.

* Change gettytab's 'he' capability to accept a POSIX extended regexp
  to mess with the system's hostname better (r313107).

* Add a new 'iM' capability to specify a program to be run that
  generates the banner message displayed before the login prompt.
  This extends the functionality of 'im'.

* Do not loop indefinitely if the device node doesn't exist (think
  USB serial adapters e.g.).

* Various bug fixes and minor issue adjustments.

Remove usage of syslog(3)'s LOG_ODELAY because it is the default.

sdp.3: Adjust protos to follow the code.

ypclnt.3: Adjust yp_first() and yp_next() protos to follow the code.

ioctl.9: Remove ioctl() from SYNOPSIS, it's described in ioctl.2.

zone.9: Update a bit better.

* zinitna() doesn't take a vm_object anymore (see e16c650d787872d60f6ca),
  so this commit reverts 35f324174f2040a627e18e8b6f008e7a37d818e9.

* Use .Fn instead of .Fa for functions.

* Remove old documentation about the zone functions not being SMP-safe.

pax(8): Remove old prototypes.

zone.9: Include <vm/vm_object.h> for struct vm_object.

pax(8): Switch to using libc's pwcache instead of a local implementation.

Based-on: NetBSD