sys/vfs/autofs: Cleanups

openssh: Fix some merging mistakes I made.

Merge branch 'vendor/OPENSSH'

Clean up the OpenSSH vendor branch a tiny bit.

openpam: Sync OpenPAM modules a bit with FreeBSD.

Not much to see here, except some bugfixes. Oh, and ed25519 support
in pam_ssh.

Revert "mtree(8): Replace our mtree(8) with NetBSD's version."

This reverts commit 2f6d3139ecacca3533517516db002cf436f78918.

The upgrade breaks compilation of mtree on a release box during the
bootstrap-tools stage. I don't want to keep this broken until I've
found a good solution.

boot/efi: Sync our TianoCore EDK II headers with the UDK2018 branch.

drm: Reduce drm_bufs.c differences with Linux 4.7.10

mtree(8): Replace our mtree(8) with NetBSD's version.

Some of its files will be used by other stuff we want to upgrade or
bring in, such as install(1) and makefs(8).

Since mtree(8) is a bootstrap tool and I want this to be painless,
I've imported some other source files that mtree(8) uses, such as
from mknod(1), which we don't have, as part of mtree(8).

kernel/ena: Hook the ena(4) driver into the build.

kernel/ena: Port the ena(4) driver to DragonFly.

This work is based on an initial (non-building) patch by swildner
and also contains work by dillon. Special thanks to Colin Percival
and sephe for their help and assistance.

The driver works but should still be considered experimental.

Useful dports are:

devel/awscli
net/bsdec2-image-upload
sysutils/ec2-scripts

kernel: Bring in FreeBSD's ena(4) driver unchanged and unhooked.

This is a driver for Amazon's Elastic Network Adapter family,
for EC2 instances that support it.

drm: Sync a few bits with Linux 4.7.10

drm: dev->dma_lock doesn't exist

drm/linux: add agp_backend.h

kernel/icu: Fix a typo.

sysctl_add_oid.9: Improve a bit.

Add missing .Nm and fix the arguments of 4 macros. Note that we can't
really have them as being of the type of the actual arg until we fix
a number of int to uintmax_t in the sysctl code itself.

vmstat: Add -o option to report objcache usage.

mbuf: Reduce objcache name verbosity.

kernel: Port some remaining, yet unused, *_TRYLOCK() functions.

This is just for cleanup and obviously changes nothing.

kernel: Fix some wrong porting of *_TRYLOCK() macros.

Of these three, only CHN_TRYLOCK() is used in actual, active code,
but it is in the SNDCTL_DSP_SYNCSTART ioctl which in turn is not
used in base or in dports.

ARCMSR_LOCK_TRY() and PCM_TRYLOCK() are not used at all.

kernel/drm: Use more straightforward lockmgr_try().

kernel/lockmgr: Add lockmgr_try().

It just adds LK_NOWAIT to the flags and returns whether the
lock was obtained.

It is similar to other functions such as spin_trylock() or
FreeBSD's mtx_trylock() and can be used to port the latter.

Note that like these functions, it returns TRUE if successful,
while lockmgr() returns 0 if successful. This difference was
the source of minor confusion and porting mistakes in the past.
In fact, our driver porting document also didn't point out this
difference. I will fix some of these little issues in a separate
commit.

objcache: Add sysctl to expose objcache statistics.

disklabel64.8: Fix several "disklabel" to be "disklabel32"

And improve a sentence.

Update the pciconf(8) database.

June 29, 2018 snapshot from https://pci-ids.ucw.cz

kernel/sysctl: Add handling of uint32_t.

rc: Bring in a simple mechanism to run rc scripts only once.

The basic mechanism is: If /firstboot exists, rc will also run all
scripts that have the "firstboot" keyword, then delete /firstboot.

This is a simpler version of FreeBSD's work. Specifically, we hardcode
the firstboot sentinel's name to /firstboot and we also remove it a
bit more simply because we assume that at the end of /etc/rc, root is
R/W.

This mechanism is used for example by sysutils/ec2-scripts and is in
preparation for the upcoming ena(4) driver import.

Based-on: FreeBSD

if_tun: Allow IP packets of length TUNMRU with TUNSIFHEAD set

Obtained-from: FreeBSD (revision 300205)

if_tun: Raise maximum MTU to be 65535 bytes

This is used, for example, by packetdrill to test with MTU's up to the
maximum value.

Taken-from: FreeBSD (revision 300603)

if_tun: Disallow change network device type

Disallow ioctl(2) to change the network device type of tun(4).
Otherwise, page faults and panics can happen when access uninitialized
fields in the "struct ifnet" which are specific to the network device
type.

Obtained-from: FreeBSD (revision 326362)

if_tun: Implement interface clone support

Now 'ifconfig tunX create' and 'ifconfig tunX destroy' work.

The tun device will be automatically destroyed when being closed,
except for the manually created tun device/interface by
'ifconfig tunX create', similar to the tap(4) device.

This interface clone support is based on the if_tap device.

if_tun: Better name interface-related functions

Rename interface-related functions to be 'tunifxxx', and reorder a
bit to better group them.

Tweak the styles and improve debug messages a bit.

if_tun: Add sysctl net.link.tun.{refcnt,debug}

Add read-only sysctl net.link.tun.refcnt to show the number of opened
devices.

Add sysctl net.link.tun.debug to be a alias to debug.if_tun_debug.

if_tun: Support module load and unload

Track the created tun devices in a list, and record the number of opened
tun devices.  Destroy all tun devices when unloading the module.

Mainly based on if_tap.

if_tun: Add "cdev_t tun_dev" to tun_softc struct

Similar to if_tap, save the tun device in the tun_softc struct.

if_tun: Use pointer to ifnet in tun_softc struct

Use a pointer to the ifnet struct in the tun_softc struct, instead of
embedding a full ifnet struct in it.  (similar to FreeBSD's)

Use if_alloc() to allocate the ifnet struct.

if_tun: Update tun.4 man page to match the code

Mainly follow FreeBSD's tun.4, refer to NetBSD's tun.4, and with my own
minor adjustments.

if_tun: Some small tweaks and cleanups

* Consistently use the TUN define instead of "tun".

* Use variable "sc" instead of "tp" to refer to "struct tun_softc".

* Use variable "ifp" (struct ifnet *) to make code more readable.

* Static the bitmap variable.

* Various style tweaks.

if_tap: Restore SIOCGIFFLAGS, SIOC[GS]IFADDR ioctls for tapioctl()

These ioctls allow basic control of the network interface via the device
file (/dev/tapX).  For example, our vke(4) device currently uses the
'SIOCGIFADDR' ioctl.

libc - MFC resolver fix

* Allows intermediate domain names with an underscore.

* Fixes lookups of 'www.office.com' and 'www.newegg.com', and
  probably other domains.

Reported-by: kerma
Diagnosed-by: kerma, tautology

Revert "if_tap: Get rid of arpcom struct from tap_softc struct"

This reverts commit 78e1ab4a8fc0074361116dedb55e6dc02baea351, with
minor adjustments to reduce the diff.

Thank sephe for pointint out the problem with that commit, which
breaks the 'ether_ifattach()' as well as some IPv6 stuffs that
assume the existence of 'arpcom'.

ioctl.9: Remove some obsolete commented out info.

if_tap: Disallow change network device type

Disallow ioctl(2) to change the network device type of tap(4).
Otherwise, page faults and panics can happen when access uninitialized
fields in the "struct ifnet" which are specific to the network device
type.

Obtained-from: FreeBSD (revision 326362)

if_tap: Add TAPGIFNAME ioctl to get interface name

This is a convenient shortcut to obtain the network interface name using
file descriptor for character device.

This ioctl is obtained from FreeBSD (revision 182880) which was further
obtained from NetBSD.  This ioctl is used by softwares such as QEMU.

Bump __DragonFly_version and update tap.4 man page.

if_tap: Remove the broken vmnet support

The vmnet feature provided by tap(4) was intended to be used by the
VMWare port that runs as the server side to communicate with its clients.
However, our tap(4) was updated a lot in the past but left the vmnet
function broken.  In addition, we don't have the VMWare server and thus
the vmnet function isn't needed in the foreseeable future.
So just remove it.

Discussed-with: swildner, sephe

if_tap: Update tap.4 man page to match the code

Remove the description on FIONBIO ioctl since ours doesn't support it.

Mainly taken from FreeBSD, with some improvements.

if_tap: Return error instead of system panic

Return error when failed to create/find the device and to allocate
the interface struct, instead of system panic.

if_tap: Remove redundant unit from tapcreate() and tun_softc

The tap interface unit number is the same as minor number of the
associated tap device, so remove the redundant "unit" argument
from tapcreate() function as well as the "tap_unit" entry from
tun_softc struct.

Meanwhile, improve the debug messages.

if_tap: Get rid of arpcom struct from tap_softc struct

Remove the ancient arpcom struct from the tap_softc struct,
meanwhile introduce the "tap_ifp" member that points to the
interface (ifnet struct) associating with the tap device.

if_tap: Destroy the autoclone device when unload module

Use destroy_autoclone_dev(), which replaces both devfs_clone_handler_del()
and devfs_clone_bitmap_uninit(), to destroy the autoclone device /dev/tap
when unload the module.

Without this fix, the autoclone device /dev/tap is left over when the
module is unloaded.

if_tap: Add read-only sysctl net.link.tap.refcnt

Expose the number of opened devices as a read-only sysctl:
net.link.tap.refcnt.

Improve the debug messages with respect to the refcnt.

if_tap: Remove global variable "taplastunit"

This global variable isn't helpful.  In addition, the tap units can be
non-continuous.

if_tap: Some small tweaks and cleanups

* Consistently use the TAP define instead of "tap", also remove the
  CDEV_NAME define.

* Consistently use "tap_if" instead of "arpcom.ac_if".

* Better name the kqueue functions, and move the structs to the beginning.

* Reorder to better group related functions.

* Explicitly include the required <sys/queue.h> header.

* Use variable "sc" instead of "tp" to refer to "struct tap_softc".

* Staticize the bitmap variable.

* Use the variable unit = minor(dev) more.

* Improve the debug messages.

* Various minor style tweaks and cleanups.

test - Test after repository move to SSD

* Test after repository move to SSD

Disable cert verification for pkg-bootstrap when no cert.pem

Our site uses HTTPs and fetch(1) requires /etc/ssl/cert.pem or
/usr/local/etc/ssl/cert.pem to verify the server's certificate.
However, when one needs to bootstrap the 'pkg', that cert.pem
generally doesn't exist since it is installed by the ca_root_nss
package.  So disable certificate verification for fetch(1) in
such a case.

Split out 'pkg-bootstrap-{fetch,install}' targets to get rid of
some duplicate codes.

nvme - Do a better job backing out of probe errors

* AWS provides nvme interfaces which might not have attached volumes.
  Improve stability on AWS nvme (still needs more work).  Play nice
  when queue creation fails.  Do a better job tracking MSI-X
  interrupt installation and removal.

misc - Allow /usr/dports to be a null-mount

* Don't punt on rm -rf /usr/dports if /usr/dports cannot be
  deleted.  It might be a null mount.

hostname(1): Add a compat option -f to print the FQDN (our default).

This should fix the build of multimedia/libcec.

Found-in: FreeBSD

sbin/hammer2: Explicitly include <sys/stat.h> for stat(2)

Fix compile error on Linux.

sbin/hammer2: Drop unused header includes in icrc.c

libdmsg, UUID, and HAMMER2 ondisk definitions are not needed
for CRC calculation.

diffutils: Update README.DELETED.

Merge branch 'vendor/DIFFUTILS'

diffutils: Remove another unneeded file from the vendor branch.

hier.7: Mention /rescue.

openpam: Local adjustments for the Resedacea upgrade.

Merge branch 'vendor/OPENPAM'

Import OpenPAM Resedacea.

See HISTORY for the details.

Fix remaining references to mkinitrd.8 to initrd.7

Reported-by: swildner

sys/vfs/hammer: Cleanup CRC functions

The inner cmp in nested `vol_version >= HAMMER_VOL_VERSION_SEVEN`
conditional in hammer_crc_test_xxx() mostly get optimized out by gcc,
so not much reason to have __hammer_crc_get_xxx() in case of retry
using old CRC.

libtelnet: Fix styles in sra.c

Fix various small style(9) issues in sra.c, making some of the logic
clearer.

telnet(1): Disable PAM for the rescue version

This avoids several PAM-related libraries when crunching telnet, and
reduces the size by about 200 KB.

libtelnet: Fix build with NOPAM

Also don't perform a check for "secure" tty for root logins when using
PAM; that is what we provide pam_security(8) for.

Taken-from: NetBSD (lib/libtelnet/sra.c, v1.6)

libtelnet: Some small updates to sra.c from NetBSD

* Define 'SMALL_LEN' and 'XSMALL_LEN' to replace the explicit numbers.
  (also replaced the original PASS_SIZE)

* Use 'strlcpy()' and 'snprintf()' when appropriate.

* Clean some type casts.

* Some style(9) tweaks.

wcscoll.3: Remove leading '+' from copy/paste from a patch.

objcache: Add stat counting # of exhaustion.

Use it to supress exhaustion warning; nuke no longer used 'exhausted'
field in objcache struct.

objcache: Move rarely used but useful bits into their own structure.

objcache: Use u_long for stats.

Add a new stat to count # of allocation.

initrd: Refactor Makefile and introduce quick{rescue,initrd}

Refactor the Makefile by splitting the original targets into smaller
ones.

Introduce targets quick{rescue,initrd} which skip the clean step.
Such similar behavior was achieved by passing '-DNO_CLEAN' to make.
(suggested-by: swildner)

initrd: Crunch grep/diff/telnet to rescue tools

NOTE: These tools depend on their corresponding internal libraries.

This adds about 1MB to the rescue tools.

mk/crunchgen: Support internal libraries

Add "CRUNCH_INTLIBS" and "CRUNCH_INTLIB_${P}" to support the building
and linkage of internal libraries.

Also properly handle the "obj" etc. targets for internal libraries.

Meanwhile, add "CRUNCH_LIB_${P}" and "CRUNCH_KEEP_${P}" to the comments.

crunchgen(1): Support building and linking internal libraries

Some programs (e.g., grep, diff, telnet) use internal libraries.  In
order to crunch such programs, the corresponding internal libraries
must be built together with the programs and then are used to create
the <progname>.lo.

Extend the crunchgen(1)'s "special" command by adding the "lib_int"
keyword, which specifies the internal libraries to be used to create
the <progname>.lo.

The "libs_int" command is also implemented to support building the
needed internal libraries which will be statically linked to create
the final crunched executable.

crunchgen(1): Small updates and cleanups

* Use realpath(3) to replace the hack of using popen/pwd.

* Add function iseq() to replace strcmp().

* Use {} for make variables.

* Various style(9) tweaks.

initrd: Handle ${DESTDIR} when building rescue tools

When building rescue tools for a target system (e.g., create release
build), use tools (e.g., crunchide, crunchgen, cc), headers and libraries
from the target root (${DESTDIR}).

NOTE:
GCC is more tolerant (e.g., doesn't warn about unused variables) to
system headers than user headers, so we have to use "-isystem <inc_dir>"
instead of "-I<dir>", but the former (option syntax) causes difficulty
for <bsd.dep.mk> to filter the options to call mkdep(1).  Therefore, we
use "--sysroot=${DESTDIR}" and it's simpler than specifying headers paths
with "-I<dir>" and library paths with "-L<dir>".

Meanwhile, improve the commands logic in Makefile, and set LC_ALL=C.

crunchgen(1): Add "linkopts" to specify linker options

Currently, the link options (e.g., library search directories) are
appended to the "libs" directive.  Moreover, crunchgen discards
duplicates in such string lists.
For example, "-L /lib -L /usr/lib" becomes "-L /lib /usr/lib".

Add the "linkopts" directive to record the options for linking the
final crunched binary.  This makes the "libs" directive cleaner,
and helps crunchgen to detect duplicates between "libs" and "libs_so".

Update the crunchgen.1 man page.

Update mk/bsd.crunchgen.mk against the new "linkopts" directive.

Clean up crunchgen.c a bit.

crunchgen(1): Improve the skeleton program

* Sort the name of crunched tools (for easier finding available tools).

* Do not print the name of itself in usage.

* Remove the unused crunched_here() function.

* Style updates (taken-from: NetBSD)

initrd: Add real scp(1)

scp(1) and ssh(1) are different tools, so the original "scp" alias
doesn't work actually.  Add real scp(1) now.

Meanwhile, alias "ssh" to "slogin" as the same as the base system.

Remove the symbol keep statement as it's no longer needed.

initrd: Reorganize and crunch 70 more rescue tools

* Merge "rescue.sbin" into "rescue" to save space (avoid duplicated
  libraries to be linked).

* Move "lvm" out of "rescue.libcrypto" since lvm(8) doesn't need libcrypto.

* Crunch 70 more tools (aliases not counted):

  awk, basename, bc, bzip2, cap_mkdb, chflags, chown, cmp, cpio, cut,
  date, dirname, dmsetup, dump, ed, env, expr, false, find, fstyp, gzip,
  head, hexdump, hostname, id, join, kcollect, kdump, kenv, ktrace,
  ldconfig, lsvfs, mount_devfs, nc, paste, patch, pax, pkill, printf,
  pw, pwd_mkdb, rcorder, realpath, relpath, restore, rtsold, savecore,
  sed, sort, stat, stty, tail, tar, tee, touch, tput, tr, traceroute,
  traceroute6, true, truss, uname, uniq, varsym, vi, vipw, vnconfig, wc,
  xz, yes

  Highlights:
  awk, bzip2, chown, cpio, find, gzip, nc, pw, sed, tar, vi, xz

  Now the total number of crunched rescue tools more than 230 (including
  aliases), but the total size remains almost the same :-)

* Improve the makefiles to be much cleaner.

libedit: No need of the bundled fgetln, vis and wcsdup

All these functions are provided in libc, so remove them from libedit
to avoid symbol conflict (e.g., crunching many tools).

Meanwhile, the libedit's config.h already have proper defines for the
above functions.

bsd-family-tree: Sync yet again with FreeBSD.

libssh: No need of compat vis.c as we support VIS_ALL

This helps avoid the vis.o symbol conflicts between libc and libssh.

vis(1): Add option -a to use VIS_ALL

Taken-from: OpenBSD

vis(3): Add VIS_ALL support

OpenSSH requires VIS_ALL and therefore uses the version bundled with
itself, but this causes the vis.o symbol conflicts between libc and
libssh when crunching fstyp(8) with ssh(1).

Bump __DragonFly_version.

Based-on: OpenBSD

openssh: Removed unused vis.[ch] from the vendor branch

Our libc's vis(3) now supports VIS_ALL, which is required by libssh.

lib/libdmsg: Fix compile-time warning on Linux

warning: pointer targets in passing argument 2 of 'crypto_algos[0].init' differ in signedness
note: expected 'char *' but argument is of type 'uint8_t *'

Do not auto build rescue tools when ${DESTDIR} != "/"

When installworld to an alternative root (i.e., ${DESTDIR} != "/"),
do not automatically build the rescue tools.

This change won't affect the nrelease build, since it will explicitly
do 'make initrd'.

Suggested-by: swildner

objcache: Fix comment indentation.

objcache: Use __predict for predictable conditions.

<sys/gpt.h>: Fix a minor comment issue

objcache: Fix comment style