ifconfig(8): Use nitems() consistently

<net/if_var.h>: Clean up unused forward declaration

Also remove the inclusion of an unnecessary header <sys/systm.h>.

<net/if.h>: Do not include <net/if_var.h> for _KERNEL

* Clean up an ancient leftover: do not include <net/if_var.h> from <net/if.h>
  for kernel stuffs.

* Adjust various files to include the necessary <net/if_var.h> header.

NOTE:
I have also tested removing the inclusion of <net/if.h> from <net/if_var.h>,
therefore add <net/if.h> inclusion for those files that need it but only
included <net/if_var.h>.  For some files, the header inclusion orderings are
also adjusted.

pc64 - If appropriate, determine TSC frequency via CPUID.

On Intel systems with Skylake and newer CPUs, and on modern Atom CPUs this
avoids the ca. 200ms TSC calibration process at the beginning of booting.

On most modern Intel CPUs the TSC frequency can be determined via CPUID
information. For the most modern generations this is quite well documented.
If the CPUID information doesn't directly specify the "crystal clock",
we use the frequency values given in Intel's "Software Developer's Manual"
for the different cpu variants.

Since the "crystal clock" seems to exactly match the HPET frequency that we
use in the calibration, this method should be at least as good as our
calibration procedure.

Setting the tunable hw.tsc_ignore_cpuid=1 forces the kernel to calibrate
the TSC if it would otherwise just use the CPUID information.

if_tap: Interface type should be IFT_ETHER (2)

Ooops, forgot to include the necessary header <net/if_types.h> in the
last commit.

if_tap: Interface type should be IFT_ETHER

corepower - Add support for Platform Energy Counter.

tun.4: Do not mention tunoutput() anymore

The tunoutput() function was renamed to be tunifoutput(), and it's an
internal function and doesn't provide useful information here.

devfs: Minor style fixes

fdisk, gpt - Support trim on recent kernels

* Recent kernels removed the 'trim' sysctls.  Devices now allow trim by
  default.

* Fix the fdisk -E option to no longer try to use the sysctls.

* Add trim support to gpt init (-E).

* Fix swapon -e, change option to -E to match gpt and fdisk
  (-e still supported and does the same thing).

drm: Sync drm_bufs.c with Linux 4.7.10

hammer2 - Add destroy-inum directive

* Add support for destroying screwed up inodes (e.g. inodes with CRC
  failures and such).

  hammer2 -s filesystem destroy-inum inode_number

  This will attempt to destroy an inode number without reading it,
  allowing the removal of dead inodes from a corrupted filesystem.

* This is similar to 'hammer2 destroy path', which destroys dead
  directory entries, but acts on the inode instead of on the
  directory entry.

drm: simplify authentication management

if_tap: Remove the unnecessary forward declaration in if_tap.h

if_tun: Add TUNGIFNAME ioctl to get the interface name

This ioctl helps to get the name of the network interface associated
with the tun control device via its file descriptor.  One generally
obtains such a file descriptor by opening the tun autocloner (i.e.,
/dev/tun).  While the devname(3) or fdevname(3) functions can be used
to determine the name of the actually created tun device, but there is
no easy way to get the name of the associated network interface, which
is though initially the same as the device name but can be renamed.

Bump __DragonFly_version and update tun.4 man page.

See also the relevant Linux patch that added TUNGETIFF to tun:
https://lists.linuxfoundation.org/pipermail/virtualization/2008-August/011546.html

if_tun: Clean up tunioctl()

Introduce a variable 'caddr_t data' to make code cleaner.  Also improve
the switch flow a bit.

Based on: if_tap.c

drm: More Linux 4.7.10 synchronization

* Add missing event handling code

* Sync or add a few drm_fops.c functions

* Remove unneeded kqueue locking

hammer2 - Do not assert when shifting around error'd BREFs

* When adjusting the radix tree and shifting around BREFs, do not
  assert if the related chain has cached an error (such as a CRC
  error).  The BREF itself can still be moved.

install(1): Fix building on release and older systems.

While here, add a comment about this to mtree(8)'s Makefile too.

install(1): Add a -l flag for creating hard or soft links

* This flag was originally introduced in NetBSD in March 1997 and then added
  to FreeBSD in January 2013.

* It will make it easier to update dports(7) from FreeBSD ports.

* The previous DragonFly-specific -l flag was no longer used.

Obtained-from: NetBSD and FreeBSD

sys/vfs/autofs: Make {test,nlookup}_fs_root() return bool

Change return type of DragonFly specific utility functions for
triggering (very different from FreeBSD, NetBSD and OpenBSD).

sys/vfs/autofs: Cleanup

Move jail staffs from <net/if.h> and <netinet/in.h> to <sys/jail.h>

* <net/if.h>: Move out prison_if() function prototype to <sys/jail.h>

* <netinet/in.h>: Move out prison_replace_wildcards() and prison_remote_ip()
  function prototypes to <sys/jail.h>

* Include <sys/jail.h> header for those files in need of it

Obtained-from: FreeBSD (r72786)

kernel: Use nitems() from <sys/param.h> instead of custom define

Since <sys/param.h> is already included in these files.

disklabel64(8): Remove an obsolete comment

Also consistently use the locally defined streq() function.

sys/gpt.h: Add new entry types and CTASSERT

Obtained-from: FreeBSD

mtree(8): Replace our mtree(8) with NetBSD's version.

This is a re-commit of 2f6d3139ecacca3533517516db002cf436f78918 with
some bootstrap fixes added so that it builds on systems that do not
yet have strsvis() and a couple of other functions in their libc.

bsd-family-tree: announce NetBSD 8.0

drm: Partial sync with Linux 4.7.10

* Implement O_NONBLOCK support on /dev/dri/cardN

* Use filp->private_data in more places

* Add locking directives

ena.4: Add a missing space.

sys/vfs/autofs: Cleanups

openssh: Fix some merging mistakes I made.

Merge branch 'vendor/OPENSSH'

Clean up the OpenSSH vendor branch a tiny bit.

openpam: Sync OpenPAM modules a bit with FreeBSD.

Not much to see here, except some bugfixes. Oh, and ed25519 support
in pam_ssh.

Revert "mtree(8): Replace our mtree(8) with NetBSD's version."

This reverts commit 2f6d3139ecacca3533517516db002cf436f78918.

The upgrade breaks compilation of mtree on a release box during the
bootstrap-tools stage. I don't want to keep this broken until I've
found a good solution.

boot/efi: Sync our TianoCore EDK II headers with the UDK2018 branch.

drm: Reduce drm_bufs.c differences with Linux 4.7.10

mtree(8): Replace our mtree(8) with NetBSD's version.

Some of its files will be used by other stuff we want to upgrade or
bring in, such as install(1) and makefs(8).

Since mtree(8) is a bootstrap tool and I want this to be painless,
I've imported some other source files that mtree(8) uses, such as
from mknod(1), which we don't have, as part of mtree(8).

kernel/ena: Hook the ena(4) driver into the build.

kernel/ena: Port the ena(4) driver to DragonFly.

This work is based on an initial (non-building) patch by swildner
and also contains work by dillon. Special thanks to Colin Percival
and sephe for their help and assistance.

The driver works but should still be considered experimental.

Useful dports are:

devel/awscli
net/bsdec2-image-upload
sysutils/ec2-scripts

kernel: Bring in FreeBSD's ena(4) driver unchanged and unhooked.

This is a driver for Amazon's Elastic Network Adapter family,
for EC2 instances that support it.

drm: Sync a few bits with Linux 4.7.10

drm: dev->dma_lock doesn't exist

drm/linux: add agp_backend.h

kernel/icu: Fix a typo.

sysctl_add_oid.9: Improve a bit.

Add missing .Nm and fix the arguments of 4 macros. Note that we can't
really have them as being of the type of the actual arg until we fix
a number of int to uintmax_t in the sysctl code itself.

vmstat: Add -o option to report objcache usage.

mbuf: Reduce objcache name verbosity.

kernel: Port some remaining, yet unused, *_TRYLOCK() functions.

This is just for cleanup and obviously changes nothing.

kernel: Fix some wrong porting of *_TRYLOCK() macros.

Of these three, only CHN_TRYLOCK() is used in actual, active code,
but it is in the SNDCTL_DSP_SYNCSTART ioctl which in turn is not
used in base or in dports.

ARCMSR_LOCK_TRY() and PCM_TRYLOCK() are not used at all.

kernel/drm: Use more straightforward lockmgr_try().

kernel/lockmgr: Add lockmgr_try().

It just adds LK_NOWAIT to the flags and returns whether the
lock was obtained.

It is similar to other functions such as spin_trylock() or
FreeBSD's mtx_trylock() and can be used to port the latter.

Note that like these functions, it returns TRUE if successful,
while lockmgr() returns 0 if successful. This difference was
the source of minor confusion and porting mistakes in the past.
In fact, our driver porting document also didn't point out this
difference. I will fix some of these little issues in a separate
commit.

objcache: Add sysctl to expose objcache statistics.

disklabel64.8: Fix several "disklabel" to be "disklabel32"

And improve a sentence.

Update the pciconf(8) database.

June 29, 2018 snapshot from https://pci-ids.ucw.cz

kernel/sysctl: Add handling of uint32_t.

rc: Bring in a simple mechanism to run rc scripts only once.

The basic mechanism is: If /firstboot exists, rc will also run all
scripts that have the "firstboot" keyword, then delete /firstboot.

This is a simpler version of FreeBSD's work. Specifically, we hardcode
the firstboot sentinel's name to /firstboot and we also remove it a
bit more simply because we assume that at the end of /etc/rc, root is
R/W.

This mechanism is used for example by sysutils/ec2-scripts and is in
preparation for the upcoming ena(4) driver import.

Based-on: FreeBSD

if_tun: Allow IP packets of length TUNMRU with TUNSIFHEAD set

Obtained-from: FreeBSD (revision 300205)

if_tun: Raise maximum MTU to be 65535 bytes

This is used, for example, by packetdrill to test with MTU's up to the
maximum value.

Taken-from: FreeBSD (revision 300603)

if_tun: Disallow change network device type

Disallow ioctl(2) to change the network device type of tun(4).
Otherwise, page faults and panics can happen when access uninitialized
fields in the "struct ifnet" which are specific to the network device
type.

Obtained-from: FreeBSD (revision 326362)

if_tun: Implement interface clone support

Now 'ifconfig tunX create' and 'ifconfig tunX destroy' work.

The tun device will be automatically destroyed when being closed,
except for the manually created tun device/interface by
'ifconfig tunX create', similar to the tap(4) device.

This interface clone support is based on the if_tap device.

if_tun: Better name interface-related functions

Rename interface-related functions to be 'tunifxxx', and reorder a
bit to better group them.

Tweak the styles and improve debug messages a bit.

if_tun: Add sysctl net.link.tun.{refcnt,debug}

Add read-only sysctl net.link.tun.refcnt to show the number of opened
devices.

Add sysctl net.link.tun.debug to be a alias to debug.if_tun_debug.

if_tun: Support module load and unload

Track the created tun devices in a list, and record the number of opened
tun devices.  Destroy all tun devices when unloading the module.

Mainly based on if_tap.

if_tun: Add "cdev_t tun_dev" to tun_softc struct

Similar to if_tap, save the tun device in the tun_softc struct.

if_tun: Use pointer to ifnet in tun_softc struct

Use a pointer to the ifnet struct in the tun_softc struct, instead of
embedding a full ifnet struct in it.  (similar to FreeBSD's)

Use if_alloc() to allocate the ifnet struct.

if_tun: Update tun.4 man page to match the code

Mainly follow FreeBSD's tun.4, refer to NetBSD's tun.4, and with my own
minor adjustments.

if_tun: Some small tweaks and cleanups

* Consistently use the TUN define instead of "tun".

* Use variable "sc" instead of "tp" to refer to "struct tun_softc".

* Use variable "ifp" (struct ifnet *) to make code more readable.

* Static the bitmap variable.

* Various style tweaks.

if_tap: Restore SIOCGIFFLAGS, SIOC[GS]IFADDR ioctls for tapioctl()

These ioctls allow basic control of the network interface via the device
file (/dev/tapX).  For example, our vke(4) device currently uses the
'SIOCGIFADDR' ioctl.

libc - MFC resolver fix

* Allows intermediate domain names with an underscore.

* Fixes lookups of 'www.office.com' and 'www.newegg.com', and
  probably other domains.

Reported-by: kerma
Diagnosed-by: kerma, tautology

Revert "if_tap: Get rid of arpcom struct from tap_softc struct"

This reverts commit 78e1ab4a8fc0074361116dedb55e6dc02baea351, with
minor adjustments to reduce the diff.

Thank sephe for pointint out the problem with that commit, which
breaks the 'ether_ifattach()' as well as some IPv6 stuffs that
assume the existence of 'arpcom'.

ioctl.9: Remove some obsolete commented out info.

if_tap: Disallow change network device type

Disallow ioctl(2) to change the network device type of tap(4).
Otherwise, page faults and panics can happen when access uninitialized
fields in the "struct ifnet" which are specific to the network device
type.

Obtained-from: FreeBSD (revision 326362)

if_tap: Add TAPGIFNAME ioctl to get interface name

This is a convenient shortcut to obtain the network interface name using
file descriptor for character device.

This ioctl is obtained from FreeBSD (revision 182880) which was further
obtained from NetBSD.  This ioctl is used by softwares such as QEMU.

Bump __DragonFly_version and update tap.4 man page.

if_tap: Remove the broken vmnet support

The vmnet feature provided by tap(4) was intended to be used by the
VMWare port that runs as the server side to communicate with its clients.
However, our tap(4) was updated a lot in the past but left the vmnet
function broken.  In addition, we don't have the VMWare server and thus
the vmnet function isn't needed in the foreseeable future.
So just remove it.

Discussed-with: swildner, sephe

if_tap: Update tap.4 man page to match the code

Remove the description on FIONBIO ioctl since ours doesn't support it.

Mainly taken from FreeBSD, with some improvements.

if_tap: Return error instead of system panic

Return error when failed to create/find the device and to allocate
the interface struct, instead of system panic.

if_tap: Remove redundant unit from tapcreate() and tun_softc

The tap interface unit number is the same as minor number of the
associated tap device, so remove the redundant "unit" argument
from tapcreate() function as well as the "tap_unit" entry from
tun_softc struct.

Meanwhile, improve the debug messages.

if_tap: Get rid of arpcom struct from tap_softc struct

Remove the ancient arpcom struct from the tap_softc struct,
meanwhile introduce the "tap_ifp" member that points to the
interface (ifnet struct) associating with the tap device.

if_tap: Destroy the autoclone device when unload module

Use destroy_autoclone_dev(), which replaces both devfs_clone_handler_del()
and devfs_clone_bitmap_uninit(), to destroy the autoclone device /dev/tap
when unload the module.

Without this fix, the autoclone device /dev/tap is left over when the
module is unloaded.

if_tap: Add read-only sysctl net.link.tap.refcnt

Expose the number of opened devices as a read-only sysctl:
net.link.tap.refcnt.

Improve the debug messages with respect to the refcnt.

if_tap: Remove global variable "taplastunit"

This global variable isn't helpful.  In addition, the tap units can be
non-continuous.

if_tap: Some small tweaks and cleanups

* Consistently use the TAP define instead of "tap", also remove the
  CDEV_NAME define.

* Consistently use "tap_if" instead of "arpcom.ac_if".

* Better name the kqueue functions, and move the structs to the beginning.

* Reorder to better group related functions.

* Explicitly include the required <sys/queue.h> header.

* Use variable "sc" instead of "tp" to refer to "struct tap_softc".

* Staticize the bitmap variable.

* Use the variable unit = minor(dev) more.

* Improve the debug messages.

* Various minor style tweaks and cleanups.

test - Test after repository move to SSD

* Test after repository move to SSD

Disable cert verification for pkg-bootstrap when no cert.pem

Our site uses HTTPs and fetch(1) requires /etc/ssl/cert.pem or
/usr/local/etc/ssl/cert.pem to verify the server's certificate.
However, when one needs to bootstrap the 'pkg', that cert.pem
generally doesn't exist since it is installed by the ca_root_nss
package.  So disable certificate verification for fetch(1) in
such a case.

Split out 'pkg-bootstrap-{fetch,install}' targets to get rid of
some duplicate codes.

nvme - Do a better job backing out of probe errors

* AWS provides nvme interfaces which might not have attached volumes.
  Improve stability on AWS nvme (still needs more work).  Play nice
  when queue creation fails.  Do a better job tracking MSI-X
  interrupt installation and removal.

misc - Allow /usr/dports to be a null-mount

* Don't punt on rm -rf /usr/dports if /usr/dports cannot be
  deleted.  It might be a null mount.

hostname(1): Add a compat option -f to print the FQDN (our default).

This should fix the build of multimedia/libcec.

Found-in: FreeBSD

sbin/hammer2: Explicitly include <sys/stat.h> for stat(2)

Fix compile error on Linux.

sbin/hammer2: Drop unused header includes in icrc.c

libdmsg, UUID, and HAMMER2 ondisk definitions are not needed
for CRC calculation.

diffutils: Update README.DELETED.

Merge branch 'vendor/DIFFUTILS'

diffutils: Remove another unneeded file from the vendor branch.

hier.7: Mention /rescue.

openpam: Local adjustments for the Resedacea upgrade.

Merge branch 'vendor/OPENPAM'

Import OpenPAM Resedacea.

See HISTORY for the details.

Fix remaining references to mkinitrd.8 to initrd.7

Reported-by: swildner

sys/vfs/hammer: Cleanup CRC functions

The inner cmp in nested `vol_version >= HAMMER_VOL_VERSION_SEVEN`
conditional in hammer_crc_test_xxx() mostly get optimized out by gcc,
so not much reason to have __hammer_crc_get_xxx() in case of retry
using old CRC.