eventhandler: Implement ifnet_event

Implement the "ifnet_event" which is triggered on interface up and down.

Taken-from: FreeBSD

if_loop: Use ifc->ifc_name and minor cleanups

* Use "ifc->ifc_name" instead of explicit "lo".

* Minor style updates.

pf.conf.5: Describe the use of interface group

Add the description on interface group, which is supported by DragonFly
BSD's PF now.

Meanwhile, bring in many small updates/fixes from FreeBSD.

Move pf.conf.5 and pf.os.5 to share/man/man5

net: Tweak some styles and comments

pf: Allow disappearing or not yet existing interfaces for ALTQ

Make ALTQ cope with disappearing interfaces (particularly common with
net/mpd4 and netgraph in general).  This also allows to add queues for
an interface that is not yet existing, however, you have to provide
the bandwidth for the interface.

Meanwhile, simplify the ifnet_unlock() calls for ifunit() use.

Taken-from: FreeBSD (r177700)

pf: Fix and improve interface group support

The old PF code has broken partial support of the interface group.
Without this patch, loading the 'pf.ko' module will panic the system.

* Add event handlers of pfi_{attach,detach,change}_group_event()
  to support the interface groups.  Meanwhile, add event handler
  of pfi_ifaddr_event() that is called when an address is set up
  on an interface, and update pfi_{attach,detach}_event() handlers.
  (Based on FreeBSD)

* Remove function pfi_kifaddr_update() as it is merged into
  pfi_ifaddr_event() handler.

* Update pfi_initialize() and pfi_cleanup() functions (Based on
  FreeBSD).

* Split function pfi_kif_find() out of pfi_kif_get().
  (Based on OpenBSD)

* The PF module will be properly initialized on module load, so remove
  extra pfi_initialize() calls.

* Rename malloc type 'PFI_MTYPE' to 'M_PFI',  and merge with malloc type
  'M_PFIADDRPL'.

* Staticize internal functions and variables.

* Some cleanups and style updates.

Thanks to sephe for the guidance.

pf: Update pfi_kif and pfi_kif_cmp structs

For struct "pfi_kif", add "pfik_name" entry while remove multiple obsolete
entries and macros.  Rename "pfik_ifname" to "pfik_name" for "pfi_kif_cmp"
struct.

Based on both OpenBSD and FreeBSD.

if_pfsync: Depend on "pf" module and some cleanups

* Explicitly depend on the "pf" module to make sure it is initialized
  later.

* Remove the unnecessary ksnprintf directive that sets if_xname.

* Order several directives in pfsync_clone_create(), making it more
  consistent with pflog_clone_create().

if_pflog: Explicitly depend on "pf" and various cleanups

* Explicitly depend on the "pf" module to make sure it is initialized
  later than the "pf" main module.

* Fix a missing lwkt token release in pflog_clone_create().

* Remove unnecessary kmalloc() check.

* Use if_initname() to properly set up if_{xname,dname,dunit}.

* Use pflogattach() in module load event handle.

* Staticize functions and variables.

* Remove the unused pflogrtrequest() function.

* Remove the "old_pfloghdr" struct from if_pflog.h.

* Mark some __unused variables.

ifconfig(8): Add group support

Obtained from FreeBSD, with some minor changes.

if_clone: Add cloned interface to the group of its device name

When a new interface is cloned, add it to the group of its device name,
e.g., cloned interfaces tapX will belong to group of "tap" by default.

net: Implement interface group support

The network interface group (aka ifgroup) functionality is currently only
used by the PF (still needs patch to make PF use the ifgroup), allowing
rules to use group names instead of the specific interface names, which
makes firewall rules more generic and simpler.

* The ifgroup data are stored at the following two places:
  - The global list of 'struct ifg_group': each entry is a group which has
    the name and members (a list of pointers to the interfaces).
  - The per-ifnet 'if_groups' list, which records the groups that the
    interface belongs to.

* Introduce the 'ifgroup_lock' locakmgr(9) to protect the global list
  of 'struct ifg_group' and per-ifnet 'if_groups' list.  The R/W locking
  operations are provided by the ifgroup_lockmgr() function.

* Move the copyout() out of the locked loop in if_getgroups() and
  if_getgroupmembers() functions.

* Fix several M_NOWAIT to be M_WAITOK.

* Use M_IFNET instead of M_TEMP for allocated ifgroup memory.

* Add SIOC[ADG]IFGROUP and SIOCGIFGMEMB ioctl's,
  bump __DragonFly_version.

* Add invocations to group_{attach,change,detach}_event handlers.

* Update eventhandler.9 man page.

* Some style updates.

Great thanks to sephe for his patient guidance and review.

Credit to both FreeBSD and OpenBSD for the ifgroup functionality.

NOTE:
When delete the only group from an interface, which leaves an empty
group that will be destroyed, make sure the group_change_event event
is invoked *before* the group destroy (i.e., group_detach_event).
Both FreeBSD and OpenBSD have the ordering problem with group detach
event.  Need to report the problem to them.

if_clone: Refactor out if_clone_createif() function

The new if_clone_createif() function will create a clone interface
with the given cloner and unit.

if_clone: Check cloner name to avoid duplicate in if_clone_attach()

Change if_clone_attach() to check the cloner name instead of the pointer
to avoid duplicate, also to return EEXIST instead of panic.

if_clone: Refactor out if_clone_{alloc,free}_unit() functions

Refactor out if_clone_{alloc,free}_unit() functions from
if_clone_{create,destroy}() functions.

if_clone: Remove useless code wrongly added in 84cb91c376f

The code was inteded to obtain the created interface and add an
interface group for it, which is a work in progress.

Fix up more files for the <net/if.h> / <net/if_var.h> split (fixes LINT64).

development.7: Update repo creation command

Reported-by: resolution (on IRC)

drm: Sync drm_read() with Linux 4.7.10

This should fix various issues related to multithreaded races
and make the drm subsystem more robust.

if_clone: Fix if_clone_destroy() with renamed cloned interface

Since the interface can be renamed (SIOCSIFNAME), it's very wrong for
if_clone_destroy() to determine the unit number from interface name,
which has the following two serious problems:

(1) One may only change the unit number in the interface name, then
trying to destroy the interface will panic the system. e.g.,
% ifconfig tap0 create
% ifconfig tap0 name tap99999999
% ifconfig tap99999999 destroy
-> panic: if_clone_destroy: bit is already cleared

(2) The renamed interface cannot be destroyed anymore. e.g.,
% ifconfig tap0 create
% ifconfig tap0 name test
% ifconfig test destroy
-> ifconfig: SIOCIFDESTROY: Invalid argument

Fix the code to use the 'if_dunit' as the correct interface unit number.

Thanks to Jason A. Donenfeld <jason@zx2c4.com> and Brady OBrien
<brady.obrien128@gmail.com> for pointing out the above problem (1).

if_clone: Refactor cloner lookup and unit extraction

Break down the old 'if_clone_lookup()' function into the following 3
functions:

- if_name2unit(): extract the unit number from the interface name.
  Obtained from FreeBSD and has fixes (disallow leading zeros; avoid
  unit overflow).

- if_clone_match(): check whether the cloner matches the interface name.

- new if_clone_lookup(): only lookup the cloner for the interface name.

if_clone: Remove unneeded "ifc_namelen" from "struct if_clone"

The "strlen(ifc_name)" is used instead.

if_clone: Move "struct if_clonereq" over from <net/if.h>

The "if_clonereq" struct is __BSD_VISIBLE and is only used by ifconfig(8)
userland tool (via searching "if_clonereq" in the dports grok), so it's
safe to move it to <net/if_clone.h> to be clearer.

if_clone: Refactor if_clone_create()

In the wildcard case (the caller passes the interface name without
a unit number), if_clone_create() should update the passed name
parameter with the allocated unit number in order to make the caller
know the name of the cloned interface, e.g., ifconfig(8) compares
the passed and returned interface name.  Therefore the caller should
preserve enough space (given by the "len" parameter) to hold the full
interface name.  This shouldn't be a problem since the caller generally
use the "struct if_clonereq" which has enough space for the name.

For the name update code, use simple and clear strlcpy() to replace the
hack with a for loop and obscure snprintf(), and return ENOSPC instead
of panic.

Simplify the ifnet lock a bit.

if_clone: Explicitly include <sys/eventhandler.h>

Eventhandler is used there, so include the <sys/eventhandler.h> header
explicitly.

Minor style updates.

if_clone: Fix if_clone_event invocation

As the parameter passed to the "if_clone_event" handler indicates, this
event should be triggered when a new interface cloner is *attached*,
rather than when a clone interface is created.  (Based on FreeBSD)

Update the eventhandler.9 man page accordingly.

etc/login.conf: Fix COPYRIGHT file path

Makefile.inc1: Print more variables on error

Print the .MAKE.MODE, PATH, MAKESYSPATH, MAKEOBJDIRPREFIX, DESTDIR,
SHELL, .SHELL, .MAKE.MAKEFILES, and .PATH variables on error.
(Based on FreeBSD: share/mk/{local,meta}.sys.mk)

ifconfig(8): Use atexit() to ensure printing interface name

The ifconfig program may not exit at the end of its main() function,
so use atexit(printifnamemaybe) to ensure the interface name (e.g.,
newly cloned but with wildcard name) is printed on exit.
(Taken from FreeBSD)

Use "return (0)" instead of "exit(0)" in the main() function.

Minor whitespace updates.

ifconfig(8): Sync with FreeBSD a bit and various cleanups

* Sync ifconfig.c a bit with FreeBSD; replace several warnx() with
  errx(), and improve error messages a bit.

* Remove unnecessary exit() after Perror().

* Sync if_clone.c with FreeBSD.

* Add inclusion guard to ifconfig.h.

* Make iseq() a static function for ifieee80211.c and regdomain.c,
  replacing the duplicate definitions of it; and use iseq()
  consistently to replace strncasecmp() and strcasecmp().

* Move "struct ident" from regdomain.c to regdomain.h, and add and use
  "enum IdentType".

* Various whitespace cleanups.

* Cleanup header file inclusion: remove duplicates, and reorder a bit.

* Fix various signed vs. unsigned comparisons.

* Fix some compilation warnings, and raise WARNS to 3.

ifconfig(8): Default to AF_LOCAL sockets for non-family-specific operations

This allows the query operations to work in non-IPv4 jails, as will be necessary
in a future possible non-INET networking.

Obtained-from: FreeBSD (r18964)

ifconfig(8): Use strlcpy() instead of strncpy()

ifconfig(8): Use nitems() consistently

<net/if_var.h>: Clean up unused forward declaration

Also remove the inclusion of an unnecessary header <sys/systm.h>.

<net/if.h>: Do not include <net/if_var.h> for _KERNEL

* Clean up an ancient leftover: do not include <net/if_var.h> from <net/if.h>
  for kernel stuffs.

* Adjust various files to include the necessary <net/if_var.h> header.

NOTE:
I have also tested removing the inclusion of <net/if.h> from <net/if_var.h>,
therefore add <net/if.h> inclusion for those files that need it but only
included <net/if_var.h>.  For some files, the header inclusion orderings are
also adjusted.

pc64 - If appropriate, determine TSC frequency via CPUID.

On Intel systems with Skylake and newer CPUs, and on modern Atom CPUs this
avoids the ca. 200ms TSC calibration process at the beginning of booting.

On most modern Intel CPUs the TSC frequency can be determined via CPUID
information. For the most modern generations this is quite well documented.
If the CPUID information doesn't directly specify the "crystal clock",
we use the frequency values given in Intel's "Software Developer's Manual"
for the different cpu variants.

Since the "crystal clock" seems to exactly match the HPET frequency that we
use in the calibration, this method should be at least as good as our
calibration procedure.

Setting the tunable hw.tsc_ignore_cpuid=1 forces the kernel to calibrate
the TSC if it would otherwise just use the CPUID information.

if_tap: Interface type should be IFT_ETHER (2)

Ooops, forgot to include the necessary header <net/if_types.h> in the
last commit.

if_tap: Interface type should be IFT_ETHER

corepower - Add support for Platform Energy Counter.

tun.4: Do not mention tunoutput() anymore

The tunoutput() function was renamed to be tunifoutput(), and it's an
internal function and doesn't provide useful information here.

devfs: Minor style fixes

fdisk, gpt - Support trim on recent kernels

* Recent kernels removed the 'trim' sysctls.  Devices now allow trim by
  default.

* Fix the fdisk -E option to no longer try to use the sysctls.

* Add trim support to gpt init (-E).

* Fix swapon -e, change option to -E to match gpt and fdisk
  (-e still supported and does the same thing).

drm: Sync drm_bufs.c with Linux 4.7.10

hammer2 - Add destroy-inum directive

* Add support for destroying screwed up inodes (e.g. inodes with CRC
  failures and such).

  hammer2 -s filesystem destroy-inum inode_number

  This will attempt to destroy an inode number without reading it,
  allowing the removal of dead inodes from a corrupted filesystem.

* This is similar to 'hammer2 destroy path', which destroys dead
  directory entries, but acts on the inode instead of on the
  directory entry.

drm: simplify authentication management

if_tap: Remove the unnecessary forward declaration in if_tap.h

if_tun: Add TUNGIFNAME ioctl to get the interface name

This ioctl helps to get the name of the network interface associated
with the tun control device via its file descriptor.  One generally
obtains such a file descriptor by opening the tun autocloner (i.e.,
/dev/tun).  While the devname(3) or fdevname(3) functions can be used
to determine the name of the actually created tun device, but there is
no easy way to get the name of the associated network interface, which
is though initially the same as the device name but can be renamed.

Bump __DragonFly_version and update tun.4 man page.

See also the relevant Linux patch that added TUNGETIFF to tun:
https://lists.linuxfoundation.org/pipermail/virtualization/2008-August/011546.html

if_tun: Clean up tunioctl()

Introduce a variable 'caddr_t data' to make code cleaner.  Also improve
the switch flow a bit.

Based on: if_tap.c

drm: More Linux 4.7.10 synchronization

* Add missing event handling code

* Sync or add a few drm_fops.c functions

* Remove unneeded kqueue locking

hammer2 - Do not assert when shifting around error'd BREFs

* When adjusting the radix tree and shifting around BREFs, do not
  assert if the related chain has cached an error (such as a CRC
  error).  The BREF itself can still be moved.

install(1): Fix building on release and older systems.

While here, add a comment about this to mtree(8)'s Makefile too.

install(1): Add a -l flag for creating hard or soft links

* This flag was originally introduced in NetBSD in March 1997 and then added
  to FreeBSD in January 2013.

* It will make it easier to update dports(7) from FreeBSD ports.

* The previous DragonFly-specific -l flag was no longer used.

Obtained-from: NetBSD and FreeBSD

sys/vfs/autofs: Make {test,nlookup}_fs_root() return bool

Change return type of DragonFly specific utility functions for
triggering (very different from FreeBSD, NetBSD and OpenBSD).

sys/vfs/autofs: Cleanup

Move jail staffs from <net/if.h> and <netinet/in.h> to <sys/jail.h>

* <net/if.h>: Move out prison_if() function prototype to <sys/jail.h>

* <netinet/in.h>: Move out prison_replace_wildcards() and prison_remote_ip()
  function prototypes to <sys/jail.h>

* Include <sys/jail.h> header for those files in need of it

Obtained-from: FreeBSD (r72786)

kernel: Use nitems() from <sys/param.h> instead of custom define

Since <sys/param.h> is already included in these files.

disklabel64(8): Remove an obsolete comment

Also consistently use the locally defined streq() function.

sys/gpt.h: Add new entry types and CTASSERT

Obtained-from: FreeBSD

mtree(8): Replace our mtree(8) with NetBSD's version.

This is a re-commit of 2f6d3139ecacca3533517516db002cf436f78918 with
some bootstrap fixes added so that it builds on systems that do not
yet have strsvis() and a couple of other functions in their libc.

bsd-family-tree: announce NetBSD 8.0

drm: Partial sync with Linux 4.7.10

* Implement O_NONBLOCK support on /dev/dri/cardN

* Use filp->private_data in more places

* Add locking directives

ena.4: Add a missing space.

sys/vfs/autofs: Cleanups

openssh: Fix some merging mistakes I made.

Merge branch 'vendor/OPENSSH'

Clean up the OpenSSH vendor branch a tiny bit.

openpam: Sync OpenPAM modules a bit with FreeBSD.

Not much to see here, except some bugfixes. Oh, and ed25519 support
in pam_ssh.

Revert "mtree(8): Replace our mtree(8) with NetBSD's version."

This reverts commit 2f6d3139ecacca3533517516db002cf436f78918.

The upgrade breaks compilation of mtree on a release box during the
bootstrap-tools stage. I don't want to keep this broken until I've
found a good solution.

boot/efi: Sync our TianoCore EDK II headers with the UDK2018 branch.

drm: Reduce drm_bufs.c differences with Linux 4.7.10

mtree(8): Replace our mtree(8) with NetBSD's version.

Some of its files will be used by other stuff we want to upgrade or
bring in, such as install(1) and makefs(8).

Since mtree(8) is a bootstrap tool and I want this to be painless,
I've imported some other source files that mtree(8) uses, such as
from mknod(1), which we don't have, as part of mtree(8).

kernel/ena: Hook the ena(4) driver into the build.

kernel/ena: Port the ena(4) driver to DragonFly.

This work is based on an initial (non-building) patch by swildner
and also contains work by dillon. Special thanks to Colin Percival
and sephe for their help and assistance.

The driver works but should still be considered experimental.

Useful dports are:

devel/awscli
net/bsdec2-image-upload
sysutils/ec2-scripts

kernel: Bring in FreeBSD's ena(4) driver unchanged and unhooked.

This is a driver for Amazon's Elastic Network Adapter family,
for EC2 instances that support it.

drm: Sync a few bits with Linux 4.7.10

drm: dev->dma_lock doesn't exist

drm/linux: add agp_backend.h

kernel/icu: Fix a typo.

sysctl_add_oid.9: Improve a bit.

Add missing .Nm and fix the arguments of 4 macros. Note that we can't
really have them as being of the type of the actual arg until we fix
a number of int to uintmax_t in the sysctl code itself.

vmstat: Add -o option to report objcache usage.

mbuf: Reduce objcache name verbosity.

kernel: Port some remaining, yet unused, *_TRYLOCK() functions.

This is just for cleanup and obviously changes nothing.

kernel: Fix some wrong porting of *_TRYLOCK() macros.

Of these three, only CHN_TRYLOCK() is used in actual, active code,
but it is in the SNDCTL_DSP_SYNCSTART ioctl which in turn is not
used in base or in dports.

ARCMSR_LOCK_TRY() and PCM_TRYLOCK() are not used at all.

kernel/drm: Use more straightforward lockmgr_try().

kernel/lockmgr: Add lockmgr_try().

It just adds LK_NOWAIT to the flags and returns whether the
lock was obtained.

It is similar to other functions such as spin_trylock() or
FreeBSD's mtx_trylock() and can be used to port the latter.

Note that like these functions, it returns TRUE if successful,
while lockmgr() returns 0 if successful. This difference was
the source of minor confusion and porting mistakes in the past.
In fact, our driver porting document also didn't point out this
difference. I will fix some of these little issues in a separate
commit.

objcache: Add sysctl to expose objcache statistics.

disklabel64.8: Fix several "disklabel" to be "disklabel32"

And improve a sentence.

Update the pciconf(8) database.

June 29, 2018 snapshot from https://pci-ids.ucw.cz

kernel/sysctl: Add handling of uint32_t.

rc: Bring in a simple mechanism to run rc scripts only once.

The basic mechanism is: If /firstboot exists, rc will also run all
scripts that have the "firstboot" keyword, then delete /firstboot.

This is a simpler version of FreeBSD's work. Specifically, we hardcode
the firstboot sentinel's name to /firstboot and we also remove it a
bit more simply because we assume that at the end of /etc/rc, root is
R/W.

This mechanism is used for example by sysutils/ec2-scripts and is in
preparation for the upcoming ena(4) driver import.

Based-on: FreeBSD

if_tun: Allow IP packets of length TUNMRU with TUNSIFHEAD set

Obtained-from: FreeBSD (revision 300205)

if_tun: Raise maximum MTU to be 65535 bytes

This is used, for example, by packetdrill to test with MTU's up to the
maximum value.

Taken-from: FreeBSD (revision 300603)

if_tun: Disallow change network device type

Disallow ioctl(2) to change the network device type of tun(4).
Otherwise, page faults and panics can happen when access uninitialized
fields in the "struct ifnet" which are specific to the network device
type.

Obtained-from: FreeBSD (revision 326362)

if_tun: Implement interface clone support

Now 'ifconfig tunX create' and 'ifconfig tunX destroy' work.

The tun device will be automatically destroyed when being closed,
except for the manually created tun device/interface by
'ifconfig tunX create', similar to the tap(4) device.

This interface clone support is based on the if_tap device.

if_tun: Better name interface-related functions

Rename interface-related functions to be 'tunifxxx', and reorder a
bit to better group them.

Tweak the styles and improve debug messages a bit.

if_tun: Add sysctl net.link.tun.{refcnt,debug}

Add read-only sysctl net.link.tun.refcnt to show the number of opened
devices.

Add sysctl net.link.tun.debug to be a alias to debug.if_tun_debug.

if_tun: Support module load and unload

Track the created tun devices in a list, and record the number of opened
tun devices.  Destroy all tun devices when unloading the module.

Mainly based on if_tap.

if_tun: Add "cdev_t tun_dev" to tun_softc struct

Similar to if_tap, save the tun device in the tun_softc struct.

if_tun: Use pointer to ifnet in tun_softc struct

Use a pointer to the ifnet struct in the tun_softc struct, instead of
embedding a full ifnet struct in it.  (similar to FreeBSD's)

Use if_alloc() to allocate the ifnet struct.