Updates for new 5.5 master.

installer: Add serial detection

- The installer script now asks for TERM type when in serial port console.
- Make sure dfui is not left running using trap/cleanup

test: Attempt to fix vnodeinfo.c (2)

sio: Correct how DDB option is checked

test: Fix some debug programs

test: Remove no longer relevant ttyinfo.c

kernel: Move vnode_index to sys/vnode.h

- This allows userland programs (test/debug) to use that structure.

kernel - Refactor inum stat data for sockets

* Assign a dummy inode number to all sockets.  We previously were
  only assigning a dummy inode number to unix domain sockets.  Use
  the new pcpu facility and store the inum in the socket structure.

* Rip out the old inode number assigner for unix domain sockets, it
  was using an atomic_fetchadd_long() on a global variable, introducing
  unnecessary SMP stalls.  And it was specific to unix domain sockets.
  The new facility is generic to all sockets and uses a pcpu data
  structure.

kernel - Add uid, gid, and inum to stat data for pipes

* fstat(pipefd) now populations additional fields. uid, gid,
  and inum.  In-line with other BSDs and Linux.  Not sure why
  any program would use the inum field but... now its populated.

* Add an anonymous inode allocator to the pcpu structure.  No
  atomic ops required.  Basically just does:

  pipe->inum = gd->gd_anoninum++ * ncpus + gd->gd_cpuid + 2;

* Facility can be used for other things as needed.

Suggested-by: mjg

inet: Recalculate the packet hash for IP encapsulation.

Some NICs, noticeably igb(4) and ix(4), calculate the packet hash
based on the encapsulated IP datagram instead of the outmost header.

Force packet hash recalculation using the outmost for encapsulated
packets; this is done on the encap_input() path, which leaves enough
room for us to utilize the NIC feature mentioned above.

Reported-by: dillon@

stf/gre: Make sure the input packet's hash is recalculated.

kernel: Fix some -Wundef corner cases.

When those modules were built outside buildkernel, NVN and NSNP would
not be defined, so provide some defaults.

inet6: Set net.inet6.icmp6.nd6_onlink_ns_rfc4861 to 1 by default.

It is almost required by contemporary INET6 deployment.

inet6: Make non-prefix and directly reachable inet6 routes work (2).

Generalize "non-prefix and directly reachable" inet6 routes lookup,
instead of specializing the ifa_rtrequest method as we did in
b72db1d3321d7a80f4da3f727765bcc200f30278

NOTE: net.inet6.icmp6.nd6_onlink_ns_rfc4861 MUST be on.

Reported-by: aly@
Tested-by: aly@

mtree(8): Bring in a fix from NetBSD.

Thanks for sevan@netbsd for handling upstream.

add subdevice id 0x5260 for iwn 6035 series

kernel: Add -Wundef to our default kernel warning options.

It will warn when an undefined identifier is evaluated in an "#if"
directive and would be replaced with zero.

After the last such warnings were fixed in September, we can now do
this.

kernel: Clean up the warning flags a bit.

We had both -Winline and -Wno-inline.

fetch.9: Document fuwordadd{32,64}().

dhcpcd.8: Comment out some info on /dev management.

It is not configured in DragonFly.

While here, fix some trailing whitespace and an .Xr misuse.

resolvconf.conf.5: Fix some mandoc warnings.

Revert "drm/linux: Fix vmap()"

This reverts commit c9f83a72b5c7c2f29b40b404aa63767b20a7422c.

It introduced instability on Broadwell platforms.

Reported-by: Daniel Bilik

rc.d/dhcpcd: Fix passing of extra arguments

Before this fix, 'dhcpcd' ignores extra arguments when calling
'run_rc_command()', which causes '/etc/rc.d/dhcpcd restart <ifname>' to
fail.  Fix this issue by passing all arguments to 'run_rc_command()'.

sshlockout.8: Use a display instead of .Cd in the SYNOPSIS.

.Cd is only for kernel configuration options.

Add "device uether" to various manual pages' synopses.

It is needed to be compiled in.

Reported-by: aly

rc.d/ip6addrctl: Fix REQUIRE and afexists()

* DragonFly doesn't has the 'FILESYSTEMS' rc target.

* I forgot to implement the 'afexists()' function when import this.
  However, FreeBSD's 'afexists()' relies 'kern.features.<feature>'
  sysctls to determine whether the address family is supported, but
  DragonFly doesn't allow this.  So come up with a little 'has_inet6()'
  function for this rc script use only.

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>

examples: Fix build

- While here hook 'firmware' to the main Makefile

syscons - Increase static buffer size for ttyv0.

* This allows the console on the EFI framebuffer to fill the whole screen
  on "odd" resolutions. This only takes up slightly less than 12KB extra
  space in the kernel binary size.

drm/ttm: Remove sf_buf usage

* Use Linux memory allocation/mapping functions instead.

* Opportunistically sync some code with Linux

drm/linux: Add a few GFP_XXX values

rc.d: Introduce 'dhcp_client' to wrap over dhclient and dhcpcd

The new 'dhcp_client' rc script is a wrapper to start either dhclient(8)
or dhcpcd(8) based on the value of the 'dhcp_client' rc variable.

Other rc scripts are updated to depend on this wrapper instead of the
explicit 'dhclient'.  This eases the migration from dhclient(8) to
dhcpcd(8) later.

Update rc.conf.5 and dhcp.8 man pages accordingly.

Meanwhile, remove the two obsolete variables 'dhcp_{program,flags}' from
/etc/rc.subr.

dhcpcd: Add rc script rc.d/dhcpcd

The dhcpcd supports both DHCPv4 and DHCPv6.

network.subr: Support IPv6 in dhcpif()

Extend the 'dhcpif()' to support checking the interface needs DHCP for
IPv4-only, IPv6-only or either.

The 'dhcpcd' rc script in the following commit will use this new feature
to determine whether dhcpcd should do DHCPv4 or DHCPv6 or both.

network.subr: Add ipv6if()

This function determines whether the given interface should be
configured for IPv6.  This function will be used to determine whether to
apply DHCPv6 to an interface in the following commit.

Taken from FreeBSD, but modified to consider ${ipv6_enable}.

network.subr: Support IPv6 in ifconfig_getargs()

Update the 'ifconfig_getargs()' to accept the address family option
to support the extraction of IPv6 arguments of an interface, which
is configured using 'ipv6_ifconfig_<ifname>="..."'.

Obtained from FreeBSD; but FreeBSD uses 'ifconfig_<ifname>_ipv6'.

dhcpcd: Add upgrade notes to README.DRAGONFLY

dhcpcd: Bind to system

NOTE:
This only makes 'dhcpcd' be built and installed, and doesn't affect the
existing 'dhclient'.

dhcpcd: Apply local modifications

* The modification to 'src/if.c' makes it can be build with
  '-Werror=implicit-fallthrough', which is enabled with '-Wextra'.
  However, both swildner and I still don't understand why such a
  modification is needed :(

* In 'src/ipv6.c', explicitly suppress the '#warning' on
  IPV6_POLLADDRFLAG, an IPv6 feature that dfly currently doesn't
  support.

dhcpcd: Generate src/dhcpcd-embedded.[ch]

$ cd src
$ ./genembedc > dhcpcd-embedded.c
$ ./genembedh > dhcpcd-embedded.h
$ rm genembed[ch] dhcpcd-embedded.[ch].in dhcpcd-definitions.conf

Merge branch 'vendor/DHCPCD'

Import dhcpcd 7.0.8

dhcpcd: Add READMEs

Import dhcpcd 7.0.8

Version: 7.0.8
Date: 2018 August 20
URL: https://github.com/rsmarples/dhcpcd/releases
Homepage: https://roy.marples.name/projects/dhcpcd

kernel - Fix sack NULL pointer dereference

* sack_block_lookup() can get confused when the passed-in sequence
  number appears to be less than sblk_start and greater than sblk_end.
  This situation can occur when the signed integer delta test has an
  overflow due to (sblk_end - seq) overflowing the sign bit verses
  (sblk_start - seq).

  The result is that sack_block_lookup() can crash on a NULL pointer
  indirection.

* Check for the case, complain, and try to allow it.  Though I suspect
  if the case occurs at all SACK will wind up with a broken list anyway.

* I don't think this case can occur under normal conditions since TCP
  buffers do not grow to 2GB+ in size, so the crash we got was triggered
  by either an accidently malformed packet or an intentional one.

kernel - Fix SMP race in procfs

* procfs was not locking its pid hash table.  Implement a per-slot
  spinlock.  The hash is populated only for pid directories that are
  pushed into (e.g. ls /proc/<pid> vs ls /proc).

* Fixes a fairly rare crash that can only occur when procfs is used
  heavily.

drm/ttm: Sync ttm_execbuf_util.c with Linux

drm/ttm: Sync ttm_lock.c with Linux

terminfo: Build and install tmux and tmux-256color

drm/linux: Add send_sig()

rc.conf.5: Document ip6addrctl_{policy,verbose} explicitly

Suggested-by: swildner

drm/ttm: Rework ttm_io_prot()

Change it to be as close to the Linux version as possible.

kernel - Fix typo from b227f3f50d5dc0f when filling in kpmap header.

crypto - Avoid including opensslconf.h when using openssl/md5.h in kernel.

kernel - Make the wdog.h and gpio.h includes conditional in kern_shutdown.c.

kernel - Fix build when neither INET nor INET6 options are set.

drm/linux: fix pgprot_xxx functions

rc.d/Makefile: Break some long lines, sort dntpd.

drm/linux: Fix vmap()

Page protection information was not being used.

rc.subr: Add list_vars() function

Taken-from: FreeBSD

rc.d: Add ip6addrctl (enabled by default with policy AUTO)

Bring in the ip6addrctl rc script from FreeBSD.  It is enabled by
default with policy "AUTO", so the IPv4/IP6 preference is configured on
startup.  The rc variable "ip6addrctl_policy" is used to adjust the
preference (AUTO, ipv6_prefer, ipv6_prefer).

See the rc.conf(5) man page for more details.

Bring in ip6addrctl(8) from FreeBSD

The ip6addrctl(8) manages the policy table of source and destination
address selection for ougoing IPv4 and IPv6 packets.

For example, this utility can be used to configure that IPv4 is
preferred on a dual-stack machine, which by default prefers IPv6.

libc/mktemp: Pass flags to open()

The flags from the functions that call _gettemp() are never used.

They should be included in the call to open(), otherwise features like
O_CLOEXEC don't work.

aly:
(1) Checked FreeBSD and it behaves the same way as this fix.
(2) Improve the style a bit.

net/if: Call if_ioctl() if the protocol didn't handle the ioctl

This allows for a non-interface socket (like AF_LOCAL which ifconfig(8)
now uses since commit d4e856128472e2e79172aebf65f19f527ac0010f) to use
a broader class of interface ioctls.

This fixes the regression in ifconfig(8) that is introduced by the above
mentioned commit, which changed ifconfig(8) to use AF_LOCAL socket by
default and thus caused some ioctls failures.  For example:

dfly# ifconfig tap0 create
dfly# ifconfig tap0 up
dfly# ifconfig bridge0 create
dfly# ifconfig bridge0 addm tap0

[before]
dfly# ifconfig bridge0
bridge0: flags=8002<BROADCAST,MULTICAST> mtu 1500
        ether be:48:6d:6d:a6:1f
        groups: bridge

[after]
dfly# ifconfig bridge0
bridge0: flags=8002<BROADCAST,MULTICAST> mtu 1500
        ether be:48:6d:6d:a6:1f
        priority 32768 hellotime 2 fwddelay 15 maxage 20
        member: tap0 flags=3<LEARNING,DISCOVER>
        groups: bridge

Do not pass the SIOCSIF{ADDR,BRDADDR,DSTADDR,NETMASK} iotcls to the
drivers because they may assume these ioctls come from an already
privileged layer and thus skip credentials check and input validation.

While there, improve a NULL check.

Taken-from: FreeBSD (r190151, r255442)
Reviewed-by: dillon, sephe

boot - Slow down the nfs twiddle

* Slow down the twiddle rate when reading via nfs, it unnecessarily
  slows down the boot, by a lot.

drm/ttm: Remove ttm_bo_unreserve_core()

* This function was DragonFly-specific and apparently
  isn't even needed anymore

* Sync the changed code with Linux as of ecff665f5e3f1c6909353e00b9420e45ae23d995
  "drm/ttm: make ttm reservation calls behave like reservation calls"

drm: Add linux/rwlock.h

vkernel - Fix tty panic

* Fix messed up gettoken/reltoken sequence for the vkernel,
  bug was introduced in recent tty work.

Reported-by: tuxillo

dmesg(8): Allow seeing backslashes in dmesg output.

This caused confusion already in ACPICA bug reports with pathnames
containing backslashes.

Taken-from: NetBSD

libc/vis: Use thread-safe mbrtoc() and wcrtomb().

Taken-from: FreeBSD

Sync ACPICA with Intel's version 20181031.

* Fix an Operation Region regression, fixing accurate checking for
  region conflicts.

* Add support for 2-byte extended opcodes in the code that continues
  parsing during the table load phase.

* Eliminate a no longer used global variable.

For detailed list, please see sys/contrib/dev/acpica/changes.txt.

Sync zoneinfo database with tzdata2018g from ftp://ftp.iana.org/tz/releases

* Morocco switched to permanent +01 on 2018-10-27.

* Change HDT to HWT/HPT for WWII-era abbreviations in Hawaii.

For a detailed list of changes, see share/zoneinfo/NEWS.

boot - Handle tftp block overflows

* Properly truncate the block number when comparing against the
  incoming packet.  TFTP only implements 16-bit block numbers.
  This allows the boot loader to access files larger than 32MB
  via TFTP.

* Twiddle every 256 reads instead of every 16.

* Note that TFTP is not really a suitable protocol for loading the
  kernel because the ELF loader seeks past the debug info which
  can be well over a hundred megabytes in order to get to the syms.
  NFS is preferred.

Just note that the previous commit was to hammer2 only.

The tmpfs logic turned out to be correct after closer review.

kernel/{hammer2,tmpfs}: Fix ENOTDIR/EISDIR logic.

It caused confusion like this:

vm64# touch /usr/obj/t
vm64# rmdir /usr/obj/t
rmdir: /usr/obj/t: Is a directory
vm64#

Likewise unlink(2) on a directory also gives the wrong error
("Not a directory").

This also causes Ruby's unlink() file method to fail.

Reported-by: tuxillo

tmpfs - Use atomic_fetchadd_long() to allocate inode numbers

* Since DFly inode numbers are 64 bits wide, tmpfs just increments a
  per-mount counter to allocate a new inode.

* We had some old code in tmpfs to allocate inode numbers which wrapped
  a tmpfs mount lock around the increment.  This is totally unnecessary.
  Use atomic_fetchadd_long() instead.

Reported-by: mjg

kernel - Fix getsockname() on unnamed AF_LOCAL sockets

* Fix getsockname() on unnamed AF_LOCAL sockets.  The socket structure
  does not actually bother storing a sockaddr, so sa is returned NULL.
  In this situation, just dummy-up an AF_LOCAL sockaddr.

* Don't bother copyout()ing sa_len unless it has changed.

Reported-by: tuxillo

bsd-family-tree: Sync with FreeBSD (OpenBSD 6.4).

sound - Allow /dev/sndstat to be opened multiple times from one process.

* This still isn't great, but at least it's enough to make pulseaudio's
  oss module detect the audio devices correctly.

* This now uses the buf->uio_offset, instead of trying to track the read
  position ourselves in the driver with sndstat_bufptr.

<sys/sysproto.h>: Add back one needed newline and regenerate header.

<sys/sysproto.h>: Fix excessive newlines.

<sys/wait.h>: Put the enum name under __BSD_VISIBLE.

POSIX only defines idtype_t. In <sys/procctl.h> i just left it because
that whole file isn't covered by the standard anyway.

While here, cleanup whitespace a little bit and clarify DragonFly or
FreeBSD a bit better in a comment.

build - refactor rescue and initrd handling

* buildworld now builds the rescue directory tree and initrd
  image in /usr/obj.

* installworld will install the rescue and initrd stuff if it
  does not exist on the destination.  If rescue or initrd stuff
  is already installed, it is not overwritten.

* Add 'installrescue' and 'installinitrd' targets.  These will
  copy the rescue and initrd image built by buildworld.

* The normal 'rescue' and 'initrd' targets are unchanged and
  should build (from scratch) and install the rescue and initrd
  stuff.

* NOTE: crunchgen is currently hacked to add system paths when
  WORLDBUILD is defined, in order to access native binaries
  for 'uniq' and a few others, instead of building them in
  cross-tools.

  In particular, we have to use the native 'vnconfig' binary
  as building one in crosstools might not be compatible with
  the currently running system.  buildworld now uses 'vn' to
  create the initrd image.

  Possibly needs some work.

kernel - Refactor kbmux arrays

* Get rid of the generally insane dynamic reallocation code for
  these tiny arrays and set a fixed limit of 16 keyboards.

* Add a sanity check in kbd_intr() to deal with potential interrupt
  races against installation of a new keyboard.

libc - Add kpmap shortcut for gettimeofday()

* If the kern.gettimeofday_quick sysctl is set to 1, libc's
  gettimeofday() will use the tick-granular realtime in
  the kpmap instead of making a system call.  The sysctl
  defaults to 0 (off).

* Useful in situations where gettimeofday() interferes with
  benchmarks, but otherwise not recommended.

* Running programs react instantly to changes in this sysctl.

sys/conf/files: Move vmx a bit up.

Virtio_Balloon implementation for DragonFly

- Initial check-in of fbsd virtio_balloon (freebsd/freebsd@1537078)
- Update virtio_balloon man page
- Fix vtballoon_alloc_intrs to deal nicely with number of provided interrupts.
- Use a backoff scheme when allocating vm_pages:
  - VM_ALLOC_NORMAL for normal (low memory presure) situation;
  - VM_ALLOC_SYSTEM + increased sleep timeout, for high memory presure circumstances.
  The latter will allow the system to swap other pages out if necessary.
- Implemented suggestions made by ivadasz
  - Added virtio_teardown_intr handling to vtballoon_detach
  - Added config_change_intr handling
  - Fixed virtio_setup_intr
- Add debug_level sysctl for tracing.
- Add collection of guest memory/pagefault statistics
- Completed/Updated header definitions
- Don't use VM_ALLOC_INTERRUPT. Add better inflate/deflate debug output to thread_sleep function
- Don't collect stats when initialially loaded (Reported by tuxillo).

LINT64: Add comments to the virtio devices.

build - Fix buildworld from DFly releases prior to 5.0.

* Fix mkmagic to not use the magic.h in /usr/include.  It
  needs the magic.h generated via libmagic.  Since mkmagic
  must be built prior to libmagic, we generate a local magic.h
  just for mkmagic.

* Fixes buildworld from DFly releases prior to 5.0.

sound - Fix mmap handling for /dev/dsp* devices.

* The d_mmap function is expected to return a page index, not an address,
  the the atop() function for this as usual.

<sys/signal.h>: Discard old non-POSIX union members.

The only thing I found that still uses the old names is www/nginx,
a fix for which is in DeltaPorts:

https://github.com/DragonFlyBSD/DeltaPorts/pull/874/commits/bd7b49f3f6ba39cfc00c7f0ef531358c3382ba1e

While here, fix a small whitespace issue.

rc.conf.5: Remove the obsolete reference to named(8)

Sync /etc/pccard_ether with FreeBSD

Our original 'pccard_ether' became unnecessarily complex as a big part of
the work is already implemented in 'network.subr', so just bring FreeBSD's
version over (with 'checkauto()' ignored as we don't support it).

NOTE: The 'pccard_ether' is still disabled by default on DragonFly.

arp(8): Add option -i to limit operations to one interface

This allows to limit the scope of operation to the ARP entries on a
particular interface, which should be useful on machines with lots of
network interfaces, e.g., inter-VLAN routers.

This new option will also be used in /etc/pccard_ether.

Taken from FreeBSD (r117729, r154162) with modifications.

<sys/eventhandler.h>: Move the include inside the guard.

<sys/stdint.h>: Move the includes inside the guard.

Sync zoneinfo database with tzdata2018f from ftp://ftp.iana.org/tz/releases

* Volgograd moves from +03 to +04 on 2018-10-28.

* Fiji ends DST 2019-01-13, not 2019-01-20.

* Most of Chile changes DST dates, effective 2019-04-06.

* Use PST and PDT for Philippine time.

* Various adjustments to past timestamps.

* Miscellaneous fixes and adjustments.

For a detailed list of changes, see share/zoneinfo/NEWS.

Update the pciconf(8) database.

October 13, 2018 snapshot from https://pci-ids.ucw.cz

kernel - Remove two debug messages

* Remove the debug messages for two cases which have been validated
  to occur under synth loads, thus these code paths have been tested.

nrelease - Use built boot blocks instead of system boot blocks

* Adjust the nrelease Makefile to install the boot blocks from
  the nrelease build into the image instead of the boot blocks
  from the running system.

Submitted-by: NI33 (irc)

openresolv: Bind to system as resolvconf(8)

The resolvconf(8) will be used by dhcpcd(8), which will be imported
later to provide out-of-box IPv6 DHCP support, replacing the IPv4-only
dhclient(8) in base and the rtsold(8).

Thanks to swildner for reviewing and providing suggestions.

openresolv: Add READMEs