drm/linux: Port kfifo.h to DragonFly BSD

drm/linux: Import linux/kfifo.h from NetBSD

Revert "drm/linux: Linux pcie speed mask"

This reverts commit eee3a0a42634dfca39a33350000b90c963c44810.

drm/linux: Linux pcie speed mask

sys/vfs/hammer2: Minor cleanup

H2 code always uses typedef'd if exists.

kernel - Fix rare NFS deadlock

* Fix a rare NFS deadlock which can occur on UIO_NOCOPY reads
  (memory mapped accesses).  VOP_GETATTR cannot be safely called
  in this situation without deadlocking against the VM system.

kernel - Fix panic related to USB cd

* The callouts managed by scsi/scsi_cd.c need to hold the SIM
  lock.

* Fixes an assertion (SIM lock not held).

<signal.h> has to and does provide pid_t, so we can also use it.

drm/radeon: Update to Linux 4.4.180

* Bugfixes and workaround for hardware issues, including
  quirks for various R7 370 and R9 270 models

* VT switching fixes from dillon@

* Fan management improvements

* Improved support for 120+ Hz monitors

drm: Remove no longer required iic code and dependencies

drm: Improve linux/pci.h

kcollect - Add hostname to .db file (2)

* Remove debugging printf().

kcollect - Add hostname to .db file

* Use HEADER2 to indicate the hostname.

* Parse 8 HEADER%d fields generically.

* Automatically update missing or changed header fields in the database.

Update the pciconf(8) database.

June 30, 2019 snapshot from https://pci-ids.ucw.cz

usr.bin/kcollect - Add O flag

- The O flag will allow to specify the output format for the
  kcollect data entries.
- Introduce a new output format: InfluxDB. This will try to
  output the statistics in a influxdb line protocol compatible
  format. Please note that this is experimental and subject to
  change in the future.

sys/vfs/hammer2: Drop obsolete comments on attr_tid/dirent_tid

Removed in 7fece146f268d677c46bde997079860f4cf553d0 in 2016.

telnetd(8): Little followup fix to 0ba3ecdcefa6c94daf.

Remove a few unneeded inclusions of <utmp.h>.

telnetd(8): Add wtmpx support and clean up a bit.

date(1): Log to wtmpx too.

As described in the wtmpx(5) manual page. Also add SUPPORT_UTMP{,X}
checks in preparation for us eventually moving to {u,w}tmpx only.

last(1): Fix typo in an error msg.

i386 removal, part 73/x: Remove the ancient nextboot(8) command.

See FreeBSD's r97957.

Reported-by: aly

kernel/netgraph7: Fix build.

kernel - Zen 2 - Make sure %fs's selector is loaded in AP bootstrap

* Issue load_fs() in the AP bootstrap.  It appears that Zen 2 handles
  %fs in a weird way when the selector isn't loaded, causing the first
  wrmsr(MSR_FSBASE) to quietly fail, and possibly others too.

* For good measure, also issue load_ds() and load_es().

* Fixes DragonFlyBSD's boot on Zen 2.

kernel/netgraph7: Remove unneeded __va_*() definitions.

kernel/hammer2: Use <sys/stdarg.h> in the kernel, not <stdarg.h>.

ACPICA: Remove unneeded __va_*() definitions, include <sys/stdarg.h>.

kernel/drm: Use va_*() instead of __va_*(), just like upstream.

pfctl(8): -DPFDEBUG can be used too now for pfctl(8).

Adding <sys/stdarg.h> fixed compilation with it and as far as I can see
there are a few places where it should give debug info from pfctl(8)
too.

Make va_*() macros available to the kernel in <sys/stdarg.h>.

Previously, the kernel was restricted to __va_*() only but I can't see
any real reason to do that and it also forces stuff like ACPICA and
drm to use workarounds. Those will be cleaned up in subsequent commits.

For now, I've used <sys/stdarg.h>, because everything resolves to
__builtin_va*() in the end. If we ever need more machine specific
definitions, it has to be moved to <machine/stdarg.h>.

Sync ACPICA with Intel's version 20190703.

* Remove legacy module-level support code.

* Clear status of GPEs on first direct enable.

* Various improvements to iasl(8).

For detailed list, please see sys/contrib/dev/acpica/changes.txt.

kcollect(8) - Fix mandoc -Tlint

usr.bin/kcollect - Add F flag

- '-F' option works like '-f' option but it does not show the whole
  kcollect buffer, just the last entries before starting to print a new
  entry every 10 seconds

test (2)

last.1: Fix .Dd

last(1): Switch the default to /var/log/wtmpx.

While here, sync usage() with getopt(), remove a few void casts, and
clean up the manual page a bit too.

Reported-by: Diederik de Groot <info@talon.nl>

drm/linux: Add struct i2c_board_info and i2c_new_device()

libutil/logwtmpx: Remove unneeded #include <utmp.h>.

reboot(8): Log to wtmpx too.

While here, put wtmp and wtmpx logging under SUPPORT_UTMP and
SUPPORT_UTMPX, respectively.

sshd - Make sshd use utmpx / wtmpx

* For now adjust the Makefile for sshd to make it use utmpx and
  wtmpx.  The sshd contrib code expects UTMPX_FILE and WTMPX_FILE
  to be defined in order to use this API.

* sshd's login information is now properly using utmpx/wtmpx so
  'who' whos the full IPV6 address (etc).

Reported-by: dkgroot/NI33

who - Fix buffer termination

* Fix printing output when e.g. the utmp host field fills the whole
  buffer.  This doesn't fix the fact that the host field is too small.

Reported-by: dkgroot/NI33

drm/linux: Add dmi_match()

test

Sync zoneinfo database with tzdata2019b from ftp://ftp.iana.org/tz/releases

* Brazil has canceled DST and will stay on standard time indefinitely.

* Predictions for Morocco now go through 2087 instead of 2037.

* Palestine's 2019 spring transition was 03-29 at 00:00, not 03-30
  at 01:00.

* Fix various past transitions for Hong Kong and Italy.

For a detailed list of changes, see share/zoneinfo/NEWS.

kernel - Fix lwp_tid ranging error

* We intended for lwp_tid's to range from 1..INT_MAX, but we
  had the following code in the kernel and unfortunately GCC
  optimizes out the conditional entirely.

  if (++lp->lwp_tid <= 0)
lp->lwp_tid = 1;

* In addition, the pthreads library actually would like to use
  a few high bits for flags, so fix the limit while we are
  here to 0x3FFFFFFF.  This saves us a pthreads assertion in
  the mutex code if an application is actually able to wind
  the thread id up this high over its life.  Since the TID
  allocation mechanism is pretty simplistic, it is entirely
  possible to do this given heavy thread creation / deletion
  rates and enough time.

* Change the conditional such that GCC does not optimize it out.
  We do not want to depend on -fwrapv for the kernel code to
  compile properly, so we don't use it.

  if (lp->lwp_tid == 0 || lp->lwp_tid == 0x3FFFFFFF)
lp->lwp_tid = 1;
  else
++lp->lwp_tid;

pthreads - Use mmap() for thread->specific data

* Any application which tries to replace malloc() can wind up causing
  pthreads to implode due to its use of malloc() in the early thread
  initialization code.

* Change pthread_setspecific() to use mmap() instead of malloc()
  to allocate the per-thread keys array, allowing applications
  which replace malloc() to use pthread_setspecific() to initialize
  per-thread malloc data if so desired.

  The use of pthread_setspecific() predates TLS (per-thread) variable
  declarations, aka the __thread storage qualifier, which is the
  better way to implement per-thread data, but it is still a reasonable
  choice so make it work.

* For DragonFlyBSD this is not expected to improve chrome because
  our chrome build uses our base malloc() and does not try to replace
  it with tcmalloc().  However, this change might help a limited
  number of other applications that do.

Reported-by: sephe, tuxillo

libc: Build inet/, isc/, and nameser/ from their subdirectories.

Also move inet's documentation to the right place.

libc: Remove an unneeded .PATH.

init(8): Put utmp/wtmp specific code under SUPPORT_UTMP.

drm: Start using flush_delayed_work()

<sys/conf.h>: Move SPECNAMELEN to <sys/param.h>.

Some dports and also stuff in our tree depend on it being public, which
all compensate with local defines for now, some of them not having been
adjusted when SPECNAMELEN was bumped from 15 to 63, such as in
sysutils/{mfi,mpt}d. Patches for these ports have been submitted.

They all could have got at it by defining _KERNEL_STRUCTURES before
including <sys/conf.h> but that didn't catch up it seems.

It's public in <sys/param.h> in FreeBSD and I see no reason why we
shouldn't follow.

Reported-by: aly

<sys/signal.h>: Adjust a number of struct member types to POSIX.

* siginfo_t's si_pid and si_uid, and stack_t's ss_size. For all of
  these, there are no changes in type sizes and signs.

* Also define the pid_t, uid_t and size_t types, as required by
  the standard.

shm_open.3: Some miscellaneous cleanup.

* Bump .Dd

* Start sentences on new lines.

* Put DragonFly specific implementation details into IMPLEMENTATION NOTES.

Remove .Ud in some manual pages.

isa.4: Remove obsolete reference.

mmap.2: Improve markup.

drm/linux: Add flush_delayed_work()

drm/linux: Fix a NULL pointer dereference in signal_pending_state()

Not all kernel threads have an associated userland lwp.

Reported-by: dillon

kernel - VM rework part 21 - Fix excessive paging to swap bug

* Fix a bug where pages on the inactive queue would sometimes not
  get moved to the cache queue after being paged out, and also not
  get its [M]odify bit cleared, causing the pageout demon to repeatedly
  write numerous pages out without making progress.

  This may require some additional work to avoid a double-pageout
  condition, but it fixes the main issue.

* Returns us back to the 'feel' of paging prior to the VM rework,
  and should reduce stuttering in chrome and other paging-related lag
  users might experience.

  The bug was introduced due to differences in how the pmap code
  handle vm_page_protect(..., VM_PROT_READ).

docs - Update shm_open(3) manual page

* Update to detail recent work.

Submitted-by: Lassi Kortela

ahci - Enforce 10-second poll of chipset

* Enforce a poll every 10-seconds when the chipset is idle to try to
  catch any potential lost interrupts.  We have observed a number of
  'impossible' timeouts where the chipset registers indicate command
  completion, which should only be possible if a completion interrupt
  is lost.

kernel - Add TPS balancing mode to scsi_da (da* disks)

* This feature brings write tps down to match read tps when both are
  pending.  Normally both read and write I/Os get at least a few tags,
  but because write I/O is buffered by devices, even giving it one tag
  can complete destroy read performance.

  To accomplish this the feature monitors approximate TPS using a counter
  with exponential decay and will temporarily sets write openings in the
  device queue to zero.

* SSDs usually do a better job on their own, but this feature won't hurt
  so we do not distinguish between HDDs and SSDs.

* New sysctls for this feature (feature is enabled by default):

  kern.cam.da.balance_enable 1 (0=disable, 1=enable)
  kern.cam.da.balance_ratio 100 (read:write ratio, 1:1 is 100)
  kern.cam.da.balance_debug 0 (log to console each second)

  You can adjust the read:write tps ratio as desired.  For example,
  the value 200 will adjust the ratio to 2:1.

Test commit.

ftpd.8: Adjust for recent opie(4) removal.

drm/radeon: Switch to Linux i2c APIs

* Enable radeon.hw_i2c by default

* Sync some code with Linux 3.19.8 in passing

kernel/genassym: Remove some unneeded assyms.

kernel - Change tcp keepalive options from ms to seconds (DISRUPTIVE) (2)

* Refactor the code slightly to adopt the same limits and behavior
  as linux.  Instead of capping out we return EINVAL on any out-of-
  bound value.

* Also note that my history was wrong.  Sephe actually implemented
  these options, not me, and it was in 2011 (8 years ago, not 15+).
  So much for my vague memory!  At the time other operating used wildly
  different metrics, and we chose to use milliseconds.  But in the
  intervening years it looks like the main systems have adopted a
  1-second interval.

  In changing our parameters to match, we avoid a lot of pain when
  porting third party applications that use it, particularly chrome.
  But also a few others.

  If we need sub-second parameters in the future we will implement
  new option keywords for it.

build - Bump __DragonFly_version to 500702 in master

* Bump __DragonFly_version to 500702 for the TCP_KEEP* socket
  options API change from milliseconds to seconds.

  This change corrected a 15+ year old mistake.  Most operating
  systems pass these parameters in seconds, but thinking a finer-grain
  would be grand (long ago), I changed the parameters to milliseconds.
  And we've been paying for it ever since.

man - Adjust tcp(4) for API change

* Adjust tcp(4) for the TCP_KEEP* API change.

kernel - Change tcp keepalive options from ms to seconds (DISRUPTIVE)

* Change TCP_KEEPINIT, TCP_KEEPIDLE, and TCP_KEEPINTVL units from
  milliseconds to seconds, matching most other operating system
  distributions.

  This is after the Nth time we've hit problems porting applications.

* I've decided to make this change, even though it is disruptive
  (a significant API change).  It shouldn't effect most use cases
  and it fixes things like chromium without us having to continuously
  patch the chromium sources.

* Fixes numerous too-fast-a-timeout issues with chrome.

kernel - Increase elf limits

* Increase the MAXTSIZ default from 256MB to 32GB.  Certain debug
  executables, such as chromium, exceeded the original limit.

* Leave the default data limit at 128MB for the moment, but it will
  be increased as soon as we work out low-memory hinting vs heap
  allocation.

dhcpcd.conf.5/swapon.8: Fix some typos.

dhcpcd.8/tcplay.8: Whitespace fixes.

Add some missing whitespace/linefeeds in a few manpages.

bsd-family-tree: Sync with FreeBSD (add DragonFly 5.6.1).

build - Allow buildworld to run from a 4.9 base

* Make an adjustment that allows the latest buildworld to
  be run on an old 4.9 system base.

* Generally speaking mkmagic should be using the (generated) magic.h
  from the build anyway, and not the one in /usr/include which might
  be incompatible.

kernel - Fix pmap placemarker timing race

* Fix a timing race that could cause a thread to get stuck in
  "pvplw" indefinitely.  The timing window is very short and the
  race is fairly difficult to reproduce.

* For this race to occur, more than one interaction must take
  place on other cpus against the placemarker being waited on
  by pv_placemarker_wait().  It takes multiple interactions for
  the WAKEUP bit to be lost.

  The first interaction can clear the WAKEUP bit and issue a
  wakeup() before we manage to interlock.  The second interaction
  can then reserve the placemarker so our conditional fails and
  we tsleep().  The result is that we block forever.

  pv_placemarker_wait(pmap_t pmap, vm_pindex_t *pmark)
  {
          if (*pmark != PM_NOPLACEMARK) {
                  atomic_set_long(pmark, PM_PLACEMARK_WAKEUP);
                  tsleep_interlock(pmark, 0);
                  if (*pmark != PM_NOPLACEMARK)
                          tsleep(pmark, PINTERLOCKED, "pvplw", 0);
          }
  }

  Just moving the interlock to before setting the flag is not
  sufficient due to cuteness on my part in overloading the WAKEUP
  bit on top of NOPLACEMARK (NOPLACEMARK is '-1').

* The solution is to both properly order the interlock AND use
  a cmpset loop to prevent accidently setting the WAKEUP bit on
  a marker that has already been released.

mark = *pmark;
cpu_ccfence();
        while (mark != PM_NOPLACEMARK) {
                tsleep_interlock(pmark, 0);
                if (atomic_fcmpset_long(pmark, &mark,
                                       mark | PM_PLACEMARK_WAKEUP)) {
                        tsleep(pmark, PINTERLOCKED, "pvplw", 0);
                        break;
                }
        }

Reported-by: tuxillo

Fix two typos in manual pages.

axe.4: Add back rgephy(4) reference.

kernel - Move trap_is_smap() test outside of DDB condition

* The trap_is_smap() test, and generally the code handling improper
  user mode accesses from kernel mode, must be placed outside the
  DDB conditional.

rc.d: Use stop_boot() function to really stop boot

The rc.d scripts are executed in sub-shells, so the original 'exit'
would not stop the boot process.  Use the stop_boot() function in
rc.d/mountcritlocal and rc.d/root to really stop the boot process.

Obtained-from: FreeBSD

rc: Move stop_boot() from rc.d/fsck to rc.subr and improve it

Move the stop_boot() function from rc.d/fsck to rc.subr, since we will
use it in other rc.d scripts.  This follows what FreeBSD does.

Improve the stop_boot() function by bringing in the FreeBSD's version.

Minor cleanups.

kernel: Add NO_SYSCTL_DESCR option to exclude sysctl descriptions.

<sys/sysctl.h> has the code for it already, brought in in commit
8e82189d49ed5be4533e1a3d2609460e8aae81bf, but the option was not
added.

While here, remove some old no-op IPSec related options.

kernel/acpi_ec: Document sysctls better.

kernel: Use correct variable for debug.acpi.ec.timeout_backoff tunable.

drm/radeon: Upgrade to Linux 3.19.8

* Various bug fixes and hardware bug workarounds

* Fan control improvements, especially on Southern Islands (SI)
  and Sea Islands (CI) GPUs

* Performance improvements due to better memory management

bsd-family-tree: Sync with FreeBSD (add NetBSD 8.1 and DragonFly 5.6).

Also some unrelated cleanup in the layout.

initrd: cd to '/' before umounting '/var'

The HOME in initrd is set to '/var/home', thus umounting '/var' may
fail due to device busy, although this failure would not block the boot
process.

kernel: Add whitespace between fw_stub.awk flags and their arguments.

It's more readable in the log file.

fw_stub.awk: correct usage message

* Add information about optional version and parent for the firmware
  image.

* Show that the -m option is mandatory.

fw_stub.awk: fix processing of values for the options when separated by space

kernel - Change fill_kinfo_lwp() and fix top

* Change fill_kinfo_lwp(), an internal function used by kern_proc.c
  and libkvm, to aggregate lwp data instead of replace it.

  Note that fill_kinfo_proc() will zero the lwp sub-structure and is
  already typically called before zero or more fill_kinfo_lwp() calls,
  so the new aggregation essentially just works even though the API is
  a bit different.

  In addition, when getprocs is told to aggregate lwps the tid field
  will be set to -1 since it is not applicable in the aggregation case.

* 'top' will now properly aggregate the threads belonging to a process
  when thread mode 'H' is not in effect.

* Also allow top to display cpu percentages above 100%, since in the
  aggregation case the sum of threads can easily exceed 100% of one core.

Requested-by: hsw

openpam: Implement blacklist.

Mainly to avoid issues for users who might miss what `make upgrade`
warns about. Currently only includes previously active OPIE modules.
Do not include pam_cleartext_pass_ok.so it should not be relevant for
any DragonFly installations by now.

sshd - Change options defaults to be more secure

* Change the password_authentication default to 0.  Passworded logins
  are NOT considered secure by default in DragonFly.

* Put in a succinct comment for both the pam default (0) and the
  password authentication default (also 0) to try to prevent them
  from being improper changed back to 1 accidently.

Revert "sshd(8): Add USE_PAM handling defaults."

We really did not intend to turn on passworded logins or pam by default.
They need to be turned off by default so the sshd_config is secure by
default.  PAM generally allows passworded logins which we do not consider
secure by default.

This reverts commit 19523637df5f6eb42b41f3dee51bd5d7c25d2219.

gpt(8): Explicitly avoid out of range in searching MBR partitions

Avoid running off the end of an array in case thing we're looking for
isn't there.  This is probably impossible, but not obvious.

Obtained-from: NetBSD
Bug-report: #3015

jail.8: Document sysctl entries jail.{allow_raw_sockets,chflags_allowed}

Meanwhile, update the description of "jail.chflags_allowed" in the code.

Obtained-from: FreeBSD
Bug-report: #2935

jail: Implement read-only sysctl "jail.jailed"

Implement the read-only sysctl entry 'jail.jailed', which can be used to
determine if a process is running inside a jail (value is 1) or not
(value is 0).

NOTE: The current FreeBSD has such a sysctl entry called
'security.jail.jailed'.  However, DragonFly BSD doesn't not have any
'security.jail.*' but only 'jail.*' sysctl entries.

Meanwhile, update /etc/rc to use this new sysctl entry to better deal
with the rc scripts with the 'nojail' keyword.

Also document this sysctl entry in the jail.8 man page.

This commit is based mostly on FreeBSD as well as the patch in bug
report #118.

Reviewed-by: dillon, mjg (Mateusz Guzik)
Bug-report: #118

drm - Fix system lockup bug in signal_pending_state()

* Fix a system lockup bug in signal_pending_state().  It was
  possible for the routine to indicate that no signal was pending
  for an interruptible state when a signal was in fact pending,
  causing a live-lock in a lksleep() loop.

* The proper API is to allow any signal to interrupt when the
  thread is in an interruptible state and to only allow a KILL
  signal to interrupt when the thread is in a non-interruptible
  state.

Testing-by: dillon, tuxillo
Reviewed-by: ftigeot

Nuke timed(8) (and timedc(8)). It is no longer used for time setting.

Adjust date(1) too for the removal (based on what FreeBSD did).