drm/linux: Add READ_ONCE and WRITE_ONCE

Obtained-from: FreeBSD

drm/linux: Improve linux/workqueue.h

drm/linux: Add u64_to_user_ptr

drm/linux: Add asm/shmparam.h

drm/linux: Add pci_bus_read_config_byte and pci_bus_read_config_word

drm/linux: Add atomic_andnot()

zone.9: Adjust prototypes for some recent changes.

drm/linux: Expand linux/kobject.h scope

drm/linux: Add asm/cpufeatures.h

sbin/hammer: Have consistent naming for volume variables

Use *volume.
Userspace is mix of *vol and *volume for no reason.
sys/vfs/hammer is always *volume.

sbin/hammer: Have consistent naming for buffer variables

Use *buffer.
Userspace is mix of *buf and *buffer for no reason.
sys/vfs/hammer is always *buffer.

drm/linux: Add linux/console.h

drm/linux: Add cacheflushopt()

Numbering changes for master -> 4.9.

drm/linux: fix tasklets

The set_bit() and clear_bit() macros expect pointers as arguments.

sys/vfs/hammer: Cleanup hammer_modify_node()

The only purpose of crcptr was to avoid split into multiple lines
(according to dillon@), but we could do with the same two lines..

re: Only limited versions of this chip require explicit padding.

Certain versions of this chip fail to generate correct UDP checksum
on explicitly padded UDP datagrams.

Reported-and-Tested-by: Daniel Bilik

kernel - Fix cluster_write() inefficiency

* A bug in the cluster code was causing HAMMER to write out 64KB buffers in
  32KB overlapping segments, resulting in data being written to the media
  twice.

* This fix just about doubles HAMMER's sequential write bandwidth.

Always use unix line endings

vkernel: Prevent clang optimizing out the traps.

Turns out clang removes non volatile null-pointers. Prevent that.

wlan: Remove duplicate typedef.

Unbreak VKERNEL64 for clang compatibility.

libc/getnameinfo: Whitespace fix to my last commit.

libc/getnameinfo: Clean up the comments in getnameinfo_link() a bit.

Sync ACPICA with Intel's version 20170303.

Nothing big, really:

* The licensing information at the start of each source code module has
  been updated. In addition to the Intel license, the dual GPLv2/BSD
  license has been added for completeness. Now, a single version of the
  source code should be suitable for all ACPICA customers. This is the
  major change for this release since it affects all source code modules.

* Fixed two issues with the common asltypes.h header that could cause
  problems in some environments (Kim Jung-uk).

* Disassembler: fixed a regression introduced in 20170224. A fix for a
  memory leak related to resource descriptor tags (names) could fault
  when the disassembler was generated with 64-bit compilers.

For a more detailed list, please see sys/contrib/dev/acpica/changes.txt.

Remove old timezone Pacific/Johnston via 'make upgrade'.

Sync zoneinfo database with tzdata2017a from ftp://ftp.iana.org/tz/releases

* Mongolia no longer observes DST.  (Thanks to Ganbold Tsagaankhuu.)

* Chile's Region of Magallanes moves from -04/-03 to -03 year-round.
    Its clocks diverge from America/Santiago starting 2017-05-13 at
    23:00, hiving off a new zone America/Punta_Arenas.  Although the
    Chilean government says this change expires in May 2019, for now
    assume it's permanent.  (Thanks to Juan Correa and Deborah
    Goldsmith.)  This also affects Antarctica/Palmer.

* Fix many entries for historical time stamps for Europe/Madrid
    before 1979, to agree with tables compiled by Pere Planesas of the
    National Astronomical Observatory of Spain.  As a side effect,
    this changes some time stamps for Africa/Ceuta before 1929, which
    are probably guesswork anyway.  (Thanks to Steve Allen and
    Pierpaolo Bernardi for the heads-ups, and to Michael Deckers for
    correcting the 1901 transition.)

* Ecuador observed DST from 1992-11-28 to 1993-02-05.
    (Thanks to Alois Treindl.)

* Asia/Atyrau and Asia/Oral were at +03 (not +04) before 1930-06-21.
    (Thanks to Stepan Golosunov.)

* Switch to numeric time zone abbreviations for South America, as
    part of the ongoing project of removing invented abbreviations.
    This avoids the need to invent an abbreviation for the new Chilean
    zone.  Similarly, switch from invented to numeric time zone
    abbreviations for a number of other zones.

* For Alaska time from 1900 through 1967, instead of "CAT" use the
    abbreviation "AST", the abbreviation commonly used at the time
    (Atlantic Standard Time had not been standardized yet).  Use "AWT"
    and "APT" instead of the invented abbreviations "CAWT" and "CAPT".

* Use "CST" and "CDT" instead of invented abbreviations for Macau
    before 1999 and Taiwan before 1938, and use "JST" instead of the
    invented abbreviation "JCST" for Japan and Korea before 1938.

* Move the Pacific/Johnston link from 'australasia' to 'backward',
    since Johnston is now uninhabited.

* africa (Africa/Monrovia): The 1972 transition was on January 7,
    not May 1.  (Shanks was wrong again! and Howse was right.)

* The 'Theory' file now better documents choice of historical time
    zone abbreviations.  (Problems reported by Michael Deckers.)

drm/i915: Fix compilation with clang

* Add back a lost pointer initialization line

* With this change, a clang-built drm/i915 module now works as expected

Submitted-by: zrj

rc.d - Add option to load kernel modules from rc.conf(5)

Due to memory limitations in the early boot phase it is not
advisable to load kernel modules that are not strictly necessary
to mount the root file system via loader.conf(5).
Therefore a new rc script "modules" is added that allows loading of
kernel modules from rc.conf(5).

xargs.1: Add some words about -r (taken from FreeBSD).

rc.conf.5: Adjust the memimg documentation a bit.

Clean up the namespace in a number of standard headers.

* In most cases, instead of the full load of <sys/types.h>,
  include <machine/stdint.h> which defines the __-types that
  <monetary.h>, <pwd.h>, <search.h>, <strings.h> and <wordexp.h>
  only need.

* Additionally, extend the visibility of the size_t definition
  and adjust WRDE_NOSYS's visibility because it was only in the
  standard up to Issue 6.

* In <time.h>, include <sys/stdint.h> to get at __pid_t too.

* Likewise, include <sys/stdint.h> in <sys/wait.h> and provide
  a definition of pid_t as required.

Adjust whitespace in a couple of standard headers (no functional change).

In preparation for another round of namespace cleanup.

rc.conf.5 - Adjust manpage to the last changes.

xargs - Add dummy -r option

* Add the -r option for GNU compatbility.  This option is the short form
  for the --no-run-if-empty GNU option, which is our default behavior, so
  we do nothing with it other than allow it.

Taken-from: FreeBSD.

kernel: Remove unused DIRECTIO option (see 12b70cea73eef6a67).

rc.d - Add an option to specify memimg file for vkernels

- This option defaults to /var/vkernel/memimg.xxxxxx when not specified
  and it tries to provide a memimg file automatically even when non-privileged
  users run vkernels.

- The default directory for memimg files (/var/vkernel) is created if it doesn't
  exist and set to 1777 mode.

rc.d - Allow vkernel to run as non-root

rc.d - Follow up previous commit

- unset all variables that could be potentially reused
- Use lowercase in a warn message

installer: Turn off soft updates for /boot in the UFS install.

This was missed when we gave the UFS install a separate /boot partition.

Reported-by: ozmage

Sync ACPICA with Intel's version 20170224.

* Fixed two issues with the control method return value auto-repair
  feature in the interpreter.

* Fixed an AML interpreter mutex issue during the single stepping
  of control methods in the debugger.

* New iasl(8) -ca option to convert ASL to ASL+.

* Various other fixes in iasl(8).

For a more detailed list, please see sys/contrib/dev/acpica/changes.txt.

vmbus.4: It can be compiled into the kernel as well.

rc.d - Make sure rootimgs are empty for every vkernel

re: Fix typo for disabling txcsum.

Submitted-by: Daniel Bilik

<sys/procctl.h>: Include <sys/types.h> explicitly for userland.

This prepares for more namespace cleanup in standard headers.

Clean up a bit after the recent ahc/ahd/aic removal.

mrsas - release devq before freeing the sim.

* Release the devq before freeing the sim.

kernel - Add missing bus lock to CAM

* cam_periph_alloc() was missing a bus lock / unlock sequence around
  a list operation.

kernel - Improve exec performance

* Improves non-shared 32-way-concurrent exec performance for a small
  static binary on the xeon from 92KE/s (92000 execs/sec) to 136KE/s.

* Improves single-threaded test performance from ~4.5KE/s to ~6.5KE/s.
  And for reasons I don't entirely understand, sometimes up to ~8KE/s.

* Several changes here, but the only one that matters for the test is
  that the pv_placemarker_wakeup() code removes a spin_lock/spin_unlock
  pair on the pmap.  I adjusted the code so the pmap spinlock is not
  required for placemarker wakeup operations.

  What I think might have happened here is that this removal also got
  rid of a spin-lock shared/exclusive ping-pong.  Still, the huge
  improvement in performance was not expected.  Even with the removal
  there is still an atomic_swap_long() in the code path.

  My guess is that multiple atomic ops degrade the instruction pipeline
  more than one would otherwise expect due to the multiple memory
  fences.

kernel - Slightly reduce extra spinlock ops in _pv_alloc()

* Pre-stage pnew (new pv_entry) using a pcpu cache, avoiding an
  unnecessary spin_unlock/spin_lock sequence in _pv_alloc().

* No real performance improvement measured, but the code is cleaner so
  use it.

kernel - Add atomic ops features

* Add <atomicop>_xacquire() and <atomicop>_xrelease() to a bunch of
  atomic ops.  Using this API will elide the operation using Intel's
  TSX extensions (the elides are backwards compatible to cpus that do
  not support TSX).

* Note however that preliminary testing using this API in the spin_lock*()
  and pv_*() interfaces has only led to a reduction of performance and not
  to any improvement, so at the moment we do not intend to use it.  But I
  did the work to add the API calls and I don't want to lose it.

re: Update to Realtek 1.93

Tested-by: me, Tim Darby

drm/linux: Implement tasklets

Even though this initial implementation is pretty naive and runs
tasklets synchronously, it appears to nevertheless work fine with
the drm/i915 driver version from Linux 4.7.

kernel: fix LINT64 build after old SCSI drivers removal

kernel - Disallow remote growstack from procfs

* Do not allow procfs operations to grow the stack of a remote process,
  at least for now, because we are not passing in the struct vmspace *
  pointer, for now.

* Fixes trivial panic caused by ps -e due to the recent addition of
  an assertion to test the condition that failed (the assertion is
  correct).

build - Fix nativekernel build

* Fix issue with aic removal, forgot to remove something from the
  nativekernel build target.

kernel/re: Fix hw.re.phy_mdix_mode tunable.

boot - Fix insufficient malloc()s

* Fix two places where not enough buffer space is malloc()d.

kernel - Remove old SCSI drivers - aic, aic7xxx, ahc, ahd

* Remove these drivers.  They were pinnacles of their time, requiring
  incredibly complex state machines for sequencing old-style SCSI busses.
  CAM was created to support these babies.  But alas, they became obsolete
  many years ago.

* They were from the 32-bit ISA and PCI (not PCIe) PC era.  DragonFlyBSD
  doesn't even boot on those old machines any more, being 64-bit only.

* Also deals with some -j races in the aic sub-build.

drm/linux: u64 is unsigned long long

* Some basic Linux types were badly defined, causing unnecessary
  differences in various lines of driver code such as kprintf
  statements

* Make u64 and __u64 unsigned long longs like in Linux

* Reduce differences with Linux 4.6 in the generic drm code as well
  as drm/i915 and drm/radeon drivers

* While there, make the include/ directory hierarchy more similar
  to the one in Linux 4.6

kernel - Expand p_nice effect more, fix %cpu calculation bug

* Expand the p_nice effect even more.

* Fix a %cpu calculation bug which could improperly cause the
  lwp->lwp_priority to be reset to its base level, potentially giving
  a cpu-bound process more cpu than intended.

drm - Fix major stalls by fixing an improper taskqueue priority

* drm was creating task queues with a LWKT priority of 0, which is
  lower than the priority of a running user thread.

* Fix all cases where improper priorities are passed to
  taskqueue_start_threads().  This fixes major video stalls and glitches
  that occur when other things might be running on the system cpu-bound.

* taskqueue_start_threads() now asserts if the priority passed to it is
  illegal.

kernel - Fix bug in physio()

* Fix an integer overflow in physio() when attempting to dd a block size
  >= 2G.  An int was being used instead of size_t.

Reported-by: tpchin
Bug: 2981

kernel - Support FreeBSD style loader.conf hints for resources

* DragonFly uses <device><unit>.<resname>.

* Also support FreeBSD hints which use hint.<device>.<unit>.<resname>.

* Makes it easier for users coming from FreeBSD to bring in sound quirks
  and such.

Reported-by: Damien

kernel - Fix estcpu calculation

* No longer use uload to try to correct estcpu.  It winds up inflating the
  cpu use of other processes that use cpu but are not cpu-bound, creating
  the same estcpu compression problem.  The problem is less pronounced
  without it.

* Remove the uload global.  No longer useful and saves an unnecessary
  cache line ping-pong.

* Refactor how p_nice affects p_priority.  This causes nice levels to have
  a greater effect.

* Make the forkbias programmable with a sysctl and set the default to 1,
  which is a good, safe, all-around default.

drm/radeon: Replace some spinlocks by lockmgr locks

The original Linux code uses struct mutexes instead of spinlocks for
gem.mutex, gpu_clock_mutex and srbm_mutex.

Revert "kernel - Reduce priority range from dynamic priority"

This reverts commit abc0cda7b4a0a92afab15645d5adfac57af02866.

The change improved how nice ranging works but completely blew up
fork priority reduction, causing parent process dispatches via
fork/exec (such as done by a service or by make) to not immediately
move the child proces to another cpu when the parent has more work
to do.

This caused the kernel build to regress from 3:12 to 3:21 on the
test box, and for the world build to only show minor improvements
instead of more significant improvements.

So revert it for now.  We will improve nice priorities another way.

kernel/usb4bsd: Add a quirk for the Corsair STRAFE Gaming keyboard.

Taken-from: FreeBSD

sdpquery(1): Remove an unneeded explicit -Wno-unused-but-set-variable.

-Wunused-but-set-variable comes in at WARNS==4 only.

libc/nmalloc: Remove some kernel code remains.

kernel - Fix machdep.pmap_mmu_optimize bug

* Fix bug introduced by the recent pv_entry rewrite when MMU segment
  optimization is enabled.

Reported-by: sephe

Unbreak vkernel build.

Move some hyperv specific but "standard" files into the pc64 specific
'files' file.

Reported-by: tuxillo

Update the pciconf(8) database.

February 8, 2017 snapshot from http://pciids.sourceforge.net/

kernel/slaballoc: Separate some parts better that need INVARIANTS.

Unbreak kernel building

kernel/vinum: Fix the position of VINUM_LABEL ioctl handling.

This was touched in ca6d9fb71787f9d013cb789ad2f41d6fc33fb38e back in
2007, but slightly wrong, because the case was moved into the outer
switch() which doesn't actually handle ioctls, so this case was never
hit there.

With this commit, all of clang's -Wswitch warnings in the kernel build
are fixed.

kernel: Fix the type of 'cmd' in various ioctl functions (int -> u_long).

These were all found by clang's -Wswitch option.

hyperv: Implement cpucounters.

hyperv: Reorganize

kern: Add cpucounter which returns 64bit monotonic counter.

It will be used to:
- Simplify per-cpu raw time extraction.
- ALTQ machclk.
- Per packet timestamp for CoDel.

As of this commit, dummy cpucounter, which falls back to cputimer,
and TSC cpucounter are implemented.

altq: Use microuptime() instead of microtime() - boottime.

kernel - Fix bug in pmap_unwire()

* Fix a bug introduced in the recent pmap work.  For kernel pages,
  pmap_unwire() was not testing the V bit and would return a bogus
  vm_page_t for PTE values of 0, instead of returning NULL.

* Triggered by the mpipe code, used primarily by the crypto subsystem.
  Also used for IP fragment reassembly and by tcp_maketemplate().  A
  failed M_NOWAIT slab allocation tries to delete the partially filled
  map_entry_t, encounters 0 PTEs, and gets confused.

Reported-by: Tim Darby, Antonio Huete Jimenez

libkern: Make inet_ntoa MPSAFE by passing string buffer to it.

drm/i915: Set GPU freq to idle_freq initially

Set the initial frequency to idle_freq on Skylake+/Valleyview/Cherryview
GPUs in order to not waste power.
This was already done on all other platforms.

Obtained-from: Linux 4.7, commit 5fd9f52384935dacfdc4adb5cc3531a40346d475

net: Make sure that local variable is really used.

sort(1): Fix some obvious issues

Taken-from: FreeBSD

drm: Partial revert of "drm: Sync drm_crtc.c with Linux 4.6"

This partially reverts commit 917ec290eeeeb73fe8bfa066cfc3303a55646424.
It broke Xorg on some machines.

Reported-by: many people

kernel: Add a simple kern.cp_times sysctl.

This is like kern.cp_time, just per CPU.

It will help devel/libgtop, and by extension mate-system-monitor, perhaps
other such utilities/plugins too. Therefore, bump __DragonFly_version as
well.

pktgen: Ifnet lock is required by ifunit.

kernel: Use CPUSTATES constant.

virtio: Fix and activate PCI MSI-X support.

* Change pci_msi_blacklisted() test to always assume working MSI and MSI-X
  interrupts on virtual-machines. We should assume that a hypervisor
  without MSI or MSI-X support shouldn't even indicate supported MSI(-X)
  via the PCI config space.

* Move vtblk_alloc_disk() to the end of virtio_blk's attach method.
  This avoids a race between irq enabling in virtio, and the disk probing.

* Fix allocation and teardown of MSI-X interrupts.

* Get rid of rather confusing VIRTIO_PCI_FLAG_NO_MSI and
  VIRTIO_PCI_FLAG_NO_MSIX flags. The VIRTIO_PCI_FLAG_NO_MSI is unneeded
  when using pci_alloc_1intr() for MSI allocation, and
  instead of VIRTIO_PCI_FLAG_NO_MSIX we can just check sc->vtpci_msix_res.

* For now, MSI-X vectors are simply assigned to subsequent cores (plus
  adding the device_get_unit() value to shuffle things a bit), i.e.:
  (device_get_unit(dev) + cnt) % ncpus

* For the if_vtnet network driver this means that the rx and tx queues run
  on different cores, but both queues still use the same serializer for
  now.

* One major advantages in using MSI-X interrupts instead of the legacy
  IRQ is, that this avoids interrupt sharing in many virtual-machine
  configurations.

* Tested on qemu with TCG (unaccelerated emulation) and 1 core, and with
  KVM acceleration and 2 cores, with both virtio network and disk devices.

Add entries for initial clang import in mtree.

These will be used soon populated with initial base clang version.

Prevent implicit -std=* passing from NXCFLAGS to NXCXXFLAGS.

C and c++ standards are not cross compatible, this is a major issue with clang
import into the base that explictly requires at least the -std=c++11 standard.
It gets complicated because even tablegen utilities used as buildtools depend
explictly on c++11. This implies that we no longer can avoid libstdc++ usage
in hostlib/hostprog infrastructure.

While there, explcitly filter out -flto options from host native tools FLAGS
and add a missing rule to allow generating host native c++ utilities for the
use in buildworld.

devd(8): Remove build workaround.

After previous commit change it should be no longer needed.

Spotted-by: swildner

Prevent implicit -Wsystem-headers passing from CFLAGS to CXXFLAGS.

Upcoming clang will be the first base system part that very heavily depends on
c++ headers, this prevents setting any level of WARNS in clang's makefiles
without performing certain unsafe manipulations of CXXFLAGS. To prevent that
it makes sense to allow only explict use directly in CXXFLAGS where it is
needed given c++11 headers are part of contrib and quite noisy with deprecated
attributes for previous features/interfaces to c++11 standard.

gencat(1): Limit and mark bootstrap hack.

By the git history it was only needed for DragonFly 3.6 changes.
But be generous and mark it as 4.1 just in case there were other changes
piggybacking on it during crossworld stage. It no longer should be needed
and might cause unwanted issues for future developments.

While there remove the getline helper too.

ssl: Unhook internal usage of include/openssl/.

Redirect all cases to include priv to take needed openssl headers and
remove mistakenly added copying of private base LibreSSL headers back to
public dir used previously by OpenSSL headers.

After this make upgrade REMOVE_OPENSSL_FILES=yes should work as initially
intended.

It is still not clear if LIBMD places also miss the libprivate_crypto.
For now just to prevent conflicts with base vs dports ssl libs and headers.

kernel - Fix vmspace termination race (2)

* Fix a race and fix dangling cached mount points.  At the point where
  dounmount() checks to see if there are any dangling cache refs left
  it has already dropped its own ref on the mp.  The test, however,
  was (refs > 1).  The test needs to be (refs > 0).

  This race was probably causing the corruption, and in fact its the
  smoking gun because the mp->mnt_refs field is at the same offset as
  the pmap->copyin field, and the pmap->copyin field was getting
  corrupted by being decremented by 1.

* Fix a race where the unmount code was issuing tue dounmount() call
  without any ref or hold on the mp.  This race was unlikely (requires
  two unmounts of the same partition at the same time).

<sys/{_iovec,_timespec,_timeval}.h>: Namespace cleanup.

Don't include the full <sys/types.h>.

Include <machine/stdint.h> and derive the types which <sys/_timespec.h>
and <sys/_timeval.h> need from the __* versions.

<sys/_iovec.h> just needs __size_t, which is in <machine/stdint.h>.

This commit also fixes a circular #include where <sys/_timeval.h>
was including <sys/types.h> and vice versa.

<aio.h>: Prepare for the removal of <sys/types.h> from <sys/_timespec.h>.

Right now, <sys/aio.h> gets a number of required type definitions via
<sys/_timespec.h>, which includes <sys/types.h>. Instead of including
<sys/types.h> from <sys/aio.h> directly, go for a lighter namespace.