lib/i18n_module: Fix out of bounds bug.

Taken-from: NetBSD

gcore(1): Mark as breaking strict aliasing.

IS_ELF(*(Elf_Ehdr *)&exec).

tip(1): Mark as breaking strict aliasing.

The boolean(v) macro uses type-punned pointers.

gcc50: Fix false positive for -Walloc-size-large-than.

Backport fix for PR 79132, prevent using alloca(-1).

gcc47: Fix false positive for -Walloc-size-large-than.

Backport fix for PR 79132, prevent using alloca(-1).

mpsutil(8): Add missing braces.

Reported-by: zrj

bsd.sys.mk: Implement WARNS framework for HOST_CCVER.

Previously we were handling just a CCVER only.

world: Mark all build-tools.

csh(1): Separate hostprog.

awk(1): Separate hostprog.

libmagic(3): Separate hostprog.

Set WARNS=1 for mkmagic.nx so as not to use -w.

phantasia(6): Separate hostprog.

Make substantial effort to reduce dependencies for setup.nx.
While there install monsters file as 640.

hack(6): Separate hostprog.

adventure(6): Separate hostprog.

drm: Implement parts of the Linux irq subsystem

* Allowing to reuse more drm drivers code as-is from Linux

* Also allowing Linux irq functions to return expected status
  codes, increasing general driver robustness

Tested-with: many i915 devices, Radeon HD6450

kernel/mpr: Remove unused malloc type.

Remove <sys/ioctl_compat.h>.

Now that tkusumi's fix for benchmarks/fio for the name and location
change of the IOCTLTRIM ioctl is in DeltaPorts, remove the header
entirely.

Fixes for stty(1) and pstat(8) are from FreeBSD.

Dports-checking: zrj

Add FreeBSD's mpr(4) driver for LSI Fusion-MPT 3/3.5 SAS controllers.

This commit also includes a userland utility for mps(4) and mpr(4)
(mprutil(8) aka mpsutil(8)).

After porting bug fixing, testing shows that it seems to be stable,
therefore I have added it to our X64_64_GENERIC as well.

Thanks to zrj for testing and to sephe for some porting clues.

Taken-from: FreeBSD

<sys/proc.h>: Fix unused macro name (number == bit number) and comment.

evtranalyze.1: Fix typo.

x86_64/ioapic: Make sure that legacy IRQ only appears on one CPU.

The legacy IRQ lookup assumes only one CPU has a given legacy IRQ.

On system w/ large number of IOAPIC, GSI96 could be mapped to IRQ17
on CPU0 (since IRQ96 is used by SYSCALL), while GSI17 is mapped to
IRQ17 on another CPU.  This breaks later IRQ lookup.

Reported-by: Imre Vadasz
Tested-by: Imre Vadasz

kernel - Remove cache ping-pong on common scheduler operations

* Reflect dfly_curprocmask and dfly_rdyprocmask bits in the
  scheduler's pcpu structures.  This allows us to reduce global
  atomic ops that are virtually guaranteed to cause cache ping
  ponging.

* sched_yield and token-based yield operations no longer clear
  the bit in the curprocmask, since they are just yielding
  (XXX needs work, a later blocking op then might not pull a
  new process from another cpu).

kernel - More deterministic systat -pv lock name output

* Update the lock name in the globaldata structure for any
  contended lock that bumps the SMP collision count (basically,
  any lock which contends for more than 1uS).

* Improved systat -pv accuracy at very little cost.

kernel - Improve lockf performance

* Improve fcntl lockf performance with two small optimizations.
  Together these add a little over 10% in non-contended
  performance.

* Add a 2-entry-per-cpu range lock allocation cache.  This
  covers the most typical lock/unlock situations.

* Conditionalize the setting of VMAYHAVELOCKS to avoid unnecessary
  atomic ops.

* Remove the clearing of VMAYHAVELOCKS.  The cost in close() is
  basically nothing while the cost in the lockf critical path
  is several branches and an atomic op.

libthread_xu - Improve contended mutex code

* Retry a few times in a loop before using the umtx*() system
  calls to sleep.

  This significantly reduces IPI traffic and improves performance
  when a mutex is heavily contended.

kernel - Improve namecache performance

* Improve performance for the edge case where a process is
  deleting a large number of files.  In this situation,
  NCF_DESTROYED ncp entries can build up in the hash table
  and slow things down until the system quiets down, then
  the tables get cleaned up.

  Improve by recycling such entries into new entries when
  possible.

* Refactor the hash calculation again.  The big-prime idea
  actually has some trivially obvious problems, scrap it
  for the moment.

kernel - Improve kern_dup() performance

* Run the operation with a single exclusive spinlock instead of
  acquiring and releasing it twice.  Improves thread-concurent
  dup() performance.

kernel - Carefully refactor contended tokens and spinlocks (2)

* After testing, increasing the exponential cap from 1024 to
  4096 appears to produce better results, so the previous comment
  is wrong.  Adjust the default and the comment.

* Forgot to commit the changes to spinlock.h, fixed.

kernel - Fix statistics accounting bug in kfree()

* kfree() was bumping the statistics counters for the wrong cpu.
  This could lead to kmalloc statistics slowly becoming inaccurate.

* This also fixes some significant cache line bouncing under
  heavy threaded loaded.

kernel - Carefully refactor contended tokens and spinlocks

* Carefully put the exponential backoff back in for spinlocks, and
  implement for tokens.  Only applicable to exclusive locks, capped
  via sysctl (mjg).  Tested on dual-socket xeon.

* Exclusive priority for shared locks reduces the shared/exclusive
  starvation that can occur when exclusive locks use exponential
  backoff.

* Exponential backoff significantly improves performance for
  heavily contended exclusive locks by allowing some degree of burst
  operation.

* Implement TSC windowing for shared locks (and a little for
  exclusive locks too).  This prevents heavily contended exclusive
  locks from completely starving shared locks by using windowing
  to disable the exclusive-priority mechanic for shared locks.

  This allows a few contending shared locks to compete on equal
  ground with exclusive locks.

Suggested-by: mjg

kernel - Remove performance pessimization with INVARIANTS

* Remove lf_global_counter under INVARIANTS, fixes cache pessimization.
  We want performance scaling to continue to work with INVARIANTS since
  that is how we ship the kernel by default.

kernel - cleanup kern_descrip.c

* Cleanup long lines, syntax

* fsetfd_locked() does not have to call fclearcache().

kernel - Localize [in]activevnodes globals, improve allocvnode

* Move to globaldata, keep globals as rollup statistics.

* We already solved normal active->inactive->active issues
  in prior work, this change primarily effects vnode termination,
  such as for unlink operations.

* Enhance allocvnode to reuse a convenient reclaimed vnode
  if we can find one on the pcpu's inactive list and lock it
  non-blocking.  This reduces unnecessary vnode count bloating.

tmpfs - Move dnode lock to improve unlink performance

* Unlock the directory node a little earlier in tmpfs_vop_nremove().

kernel - Minor rollup cleanup

* Collect count and apply once at the end of the loop.

LINT64: Fix typo.

kernel - Remove SMP bottlenecks on uidinfo, descriptors, and lockf (2)

* Fix lost fp bug, a file pointer would sometimes not get dropped,
  leading to disconnection problems (e.g. sftp).

rpc: Add support for NO_WCAST_FUNCTION_TYPE make variables.

It is unfortunate that <rpc/xdr.h> has the "bool_t xdr_void(void);"
without the XDR* parameter even if it is unused. Since we do not want to
change public symbol interface, suppressing the warning is a better way.

While there, add suppression to acpiexec/inetd for function cast too.

world: Mark utilities that use out of bounds copies.

bsd.kern.mk: Handle gcc80 better in buildkernel.

libc - Remove incorrect sched_yield() stub

* sched_yield() is a system call, and libthread_xu does not
  override it.  Remove the empty stub so the system call is
  properly called.

* Now sched_yield() is no longer a NOP.

kernel - Remove SMP bottlenecks on uidinfo, descriptors, and lockf

* Use an eventcounter and the per-thread fd cache to fix
  bottlenecks in checkfdclosed().  This will work well for
  the vast majority of applications and test benches.

* Batch holdfp*() operations on kqueue collections when implementing
  poll() and select().  This significant improves performance.
  Full scaling not yet achieved, however.

* Increase copyin item batching from 8 to 32 for select() and poll().

* Give the uidinfo structure a pcpu array to hold the posixlocks
  and openfiles count fields, with a rollup contained in the uidinfo
  structure itself.

  This removes numerous global bottlenecks related to open(),
  close(), dup*(), and lockf operations (posixlocks count).

  ui_openfiles will force a rollup on limit reached to be sure
  that the limit was actually reached.  ui_posixlocks stays fairly
  loose.  Each cpu rolls up generally only when the pcpu count exceeds
  +32 or goes below -32.

* Give the proc structure a pcpu array for the same counts, in order
  to properly support seteuid() and such.

* Replace P_ADVLOCK with a char field proc->p_advlock_flag, and
  remove token operations around the field.

kernel - Refactor lwkt_token pool hash

* Refactor the lwkt_token pool hash to a better hash algorithm
  using large primes.

kernel - per-thread fd cache, p_fd lock bypass

* Implement a per-thread (fd,fp) cache.  Cache hits can keep fp's
  in a held state (avoiding the need to fhold()/fdrop() the ref count),
  and bypasses the p_fd spinlock.  This allows the file pointer structure
  to generally be shared across cpu caches.

* Can cache up to four descriptors in each thread, LRU.  This is the common
  case.  Highly threaded programs tend to focus work on a distinct
  file descriptors in each thread.

* One file descriptor can be cached in up to four threads.  This is
  a significant limitation, though relatively uncommon.  On a cache miss
  the code drops into the normal shared p_fd spinlock lookup.

sbin/hammer: Drop _X macro for hammer show

Also reduce supported indent levels from 17 to 10.

17 levels with 62 fanouts for internal nodes seems way more than
needed even considering max capacity of HAMMER1.

Fix up UPGRADING.

Remove IPsec and related code from the system.

It was unmaintained ever since we inherited it from FreeBSD 4.8.

In fact, we had two implementations from that time: IPSEC and FAST_IPSEC.
FAST_IPSEC is the implementation to which FreeBSD has moved since, but
it didn't even build in DragonFly.

Fixes for dports have been committed to DeltaPorts.

Requested-by: dillon
Dports-testing-and-fixing: zrj

kernel: Disable TCP_SIGNATURE in preparation for removing IPSEC.

Keep the code around until it gets fixed at a later date.

Requested-by: sephe

<sys/mbuf.h>: Fix packet tag comments.

kernel - Fix duplicate da0 or da* and locked up boot

* Fix duplicate da* reporting at boot which usually results in
  the boot locking up.

* The diskinfo was being installed while before CAM's softc->state
  normalized, potentially allowing I/O to occur during the probe
  sequence and causing the probe state to be repeated.

  Delay calling disk_setdiskinfo() until after softc->state is
  normalized.

sys/vfs/autofs: Use ksnprintf() (sync with NetBSD)

FreeBSD and DragonFly had strcpy()+strcat().
NetBSD changed it to snprintf().

sys/vfs/autofs: Fix a comment

This isn't really a FALLTHROUGH. Not sure why I even originally
added this since this had never existed in FreeBSD too.

ipfw3nat: remove the state from the proper tree

kernel - Increase vm_object hash table

* Increase table from 64 to 256 entries.

* Improve the hash algorithm considerably for better coverage.

kernel - Implement td_limit reflection of p_limit

* Reflect proc->p_limit onto thread->td_limit to allow lockless
  rlimits testing.

* Significantly improves performance for rlimits-testing-centric
  operations such as for dup() and dup2().

* Also fixes performance issues across processes when the plimit
  structure is shared across many processes.  In this situation,
  unnecessary locking conflicts developed due to the high level
  of sharing across what would normally be considered distinct
  processes.

Suggested-by: mjg

rc.d - Be quiet when check if modules are loaded

kernel - Handle spinlock indefinite wait edge case

* The spinlock exclusive priority mechanism can cause an indefinite
  wait situation for shared locks to arise when a large number of cpu
  cores are cycling the same spinlock both shared and exclusive.

  This situation just won't happen for any real workload, but it
  can come up in benchmarks.

* Introduce a quick hack to ensure that this situation does not lead
  to a panic.  The exclusive priority mechanism is ignored once a
  shared spinlock has spun for greater than one second.

kernel/LINT64: Fix comment.

Remove some old tty related code, such as <sgtty.h>, old ioctls etc.

It is replaced by POSIX termios on modern systems. Also, remove related
code in libcompat.

<sys/ioctl_compat.h> is now just a few lines. This header will eventually
be removed completely.

Two ports, devel/xxgdb and editors/aee, were still using <sgtty.h> and
have since been fixed. But let's bump __DragonFly_version anyway.

Dports-checking-and-fixing: zrj

bpf - Add BIOC{S,G}FEEDBACK ioctls

- When set it allows reinjecting packets that were written to the bpf device
  as input to the interface when the output is successful.
- Add an alias to BIOCFEEDBACK which is the name of the
  of the 'set' ioctl in FreeBSD.

Partially-taken-from: NetBSD
Reviewed-by: sephe
Closes: #3126

<net/dlt.h> - Remove a comment which is no longer applicable

<net/dlt.h> - Add some more DLTs

- The DLT_USER* dlts are reserved for private use, they won't be
  used ever by libpcap/tcpdump themselves.
- net/wireshark-qt5 (and probably others) use it

hammer2 - Add vfs.hammer2.limit_dirty_inodes

* Add vfs.hammer2.limit_dirty_inodes which causes hammer2 to
  immediately begin fsync()ing dirty inodes when the count exceeds
  the limit.  Set a reasonable limit.

* Fixes issues on slower storage when the syncer is unable to
  keep up with the userland frontend, causing the number of
  dirty inodes to increase almost unbounded (limited only by
  kern.maxvnodes).

  Allowing a large number of dirty inodes to accumulate can
  can result in a situation where the clean device buffer
  underpinning the dirty inode is discarded by the kernel before
  the filesystem is able to flush it, forcing additional disk reads
  and slowing things down even more.

* Improve the operation of speedup_syncer() by limiting the
  rate at which we call the function.  It is now called a maximum
  of approximately once per tick (each call speeding up a sync
  by one second).

kernel - Add dirty vnode management facility

* Keep track of how many vnodes are queued to the syncer, which
  is basically the number of dirty vnodes.  The syncer vnode is
  included so the idle count is usually 1 and not 0.

* vn_syncer_count() returns the count.

* vn_syncer_one() attempts to fsync the next dirty vnode immediately,
  if it can acquire it non-blocking.  The special syncer vnode is
  ignored.  On failure the vnode will be requeued for 1 second,
  so this routine can be cycled.

inet6/pim: Return IPPROTO_DONE if the mbuf is freed.

This prevents the caller from using the freed mbuf.

Obtained-from: NetBSD via FreeBSD

kernel - Improve spinlock performance a bit

* Rearrange indefinite_init() and cpu_pause() in _spin_lock_contested()
  and _spin_lock_shared_contested() to improve performance.

* Fix conditional clearing the SHARED bit to use ovalue intead of
  value.  After review, either can be used but ovalue is more
  appropriate and give us an interlock against SPINLOCK_EXCLWAIT.

Reported-by: mjg_

kernel: Add -Wmissing-include-dirs to our kernel build.

kernel/acpica: Remove ${.OBJDIR}/include from Makefile.inc.

This file is included by various module Makefiles, of which only that
of acpica proper needs it. And that already cares about it in the
Makefile. Besides, we build acpica into our standard kernels anyway
now.

This fixes various -Wmissing-include-dirs warnings.

lvm(8): Use relative path for symlinks and clean up Makefile

* Use relative path for creating symlinks to the lvm binary

* Remove the unnecessary man page links (which is also broken since the
  wrong variable 'MKLINKS' was used)

* Improve styles a bit

gcc50: Backport c++11 literal fixes from gcc80.

Fixes: -Wliteral-suffix
C++11 requires a space between literal and string macro

While there, backport 222884 to suppress -Wdeprecated
use of an operand of type 'bool' in 'operator++' is deprecated

Makefile.inc1: Add sbin and remove games from btools and ctools path

* Add ${BTOOLSDEST}/sbin and ${CTOOLSDEST}/sbin to ${STRICTTMPPATH} which
  is set as the PATH during the buildworld, although no sbin tools is
  currently used for the buildworld.

* Introduce the variable CTOOLSPATH to hold the ctools path, similar to
  the BTOOLSPATH variable.

* Explain that '/usr/local/bin:/usr/pkg/bin' is appended to STRICTTMPPATH
  to support external compilers.

diff: s/.o/.c/ in the Makefile.

kern: Unbreak compilation w/o INVARIANTS

Update the pciconf(8) database.

April 6, 2018 snapshot from https://pci-ids.ucw.cz

<sys/elf_common.h>: Add an Elf_Nhdr definition.

Submitted-by: bserrao
Dragonfly-bug: https://bugs.dragonflybsd.org/issues/3130

ipfw3: remove legacy macros

ipfw3: format

ipfw3: list loaded modules

ipfw3nat: move the implementation back to *.c file

nvme - Improve likelihood of dump success

* Get rid of blocking locks in the dump path.  This can cause severe
  problems if curthread is the idle thread.

* Set aside a request on every queue for dump operation.  This
  request can be retrieved and returned trivially.

* Add a few functions to support dump requests and polling for
  completionsssssssss.

* Remove the unused 'ticks' argument from nvme_wait_request().

kernel - Improve SPINLOCK, acpi_timer performance under qemu/kvm/VMs

* Improve acpi_timer 24-bit performance by reducing use of clock_lock().

* Integrate a delta test into acpi_cputimer.base and remove the
  out-of-band tracking globals.  We can query the timer and calculate
  the return value for deltas less than 1/16 full-range.  Beyond
  that range we need to get the clock_lock() to calculate the high
  24 bits safely and update acpi_cputimer.base.

  On SMP systems, cpu #1 will update acpi_cputimer.base more
  frequently, reducing the chance that multiple cpus will need the
  clock_lock() at the same time.

* Refactor the safe24 code to make it easier to use.

* Improve the regressive SPINLOCK assembly macro, bringing it up to
  modern performance levels.  This fixes unnecessary cache ping-ponging
  during contention.

Suggested-by: mjg_

ipfw3.8: Some minor adjustments.

ipfw3layer2: misc

ipfw3basic: misc

ipfw3nat: kernel NAT without libalias

More than just one address can be configured in each NAT
configuraton and each coming packet will be translated to
one of these addresses randomly.

e.g.
    ipfw3 nat 1 config ip 192.168.1.1 192.168.1.2

A schedule will automatically purge the expired translations.
and its interval can be configure via below sysctl variables.
    net.inet.ip.fw3_nat.udp_timeout
    net.inet.ip.fw3_nat.tcp_timeout
    net.inet.ip.fw3_nat.icmp_timeout

ipfw3basic: fix `to me`

ipfw3nat: a cleanup callout to purge the expired translations

sysctl net.inet.ip.fw3_nat.cleanup_interval to configure its interval

ipfw3nat: show translations

same as 'show ip nat translations'

ipfw3nat: release the nat context during fini

ipfw3nat: flush all configurations

ipfw3nat: delete configuration

kbdmux - Simplify taskqueue handling, and get rid of the 1HZ callout.

[bsd-family-tree] add OpenBSD 6.3, DragonFly 5.2.0

ipfw3nat: sysctl vars for nat state timeouts

Revert "libssh: Remove local vis.c from the build."

This reverts commit dc312142da731a4dd82f924bf4442734ec45e880.

It needs further thought, our <vis.h> does not have VIS_ALL
(see BROKEN_STRNVIS in lib/libssh/config.h).

libssh: Remove local vis.c from the build.

contrib/libpcap - Local adjustments

- Use system's net/bpf.h instead of libpcap's one.
- Will help fixing net/vde2 and possible other ports that use a
  combination of net/bpf.h and pcap.h as described in f92f178f07f

<net/dlt.h> - Add a bunch of DLTs from libpcap

- As done in commit 34b07254ea and for the same reason as in
  f92f178f07f
- In prepartion to libpcap local adjustments

bpf - Add two new instructions

- Add BPF_MOD and BPF_XOR
- In prepartion to libpcap local adjustments

Sync unvis(1) and vis(1) with NetBSD.