inet6: Dispatch frag6 slowtimo to netisr0 and stop using pr_slowtimo

domain: Nuke pffasttimo

kernel: Fix wrong indentation in a few places.

kernel/sdhci: Remove wrong semicolon.

kernel/ieee80211: Add missing braces.

kernel/urtwn: Add missing braces.

igmp: Use callout instead of pffasttimo.

icmp6: Don't use pffasttimo and dispatch fasttimo to netisr0

Reported-by: ivadasz

kernel: Add FreeBSD's virtio_scsi(4) driver.

Thanks to ivadasz for figuring out the shutdown freeze issue
(see c022ffc9484ecf07d8d7c4fb918d84a6154367be).

Tested-by: ivadasz, Peter Cannici <turkchess123@gmail.com>

kernel/cam: Add CAM_SCSI_IT_NEXUS_LOST (in preparation for virtio_scsi(4)).

larn(6): Fix two "use of index before limits check" issues.

Make sure that cam(4)'s dashutdown handler runs before DEVICE_SHUTDOWN().

This meant, that the DEVICE_SHUTDOWN() callback of scsi drivers was running
before the final SYNCHRONIZE_CACHE scsi command was sent by cam(4). For
most drivers this was still fine, since usually the DEVICE_SHUTDOWN()
callback - if it's even implemented - only flushes the command queue.

This change avoids freezing at the end of shutdown which was known to
happen with the twa(4), and virtio_scsi(4) drivers.

The SHUTDOWN_PRI_SECOND priority is selected, because it's so far unused,
and inbetween existing handlers in the shutdown_post_sync phase, that are
at SHUTDOWN_PRI_FIRST and at SHUTDOWN_PRI_DEFAULT.

Tested-by: swildner (on twa(4)), ivadasz (on virtio_scsi(4))

kernel - Fix kcollect swapuse%

* The calculation was improperly using vm_swap_size (which is really free swap
  remaining) instead of vm_swap_max.

kcollect - add swap% to plot output

* swap% used can be added easily, so go ahead and do it.  Added to the bottom
  graph.

kcollect - Fix gunplot warning when -x -f is specified

* gnuplot warns about multiple set terminal commands when the refresh
  occurs.  Rearrange when the command is sent to avoid the problem.

kcollect - Add a smoothing option (-s)

* Add an option (-s) which smooths the plot.  The smoothing algorithm uses
  an exponential average with fast collapse to the high-side so spikes do
  not get lost.

kcollect - Add -t option to limit output

* Add the -t N option, limiting the output to the most recent N seconds
  worth of samples.  'm'inutes, 'h'ours, and 'd'ays suffixes are allowed
  for convenience.

kcollect - Adjust ordering of gnuplot solids

* Adjust ordering so active use fills solids upwards instead of downwards.

kcollect - Implement gnuplot output feature

* Implement the gunplot output feature.  This feature currently
  hard-selects a set of fields (fields cannot be specified).

  Generates two graphs.  The first collects memory statistics
  and machine load.  The second collects cpu utilization and
  fault, syscall, and nlookup (file path resolution) rate.

* In gnuplot output mode, -f will cause the entire dataset to be
  regenerated every 60 seconds (I don't see any way to avoid this
  to update an existing gnuplot window).

* Finish implementing -o fields

kcollect - Fix swap text output

* Collection data for type 'm' is still stored in bytes.

* Fix field width for megabytes display field.

kernel - Store page statistics in bytes

* Store page statistics in bytes rather than pages.  Pages aren't useful
  for userland display and there is no reason to force useland to do the
  conversion.

* Include a realtime timestamp along with ticks in the structure.

* Flesh out text output for kcollect.  Reverse output order to print
  oldest data first, so output from the -f option stays consistent.

kernel - Add a sampling history mechanism called kcollect (2)

* Add collection code for remaining base statistics.

* Round-up some calculations.

Restore WARNS in ftpd, it was just for testing.

ftpd(8): Remove weird line with just '#'.

ccdconfig(8): Add missing free().

Reported-by: dcb
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/3014>

kernel: Remove some variables that are only set but never used.

Reported-by: dcb
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/3019>

libpuffs: Fix two asserts.

Reported-by: dcb
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/3013>

kernel - Add a sampling history mechanism called kcollect

* Add a kernel API which automatically samples useful statistics on a
  10-second period without needing a user program to poll it.  This API
  is enabled by default and can be disabled by setting kern.collect_samples=0
  in /boot/loader.conf (or setting it higher, if desired).

  The idea is for the kernel to always collect a solid amount of historical
  data for various useful statistics such that a user can pull it all up
  going back upwards of 23 hours (or more, depending on configured samples)
  after the fact.  "Oh, what happened recently"... bang.

* The sysctl provides sufficient information to userland to be able to
  process the statistics dynamically, without necessarily having to know
  what they are.

  The sysctl can be cut short to request less data for ongoing incremental
  collection, if desired.

* Implement "load" collection to start with as a test.  Add #defines for
  everything I want the kernel to collect.  The kernel API's critical path
  is lockless.

* Start working on a front-end user program called 'kcollect'.  This program
  will eventually generate fancy graphs via gnuplot and have a dbm interface
  for collecting data continuously if desired.

<sys/malloc.h>: Remove an empty #ifdef.

Sync ACPICA with Intel's version 20170728.

* Support in the resource walking code for _DMA.

* Various additions and improvements.

* Fix various bugs and regressions.

For a more detailed list, please see sys/contrib/dev/acpica/changes.txt.

polling: Simplify the code by using netsr_*msg functions.

netisr: Add netisr_sendmsg_oncpu()

bridge: It should only run in netisr_cpus netisrs

hammer2 - Allow @LABEL to be omitted

* Allow the @LABEL in "<devicepath>@LABEL" to be omitted when mounting.
  If omitted, H2 will automatically supply "@LOCAL".

* Provides convenience for simple use cases.

hammer2 - Synchronize write-in-place feature

* Disable hole creation when the check mode is disabled on a file.
  Writing zeros maintains any previously assigned block.

* Allows reserving storage for a file (such as an image) by dd'ing
  /dev/zero into it, as long as check mode has also been disabled
  on that file.  No data CRCs or hashes will be computed or checked
  for the file.

* Note that this should still work properly with snapshots.  A snapshot
  will force block reallocation on the master for any writes that cross
  the snapshot boundary.

hammer2 - Consolidate backend rename ops

* Reduce frontend XOP ops required for rename from 3 to 2 by integrating
  the unlink-target operation into xop_nrename.  The xop_nrename backend
  function now handles replacing the target namespace when it exists and
  will also get rid of any duplicates as a safety.

* Adjust the frontend inode locking order to try to avoid deadlocks.

* Adjust iparent documentation.

* Properly set iparent in the rename operation.  The iparent was not
  being adjusted at all.

* Properly set iparent in the inode create operation.  The iparent was
  improperly being set to 0 instead 1 when the parent directory was the
  mount point.

libc - Fix bug in rcmdsh()

* rcmdsh() (which really nothing should be using any more anyway) used
  a generic wait(NULL) to wait for a child to exit, but this can wind
  up waiting for the wrong pid in a multi-threaded or multi-fork environment.

* Solved by waiting on the specific pid instead.

sshlockout - Improve manual page

* Rewrite the manual page, provide a more concise example.

* Suggest using pfctl -T expire <seconds> instead of -T flush for the
  crontab entry.

Reported-by: Miroslav Lachman <000.fbsd@quip.cz>

libc/libpthread: Add clock_getcpuclockid() and pthread_getcpuclockid().

* Adjust clock_gettime() and clock_getres() to accept values obtained
  this way.

* Also set _POSIX_CPUTIME and _POSIX_THREAD_CPUTIME, although we should
  really support values obtained by these functions in clock_settime()
  too.

Based on and taken from FreeBSD's code.

Reviewed-by: sephe

Remove <stab.h> and <struct.h>.

* <stab.h> had information about the a.out related symbol table
  format.

* <struct.h> has been removed from FreeBSD since 2001.

Both headers are not needed by anything in our tree or dports.

kernel/time: Change get_curthread_cputime() to get_thread_cputime().

<sys/types.h>: Add guard around lwpid_t, also put under __BSD_VISIBLE.

altq/cbq: Drain pending callout and the cooresponding netmsg.

altq/cbq: Redispatch restart function to netisr0.

Now, all pseudo interfaces' if_start run in netisr_ncpus netisrs.

hammer2 - Update DESIGN document

* Update the DESIGN document to reflect changes.

hammer2 - correct readdir bug

* Correct a readdir iteration bug for the new DIRENT type.

hammer2 - Initial HARDLINK -> DIRENT replacement code

* Initial removal of the vestiges of the old embedded inode code.  Inodes
  were moved to the root directory long ago but directories still contain
  dummy OBJTYPE_HARDLINK inodes instead of real directory entries to point
  to the moved inodes.  These inodes ate 1024 bytes of disk space for each
  directory entry.

* Remove the dummy OBJTYPE_HARDLINK inodes and replace with new
  BREF_TYPE_DIRENT blockrefs.  These blockrefs represent directory
  entries, and the entire dirent will fit in the blockref (requiring
  no data ref) if the filename is <= 64 bytes.

* This new DIRENT mechanic significantly improves performance and reduces
  storage overage vs the previous mechanicn, for obvious reasons.

  Directory entries are now 128 bytes instead of 1024 bytes, and since they
  are collected together in indirect blocks or (if <= 4 entries) simply
  placed in the 4 blockrefs embedded in the directory inode, the related
  I/O tends to be fairly optimal.

  Only directory entries whos filenames are > 64 bytes long require an
  additional data block reference.  For now, due to other constraints,
  we use the minimum H2 allocation size of 1KB for these, so certainly
  space is wasted.  But in real life there aren't actually a whole lot
  of filenames that are that long so it should be fine.

hammer2 - Adjust blockref to create an embedded area, start dirent work

* Create a type-specific embedded area in the blockref structure.  Move
  data_count and inode_count into the new area.  The blockref structure
  size does not change.

* Adjust code to access data_count and inode_count conditionally for
  BREF_TYPE_INODE, DATA, and INDIRECT types only.

* Now that we have abandoned embedding inodes directly in directories for
  normal operation, start working on removing HAMMER2_OBJTYPE_HARDLINK and
  creating a real directory entry abstraction.

  The real directory entry abstraction will allow directory entries to be
  directly embedded in blockref structures, without requiring a data
  reference for any filename <= 64 bytes.  This will be accomplished by
  using the new embedded area in the blockref for the directory entry
  header and the check area for the filename (up to 64 bytes).

  This will significantly improve directory compactness and I/O efficiency
  by reducing the directory entry overhead from 1152 bytes (1024 + 128) to
  just 128 bytes and guaranteeing locality since the blockrefs are
  collected together in indirect blocks.  Another nice facet is that since
  inodes can embed up to four direct blockrefs, any directory with <=
  4 entries in it can embed those entries in the directory inode itself.
  So small directories will wind up being VERY compact.

  We haven't entirely abandoned embedding inodes in directories as
  directory entries.  In fact, the feature is still used for superroot
  entries, and may be allowed in the future mixed into normal directories
  for 'special' non-hardlinkable directory inodes for quota control,
  subdirectory
  snapshot, and (NFS) export purposes.

hammer2 - Cleanup pass, remove unused fields and code

* Remove the unused per-inode cluster cache.  The code isn't really
  compatible with the XOP mechanism.

* Remove unused hammer2_xop_nlink() and related structures.  Hardlinking
  is handled through normal hammer2_inode_*() functions and no longer
  needs an explicit backend.

* Remove the unused iocb.cluster field.  iocb's are now exclusively
  backend entities.

altq: Fix typo

ipflow: Use per-cpu callout, instead of pr_slowtimo.

The dynamically allocated per-cpu data structure may race the
ip_flowtimo, which calls ipflow_slowtimo.

Reported-by: zrj

sys: Add size directives to assembly functions.

No functional change intended.

sys: Some whitespace cleanup.

While there, fix indentation and few typos a bit.
No functional change.

Fix few typos.

While there, make few whitespace adjustments.

hack(6): Allow to play without setgid.

Lockfile hardlinking requires that user should own the perm file.

Remove kernbb(8).

It likely never worked in DragonFly (or until some early compiler
upgrade). FreeBSD stopped building it in 2004 (r132787).

Reported-by: zrj

Remove scsi_low.ko via 'make upgrade' (leftover from 075c6d38244abd0b0).

libstdcxx5: Add profiled library support.

lib/libexecinfo: Fix static and profiled archives.

Previously archives were embedded within archives.

Reported-by: tuxillo

cpu/asm.h: Use optimal alignment for assembly functions on x86_64.

Entry point at 16 byte boundary is better for x86_64.
Preserve previous alignment for sys/boot/ 32bit loader.

pg: Add missing dummy stack frames for mcount for x86_64.

Safer to do it in a single place than miss one in assembly function.
Fixes segfaults for c++ runtime library with profiled libc(strcmp.S).

Affects only -pg compilations.

pg: Use long for fptrdiff_t type.

On x86_64 it can easily overflow and very hard to detect.

libstdcxx5: Fix profiled library creation.

It was embedding archives within archives. Do not do it.
For now created library is still partially profiled, some expansion
to INTERNALLIB (like new INTERNALLIBPROF) handling will be needed.

This is a partial fix to have c++ -pg working.

While there, throw in ranlib for good measure.

Reported-by: tuxillo

bsd.lib.mk: Add INTERNALLIBPROF knob.

Allow to build profiled versions of internal libs without installing them.
Will be useful for the corner cases, spec. to build modern compilers or
libraries containing internal libraries like libexecinfo.a(libelf.a).

<glob.h>/<sys/time.h>: Clean up the namespace a bit better.

These headers don't need the full weight of <sys/types.h>.

While here, sync glob()'s prototype with the standard and fix a typo
in a comment.

<glob.h>/<sys/time.h>: Some minimal whitespace cleanup.

vlan: It should only run in netisr_cpus netisrs

ipflow: Regroup percpu data.

ipflow: It can only run in first netisr_ncpus netisrs

ipfw: ipfw only runs on netisr_ncpus

netisr: Add add support for netisr_ncpus

- netisr_forwardmsg(), which only forwards netmsg to netisr_ncpus.
- ASSERT_NETISR_NCPUS, which asserts the thread is one of the netisrs
  on netisr_ncpus.

In <signal.h> and <sys/devicestat.h>, include <sys/types.h> explicitly.

This is in preparation for cleaning up <sys/time.h>'s namespace, which
<signal.h> and <sys/devicestat.h> relied on previously for bringing in
<sys/types.h>, but which does not actually need it for its own stuff.

<sys/posix4.h>: Clean up a bit.

* This is only supposed to be included by the kernel. Error if _KERNEL
  isn't defined.

* Adjust #endif comments.

* Move include guard down.

netisr: netisr_forwardmsg -> netisr_forwardmsg_all

This function actually forwards netmsg to all available netisrs,
instead of netisr_ncpus netisrs.

For some modules, this is obviously not necessary; they will be
fixed one-by-one later.

Sync time(1)'s manual page a bit with FreeBSD, too.

Update the pciconf(8) database.

July 13, 2017 snapshot from http://pciids.sourceforge.net/

time: Use clock_gettime

gettimeofday is not suitable for measuring runtimes, as it is
not guaranteed to be monotonic.

time: Handle SIGINFO in time(1)

If the process receives SIGINFO print the elapsed time.

Taken-From: FreeBSD r158560 and r283073

time: Handle SIGINFO in time(1)

SIGINFO printing the time the given command is running.

Taken-From: FreeBSD r158560

time: Use close-on-exec instead of fclose() in the child process.

Taken-From: FreeBSD r244034

time: FreeBSD r169346

- Cast to intmax_t to print tv_sec in struct timeval.
- Avoid shadowing a global variable with a function argument.

time: Close an output file -o flag opened before execvp(3) in a child.

Taken-From: FreeBSD r157796

pthread: Add pthread_getthreadid_np() function, bump __DragonFly_version.

Using pthread_getthreadid_np() can directly use the thread-ID value that is
already cached in the pthread_t struct.

Partly Taken-From: FreeBSD

ifnet: Fix typo.

Define __* symbols for the malloc(3) functions to make wrapping easier.

This should match what FreeBSD and other systems do. Where the __* variants
always refer to the libc function, but the actual malloc(), free() etc.
symbols can be overrided by a malloc wrapper.

Resolve issue with libusb C++ header file inclusion.

Taken-From: FreeBSD (svn r302171)

Implement libusb_hotplug_register_callback() and _deregister_callback().

  Implement libusb_hotplug_register_callback() and
  libusb_hotplug_deregister_callback() for the LibUSB v1.0 API and
  update the libusb(3) manual page.

Taken-From: FreeBSD (svn r302080)

ifnet: Log rarely used ifnet address destruction.

ifnet: Break long lines.

ifnet: ifa_addr should always be configured.

ifnet: Delete INET address should not fail; panic upon failure.

This helps catch the root cause of a tun(4) related crash.

Reported-by: dillon

libthread_xu: Some small fixes.

* Add some parentheses for readability.

* 'count' is already unsigned, so remove useless <0 check.

ipflow: Unroll the first iteration of the hash generation loop.

Right shifting 32 bits w/ 32 bits is undefined behaviour.

Reported-by: swildner

kernel: Remove old unused #defines in kern_lock.c

The code using them was removed in 2003 (8a8d5d85f4fb81fc5b1dd4).

Repoted-by: Mateusz Guzik (mjg_)

kernel/acpi: Untangle the wakecode generation during buildkernel.

* Use file2c instead of hexdump and remove hexdump from the bootstrap
  tools.

* Remove the nested make invocation and the genwakecode.sh script
  too. Instead, do all the steps from acpica's Makefile and
  sys/conf/files.

* Finally, comment it all out because right now all of this isn't
  used.

* This commit also silences a "Object directory not changed from
  original" make warning.

Reported-by: zrj
Based-on:    FreeBSD

sshlockout - Also lockout on max authentication attempts

* Also lockout on max authentication attempts, because its really annoying
  to have log files filled with them.

Unbreak VKERNEL64 after apple_gmux module addition.

Better and more flexible DEV_SUPPORT checking logic is needed.
For now just fix the build.

kernel: Let thread IDs start at 1 instead of 0.

This is helpful in various places, for example Chromium.

Reported-by: ivadasz
Submitted-by: sephe
Approved-by: dillon

sbin/hammer: Drop rerundant ()

sbin/hammer: Fix get_buffer_data()'s wrong xor for undo buffer caching

As mentioned in 830ab40e
"sbin/hammer: Redo e4323571 partly (after reverted by 03d5db37)",
830ab40e (originally by e4323571) fixed a bug for get_buffer_data()
wrongly taking xor of zone-X offset and zone-2 offset, where X is
one of the direct zones other than zone-2.

This commit fixes it for indirect zone which is zone-3 (and only
zone-3 in this case). The reason zone-3 being different is because
zone-3 to zone-2 translation isn't direct mapped, but instead the
volume header has a pointer to big-blocks that belong to zone-3.

Also see 0942cbbc which made this xor bug clear.