acpica: Interrupt resource lookup failure is fine.  Add comment about it.

mptable: Reduce log verbosity

hyperv/vmbus: Complete vmbus initialization; interrupt cputimer is enabled

Most of the bits are obtained from FreeBSD.  However, The interrupt bits
are reworked:
- Since the vmbus message/event interrupt works in the same fashion as
  MSI-X, we just allocate MSI-X for them, instead of allocating IDT
  vector, rolling vmbus own interrupt vector and turning the interrupt
  handling inside-out.  The standard and generic bus APIs are used to
  allocate and setup per-cpu vmbus interrupt.
- Interrupt cputimer reuses the current per-cpu interrupt timer code.
- AutoEOI is not used, since we reuse the per-cpu interrupt timer IDT
  vector and MSI IDT vector.  After a brief discussion w/ Dexuan Cui,
  I concluded that AutoEOI probably does not provide noticible performance
  improvement but will introduce extra code complexity.  We leave it off
  for now.

Obtained-from: FreeBSD (mostly)

cputimer: Add per-cpu handler and private data for interrupt cputimer.

Update the pciconf(8) database.

June 7, 2016 snapshot from http://pciids.sourceforge.net/

vmbus.4: Fix stupid typo (and installworld).

Add a vmbus(4) manual page (based on FreeBSD's).

kernel: Add vmbus module to the build.

if_iwm - Fix channel list iteration in iwm_mvm_config_umac_scan().

docs - Update tuning.7

* Do a pass on tuning.7, getting rid of old cruft and putting in newer
  information.

hyperv: Initial import.  It only contains non-intr cputimer.

Obtained-from: FreeBSD

x86_64/timer: Xtimer is generic enough for per-cpu timer.

tsc: Log the final TSC frequency

kern: Update virtual machine detection a bit

Obtained-from: FreeBSD (partial)

Makefile.usr - Fix typo

hammer2 - Use B_IOISSUED

* Get rid of the hokey B_IODEBUG use case H2 had before.

* Integrate B_IOISSUED (which used to be B_IODEBUG) into hammer2 properly.

* Remove the dio crc_good_mask hack.  Now that hammer2_chain is more
  persistent we just use the flag in the cached hammer2_chain structure,
  clearing it if we determine that the kernel had to re-issue read I/O
  (at least in the full-block case).

* Has approximately the same performance as the dio crc_good_mask hack had
  and is a bit safer w/regards to chain aliasing to the same physical block.

kernel - B_IODEBUG -> B_IOISSUED

* Rename this flag.  It still operates the same way.

  This flag is set by the kernel upon an actual I/O read into a buffer
  cache buffer and may be cleared by the filesystem code to allow the
  filesystem code to detect when re-reads of the block cause another I/O
  or not.  This allows HAMMER1 and HAMMER2 to avoid calculating the check
  code over and over again if it has already been calculated.

Makefile.usr - A bit of cleanup

- Use targets instead of .if in a few checks.
- Exit on error for better scripting

if_iwm - Add and use iwm_phy_db_free(), to plug phy_db memory leak.

* Memory leakage in M_DEVBUF is now at ca. 2KB for each iwm(4) module
  load/unload cycle.

Taken-From: Linux iwlwifi

if_iwm - GC unused struct iwm_rx_buf. Two small nitpicks.

if_iwm - Use mbuf for large firmware commands, like OpenBSD does.

* We also need to consider the size of large firmware commands in
  iwm_alloc_tx_ring(), in the dma tag creation, when
  qid == IWM_MVM_CMD_QUEUE.

Inspired-by: OpenBSD and existing code in iwm_rx_addbuf()

kqueue.2: Improve markup.

hammer2 - Fix infinite flush recursion, reduce bulkfree console spam

* Fix infinitee flush recursions.  Chains marked HAMMER2_CHAIN_DESTROY
  must be recursed on so they can be deleted by the chain lastdrop code.
  Also add a missing downward propagation.

* Reduce console spam in the bulkfree code reporting the number of inodes
  scanned.

test - prt() double va_arg use

* ptr() needs to reset its va in prt() on the second use.

hammer2 - Fix *errorp, instrument strategy errors

* Instrument strategy call errors

* Instrument a number of errors with console messages

* Pre-zero *errorp in hammer2_write_file_core()

* Set trivial in hammer2_write_file() if lbase at or beyond the file EOF.

* use uiomovebp() to avoid mmap()/read() and mmap()/write() deadlocks.

kernel - Instrument vnode pager error

* Provide more information when reporting vnode pager errors

* Report nvextendbuf() error.  Fix type-o's

hammer2 - Fix upgrade deadlock

* Fix a deadlock which occurs when hammer2_chain_unlock() tries to
  upgrade the 'last' shared lock to exclusive.  This can deadlock if
  another thread obtains the chain shared before we manage to do the
  upgrade.

  Just use a 'try' here.  If it fails it means someone else got a lock
  (of any kind) and we don't have to worry about dropping the chain data.

* Replace hammer2_mtx_upgrade() with hammer2_mtx_upgrade_try().  Remove
  support for a blocking 'upgrade'.  It is no longer needed and it is
  too dangerous to have anyway.

if_iwm - Use DragonFly specific convenience functions for bus_dma stuff.

* Use bus_dmamap_load_mbuf_defrag() in iwm_tx().

* Use bus_dmamem_coherent() in iwm_dma_contig_alloc().

* Use bus_dmamap_load_mbuf_segment() in iwm_rx_addbuf().

* This means iwm_dma_map_addr() is no longer needed on DragonFly.

* Try to keep around the corresponding/old code for FreeBSD for easier
  syncing of changes to/from FreeBSD.

if_iwm - Compare paylen to datasz instead of sizeof(cmd->data).

test - Cleanup some test/debug code

* Cleanup some test/debug code

hammer2 - Add truncation lock, change dio persistence

* Add a truncation lock to interlock between write()'s and ftruncate()
  calls.  This prevents a junk buffer from surviving a ftruncate() if
  it happens to get written concurrently with the ftruncate().

* Change dio persistence.  Do not automatically persist dio's while refs
  are held, this creates problems for ref'd chains held in the
  hammer2_inode_t structure and prevents vfsync() from working properly.

  Add a persist_refs field which we will use later in the XIO code to
  persist a chain's DIO across an unlock/relock sequence, and possibly
  in other places too.

kernel - Try to improve 'Warning: vfsync skipped dirty bufs'... messages

* Use BUF_TIMELOCK instead of locking non-blocking if the vfsync()
  encounters a buffer that it cannot lock.

* This should theoretically reduce (hopefully prevent) instances of the
  'vfsync skipped N dirty bufs' warnings on the console which occur under
  heavy filesystem loads.

* Also remove 'Warning buffer ... was recycled' kprintfs.  This debugging
  was originally added to determine if a particular retry path was getting
  hit (it does), and is no longer needed.

sbin/newfs_hammer2: Change error messages to "hammer2"

sbin/newfs_hammer2: Fix ascii-art of initial image

sbin/hammer2: Add #include guard

sbin/hammer2: Use volatile sig_atomic_t

sys/vfs/hammer2: Change u_int{8,16,32,64}_t to uint{8,16,32,64}_t

hammer2 mostly uses uint{8,16,32,64}_t, so fix u_int{8,16,32,64}_t.

nvme - Add kernel dump support

* Add kernel dump support to the nvme driver.

* Issue a FLUSH and chip shutdown sequence after the dump completes.

hammer2 - Cache chain->data and chain->dio until last release.

* Instead of releasing the chain data and dio on unlock, leave it
  cached and intact until the last release.  This will allow an upcoming
  change to pass unlocked chain structures betweten threads to work
  efficiently.

* Fix a race condition in the chain->parent linkage test that could cause
  chain->data to be cleared improperly.

if_iwm - Fix iwm_dma_contig_free(). dma->map is always NULL here.

* When bus_dmamem_alloc is used, the bus_dmamap_t is set to NULL, so we
  were never actually freeing any dma memory allocations done via
  iwm_dma_contig_alloc(). So we should check dma->vaddr instead of
  dma->map here.

* This reduces dma memory leakage (as displayed by
  "sysctl vm.dma_free_pages") to 11 pages for each if_iwm module
  load/unload cycle.

hammer2 - Rename hammer2_thread.c to hammer2_admin.c

* hammer2_thread.c does a lot more than kernel threading support for H2.
  It's does all the XOP administration as well, and that is really more
  its primary function.

hammer2 - Allow chains to be cached

* Cache chain structures on the refs 1->0 transition.  We still drop the
  underlying dio and backing data (future optimizations are possible here
  within the DIO subsystem but we have to be careful when it comes to
  leaving kernel buffer cache buffers locked).

  This allows hammer2 to retain a lot of the infrastructure that gets reused
  across multiple system calls without having to constantly reconstitute it,
  improving performance.

* Fix a few recent chain->flags modifications that weren't atomic.  They
  have to be atomic.

if_iwm - Free rx ring on detach. Free nvm_sections data after parsing.

* Call iwm_free_rx_ring() when detaching.

* Free nvm_sections[i].data allocations after parsing the nvm data.

test - Pull in Mark Adler's hw iscsi crc32 bundle

* Pull his sample code into /usr/src/test/debug so we don't lose track of
  it.

* Implements iscsi crc32 in hardware, uncached streaming memory bandwidth
  is around 13 GBytes/sec.

kernel - Scan more pages in vm_pageout to fix OOM killer

* The pageout daemon was not being aggressive enough when working under
  the heavy I/O read loads now made possible by nvme.  Certain loads could
  improperly trigger the process killer.

* Instead of trying to calculate the exact number of pages per pageout
  queue to try to free up, which has had numerous edge conditions cause
  problems over the years, change it so we are a lot more generous.  The
  page queues are scanned with an iterator so pulling more pages off each
  one should work just fine.

* Fixes issue with combined tar cf /dev/null /mnt and find /mnt | wc -l
  on a nvme mount with 2.4M files on it + one large 16GB file.

kernel: Save some indent here and there and some small cleanup.

All these are related to an inspection of the places where we do:

if (...) {
   ...
   goto blah;
} else {
   ...
}

in which case the 'else' is not needed.

I only changed places where I thought that it improves readability or
is just as readable without the 'else'.

kernel/modnext: Improve the flow a bit regarding setting 'error'.

Remove am-utils, the Berkeley automounter suite (amd, amq, etc.)

We recently got FreeBSD's autofs(5) which replaces it. FreeBSD
added notes to their am-utils and related manual pages saying
that it is obsolete and advises to use autofs(5) instead.

DragonFly's port of it is almost surely broken and the last time
I heard from someone trying to get it to work was in 2013 and
back then it just hung (in select(), according to my notes).

So I don't think removing instead of trying to fix it will do
any harm.

drm/i915: Fix hangs on some broadwell machines

This driver failed to correctly initialize on some Broadwell systems,
symptoms being a black screen and an always spinning cpu fan.

world - Fix sysctlbyname() errno handling cases

* A number of routines inherited some bad code from each other,
  The return value from sysctlbyname() was not being tested prior
  to checking errno.  Reformulate.

Reported-by: Stephen Welker stephen.welker@nemostar.com.au

hammer2 - multi-thread read-ahead XOPs

* Distribute asynchronous logical buffer read-ahead XOPs to multiple
  worker threads.  XOPs related to a particular inode are usually sent
  to just one worker thread to reduce collision retries.

  This works around the high messaging overhead(s) associated with the
  current XOP architecture by spreading the pain around.  And even though
  the default check code is now xxhash, distributing the checks also helps
  a great deal.  The H2 chain topology actually parallelizes quite well for
  read operations.

  Streaming reads through the filesystem now run at over 1 GByte/sec (they
  capped out at ~340MB/sec before).  The effect on things like 'tar'
  are not quite as pronounced but small-file scan/read performance will
  typically improve by a tiny bit too.

* This change is probably more SSD-friendly than HDD-friendly for streaming
  reads due to out-of-order queueing of the I/O requests.  I ran a quick
  read test on a WD black and it appeared to perform acceptably so for
  now I'm going to run with it.  Adjusting read-ahead scale via
  vfs.hammer2.cluster_enable can be used to find a good value (for now).

* Remove the 'get race' kprintfs.  This case now occurs very often due
  to distributed read-aheads.

* chain->flags must use atomic ops, fix some cases I muffed up in recent
  commits.

hammer2 - Revamp worker thread signaling

* Revamp how worker thread signaling works.  Get rid of a number of race
  conditions and use atomic ops.  We no longer need thr->lk.

* Make hammer2_cluster_enable's scaling factor work with cluster_write()
  as well as cluster_read().

hammer2 - Add xxhash to H2 and throw in debug stuff for performance testing.

* Add the xxhash.  This is a high-speed non-cryptographic hash code
  algorithm.  Sam pointed me at the site, the code is available on
  github and is BSD licensed:

      git://github.com/Cyan4973/xxHash.git

  This hash has good distribution and is very fast.

* Change HAMMER2 to default to using xxhash64 instead of iscsi_crc32().
  xxhash can process data at several GBytes/sec where as even the
  multi-table iscsi_crc32() can only do around 500 MBytes/sec, which
  is too slow for today's modern storage subsystems (NVME can nominally
  do 1.5-2.5 GBytes/sec, and high-end cards can do 5GBytes/sec).

* There are four major paths that eat tons of CPU in H2:

  - The XIO path does a ton of allocation/deallocation and synchronous
    messaging.  This has not yet been fixed.

  - The check code (when it was iscsi_crc32()) slowed everything down.
    This is fixed, the default check code is now xxhash64.

  - The check code was being called over and over again for the same cached
    buffer due to the hammer2_chain_t structure being thrown away.

    Currently a hack involving a mask stored in the underlying DIO is being
    used to indicate that the check code was previously valid.  This is
    strictly temporary.  The actual mask will have to be stored in the
    device buffer cache buffer and a second one in the chain structure.

    The chain structure must be made persistent as well (not yet done).

  - The DEDUP code was also calling iscsi_crc32() redundantly (at least for
    reads).

    The read path has been fixed.  The write path is doable but requires more
    coding (not yet fixed).

  - The logical file cluster_read() in the kernel was not doing any read-ahead
    due to H2 not implementing BMAP, creating long synchronous latencies.

    The kernel code for cluster_read() and cluster_readcb() has been fixed
    to do read-ahead whether a logical BMAP is implemented or not.  H2 will
    now pipeline reads.

Suggested-by: Samuel J. Greear <sjg@thesjg.com> (xxhash)

hammer - Make vfs.hammer.cluster_enable an integer

* Instead of being a boolean, make it an integer and use it to control
  how much read-ahead is requested (in 64KB blocks).

* Change cluster_enable from 1 to 2 to roughly match the cluster_read()
  changes committed to the kernel.

* Make hammer_io_indirect_read() use cluster_readcb() instead of breadcb()
  so we get read-ahead on this path.

kernel - Fix some clustering issues

* Change B_RAM functionality.  We were previously setting B_RAM
  on the last async buffer and doing some cruft to probe ahead.

  Instead, set B_RAM in the middle and use a simple heuristic to
  estimate where to pick-up the read-ahead again.

* Clean-up the read-ahead.  When the caller of cluster_read() asks for
  read-ahead, we do the read-ahead whether or not BMAP says it is
  contiguous.  All a failed BMAP does now is prevent cluster_rbuild()
  from getting called (that is, it doesn't try to gang multiple buffers
  together).

  When thinking about this, the logical buffer cache sequential heuristic
  is telling us that userland is going to read the data, so why stop and
  then have to stall on an I/O read later when userland actually reads
  the data?

* This will improve pipelining for both hammer1 and hammer2.

kqueue.2: Add some info about EVFILT_FS.

nvme - Add interrupt coalescing support

* Add interrupt coalescing support.  However, disable it in the code for
  now by setting its parameters to 0.  I tried minimal parameters (time
  set to 1 which is 100uS and aggregation threshold set to 4) and it
  completely destroyed performance in all my tests on the Intel 750.

  Even in tests where the interrupt rate was less than 10,000/sec, the
  intel controller is clearly implementing a broken algorithm and is
  actually enforcing that 100uS of latency even if the interrupt rate
  has not exceeded the rate.  So even relatively large transfers had
  horrible performance.

  So for now the code is in, but its turned off.

sys/vfs/hammer: Remove sys/vfs/hammer/hammer_freemap.c

This file does nothing and hasn't done anything since 2008.

> This space reserved for our low-level storage localization manager XXX

The current blockmap code has nothing to do with localization
(which is high-level idea than blockmap), and this probably
won't be implemented in the future as well.

sys/vfs/hammer: Add HAMMER_VOL_ALLOC for reserved space after volume header

HAMMER_VOL_ALLOC is where "boot area" starts.

sys/kern: Make nlookup() keep ESTALE on retry

This basically doesn't happen with autofs, but keep the return
value with ESTALE instead of updating it with ENOENT on retry.

01:30 (dillon) though you might want to return ESTALE if the second try fails
01:30 (dillon) instead of ENOENT
01:30 (tkusumi) why ?
01:30 (dillon) so the user can distinguish between the two

sbin/hammer: err() on readhammerbuf() failure

If readhammerbuf() failed to read 16KB buffer, it should err()
regardless of AssertOnFailure flag.

Continuing with bzero'd buffer won't help anything other than
making a problem difficult to investigate.

nvme - Adjust queue mapping

* Add more fu to the manual page.

* Adjust queue mappings.  Get rid of the multi-priority read and write
  for the optimal mapping (4 queues per cpu).  Instead just have 2 (a read
  and a write queue), which allows the card to use an optimal mapping
  when 31 queues are supported.

nvme - Check admin_cap

* Check admin command capabilities, do not attempt to query the controller
  list or namespace list if namespace management is not supported.

  NOTE: The Intel 750 returns total garbage for unsupported ns management
  commands without return any error code in the status.

* Minor man-page fixes.

nvme.4: Remove an unneeded .Pp and use .Dx.

README.examples: Remove autofs/. It's not installed at the moment.

autofs: Add "Donated to DragonFlyBSD by ..." to manpages

if_iwm - Avoid bus_dmamap_create()/_destroy() calls in iwm_rx_addbuf().

* Instead of doing bus_dmamap_create() and bus_dmamap_destroy() all the
  time, create an extra bus_dmamap_t which we can use to safely
  try bus_dmamap_load()-ing the new mbuf. On success we just swap the
  spare bus_dmamap_t with the data->map of that ring entry.

auto_master.5: Fix .Sx markup.

de: Install if_init.

This makes 'ifconfig deX inet x.x.x.x' work.

kernel/iwm: Fix building without IWM_DEBUG.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Remove random download note as it no longer happens that way, and clean up.

if_iwm - Use vap->iv_myaddr instead of ic->ic_macaddr when vap != NULL.

* ic_macaddr is only used for the initial mac address provided by NVM.
  We should rather use vap->iv_myaddr when vap != NULL, to allow the
  MAC address to be changed via e.g. ifconfig.

if_iwm - Add support for Intel AC 8260 chipset.

Taken-From: OpenBSD, Linux (iwlwifi driver)

iwmfw - Add 8000C firmware for Intel AC 8260 support.

nvme - Cleanups, limit nirqs

* Cleanups in the manual page.

* Limit nirqs to ncpus + 1.  We don't need more than this number for now.

usr.sbin/autofs: Unbreak make depend.

Add back -I{.CURDIR} path for common.l

sys/cpu: Unbreak world.

For now just hide new functions under _KERNEL.

While there, perform some cleanup.

drm/i915: Remove empty header.

nvme - Fix minor cpu mapping issues

* Fix some issues with the cpu mapping.  cpu 0 was not getting properly
  accounted for due to an array overflow bug.  And do a few other things.

* With these changes, extints are nicely distributed across all cpus on
  large concurrent workloads, and IPIs are minimal-to-none.

nvme - Implement MSIX and reverse comq mapping

* Implement MSIX.  Map completion queues to cpus via a rotation.

* Adjust the comq mapping code.  For now prioritize assigning a 1:1 cpu
  mapping for submission and completion queues over creating separate
  queues for reads and writes.

* Tested, systat -pv 1 shows this is capable of pushing 50,000+ interrupts
  per second on EACH cpu (all 8 in the xeon box I tested), and run
  250,000 IOPS x 2 cards (500,000 IOPS) using interrupt based comq handling.

ahci/misc - Add manual links

* Add manual links to nvme.4 to some of the other manual pages.

ahci - update manual page

* Fixup the copyright and enhance some of the text.  The AHCI driver is
  really almost a complete rewrite... even a almost-from-scratch rewrite,
  so it is appropriate to add the DragonFly copyright to the comments
  section.

nvme - Add manual page

* Add the nvme(4) manual page and include some general performance metrics.

nvme - Iterate disk units for multiple devices

* Just iterate disk units starting at 0 for now, instead of trying to
  use the namespace id, preventing collisions when multiple nvme
  controllers are present.

nvme - Fix b_resid prior to biodone()

* Oops, forgot to set b_resid to 0 on a successful I/O prior to biodone().
  Could cause 'dd' tests to EOF early.

debug - fix randread

* Fix randread when used with large > 2GB areas.  random() was limiting
  the range.

kernel - Add nvme driver to the kernel build as a module.

* Add the nvme driver to the kernel build as a module.

kernel - Add bus_space_read_8() and bus_space_write_8()

* Add bus_space_read_8() and bus_space_write_8() for memory-mapped
  handles only (used by nvme).

kernel - Add PCIS_STORAGE_NVM

* Add #defines for PCIS_STORAGE_NVM and friends

nvme - Flesh out the driver more

* Handle the case where there are an insufficient number of queue entries
  available to handle BIOs (tested by forcing maxqe to 4).

* Issue delete queue commands and issue and wait for controller shutdown
  on a normal halt/reboot as per spec.

* Disallow new device open()s during unload.

automountd(8) et al.: Clean up the Makefile a little bit.

* The current dir is searched automatically for includes.

* WARNS=6 is not necessary since it is the default for usr.bin.

* Add DPADD for make depend.

Adjust share/examples/etc/README.examples for autofs.

Add some assignments to etc/defaults/rc.conf for autofs.

Add autofs to LINT64.

sys/vfs/autofs: Remove .vfs_sync = vfs_stdsync,

This should have been removed by ef560bee along with other fs.

if_iwm - Fix m_defrag() usage. Copy-pasto when copying code from OpenBSD.

if_iwm - Add and use iwm_is_valid_ether_addr() function.

* While there use IEEE80211_ADDR_EQ and IEEE80211_ADDR_COPY macros where
  appropriate.

if_iwm - Avoid leaking memory, and fix error handling in iwm_rx_addbuf().

if_iwm - When transitioning to INIT, vap->iv_newstate will just ignore arg.

* Just fix the comment to be more helpful here.