i386 removal, part 59/x: Revert a i386 specific local change in dma(8).

Remove some old architecture handling.

Affected #ifdefs:

__arm__
hp300
__ia64__
__mips__
__powerpc__
__sparc64__

i386 removal, part 58/x: Remove <sys/link_aout.h>.

Its last user was removed in aeaecd482b46e655e59bf281f04e91d0bb4f773b.

drm - Fix lock order reversal

* Lock order reversal caused by holding dev_pager_mtx() across
  the object->un_pager.devp.ops->cdev_pg_dtor() call.  devpgr -> drmslk.

* Move the lock from before to after the call.  Holding the mutex shouldn't
  be necessary across the call.  This also fixes the reversal as devpgr is
  no longer held across the call.

* Fixes a lock order reversal against drm_ioctl() which obtains drmslk first
  and recurses into a device pager operation which gets devpgr.

* Fix a few other incidental bugs that would normally not be triggered by
  the DRM code due to outer locks held by the DRM code.  Plus some formatting
  fixes.

kernel - Fix swap warning message when swap is full

* Wrong variable tested caused confusing warning to be output.  Output
  swap full warning instead of 'no swap space configured' warning when
  swap is full and swap space has been configured.

Reported-by: tuxillo

LIBPRIV: Add private includes for dfuife_curses.

installer(1) is only built during make release or WANT_INSTALLER=yes.

Relocate readline and ncurses headers to /usr/include/priv

Having public headers for private libraries can cause confusion for
software that assumes the presence of headers leads to the availability
of the libraries.

Discussed-with: dillon

sys/vfs/hammer: Fix wrong comment

7f1e2b68 should have had 4TB, not 4GB.

wlan - Don't check bgscanidle setting in net80211 for full-offload scan.

* If full-offload scan is used, the NIC driver (or rather the firmware of
  the NIC) should take care of interrupting and continuing the background
  scan. So net80211 should ignore the vap->iv_bgscanidle setting then,
  instead the NIC driver might look at this setting and pass it on to the
  firmware in some way if possible.

* Since full-offload scans won't be explicitly interrupted by net80211, it
  also doesn't really make sense to check the vap->iv_bgscanidle condition
  in that case, before starting a background scan. If the NIC driver
  advertises background scan support and full-offload scanning, the firmware
  should be able to execute that scan without interfering too much with our
  data traffic.

Taken-From: FreeBSD (svn r308785)

drm/linux: add sg_pcopy_{from/to}_buffer()

Needed for i915 guc fw loading.

Found on github implemented by mattmacy@ FreeBSD repo

drm/linux: Add ida_simple_get()

Inspired-by: NetBSD

drm/linux: add few ida_* functions.

Needed for i915 guc submission.

zRJ-note: technically should be in idr(9) but for now will do.

Found on github implemented by mattmacy@ FreeBSD repo

drm/linux: Add cache_line_size()

drm/linux: add atomic64_cmpxchg()

Found on github implemented by mattmacy@ FreeBSD repo

drm/i915/trace: Add missing include files

drm/linux: MODULE_FIRMWARE is defined in linux/module.h

drm/linux: implement div64_u64_rem() helper in math64.h

dntpd: Fix typo.

gcc50: Add alternative variant of pthread presence checking.

There are few issues that ld.gold is having with DragonFly libgcc_pic.a.
This alternative variant is less strict when linking c++ projects.

LINT64: Fix buildkernel with WANT_HAMMER2=yes.

Mostly #if DEBUG paths, also use panic() in z_error() for kernel.

nvi: Convert catalog creation to use hostprog.

nvi dump utility is not part of btools, so just split vidump as hostprog.
There were few issues:
 * build races like dump and say spanish get created twice (and raced)
 * buildworld failures, from time to time i hit ./dump linking race (rare)
 * ./dump being used as target program (problems on crosscompilations)
 * missing env LANG=C for sort, minor issues in awk script and SHAREDIR.

Now even "cd usr.bin/vi && make -j9 depend all" should be race free.

gcc47: Remove bits/ handling.

Not used by any active sources.
Now quickworld should not delete libstdcxx .depend on no source changes.

gcc50: Fix logic in cxx hostlib.

Now quickworld should not delete libstdcxx .depend on no source changes.

installer - Fix a bug in survey_storage()

- survey_storage() issues DIOCGPART on every disk present in
  kern.disks in order to retrieve information about it.
  The problem was that a failure to get that information from
  any disk in the list caused the whole storage survey to be
  marked as failed. This happens, for example, with some card
  readers that present the disk devices even though there is no
  media inserted on the corresponding slot.

- Fix the logic in the installer and allow to check all disks
  in the system.

installer - Allow to specify cmdnames file path

if_iwm - Check sc->sc_attached flag in suspend/resume callbacks.

* There is (almost) nothing to do in suspend/resume if if_iwm has failed
  during initialization (e.g. because of firmware load failure) and was
  already uninitialized by iwm_detach_local().

sys/vfs/hammer: Fix comments

sys/vfs/hammer: Remove wrong comment

sys/vfs/hammer: Use HAMMER_HEAD_DOALIGN()

sbin/hammer: sbin/hammer: Fix hammer show-undo output format

Add some ondisk redo fields.

sys/vfs/hammer: Change unused ondisk redo_mtime to reserved

It was never used after added in 6048b411 in 2010.

if_iwm - Move iwm_read_firmware() call into iwm_attach().

* We should load the firmware exactly once before the driver really
  initializes the hardware the first time, and unload it at detach time.
  There is no need to retrieve the firmware during execution of
  iwm_mvm_load_ucode_wait_alive(), we should make sure we already have the
  firmware data at hand before that.

* The existing sc_preinit_hook code fails to deal with the case where
  if_iwm is loaded by the loader (or is statically linked) and the
  firmware needs to be loaded from disk. So we can just call
  iwm_read_firmware() from iwm_attach() directly.

* A separate solution will have to be added to properly defer the firmware
  loading during bootup, until the necessary filesystem is mounted.

Do 3b5eca529baf58ea74a485139963552cc4c1d977 a bit better.

FWIW, keep the NO_CRYPT dependency in lib/libcrypt for various sources.

if_iwm - Attach to new AC3168 and AC8265 chipsets (untested).

iwmfw - Add version 22 firmwares for AC3168 and AC8265 chipsets.

sbin/hammer: Fix hammer show-undo output format

The whole size should be in %d since data size is in %d as well.

sys/vfs/hammer: Add hammer_xlate_to_undo()

sbin/hammer: Refactor left/right boundary elms in hammer show

hammer show doesn't need to pass around pointers to left/right
boundary elms in every function while walking the B-Tree.

Left/right elms are there to test whether a B-Tree node in
question fits in boundaries defined by its parent, which means
that hammer show always requires the right elm be (left+1), but
not some random elm after the left elm. Because of this, it
only needs to pass around the left elm.

The code is more efficient plus look better without bunch of
left/right stuff.

sbin/hammer: Cleanup zone statistics

sbin/hammer: Cleanup hammer show-undo

sbin/hammer: Make hammer show-undo support zone statistics

sys/vfs/hammer: Add HAMMER_UNDO_DOALIGN()

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sbin/hammer: Cleanup blockmap

drm/linux: Add clamp_val()

Obtained-from: FreeBSD

drm/linux: Add ktime_get_boottime and ktime_ms_delta()

gcc50: Install liblto_plugin.so as +x.

Sad but this limitation in gcc driver requires that utility be executable.
This matches how it is done on standard installations, so follow along.
Some ports rely on gcc -print-prog-name=liblto_plugin.so working.

build: Suppress exessive echoing.

LIBPRIV: Add common PRIVATELIB_LDFLAGS definitions.

Simply being able to change it in two places is easier than everywhere.
Also add PRIVATELIB_BLDFLAGS that is intended for bootsrapping only.
While there, perform some cleanup for dup entries.

LIBPRIV: Introduce PRIVATELIB knob (just like INTERNALLIB).

Collect common private libraries path handling bits into share/mk/bsd.lib.mk.
It is cleaner this way, prevents issues like manual paths and/or ignoring stale
.depend for /usr/obj/usr/src/world_x86_64/usr/lib/priv/priv/libprivate_ncurses.a

flex: Break the hardlinks to fix quickworld issues.

Upon repeated quickworld run when install -C installs the libfl.a it breaks
the previous hardlink and retrigers relink for anything that depends on -ll.

Solve this by changing logic to install compat libs for install target only.
During buildworld only main ${LIBL} should be used where needed.

Fix a single case where -lfl was used in binutils. Add missing DPADD too.

flex: Rename and install the main libl.a as primary one.

libfl and libln are only used as compat ones for external sources linkage.
Whole base makefile system uses the ${LIBL}.

sys/vfs/hammer: Add HAMMER_ZONE_LAYER2_NEXT_OFFSET()

Note that this is different from HAMMER_BLOCKMAP_LAYER2_OFFSET().
HAMMER_BLOCKMAP_LAYER2_OFFSET() is an offset of layer2 entry within
a big-block for layer2, but not zone offset itself.

sys/vfs/hammer: Add HAMMER_ZONE_LAYER1_NEXT_OFFSET()

Note that this is different from HAMMER_BLOCKMAP_LAYER1_OFFSET().
HAMMER_BLOCKMAP_LAYER1_OFFSET() is an offset of layer1 entry within
a big-block for layer1, but not zone offset itself.

bsd.crunchgen.mk: Sync with FreeBSD.

This finally allows not to relink rescue image if there are no changes and
have clean stage of "4d: building everything.."!
Helps a lot on LTO quick rebuilds.

While there, remove hack from crunchgen(1), it no longer should be needed.
Please report build races if any.

Taken-from: FreeBSD

bsd.crunchgen.mk: Split few monolitic targets.

For easier debug.

Taken-from: FreeBSD

bsd.crunchgen.mk: Simplify mk logic a bit.

Just provide defaults if needed.

bsd.crunchgen.mk: Remove dub handling of CANONICALOBJDIR.

It is already handled in bsd.obj.mk.
While there, drop non functional NO_DEBUG_FILES and update bsd.README.

bsd.crunchgen.mk: No longer exclude -P option.

It was used only when fmake.
While there, do not hardcode crunchgen name and add env handling.

Taken-from: FreeBSD

bsd.crunchgen.mk: Use single style for variables.

No functional change.

if_iwm - Advertise full-offload scan support, fixes scan while associated.

* This avoids the firmware panics previously experienced when starting a
  wlan scan (e.g. with "ifconfig wlan0 scan" or "scan" command in a
  wpa_supplicant user-interface), while associated to an AP.

wlan - Import initial full-offload scan support from FreeBSD.

This is a very simple addition to the net80211 scan support.

It doesn't implement a replacement scan interface - it just disables
the pieces that we should disable to make this lifecycle a bit
more managable.

There's more work to come before full scan offload support is available
but it should be good enough for driver work.

* add a flag to say "full offload"
* don't do probe requests when scanning full-offload - firmware can do that
* don't do powersave transitions and buffering - firmware can do that
* don't abort a background scan upon reception of a single packet.
  Full offload drivers don't need this behaviour - they do it in firmware.

Taken-From: FreeBSD (svn r307602, r308007 and r308008)

sys/vfs/hammer: Use HAMMER_BUFSIZE_DOALIGN() and variants

This should have been in bbc5e78b (failed to catch these).

sys/vfs/hammer: Cleanups

sys/vfs/hammer: Add HAMMER_BIGBLOCK_DOALIGN()

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

kernel - Attempt to fix cluster pbuf deadlock on recursive filesystems

* Change global pbuf count limits (used primarily for clustered I/O) to
  per-mount and per-device limits.  The per-mount / per-device limit
  is set to nswbuf_kva / 10, allowing 10 different entities to obtain
  pbufs concurrently without interference.

* This change goes a long way towards fixing deadlocks that could occur
  with the old global system (a global limit of nswbuf_kva / 2) when
  the I/O system recurses through a virtual block device or filesystem.
  Two examples of virtual block devices are the 'vn' device and the crypto
  layer.

* We also note that even normal filesystem read and write I/O strategy calls
  will recurse at least once to dive the underlying block device.  DFly also
  had issues with pbuf hogging by one mount causing unnecessary stalls
  in other mounts.  This fix also prevents pbuf hogging.

* Remove unused internal O_MAPONREAD flag.

Reported-by: htse, multiple
Testing-by: htse, dillon

kernel - Add nvme to the default kernel build

* Add the nvme disk driver to the default kernel build, it no longer
  needs to be loaded as a module.

sbin/hammer: Cleanup alloc_blockmap()

Layer1 could be assertion.
It's essentially the same as what 0d1f6085 in 2015 checks.

sbin/hammer: Add another condition to assert_volume_offset()

which is kinda obvious and expected to be false on newfs time.

sbin/hammer: Split alloc_bigblock() into two functions [2/2]

This function is currently only used by zone-3, but it's actually
only usable by zone-3 from the way it's implemented, so rename it
to alloc_undo_bigblock() and get rid of zone argument.

The way blockmap offsets (in root volume) get updated for zone-3
differs from other zones like 8/9/10/11, and this function which
doesn't update blockmap offsets on allocation only works against
zone-3.

sbin/hammer: Split alloc_bigblock() into two functions [1/2]

For zone-4, all you can (need to) do is increment offset by 8MB,
so split alloc_bigblock() into bootstrap_bigblock() for zone-4 and
alloc_bigblock() for zone-3. It's easier to understand this way.

Adjust various things after the removal of secure/.

* Fix etc/Makefile: This brings back installation of /etc/ssh_config
    and /etc/sshd_config to our IMG/ISO.

* Add back DES and Blowfish functions to libcrypt.

* Remove installation of CA.pl/CA.sh. They don't seem to be part of
  LibreSSL.

* Remove obsolete paths from whereis(1).

* Adjust hier(7) manual page.

* Adjust openssh upgrade instructions.

* While here, fix a typo in Makefile.ssh.common.

if_iwm - The iwm_prepare_card_hw() in iwm_attach() is only needed on 8K hw.

* Doing the iwm_prepare_card_hw() call in iwm_attach() only on Family 8000
  hardware matches the code in Linux iwlwifi.

* While there remove DEFAULT_MAX_TX_POWER definition which is unused, and
  has a value different from IWL_DEFAULT_MAX_TX_POWER in iwlwifi.

if_iwm - Use rates given in struct ieee80211_txparam for non-data transfers.

* Make iwm_tx_fill_cmd() just return the uint8_t rate, to avoid looking up
  the firmware rate-index for DATA transfers.

Taken-From: FreeBSD (svn r306286)

if_iwm - Update firmware rs table, instead of indexing the table in tx cmds.

* Rather than providing a non-zero index into the firmware RS table,
  we should always use index 0 and update the firmware RS table whenever
  our chosen tx rate for data-frames changes.

* Send IWM_LQ_CMD updates when the tx rate gets updated by the net80211
  rate control (which is after we tell the tx status to the net80211
  rate-control in iwm_mvm_rx_tx_cmd_single()).

* Disregard frames transferred with a different tx rate than the currently
  selected rate for the rate-control calculations. This way we avoid
  counting management frames (which are sent at a slow, and fixed rate),
  as well as frames we added to the tx queue just before a new IWM_LQ_CMD
  update took effect.

Inspired-By: Linux iwlwifi

build - Fix modifying operation to /usr/obj during installworld (2)

* efi/boot1 needs the same treatment as the last commit.

Reported-by: ivadasz

build - Fix modifying operation to /usr/obj during installworld.

* The build for /usr/src/sys/boot/efi/loader is incomplete.  The
  installworld step tries to build the last piece.  Add the piece to
  all: to properly build it during the build phase and not the
  install phase.

sys/vfs/hammer: Add HAMMER_DATA_DOALIGN() and variants

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sys/vfs/hammer: Add HAMMER_BUFSIZE_DOALIGN() and variants

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sys/vfs/hammer: Add HAMMER_BLOCKMAP_LAYER2_DOALIGN()

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sbin/hammer: Add a TODO comment for hammer recover

The way hammer recover simply walks through zone-2 offset from
0 to the end of the volume is inefficient.

Since we know most big-blocks are not for zone-8 (B-Tree zone),
most of the time and I/O spent for testing B-Tree nodes is wasted.
If zone-2 offset can be reverse mapped to zone-X, it no longer
needs to always call recover_top() assuming offsets are for
B-Tree nodes when we know it's mostly wrong.

Reverse mapping can also avoid possible misinterpretation of
zone-2 buffers (i.e. wrong cast to hammer_node_ondisk_t).

tic(1): Add missing beforedepend for termsort.c.

Noticed-by: swildner

installer - Enhance test_storage program

- Warn when run as non-root.
- Actually print detected disks after execution.

installer - Reorganize test directory a bit

doc - Document 'crypt' option in fstab(5)

* The 'crypt' was documented in swapon(8) but most people would probably
  look for it in fstab(5), so put it there too.

boot: Use snprintf() when filling command_errbuf[] w/ dynamic content.

Taken-from: FreeBSD

Sync zoneinfo database with tzdata2016i from ftp://ftp.iana.org/tz/releases

* Pacific/Tongatapu begins DST on 2016-11-06 at 02:00, ending on
    2017-01-15 at 03:00.  Assume future observances in Tonga will be
    from the first Sunday in November through the third Sunday in
    January, like Fiji.  (Thanks to Pulu ʻAnau.)  Switch to numeric
    time zone abbreviations for this zone.

* Northern Cyprus is now +03 year round, causing a split in Cyprus
    time zones starting 2016-10-30 at 04:00.  This creates a zone
    Asia/Famagusta.  (Thanks to Even Scharning and Matt Johnson.)

* Antarctica/Casey switched from +08 to +11 on 2016-10-22.
    (Thanks to Steffen Thorsen.)

* Several corrections were made for pre-1975 time stamps in Italy.
    These affect Europe/Malta, Europe/Rome, Europe/San_Marino, and
    Europe/Vatican.

  First, the 1893-11-01 00:00 transition in Italy used the new UT
    offset (+01), not the old (+00:49:56).  (Thanks to Michael
    Deckers.)

  Second, rules for daylight saving in Italy were changed to agree
    with Italy's National Institute of Metrological Research (INRiM)
    except for 1944, as follows (thanks to Pierpaolo Bernardi, Brian
    Inglis, and Michael Deckers):

    The 1916-06-03 transition was at 24:00, not 00:00.

    The 1916-10-01, 1919-10-05, and 1920-09-19 transitions were at
      00:00, not 01:00.

    The 1917-09-30 and 1918-10-06 transitions were at 24:00, not
      01:00.

    The 1944-09-17 transition was at 03:00, not 01:00.  This
      particular change is taken from Italian law as INRiM's table,
      (which says 02:00) appears to have a typo here.  Also, keep the
      1944-04-03 transition for Europe/Rome, as Rome was controlled by
      Germany then.

    The 1967-1970 and 1972-1974 fallback transitions were at 01:00,
      not 00:00.

<sys/cdefs.h>/<machine/stdint.h>: Fix __STDC_VERSION__ macro.

Noticed-by: zrj

<netinet/ip.h>: Few style(9) fixes.

Looks like IPTOS_CE and IPTOS_ECT were deprecated and should not be used.
Leave for now, still used by ip_ecn.c and ipfw2.c.
Same applies to _IP_VHL version.

No functional change.

<netinet/ip.h>: Add ToS defs for RFC 2474 and 5865.

While there, convert IPTOS_PREC macros to use IPTOS_DSCP definitions.

Taken-from: OpenBSD, FreeBSD(IPTOS_DSCP_VA)

nc(1): Adjust makefile and hook into buildworld.

Given that nc(1) in dports is only installed when dports/libressl is used,
but not available when dports/openssl, it is useful to have base nc(1).
Also it makes a very good test case for LTO toolchain testing:
LTO + NOSHARED + libressl + openbsd compat layer + certain parts of libc.
Since base does not provide libprivate_tls lib, compile tls bits just for nc.

libressl: Few local modifications for netcat.

 * Exclude pledge(), has no use for us.
 * Make strtoport() static to prevent missing prototype warning.

No functional change for libprivate_crypto or libprivate_ssl.

gcc50: Hook missing source into the libgcc.a.

Missing hidden symbol __sfp_handle_exception.
Fixes linkage: gcc main.c -Wl,--whole-archive -Wl,-v -nostdlib -lgcc -lc

build - Fix bootstrap build for csh

* Fix the bootstrap portion of the buildworld for csh on systems which are
  updated past the termcap library rename but do not yet have
  libprivate_crypto.

md5 - Fix seg-fault

* Fix seg-fault due to mixed API use.

Reported-by: marino, others

if_iwm - Sync rs (rate-selection) API definitions from Linux iwlwifi.

* While there clean up alignments and line wrapping in existing
  definitions for rs API in if_iwmreg.h

Taken-From: Linux iwlwifi

if_iwm - Add iwm_mvm_send_lq_cmd() from Linux iwlwifi to if_iwm_util.c.

Taken-From: Linux iwlwifi

sbin/hammer: Fix wrong error message

It's supposed to be "does not match".

sbin/mount_hammer: Fix/cleanup test_volumes()

The requirement of this function is basically the same as
__verify_volume() in sbin/hammer/ondisk.c, so make it
__verify_volume() based.

Note that this function doesn't necessarily print the real
reason mount(2) failed, as shown in a comment. This function
just takes a wild guess with sanity checks on volume header.
The real reason is likely to be in dmesg. This originally
didn't exist, but was added by 1a607e3e in 2009.

sbin/mount_hammer: Simplify ondisk verification

Unlike sbin/hammer or sbin/newfs_hammer, sbin/mount_hammer
has no restriction regarding I/O size since it's readonly.
It doesn't have to be 16KB as long as I/O size meets the
requirement of read(2) over a raw block device.

sys/vfs/hammer: Add HAMMER_ENCODE_UNDO()

Add and use HAMMER_ENCODE_UNDO(offset) instead of
HAMMER_ZONE_ENCODE(HAMMER_ZONE_UNDO_INDEX, offset),
just like other ENCODE macros available for other zones.

Since zone-3 doesn't take volume# by design (see L136 of
sys/vfs/hammer/hammer_disk.h), HAMMER_ENCODE_UNDO() only
takes offset, but not (volume#, offset). In other words,
UNDO/REDO FIFO is in the root volume.

sys/vfs/hammer/hammer_disk.h
 * zone 1 (z,v,o): raw volume relative (offset 0 is the volume header)
 * zone 2 (z,v,o): raw buffer relative (offset 0 is the first buffer)
 * zone 3 (z,o): undo/redo fifo - fixed zone-2 offset array in volume header
 * zone 4 (z,v,o): freemap - only real blockmap
 * zone 8 (z,v,o): B-Tree - actually zone-2 address
 * zone 9 (z,v,o): meta - actually zone-2 address
 * zone 10 (z,v,o): large-data - actually zone-2 address
 * zone 11 (z,v,o): small-data - actually zone-2 address