sys/vfs/hammer: Fix comments

sys/vfs/hammer: Remove wrong comment

sys/vfs/hammer: Use HAMMER_HEAD_DOALIGN()

sbin/hammer: sbin/hammer: Fix hammer show-undo output format

Add some ondisk redo fields.

sys/vfs/hammer: Change unused ondisk redo_mtime to reserved

It was never used after added in 6048b411 in 2010.

if_iwm - Move iwm_read_firmware() call into iwm_attach().

* We should load the firmware exactly once before the driver really
  initializes the hardware the first time, and unload it at detach time.
  There is no need to retrieve the firmware during execution of
  iwm_mvm_load_ucode_wait_alive(), we should make sure we already have the
  firmware data at hand before that.

* The existing sc_preinit_hook code fails to deal with the case where
  if_iwm is loaded by the loader (or is statically linked) and the
  firmware needs to be loaded from disk. So we can just call
  iwm_read_firmware() from iwm_attach() directly.

* A separate solution will have to be added to properly defer the firmware
  loading during bootup, until the necessary filesystem is mounted.

Do 3b5eca529baf58ea74a485139963552cc4c1d977 a bit better.

FWIW, keep the NO_CRYPT dependency in lib/libcrypt for various sources.

if_iwm - Attach to new AC3168 and AC8265 chipsets (untested).

iwmfw - Add version 22 firmwares for AC3168 and AC8265 chipsets.

sbin/hammer: Fix hammer show-undo output format

The whole size should be in %d since data size is in %d as well.

sys/vfs/hammer: Add hammer_xlate_to_undo()

sbin/hammer: Refactor left/right boundary elms in hammer show

hammer show doesn't need to pass around pointers to left/right
boundary elms in every function while walking the B-Tree.

Left/right elms are there to test whether a B-Tree node in
question fits in boundaries defined by its parent, which means
that hammer show always requires the right elm be (left+1), but
not some random elm after the left elm. Because of this, it
only needs to pass around the left elm.

The code is more efficient plus look better without bunch of
left/right stuff.

sbin/hammer: Cleanup zone statistics

sbin/hammer: Cleanup hammer show-undo

sbin/hammer: Make hammer show-undo support zone statistics

sys/vfs/hammer: Add HAMMER_UNDO_DOALIGN()

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sbin/hammer: Cleanup blockmap

drm/linux: Add clamp_val()

Obtained-from: FreeBSD

drm/linux: Add ktime_get_boottime and ktime_ms_delta()

gcc50: Install liblto_plugin.so as +x.

Sad but this limitation in gcc driver requires that utility be executable.
This matches how it is done on standard installations, so follow along.
Some ports rely on gcc -print-prog-name=liblto_plugin.so working.

build: Suppress exessive echoing.

LIBPRIV: Add common PRIVATELIB_LDFLAGS definitions.

Simply being able to change it in two places is easier than everywhere.
Also add PRIVATELIB_BLDFLAGS that is intended for bootsrapping only.
While there, perform some cleanup for dup entries.

LIBPRIV: Introduce PRIVATELIB knob (just like INTERNALLIB).

Collect common private libraries path handling bits into share/mk/bsd.lib.mk.
It is cleaner this way, prevents issues like manual paths and/or ignoring stale
.depend for /usr/obj/usr/src/world_x86_64/usr/lib/priv/priv/libprivate_ncurses.a

flex: Break the hardlinks to fix quickworld issues.

Upon repeated quickworld run when install -C installs the libfl.a it breaks
the previous hardlink and retrigers relink for anything that depends on -ll.

Solve this by changing logic to install compat libs for install target only.
During buildworld only main ${LIBL} should be used where needed.

Fix a single case where -lfl was used in binutils. Add missing DPADD too.

flex: Rename and install the main libl.a as primary one.

libfl and libln are only used as compat ones for external sources linkage.
Whole base makefile system uses the ${LIBL}.

sys/vfs/hammer: Add HAMMER_ZONE_LAYER2_NEXT_OFFSET()

Note that this is different from HAMMER_BLOCKMAP_LAYER2_OFFSET().
HAMMER_BLOCKMAP_LAYER2_OFFSET() is an offset of layer2 entry within
a big-block for layer2, but not zone offset itself.

sys/vfs/hammer: Add HAMMER_ZONE_LAYER1_NEXT_OFFSET()

Note that this is different from HAMMER_BLOCKMAP_LAYER1_OFFSET().
HAMMER_BLOCKMAP_LAYER1_OFFSET() is an offset of layer1 entry within
a big-block for layer1, but not zone offset itself.

bsd.crunchgen.mk: Sync with FreeBSD.

This finally allows not to relink rescue image if there are no changes and
have clean stage of "4d: building everything.."!
Helps a lot on LTO quick rebuilds.

While there, remove hack from crunchgen(1), it no longer should be needed.
Please report build races if any.

Taken-from: FreeBSD

bsd.crunchgen.mk: Split few monolitic targets.

For easier debug.

Taken-from: FreeBSD

bsd.crunchgen.mk: Simplify mk logic a bit.

Just provide defaults if needed.

bsd.crunchgen.mk: Remove dub handling of CANONICALOBJDIR.

It is already handled in bsd.obj.mk.
While there, drop non functional NO_DEBUG_FILES and update bsd.README.

bsd.crunchgen.mk: No longer exclude -P option.

It was used only when fmake.
While there, do not hardcode crunchgen name and add env handling.

Taken-from: FreeBSD

bsd.crunchgen.mk: Use single style for variables.

No functional change.

if_iwm - Advertise full-offload scan support, fixes scan while associated.

* This avoids the firmware panics previously experienced when starting a
  wlan scan (e.g. with "ifconfig wlan0 scan" or "scan" command in a
  wpa_supplicant user-interface), while associated to an AP.

wlan - Import initial full-offload scan support from FreeBSD.

This is a very simple addition to the net80211 scan support.

It doesn't implement a replacement scan interface - it just disables
the pieces that we should disable to make this lifecycle a bit
more managable.

There's more work to come before full scan offload support is available
but it should be good enough for driver work.

* add a flag to say "full offload"
* don't do probe requests when scanning full-offload - firmware can do that
* don't do powersave transitions and buffering - firmware can do that
* don't abort a background scan upon reception of a single packet.
  Full offload drivers don't need this behaviour - they do it in firmware.

Taken-From: FreeBSD (svn r307602, r308007 and r308008)

sys/vfs/hammer: Use HAMMER_BUFSIZE_DOALIGN() and variants

This should have been in bbc5e78b (failed to catch these).

sys/vfs/hammer: Cleanups

sys/vfs/hammer: Add HAMMER_BIGBLOCK_DOALIGN()

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

kernel - Attempt to fix cluster pbuf deadlock on recursive filesystems

* Change global pbuf count limits (used primarily for clustered I/O) to
  per-mount and per-device limits.  The per-mount / per-device limit
  is set to nswbuf_kva / 10, allowing 10 different entities to obtain
  pbufs concurrently without interference.

* This change goes a long way towards fixing deadlocks that could occur
  with the old global system (a global limit of nswbuf_kva / 2) when
  the I/O system recurses through a virtual block device or filesystem.
  Two examples of virtual block devices are the 'vn' device and the crypto
  layer.

* We also note that even normal filesystem read and write I/O strategy calls
  will recurse at least once to dive the underlying block device.  DFly also
  had issues with pbuf hogging by one mount causing unnecessary stalls
  in other mounts.  This fix also prevents pbuf hogging.

* Remove unused internal O_MAPONREAD flag.

Reported-by: htse, multiple
Testing-by: htse, dillon

kernel - Add nvme to the default kernel build

* Add the nvme disk driver to the default kernel build, it no longer
  needs to be loaded as a module.

sbin/hammer: Cleanup alloc_blockmap()

Layer1 could be assertion.
It's essentially the same as what 0d1f6085 in 2015 checks.

sbin/hammer: Add another condition to assert_volume_offset()

which is kinda obvious and expected to be false on newfs time.

sbin/hammer: Split alloc_bigblock() into two functions [2/2]

This function is currently only used by zone-3, but it's actually
only usable by zone-3 from the way it's implemented, so rename it
to alloc_undo_bigblock() and get rid of zone argument.

The way blockmap offsets (in root volume) get updated for zone-3
differs from other zones like 8/9/10/11, and this function which
doesn't update blockmap offsets on allocation only works against
zone-3.

sbin/hammer: Split alloc_bigblock() into two functions [1/2]

For zone-4, all you can (need to) do is increment offset by 8MB,
so split alloc_bigblock() into bootstrap_bigblock() for zone-4 and
alloc_bigblock() for zone-3. It's easier to understand this way.

Adjust various things after the removal of secure/.

* Fix etc/Makefile: This brings back installation of /etc/ssh_config
    and /etc/sshd_config to our IMG/ISO.

* Add back DES and Blowfish functions to libcrypt.

* Remove installation of CA.pl/CA.sh. They don't seem to be part of
  LibreSSL.

* Remove obsolete paths from whereis(1).

* Adjust hier(7) manual page.

* Adjust openssh upgrade instructions.

* While here, fix a typo in Makefile.ssh.common.

if_iwm - The iwm_prepare_card_hw() in iwm_attach() is only needed on 8K hw.

* Doing the iwm_prepare_card_hw() call in iwm_attach() only on Family 8000
  hardware matches the code in Linux iwlwifi.

* While there remove DEFAULT_MAX_TX_POWER definition which is unused, and
  has a value different from IWL_DEFAULT_MAX_TX_POWER in iwlwifi.

if_iwm - Use rates given in struct ieee80211_txparam for non-data transfers.

* Make iwm_tx_fill_cmd() just return the uint8_t rate, to avoid looking up
  the firmware rate-index for DATA transfers.

Taken-From: FreeBSD (svn r306286)

if_iwm - Update firmware rs table, instead of indexing the table in tx cmds.

* Rather than providing a non-zero index into the firmware RS table,
  we should always use index 0 and update the firmware RS table whenever
  our chosen tx rate for data-frames changes.

* Send IWM_LQ_CMD updates when the tx rate gets updated by the net80211
  rate control (which is after we tell the tx status to the net80211
  rate-control in iwm_mvm_rx_tx_cmd_single()).

* Disregard frames transferred with a different tx rate than the currently
  selected rate for the rate-control calculations. This way we avoid
  counting management frames (which are sent at a slow, and fixed rate),
  as well as frames we added to the tx queue just before a new IWM_LQ_CMD
  update took effect.

Inspired-By: Linux iwlwifi

build - Fix modifying operation to /usr/obj during installworld (2)

* efi/boot1 needs the same treatment as the last commit.

Reported-by: ivadasz

build - Fix modifying operation to /usr/obj during installworld.

* The build for /usr/src/sys/boot/efi/loader is incomplete.  The
  installworld step tries to build the last piece.  Add the piece to
  all: to properly build it during the build phase and not the
  install phase.

sys/vfs/hammer: Add HAMMER_DATA_DOALIGN() and variants

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sys/vfs/hammer: Add HAMMER_BUFSIZE_DOALIGN() and variants

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sys/vfs/hammer: Add HAMMER_BLOCKMAP_LAYER2_DOALIGN()

The only reason it's "DOALIGN" instead of just "ALIGN" is
because that's how macros have been named in HAMMER1/2.
"ALIGN" macros represent alignment size.

sbin/hammer: Add a TODO comment for hammer recover

The way hammer recover simply walks through zone-2 offset from
0 to the end of the volume is inefficient.

Since we know most big-blocks are not for zone-8 (B-Tree zone),
most of the time and I/O spent for testing B-Tree nodes is wasted.
If zone-2 offset can be reverse mapped to zone-X, it no longer
needs to always call recover_top() assuming offsets are for
B-Tree nodes when we know it's mostly wrong.

Reverse mapping can also avoid possible misinterpretation of
zone-2 buffers (i.e. wrong cast to hammer_node_ondisk_t).

tic(1): Add missing beforedepend for termsort.c.

Noticed-by: swildner

installer - Enhance test_storage program

- Warn when run as non-root.
- Actually print detected disks after execution.

installer - Reorganize test directory a bit

doc - Document 'crypt' option in fstab(5)

* The 'crypt' was documented in swapon(8) but most people would probably
  look for it in fstab(5), so put it there too.

boot: Use snprintf() when filling command_errbuf[] w/ dynamic content.

Taken-from: FreeBSD

Sync zoneinfo database with tzdata2016i from ftp://ftp.iana.org/tz/releases

* Pacific/Tongatapu begins DST on 2016-11-06 at 02:00, ending on
    2017-01-15 at 03:00.  Assume future observances in Tonga will be
    from the first Sunday in November through the third Sunday in
    January, like Fiji.  (Thanks to Pulu ʻAnau.)  Switch to numeric
    time zone abbreviations for this zone.

* Northern Cyprus is now +03 year round, causing a split in Cyprus
    time zones starting 2016-10-30 at 04:00.  This creates a zone
    Asia/Famagusta.  (Thanks to Even Scharning and Matt Johnson.)

* Antarctica/Casey switched from +08 to +11 on 2016-10-22.
    (Thanks to Steffen Thorsen.)

* Several corrections were made for pre-1975 time stamps in Italy.
    These affect Europe/Malta, Europe/Rome, Europe/San_Marino, and
    Europe/Vatican.

  First, the 1893-11-01 00:00 transition in Italy used the new UT
    offset (+01), not the old (+00:49:56).  (Thanks to Michael
    Deckers.)

  Second, rules for daylight saving in Italy were changed to agree
    with Italy's National Institute of Metrological Research (INRiM)
    except for 1944, as follows (thanks to Pierpaolo Bernardi, Brian
    Inglis, and Michael Deckers):

    The 1916-06-03 transition was at 24:00, not 00:00.

    The 1916-10-01, 1919-10-05, and 1920-09-19 transitions were at
      00:00, not 01:00.

    The 1917-09-30 and 1918-10-06 transitions were at 24:00, not
      01:00.

    The 1944-09-17 transition was at 03:00, not 01:00.  This
      particular change is taken from Italian law as INRiM's table,
      (which says 02:00) appears to have a typo here.  Also, keep the
      1944-04-03 transition for Europe/Rome, as Rome was controlled by
      Germany then.

    The 1967-1970 and 1972-1974 fallback transitions were at 01:00,
      not 00:00.

<sys/cdefs.h>/<machine/stdint.h>: Fix __STDC_VERSION__ macro.

Noticed-by: zrj

<netinet/ip.h>: Few style(9) fixes.

Looks like IPTOS_CE and IPTOS_ECT were deprecated and should not be used.
Leave for now, still used by ip_ecn.c and ipfw2.c.
Same applies to _IP_VHL version.

No functional change.

<netinet/ip.h>: Add ToS defs for RFC 2474 and 5865.

While there, convert IPTOS_PREC macros to use IPTOS_DSCP definitions.

Taken-from: OpenBSD, FreeBSD(IPTOS_DSCP_VA)

nc(1): Adjust makefile and hook into buildworld.

Given that nc(1) in dports is only installed when dports/libressl is used,
but not available when dports/openssl, it is useful to have base nc(1).
Also it makes a very good test case for LTO toolchain testing:
LTO + NOSHARED + libressl + openbsd compat layer + certain parts of libc.
Since base does not provide libprivate_tls lib, compile tls bits just for nc.

libressl: Few local modifications for netcat.

 * Exclude pledge(), has no use for us.
 * Make strtoport() static to prevent missing prototype warning.

No functional change for libprivate_crypto or libprivate_ssl.

gcc50: Hook missing source into the libgcc.a.

Missing hidden symbol __sfp_handle_exception.
Fixes linkage: gcc main.c -Wl,--whole-archive -Wl,-v -nostdlib -lgcc -lc

build - Fix bootstrap build for csh

* Fix the bootstrap portion of the buildworld for csh on systems which are
  updated past the termcap library rename but do not yet have
  libprivate_crypto.

md5 - Fix seg-fault

* Fix seg-fault due to mixed API use.

Reported-by: marino, others

if_iwm - Sync rs (rate-selection) API definitions from Linux iwlwifi.

* While there clean up alignments and line wrapping in existing
  definitions for rs API in if_iwmreg.h

Taken-From: Linux iwlwifi

if_iwm - Add iwm_mvm_send_lq_cmd() from Linux iwlwifi to if_iwm_util.c.

Taken-From: Linux iwlwifi

sbin/hammer: Fix wrong error message

It's supposed to be "does not match".

sbin/mount_hammer: Fix/cleanup test_volumes()

The requirement of this function is basically the same as
__verify_volume() in sbin/hammer/ondisk.c, so make it
__verify_volume() based.

Note that this function doesn't necessarily print the real
reason mount(2) failed, as shown in a comment. This function
just takes a wild guess with sanity checks on volume header.
The real reason is likely to be in dmesg. This originally
didn't exist, but was added by 1a607e3e in 2009.

sbin/mount_hammer: Simplify ondisk verification

Unlike sbin/hammer or sbin/newfs_hammer, sbin/mount_hammer
has no restriction regarding I/O size since it's readonly.
It doesn't have to be 16KB as long as I/O size meets the
requirement of read(2) over a raw block device.

sys/vfs/hammer: Add HAMMER_ENCODE_UNDO()

Add and use HAMMER_ENCODE_UNDO(offset) instead of
HAMMER_ZONE_ENCODE(HAMMER_ZONE_UNDO_INDEX, offset),
just like other ENCODE macros available for other zones.

Since zone-3 doesn't take volume# by design (see L136 of
sys/vfs/hammer/hammer_disk.h), HAMMER_ENCODE_UNDO() only
takes offset, but not (volume#, offset). In other words,
UNDO/REDO FIFO is in the root volume.

sys/vfs/hammer/hammer_disk.h
 * zone 1 (z,v,o): raw volume relative (offset 0 is the volume header)
 * zone 2 (z,v,o): raw buffer relative (offset 0 is the first buffer)
 * zone 3 (z,o): undo/redo fifo - fixed zone-2 offset array in volume header
 * zone 4 (z,v,o): freemap - only real blockmap
 * zone 8 (z,v,o): B-Tree - actually zone-2 address
 * zone 9 (z,v,o): meta - actually zone-2 address
 * zone 10 (z,v,o): large-data - actually zone-2 address
 * zone 11 (z,v,o): small-data - actually zone-2 address

build: Fix wrong DPADD for libcrypto.

Follow up to 0fe46dc6296951eb138485d8c6b580bac0488fd8

bsd.libnames.mk: Remove outdated XXX.

No longer applies after 0fe46dc6296951eb138485d8c6b580bac0488fd8

gcc47: Do not include empty header.

Including this header only poisons and triggers ctype_members.cc to be recompiled
on every repeated quickworld together with relink of libstdc++ for no good reason.

tic(1): Restrict termsort.c hack to btools.

It is unclear why this was needed, for now just limit it to BOOTSTRAPPING case.

bsd.sys.mk: Exclude PROG from PHONY list.

This prevents surprises when any PROG would match anything in that list.
Was causing contantly relinking of patch(1) and fetch(1)!

installer: Fix typo in handling null mounts array.

This could have prevented to install on certain custom system layouts.

sys/vfs/hammer: Add ascii-art for volume layout

sys/vfs/hammer: Fix terminology for undo fifo

Always use "UNDO/REDO FIFO" whenever printf/manpage/etc refer to
undo in terms of HAMMER's zone-3 data structure, because that's
how it's been used originally.

But leave comments as they are now. There are tons of comments
that refer to UNDO, but not REDO when they could be UNDO/REDO,
but those mostly come from the fact that REDO was added later.

if_iwm - Sync statistics API definitions with Linux iwlwifi.

Taken-From: Linux iwlwifi

Bump __DragonFly_version after md/crypt/ressl conflict resolution

<sys/cdefs.h>: Remove some duplicate definitions.

if_iwm - Cleanup mbufq draining. Add iwm_xmit_queue_drain() like in iwn(4).

* iwm_xmit_queue_drain() calls ieee80211_free_node(), removing a possible
  memory leak, compared to using just mbufq_drain().

* Remove duplicate mbufq_drain() from iwm_mvm_rm_sta(), this should be
  handled in the caller.

sys/vfs/hammer: Use HAMMER_OFF_{SHORT,LONG}_ENCODE()

HAMMER_OFF_XXX_ENCODE() macros cast result to hammer_off_t,
which is uint64_t, but makes no difference in these cases.

sbin/hammer: Fix print_blockmap() for non-root volume

It should work the same regardless of root/non-root,
though vol0_blockmap[] is empty for non-root volumes.

sbin/newfs_hammer: Fix print_volume() for non-root volume

It should work the same regardless of root/non-root.

if_iwm - Use chan list from ieee80211_scan_state for scan, not ic_channels.

* Limiting the channel list with "ifconfig wlan0 chanlist ..." now will
  actually set the list of channels scanned by iwm.

if_iwm - Factor out and improve iwm_mvm_scan_rxon_flags() in if_iwm_scan.c.

* Actually look at the first channel in the list. If it's a 2.4GHz channel,
  set IWM_PHY_BAND_24 flag. The IWM_PHY_BAND_5 flag is 0 anyway, so we
  don't need to look further.

* While there factor out the iwm_mvm_rrm_scan_needed() tlv capability check.

Taken-From: Linux iwlwifi

if_iwm - Remove support for fw older than -17 and -22

* iwm(4) didn't use any of these definitions yet, anyway.

Taken-From: Linux iwlwifi (commit 4b87e5af638b6056bd6c20b0954d09a5a58633be)

kernel - Add trackpoint and elantech mouse support (2)

* Fix bitcount build issue.

kernel - Add trackpoint and elantech mouse support

* Add trackpoint and elantech mouse support, generally
  synchronizing psm code with FreeBSD.

Submitted-by: htse (Harald Brinkhof)
Taken-from: FreeBSD

sbin/newfs_hammer: Fix newfs_hammer(8) manpage

sbin/newfs_hammer: Fix remaining one from 3e7805d7

sbin/newfs_hammer: Add printf for HAMMER version after formatting

After the previous commit which didn't change actual outputs,
this commit adds a new line for HAMMER version. It should have
a separate line for HAMMER version in the beginning IMO.

sbin/newfs_hammer: Fix source for filesystem info after formatting

This commit changes source of outputs after formatting a fs,
but doesn't change outputs itself, as it should result the same.
(the only difference in when -d is specified for junk space)

Now outputs are based on ondisk fields that are to be written
back to backing storage, rather than global variables within
sbin/newfs_hammer/newfs_hammer.c.

It's better to use actual ondisk fields than other variables
to make it robust against possible changes in newfs_hammer in
the future (i.e. ondisk fields are always ondisk fields).

sbin/newfs_hammer: Replace hard-coded 512MB/1GB strings with sizetostr()

sys/vfs/hammer: Add HAMMER_VOL_JUNK_SIZE/HAMMER_{MIN,MAX}_VOL_JUNK

No functional difference. Just rename HAMMER_VOL_ALLOC to
HAMMER_VOL_JUNK_SIZE, as well as add HAMMER_{MIN,MAX}_VOL_JUNK
macros for max/min header junk space which are all the same.