hammer2 - Add debug ioctl

* Add a a debugging command to dump the in-memory chain topology.

Unbreak buildworld after recent hammer2 changes.

504565062f34ec55037ac0cf308fe3562f091460 renamed HAMMER2_MAX_KEY to
HAMMER2_KEY_MAX but libstand wasn't adjusted.

Reported-by: David Shao
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/2658>

hammer2 - multi-target mount part 3/many (stabilization)

* Fix cluster memory leaks, fix a malloc_type leak.

* Resync cached PFS (pmp) data in the root inode for the PFS on flush.
  (inode allocator).

* Track total DIO memory.

* For now assert on logical mirror mismatches.

* Minor start on infrastructure for mirror synchronization.

* Refactor hammer2_cluster_copy() flags.

<sys/cdefs.h>: Simplify the CTASSERT definition better.

hammer2 - multi-target mount part 2/many

* Split media and in-memory tracking of TIDs.  In-memory tracking is
  effectively global, while on-media TIDs are now split into an independent
  domain for each PFS plus one for the super-root and freemap topology.

  Introduces hammer2_xid_t and reformulates some of the TID and XID
  constants.

* Refactor the flush code to no longer depend on media modify_tid/mirror_tid
  values during a flush.  In-memory XIDs are used for all flush recursions.

* Refactor the transaction mechanisms in order to allow XIDs to cover multiple
  TID domains.  For the moment, the transaction management structure is
  global but the code is designed to allow us to have multiple management
  domains in a future commit.

* Associate a PMP structure with each storage topology's super-root and
  freemap (still a bit rough).

* Each PFS now accounts for its own inode numbers and transaction ids,
  independent of other PFSs.  This also means that both inode numbers
  and transaction ids are PFS-specific, so multiple storage medias which
  are part of the same PFS will use the PFS-centric tracking rather than
  per-media tracking.

* Cleanup a few memory leaks and remove some debugging from the chain code.

* Refactor mount and unmount code to handle the new PFS abstraction.

* Refactor the volume data lock/unlock/modify mechanics somewhat.

<sys/cdefs.h>: Use _Static_assert for CTASSERT.

Move CTASSERT from <sys/systm.h> to <sys/cdefs.h> and use _Static_assert
for its definition (which gives us a better error message in case it is
triggered).

But if there is no support for _Static_assert or static_assert in the
compiler, use the previous typedef method.

kernel/hptmv: Don't mess up the struct by copying too much.

VendorId is only 8 chars.

kernel/cpu_topology: Fix a casting issue in the topology tree printing.

compute_unit_id is uint8_t so it's actually 0xff we want to check for.
Before this commit, the "... != -1" checks were always true.

kernel/acpi_fujitsu: Doh, fix a copy/paste error I did in my last upgrade.

<sys/hash.h>: Fix wrong header guard.

kernel/acpi: Improve the errors which AcpiOsTableOverride() returns.

While here, use ACPI_COMPARE_NAME() and ACPI_SIG_DSDT.

Fix the usbd rc script a bit better.

Most importantly, take care about the case where usb isn't in the
kernel config.

Reported-by: lhmwzy on users@

Sync zoneinfo database with tzdata2014b from ftp://ftp.iana.org/tz/releases

* africa: Morocco's 2014 DST start will be as predicted. (Thanks to
    Sebastien Willemijns.)

* australasia: Add comments about Johnston Island time in the 1960s.
    (Thanks to Lyle McElhaney.)

* antarctica: New entry for Troll station, Antarctica. (Thanks to
    Paul-Inge Flakstad and Bengt-Inge Larsson.) This is currently an
    approximation; a better version will require zic and localtime
    fixes. Also the NZAQ rules - which are never used - have been
    removed.

* europe: Crimea switches to Moscow time on 2014-03-30 at 02:00 local
    time. (Thanks to Alexander Krivenyshev.)
    Move its zone.tab entry from UA to RU.

kernel/i386: Remove CPU_ENABLE_TCC traces.

inpcb: Use a special version of in_pcbinsporthash() on TCP accept path

It holds the port token for in_pcbinsporthash().  Assert that the port
token is held in in_pcbinsport() now.

Fix kernel build.

netstat - Replace a couple malloc calls.

- Use calloc to ensure memory is zeroed.

inpcb: Group port related fields into inpcbportinfo

Prepare for port token splitting.

libc: Remove a useless assignment.

ext2fs - Attempt to fix a panic on VOP_CLOSE

Follows-up commit 12cdc371fb859682eda7d1c26c5059920a7cf118

usb4bsd: Sync the run(4) driver with FreeBSD.

This adds support for a number of new chipsets/adapters (see the
manual page for a list).

Thanks to Markus Pfeiffer for testing with a RT5370 based adapter.

Taken-from: FreeBSD

kernel/802_11: Fix panic when the desired ratectl algorithm is unavailable.

Set the default to NONE. When a driver calls ieee80211_ratectl_init(), try
to use AMRR etc. if NONE is selected. Drivers may still select other
algorithms using ieee80211_ratectl_set() prior to calling _init().

Due to our broken ieee80211_load_module(), we do not currently autoload
the desired ratectl algorithm like FreeBSD does. Instead, a message about
manually loading the module will be printed (see ieee80211_dragonfly.c).

Reported-by: profmakx
Taken-from:  FreeBSD

in6_pcbbind: Rearrange local port bind/select code path.

Mainly group local port binding logic together.  This paves way for the
upcoming port token splitting.

Tested-by: ftigeot@

mount_hammer2 - Check ERANGE for mount integration result

* For now  the H2 vfs code returns ERANGE when mounting multiple
  elements of a cluster, report it as an integration instead of
  as an error.

newfs_hammer2 - add -R uuid and -I uuid

* Allow the super-root (-R) cluster id and the labeled PFS's cluster id
  to be specified.

* Populate the cluster id in the inode data.

hammer2 - skeleton multi target mount detection

* Detect H2 filesystems with the same cluster id and add to an existing
  mount's cluster instead of mounting separately.

* Very preliminary, not operational.  Transactions, flush, and volume
  management need to be rewritten.

hammer2 - cluster API, preliminary implementation of multi-chain updates

* Separate out read-only from read-write access to cluster data.

* Implement hammer2_cluster_modsync() and call in appropriate places.

* Clean up some media inode fields not currently in-use.

kernel/msdosfs: Merge deName and deExtension in the direntry struct.

* winChkSum() in msdosfs_conv.c was assuming that deExtension was
  following deName in memory, which is meh.

* While here, add some include guards and put some reserved bytes
  explicitly in the structs.

This is basically r203827 from FreeBSD.

Fix MLINKS for the last sbuf(9) update.

kernel: check that p_ucred is not NULL before calling p_trespass

crashinfo(8): Add -w and -R to the ps command.

mpt(4): Sync with FreeBSD.

Nothing big, as far as I can tell. Some fixes and removal of old
compatibility code.

While here, use callout_init_mp() and callout_stop_sync().

Add some missing MLINKS for lock.9 and pidfile.3.

tbridge.9: Adjust typedefs a bit.

aac(4): Sync with FreeBSD.

Some bug fixes, static/const, etc.

Also, add MSI support and use callout_init_mp().

usb4bsd/run: Fix compilation without INVARIANTS.

Since wlan_serializer is now held consistently, we can unconditionally
wlan_serialize_exit/enter around firmware_get().

This commit is identical to 11d169ef87e7b77e152510810bec814b36ac584d
for iwn(4).

in6_pcblookup_local: Make in6_addr const

in_pcbbind: Rearrange local port bind/select code path.

- Group local port binding logic together.
- Group local port auto-selecting logic together and factor out
  in_pcbsetlport().

This paves way for the upcoming port token splitting.

Fix license in some USB related manual pages (taken from FreeBSD).

hammer2 - Cluster API stabilization

* Fix issues that come up with mount/umount/cpdup tests related to the
  new cluster API.  Ref-counting, locks, and many other (expected) items.

* Fleshing out cluster->focus was a bit more involved than I had hoped.

* Generally speaking, cluster refs and locks work the same way that chain
  refs and locks do.

Try to start usbd(8) only if it actually exists.

It is specific to the old USB stack so we can remove the rc script
once we don't offer it anymore. For now, just check if it is there
before starting.

hammer2 - Start adding internal cluster API

Initial addition of the cluster API.  H2 will be non-operational until this
is stabilized.  Adding the cluster API will require a few stages.  This first
stage is to add the API and make it work under degenerate (single-target)
conditions.

The hammer2_cluster structure collects and manages an array of up to
8 chains representing mirrors / cluster nodes / copies of the same point
in the topology.

* Add hammer2_cluster.c, and hammer2_cluster_t

* Replace nearly all high-level (vnops, vfsops) chain calls with
  cluster calls.

usb4bsd: FWIW, port usb_template and hook it into the build.

Add umoscom(4) and usfs(4) manual pages (from FreeBSD).

tcplay: Fix a function name in tcplay.3 and .Dd in tcplay.8.

Remove old tcplay(3) MLINKS via 'make upgrade'.

test/debug - Tweak vnodeinfo a bit

- Remove trailing white spaces.
- Fix usage.
- Add '-p' option to show filesystem specific inode data. Currently
  only dirfs is supported.
- Additional filesystems can be added easily to the dumplist struct.

libusb20.3: uint61_t -> uint16_t

usbhid.3: u_int -> unsigned int

devd: Regenerate usb.conf.

usb.4: Add ufm reference.

kernel/twa: Sync a bit with FreeBSD.

Mainly s/callout_init/callout_init_mp/ and using pci_enable_busmaster()
directly.

usb4bsd: Port ufm.

tcplay - fix compile error on i386

cryptdisks safe_mem - use weak symbols

 * Use weak symbols so that the ones in libtcplay.a can override the
   symbols in the local safe_mem.

 * I'm not sure why this ever worked before, but it definitely doesn't
   work anymore.

cryptdisks - update to new tcplay API

update tcplay to 2.0

in6_pcbbind: Move stack variable declaration near its usage

in_pcbbind: Move stack variable declaration near its usage

inpcb: Break long line

inpcb: in_pcbconn_bind -> in_pcbsetlport_remote; no functional change.

in_pcbconn_bind: Change argument name from 'nam' to 'remote'

Increase readability.

inpcb: in_pcblookup_addrport -> in_pcblookup_localremote

Compared w/ in_pcblookup_local, in_pcblookup_addrport checks remote
address and port (faddr,fport) too.  Renaming it to
in_pcblookup_localremote to be consistent w/ in_pcblookup_local name.

No functional changes.

inpcb/in6pcb: in_pcbinsporthash() never fails

in6pcb: in6_pcblookup_local() must have been protected by port token

inpcb: in_pcblookup_local() must have been protected by port token

in6pcb: Properly hold port token for in6_pcbbind() and in6_pcbsetport()

man.1: Add missing section.

gdbinit - Fix previous commit.

Spotted-by: swildner

gdbinit - A couple fixes.

- Fix 'lstok' for proc_tokens and vmobj_tokens.

usb.4: Use .Nx and fix a wrong reference.

libkvm - Adjust for the proc_token changes

- allproc, zombproc are now gone. All processes are now in an array of
  proclist structures.
- ps(1) did not work on coredumps because '_allproc' and '_zombproc'
  were missing.

kernel - Add allproc_hsize global

- Used by kvm(3) to determine the proc hash size.

installer: Export /boot device name in loader.conf

This will eventually allow the kernel to mount /boot directly

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

dntpd - Improve offset correction precision

* Offset corrections are more accurate with more samples (whereas frequency
  corrections are more accurate when the first and last sample are far apart
  in the time domain).

* Even though dntpd uses a standard deviation test to conditionalize offset
  corrections, it is still possible to get false positives with only 4
  samples.

* Once dntpd has gone into maintainance mode increase the number of
  required samples for an offset correction from 4 to 8.  This makes
  the standard deviation more accurate, reduces false positives, and
  improves stability.

* Retain the original mechanic during aquisition so dntpd applies corrections
  sooner rather than later when first started.

Update the pciconf(8) database.

March 14, 2014 snapshot from http://pciids.sourceforge.net/

inpcb: in_pcblookup_addrport() must have been protected by port token

in_pcbconn_bind: Reduce port token cover range

in_pcbconn_bind: Remove duplicated prison_replace_wildcards()

in_pcbbind: Merge duplicated prison_replace_wildcards()

Some usb4bsd manpage related shuffling/additions in Makefiles.

usb.4: Sync parts of the manual page with FreeBSD.

Add a ufoma(4) manual page (from FreeBSD).

Implemented casuword for vkernel64. Fix two typos in casuword for pc64.

devfs - sync devfs after cloning a device

 * Use case are devices such as tty_pty which create a ptm/foo node as
   the cloned one, but also create a slave node (in pts/foo).

 * Without this, it's possible that ptm/foo is created before pts/foo
   is, and the program may race and not see pts/foo yet.

Sync ucom.4, uplcom.4 and uslcom.4 with FreeBSD.

libusb: add libusb_log_level enum

This is documented on http://libusb.sourceforge.net/api-1.0/group__lib.html

Add udav(4) and uep(4) manual pages.

Sync uhid.4 with FreeBSD.

Sync ugen.4 with FreeBSD.

Sync axe.4 with FreeBSD.

Gnargh, fix typo.

Remove usbdevs_data.h in /usr/include via 'make upgrade'.

kernel - Correct second edge-case for machdep.pmap_mmu_optimize

* The pmap_release*() code was previously optimized to not invalidate
  on pml4, pdp, pd, or pt pte's, only on terminal ptes.  This invalidation
  interferes with the PT replacement that the pmap_mmu_optimize feature
  uses.

* The bug generally would only occur when memory is mmap()'d and munmap()'d
  multiple times, which something like postgres will not do, but which
  rtorrent and other programs will do.

* Correctly invalidate page tables (use invltlb) when PT pte's are replaced.

* Requires further testing.  Default for this feature is still off.

nrelease - Minor fixes

- Use 'reinstallkernel' to avoid leaving *.old files
  in the ISO image.
- Make sure the '/boot/kernel/kernel.BOOTP' symbolic link
  is recreated when it already exists (-f option to ln).
- Do not use '-p' to cp. In the case /etc/resolv.conf file
  has schg flag set, a later rm during nrelease would fail.

Submitted-by: YONETANI Tomokazu <y0netan1@dragonflybsd.org>
DragonFly-bug: <http://bugs.dragonflybsd.org/issues/1496>

This commit closes #1496

sbin/hammer - Add 'header' option for mirror-dump directive.

- Provide means to dump PFS information only via 'mirror-dump'
  directive.
- Snapshots directory is not shown at the moment.

Submitted-by: YONETANI Tomokazu <y0netan1@dragonflybsd.org>
DragonFly-bug: <http://bugs.dragonflybsd.org/issues/1497>

This commit closes #1497

tools - Fix operator in hammer-backup.sh

Submitted-by: Freddy DISSAUX

tools - Fix return code in hammer-backup.sh

- When requesting help with '-h', exit with return code 0.

Submitted-by: Freddy DISSAUX

ehci.4: Break a long line.