mkinitrd(8): Stop copying regular binaries to the ramdisk

* initrd binaries are specially tailored versions and don't necessarily
  work in the same way as regular ones

* In fact, regular binaries from newer DragonFly systems are expected to
  use dynamic libraries and won't work at all in the fully static environment
  of the ramdisk

initrd: Add wpa_supplicant

Submitted-by: Matthew Dillon <dillon@apollo.backplane.com>

initrd: Add various binaries and scripts

* Crunch bin and sbin commands with some usr.bin and usr.sbin binaries into
  /bin and /sbin respectively, we don't want to maintain a /usr directory

* Some of the symbols cryptsetup and tcplay use conflict with others used
  by regular /sbin binaries, crunch them separately

* lvm's libraries conflict even more, build it as a separate static binary

initrd: Remount / read-write

initrd: Run a rescue shell if vfs.real_root is not set

mini_init: Don't call exit(3), catch SIGTERM

* During a reboot sequence, all processes are routinely killed.

* Sadly, if init dies, the kernel panics.

* Try to avoid this situation by ignoring SIGTERM and not explicitely
  calling exit(3) if the child process dies and the chrooting sequence
  fails.

Remove NOLINT from a couple of Makefiles (we don't have it).

bwn.4: There is no 'firmware' kernel option in DragonFly.

initrd: Move mini_init sources to share/initrd/

initrd: Move existing files to an etc/ subdirectory

mkinitrd(8): Optimize newfs for size

crunchgen(1): Stop adding underscores to symbols

* The configuration file has provisions to manually specify a few symbols
  to keep public.

* Unfortunately this feature was rendered useless by crunchgen itself,
  which prepended an underscore character before each symbol in the call
  to crunchide(1).

bsd.crunchgen.mk: Add a mechanism to keep handpicked symbols

bsd.crunchgen.mk: Change paths

This file is intended to be used from src/share/initrd/
and not src/rescue/ like on FreeBSD.

Remove the RELEASE_CRUNCH build variable

* It was used to specially craft binaries for use with PicoBSD in the
  distant past.

* The conditional code paths it enables have not been maintained for
  more than a decade and are of dubious value.

* At this point it's best to just remove it.

cryptsetup: Fix a compilation warning

Submitted-by: Matthew Dillon <dillon@apollo.backplane.com>

kernel/bwn: Remove an unnecessary call to ieee80211_start_all

* Fixes a bug when the firmware is not found.

in6pcb: in6_pcbsetport -> in6_pcbsetlport; no functional changes

inpcb: Add comment about saved inpcbport

inpcb: Add macros to get/release/assert port token

make upgrade: Add more files for cleaner switching between USB stacks.

libu4bhid: Add missing MLINKS.

Update files for OpenSSL-1.0.1g import.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.1g.

o Fix for CVE-2014-0160
o Add TLS padding extension workaround for broken servers.
o Fix for CVE-2014-0076
o Don't include gmt_unix_time in TLS server and client random values
o Fix for TLS record tampering bug CVE-2013-4353
o Fix for TLS version checking bug CVE-2013-6449
o Fix for DTLS retransmission bug CVE-2013-6450

network/pf - Avoid a possible bad pointer access.

- Make sure new pfi_kif structures are zeroed on allocation.
- A panic was hit when pfi_instance_add() tried to access a bad ifp
  pointer (i.e. when using non-existing iface names in pf.conf)

network/gif - Correctly clear route cache on destroy.

RTFREE() requires that the route is freed in the CPU it belongs to.
Migrating to the target CPU *before* calling it and returning to the
original CPU afterwards seems to do the trick.

Ok: @sephe

hammer - Fix missing reltoken

* Fix a missing token release on hmp->fs_token.

Reported-by: joris

bwn.4: Comment out another bwi(4) reference.

kernel/drm: Add a missing include

Include sys/devfs.h in drm_vm.h and correct the use of
devfs_get_cdevpriv.

Reported-By: Sascha Wildner <saw@online.de>

kernel/run: Add missing unlock.

bmake - Always pass the jobs pipe descriptor

* bmake currently requires a .MAKE target dependency to induce the passing
  of the jobs pipe descriptor to sub-jobs (aka sub-makes).  This requirement
  was lost due to a bug in bmake where it's F_SETFD fcntl was being run on
  the wrong descriptor.  This was recently fixed in bmake and exposed this
  new problem.

* bmake might be run with the MAKEFLAGS environment intact but not be passed
  the jobs descriptor.  While bmake creates a new fresh jobs descriptor in
  this case, it would remain an issue if some other parent program happened
  to use a pipe descriptor with the same fd number.

* bmake or intermediate build programs might not be run with a .MAKE target
  dependency, causing sub-bmakes to run an excessive number of concurrent
  jobs.

* The question is whether we can really safely require this new behavior
  or whether we should revert to the prior behavior.

  FreeBSD modified the default to be the prior behavior of always passing
  the jobs pipe descriptor and added a new .MAKE* directive to override it,
  but I don't see how this helps matters when the default really needs to be
  the always-pass behavior anyway.

  The only other solution is to use a filesystem-visible pipe (filesystem fifo
  in /tmp), which the old make used.  But this often results in a lot of cruft
  building up in /tmp from ^C's and/or system crashes.  This solution is the
  most compatible with expectations, frankly.

* For now revert to the prior behavior of always passing the jobs pipe
  descriptor.  This does a better job of guarenteeing that the descriptor
  number remains intact through multiple fork/execs.

run.4: D1 is an mdoc macro, so we have to escape it :)

bwn: fixing performance problems and an RX buffer overflow problem

* Commenting a bwn_shm_write_2 call that destroys performance especially
  when sending.  This call is also commented in Linux's b43 driver.

* Handling Overflows of the RX buffer in bwn by just dropping all entries.
  With 256 slots in the RX buffer this overflow will almost never happen in
  practice.

bwn: Porting from FreeBSD

* Adding bwn and siba_bwn to sys/conf/files and to the X86_64_GENERIC kernel
  configuration.

* Replacing BWN_LOCK, BWN_UNLOCK, BWN_ASSERT_SERIALIZED with
  wlan_global_serializer.

* Increasing some alignments from 4K to 8K and some from 1 byte to 4 bytes.

* Changing slot counts for RX and TX from 64 to 256, which is the same size
  as used by b43 in Linux.

* Allow overriding the BWN_TXRING_SLOTS and BWN_RXRING_SLOTS values in the
  kernel configuration.

* Some style fixes. Removing unneeded NULL checks.

* Replace a DELAY(50000) with tsleep.

* Can't use kmalloc to allocate memory for dma like in FreeBSD and Linux.

* A few typo and grammar fixes in the bwn.4 manpage.

bwn: Import from FreeBSD

* bwn depends on siba_bwn, importing that code as well

* Including the bwn.4 manpage, but not siba.4

* In FreeBSD the siba driver lives in a separate directory. Since we only
  need the siba_bwn part we just put it below sys/dev/netif/bwn.

kernel/drm: use devfs_*_cdevpriv functions

drm relied on a custom hack to implement those functions, this hack
has now been removed, and the devfs based functions are used.

inpcb/in6pcb: Split port token

The original single local port space is devided into ncpus2 local port
space groups.  We denote local port space group as PG(N), N=[0, ncpus2).

Property of PG(N):
- PG(N) only contains local ports matching following condition:
  (host_order(port) & ncpus2_mask) == N
- PG(N) is protected by its own token.

On explicit local port bind(2) path and accept(2) path, PG(N) is selected
by using the local port already available (accept(2)) or supplied
(bind(2)):
    N = host_order(port) & ncpus2_mask

On implicit local port selection path (bind(2) and connect(2)), PG(N) is
selected and used in the following way:
    N = mycpuid;
    N1 = N;
again:
    if (find free port in PG(N)) {
        DONE;
    } else {
        N = (N + 1) & ncpus2_mask;
        if (N != N1)
            goto again;
        FAILED;
    }

PG(N) is now recorded in inpcb struct, so when inpcb is destroyed, we
know which port space group it should use.

On i7-3770 w/ Intel 82599ES, using tools/kq_connect_client:
Port token contention rate on each hyperthread is reduced from 120K/s to
40K/s.  Admittedly the contention rate is still high but it is much
better than before.

Now the major source of port token contention is the contention between
implicit local port select path and inpcb destroy path.  There may be a
way to choose local port which could hash the inpcb to the current CPU;
this needs more investigation.

<sys/cdefs.h>: Make CTASSERT() kernel only (again).

When I moved it from <sys/systm.h> to <sys/cdefs.h> to have it near
_Static_assert's definition, I overlooked that <sys/systm.h> is a
kernel-only header.

Since there are ports which define their own CTASSERT (such as openjdk),
make ours kernel-only again.

Reported-by: marino

kernel/802_11: Fix a panic in RUN -> AUTH -> RUN FSM transition.

When ratectl_node_init() is called and ni_rctls is already allocated,
use that pointer.

This is FreeBSD's r207323.

Pointed-out-by: Imre Vadasz <imre@vdsz.com>
Tested-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

kernel/802_11: Release the WLAN serializer around if_detach().

This should fix all crashes we are seeing upon kldunload of WLAN
drivers.

In-discussion-with-and-tested-by: ivadasz, jh32, sephe

kernel/ath: Grab the WLAN serializer around ieee80211_ifdetach().

Reported-by: Imre Vadasz <imre@vdsz.com>

Fix buildkernel (missing include).

Reported-by: luxh

kernel/802_11: More ratectl fixes (fixes an ath(4) panic).

Set the default rate control algorithm to NONE instead of AMRR and
add some missing ieee80211_ratectl_node_init()s which I had overlooked
earlier.

Reported-by: Johannes Hofmann <johannes.hofmann@gmx.de>
Tested-by: Imre Vadasz <imre@vdsz.com>

kernel - bring acpi_thinkpad in sync with FreeBSD r246128

Submitted-By: Sascha Wildner <saw@online.de>

Add ident string to acpi_thinkpad module

ls(1): Restore the traditional behavior of -f implying -a.

OpenBSD's commit msg:

------
restore the traditional behavior of -f implying -a; apparently Keith Bostic
forgot to restore it when the -f flag was put back on 2nd of September 1989,
after being removed on 16th of August as a consequence of issues getting it
working over NFS, so deviation from traditional UNIX behavior in all BSDs
looks like an historical accident; as a side effect, this change accommodates
behavior of this option to IEEE Std 1003.1-2008 (``POSIX.1'').

joint work with jmc@ (who found the inaccuracy in our implementation),
schwarze@ (who provided a detailed tracking of historical facts) and millert@

ok millert@, schwarze@
------

The same patch has been pushed to NetBSD and FreeBSD too.

Submitted-by: Igor Sobrado
Taken-from:   OpenBSD

Move ieee80211_ratectl_node_init() from drivers into ieee80211.

This fixes the amrr_node_deinit() panics we were getting after my
recent ratectl commit broke it (it was trying to kfree a NULL
pointer).

It should also fix hostap mode for run(4) e.g.

This commit is essentially FreeBSD's r217511.

Pointed-out-by: Imre Vadasz <imre@vdsz.com>
Taken-from:     FreeBSD

Revert "wlan - Allow NULL field in amrr_node_deinit()"

This reverts commit d68ce29fbc7cb83d080f0abb8790151cd6fec598.

wlan - Allow NULL field in amrr_node_deinit()

* Allow a NULL field in amrr_node_deinit(), prevent kfree() from being
  called with NULL, which DragonFly explicitly does not allow.

loader - Add slowprint() debugging helper

* Add a slowprint() function and command to enable it
  to help trace out problems.

* Used for recent debugging but calls are not intended to be permanently
  resident in the code.  Leave the infrastructure in place for future
  debugging.

libstand - Fix excessive memory use by hammer2 module

* Don't try to dynamically allocate 64KB for each open file.  Just use
  the same static media buffer that normal operations use.

  This fixes some severe heap fragmentation and out-of-memory issues
  when a lot (20+) modules are specified in /boot/loader.conf that
  can cause the boot loader to fail.

* Add getheap() to retrieve heap stats.

kernel - Fix mid-kernel-boot lockups due to module order

* Sometimes the kernel would just lock up for no apparent reason.  Changing
  the preloaded module set (even randomly) could effect the behavior.

* The problem turned out to be an issue with kernel modules needing to
  temporarily migrate to another cpu (such as when installing a SWI or
  other interrupt handler).  If the idle thread on cpu 0 had not yet
  bootstrapped, lwkt_switch_return() would not be called properly and
  the LWKT cpu migration code would never schedule on the target cpu.

* Fix the problem by handling the idle thread bootstrap case for cpu 0
  properly in pc64.

boot - boot loader fixes

* Clarify some issues in comments.

* Don't trust the bios memory boundary, start 1K below it.

* Always bounce, not just for floppies.  This should help with situations
  when loading kernels and modules beyond the 16MB mark.

* Add some debugging memory commands

crunch: We use .Mt for mail addresses.

Revert "installer: Export /boot device name in loader.conf"

This reverts commit 8a01d9f7000ef8c274b595edf681b3ff0b17591e.

It turns out putting the boot device name in a sysctl variable for its
use by a rescue system is not such a good idea.

crunch - Remove FBSDID

* buildworld bootstrap doesn't seem to be using the world's
  sys/cdefs.h, and the installed sys/cdefs.h might not have
  the FBSDID hack.

* Remove the FBSDID stuff from crunch to fix buildworld.  Wish I had
  never invented FBSDID.

mkinitrd(8): Use cpdup to copy files

Preserving hard links

kernel/acpi: Fix a x86_64 warning in the ACPI_DEBUG_MEMMAP code.

kernel/acpi: Restore ACPI_DEBUG_{CACHE,LOCKS,MEMMAP} functionality.

Unfortunately we can't do this in acdragonfly.h alone since ACPICA
types such as ACPI_SIZE and so on are unavailable in acdragonfly.h.
This is because acpi.h includes acenv.h (and therefore acdragonfly.h)
before actypes.h.

Update crunched binaries tools from FreeBSD

* Fix amd64/x86_64 confusion

* Remove a.out support

Revert "Remove crunchgen(8)."

This reverts commit 97c14704c37c914dbd89b22465a421ffde7fe89d.

Conflicts:
Makefile.inc1
Makefile_upgrade.inc
sbin/ifconfig/Makefile
usr.bin/vi/Makefile
usr.sbin/ppp/bundle.c
usr.sbin/pppd/Makefile
usr.sbin/tcpdump/Makefile

hammer2 - multi-target mount part 4/many (stabilization)

* Fix spmp mirror_tid synchronization bug in the flush code.  TIDs were
  not being allocated properly for the super-root portion of the flush.

* Add in-memory chain dump ioctl.

* Fix another missing modsync.

hammer2 - Add debug ioctl

* Add a a debugging command to dump the in-memory chain topology.

Unbreak buildworld after recent hammer2 changes.

504565062f34ec55037ac0cf308fe3562f091460 renamed HAMMER2_MAX_KEY to
HAMMER2_KEY_MAX but libstand wasn't adjusted.

Reported-by: David Shao
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/2658>

hammer2 - multi-target mount part 3/many (stabilization)

* Fix cluster memory leaks, fix a malloc_type leak.

* Resync cached PFS (pmp) data in the root inode for the PFS on flush.
  (inode allocator).

* Track total DIO memory.

* For now assert on logical mirror mismatches.

* Minor start on infrastructure for mirror synchronization.

* Refactor hammer2_cluster_copy() flags.

<sys/cdefs.h>: Simplify the CTASSERT definition better.

hammer2 - multi-target mount part 2/many

* Split media and in-memory tracking of TIDs.  In-memory tracking is
  effectively global, while on-media TIDs are now split into an independent
  domain for each PFS plus one for the super-root and freemap topology.

  Introduces hammer2_xid_t and reformulates some of the TID and XID
  constants.

* Refactor the flush code to no longer depend on media modify_tid/mirror_tid
  values during a flush.  In-memory XIDs are used for all flush recursions.

* Refactor the transaction mechanisms in order to allow XIDs to cover multiple
  TID domains.  For the moment, the transaction management structure is
  global but the code is designed to allow us to have multiple management
  domains in a future commit.

* Associate a PMP structure with each storage topology's super-root and
  freemap (still a bit rough).

* Each PFS now accounts for its own inode numbers and transaction ids,
  independent of other PFSs.  This also means that both inode numbers
  and transaction ids are PFS-specific, so multiple storage medias which
  are part of the same PFS will use the PFS-centric tracking rather than
  per-media tracking.

* Cleanup a few memory leaks and remove some debugging from the chain code.

* Refactor mount and unmount code to handle the new PFS abstraction.

* Refactor the volume data lock/unlock/modify mechanics somewhat.

<sys/cdefs.h>: Use _Static_assert for CTASSERT.

Move CTASSERT from <sys/systm.h> to <sys/cdefs.h> and use _Static_assert
for its definition (which gives us a better error message in case it is
triggered).

But if there is no support for _Static_assert or static_assert in the
compiler, use the previous typedef method.

kernel/hptmv: Don't mess up the struct by copying too much.

VendorId is only 8 chars.

kernel/cpu_topology: Fix a casting issue in the topology tree printing.

compute_unit_id is uint8_t so it's actually 0xff we want to check for.
Before this commit, the "... != -1" checks were always true.

kernel/acpi_fujitsu: Doh, fix a copy/paste error I did in my last upgrade.

<sys/hash.h>: Fix wrong header guard.

kernel/acpi: Improve the errors which AcpiOsTableOverride() returns.

While here, use ACPI_COMPARE_NAME() and ACPI_SIG_DSDT.

Fix the usbd rc script a bit better.

Most importantly, take care about the case where usb isn't in the
kernel config.

Reported-by: lhmwzy on users@

Sync zoneinfo database with tzdata2014b from ftp://ftp.iana.org/tz/releases

* africa: Morocco's 2014 DST start will be as predicted. (Thanks to
    Sebastien Willemijns.)

* australasia: Add comments about Johnston Island time in the 1960s.
    (Thanks to Lyle McElhaney.)

* antarctica: New entry for Troll station, Antarctica. (Thanks to
    Paul-Inge Flakstad and Bengt-Inge Larsson.) This is currently an
    approximation; a better version will require zic and localtime
    fixes. Also the NZAQ rules - which are never used - have been
    removed.

* europe: Crimea switches to Moscow time on 2014-03-30 at 02:00 local
    time. (Thanks to Alexander Krivenyshev.)
    Move its zone.tab entry from UA to RU.

kernel/i386: Remove CPU_ENABLE_TCC traces.

inpcb: Use a special version of in_pcbinsporthash() on TCP accept path

It holds the port token for in_pcbinsporthash().  Assert that the port
token is held in in_pcbinsport() now.

Fix kernel build.

netstat - Replace a couple malloc calls.

- Use calloc to ensure memory is zeroed.

inpcb: Group port related fields into inpcbportinfo

Prepare for port token splitting.

libc: Remove a useless assignment.

ext2fs - Attempt to fix a panic on VOP_CLOSE

Follows-up commit 12cdc371fb859682eda7d1c26c5059920a7cf118

usb4bsd: Sync the run(4) driver with FreeBSD.

This adds support for a number of new chipsets/adapters (see the
manual page for a list).

Thanks to Markus Pfeiffer for testing with a RT5370 based adapter.

Taken-from: FreeBSD

kernel/802_11: Fix panic when the desired ratectl algorithm is unavailable.

Set the default to NONE. When a driver calls ieee80211_ratectl_init(), try
to use AMRR etc. if NONE is selected. Drivers may still select other
algorithms using ieee80211_ratectl_set() prior to calling _init().

Due to our broken ieee80211_load_module(), we do not currently autoload
the desired ratectl algorithm like FreeBSD does. Instead, a message about
manually loading the module will be printed (see ieee80211_dragonfly.c).

Reported-by: profmakx
Taken-from:  FreeBSD

in6_pcbbind: Rearrange local port bind/select code path.

Mainly group local port binding logic together.  This paves way for the
upcoming port token splitting.

Tested-by: ftigeot@

mount_hammer2 - Check ERANGE for mount integration result

* For now  the H2 vfs code returns ERANGE when mounting multiple
  elements of a cluster, report it as an integration instead of
  as an error.

newfs_hammer2 - add -R uuid and -I uuid

* Allow the super-root (-R) cluster id and the labeled PFS's cluster id
  to be specified.

* Populate the cluster id in the inode data.

hammer2 - skeleton multi target mount detection

* Detect H2 filesystems with the same cluster id and add to an existing
  mount's cluster instead of mounting separately.

* Very preliminary, not operational.  Transactions, flush, and volume
  management need to be rewritten.

hammer2 - cluster API, preliminary implementation of multi-chain updates

* Separate out read-only from read-write access to cluster data.

* Implement hammer2_cluster_modsync() and call in appropriate places.

* Clean up some media inode fields not currently in-use.

kernel/msdosfs: Merge deName and deExtension in the direntry struct.

* winChkSum() in msdosfs_conv.c was assuming that deExtension was
  following deName in memory, which is meh.

* While here, add some include guards and put some reserved bytes
  explicitly in the structs.

This is basically r203827 from FreeBSD.

Fix MLINKS for the last sbuf(9) update.

kernel: check that p_ucred is not NULL before calling p_trespass

crashinfo(8): Add -w and -R to the ps command.

mpt(4): Sync with FreeBSD.

Nothing big, as far as I can tell. Some fixes and removal of old
compatibility code.

While here, use callout_init_mp() and callout_stop_sync().

Add some missing MLINKS for lock.9 and pidfile.3.

tbridge.9: Adjust typedefs a bit.

aac(4): Sync with FreeBSD.

Some bug fixes, static/const, etc.

Also, add MSI support and use callout_init_mp().

usb4bsd/run: Fix compilation without INVARIANTS.

Since wlan_serializer is now held consistently, we can unconditionally
wlan_serialize_exit/enter around firmware_get().

This commit is identical to 11d169ef87e7b77e152510810bec814b36ac584d
for iwn(4).

in6_pcblookup_local: Make in6_addr const