e1000phy: Add support for more Marvell PHYs

Obtained-from: FreeBSD @211046 +223688

miidevs.h: regen

mii: Add more PHY ids for Marvell PHY chips

Remove forth and other unused bits from the loader.

More precisely openfirmware, ia64, powerpc, and sparc64 specific code.

hammer - Add memory use limit option for dedup runs

* Add '-m memlimit' (default 1G) to limit memory use during a dedup run.
  If the limit is reached hammer will reduce the range of CRCs in the scan
  and will perform multiple passes as needed to dedup the entire filesystem.

* VerboseOpt (-v) will be verbose about crc-range truncation and multiple
  passes.

hammer - Add simple I/O optimization, collect stats on new deduplications

* Add a simple I/O optimization.  When dealing with CRC collisions scan
  the SHA sub-tree looking for the data_offset/data_len match, allowing
  us to avoid unnecessary I/O reads.

  This effects data which has already been de-duplicated, so it will improve
  dedup rescan times on the portion that has already been dedupped.

* Collect statistics on NEW deduplications during the pass and print them
  out in the final stats as well as in the ^T stats.

hammer - Collect record statistics, implement ^T and ^C

* Add a check for ^C

* Add a check for ^T and print statistics.

* When doing the dedup for real run a pre-pass on the b-tree to count the
  number of data records present so the ^T feature can print out progress.

  This also has the side effect of doing locality-of-reference disk
  accesses to allow the b-tree data blocks to be cached by the kernel
  (or swapcache) before doing the real pass which will insert random data
  block reads when verifying duplicates.  Due to the efficiencies both passes
  should run faster than the original combined pass, or at least not take
  too much longer.

aesni(4): Remove unused variable.

msk(4): Recognize 88E8402

Obtained-from; FreeBSD 198475

msk(4): Remove "FIFO overrun" debug logging, which is not critical

Obtained-from: FreeBSD 198997

msk(4): Yukon XL can't flush FIFO

Obtained-from: FreeBSD 197591

aesni(4): Properly align the context memory using out kmalloc(9) feature

DragonFly's kmalloc(9) will return 2^n aligned memory if the allocation
size is 2^n; use this feature instead of using a local hack.

While I'm here, release the spinlock and call kmalloc(9) w/ M_WAITOK;
the check/free race is absolutely acceptable here, but the failure
of kmalloc(9) w/ M_NOWAIT is probably not accetable on the init path.

msk(4): Add Yukon Extreme support

Obtained-from: FreeBSD 193293 193294 193298 193299

add MLINK for _updwtmpx

updwtmpx - update prototype to be void, but ...

 * also expose the int-returning prototype as _updwtmpx, only for internal
   DragonFly use. It seems as if most programs out there assume that
   updwtmpx returns void.

 * This should fix heirloom in pkgsrc

pthread - adjust visibility to 'default'

 * This fixes pkgsrc build issues that think the symbols are hidden.

 * It's not the most elegant solution, and it would be nicer if this
   could somehow be merged into BEGIN_DECLS/END_DECLS, but I couldn't
   find a way to do that.

 * See http://gcc.gnu.org/wiki/Visibility for more details

msk(4): 88E80{35,36,37,38} are 100baseT only

Obtained-from: FreeBSD 192742

msk(4): Add Yukon FE+ support

Obtained-from: FreeBSD 192734 192735 192736

msk(4): Explicitly reset GMAC Controls and clear GM_GP_CTRL

Obtained-from: FreeBSD 192731

msk(4): Disable HW WOL for Yukon EC Ultra

Obtained-from: FreeBSD 192728

msk(4): If link is down, don't disable RX/TX MACs if they are not enabled

Obtained-from: FreeBSD 192727

msk(4): Fix link status detection

Obtained-from: FreeBSD 192727

msk(4): Add flag to mark the controller is 100baseTX only

Obtained-from: FreeBSD 192723

msk(4): Unify PROMISC and ALLMULTI settings

Obtained-from: FreeBSD 190314

csu x86_64 - properly align stack

 * Properly align the stack for the _init and _fini function calls
   as expected by the x86_64 ABI and gcc.

 * This solves a bus error (unaligned MOVDQA) with pixman and some
   other stuff using SSE.

defaults/rc.conf - Add jail_devfs_enable as a known option.

manpages: Fix some typos.

vkernel - cpu_disable_intr adjustments

* cpu_disable_intr() also disables IPI interrupts now.

kernel - Fix rare IPIQ freezes

* Ensure that an IPI interrupt is sent went waiting for an IPIQ
  to drain.  The IPIQ can be pushed up by passive IPIs and not
  necessarily have a signal pending on the target cpu, so we
  have to put the check in our drain loop rather than outside
  the loop.

* Add a cpu_pause() to reduce power use for the IPIQ drain case.

* Normalize the use of gd_intr_nesting_level and clean up the
  code syntax for the ipiq_optimized case.

* Remove the previous temporary IPI interrupt signaling fix, it
  was incomplete.

* Fix a missing crit_exit() in the ENOENT case for
  lwkt_send_ipiq3_nowait().

* Track cpu's which are in the middle of ipiq processing and
  assert that a cpu is not in an IPIQ processing loop when
  switching between threads.

* Normalize the use of ip->ip_npoll in the IPIQ code.  This
  field is used to avoid unnecessary IPI interrupts.

vkernel - do not set SA_NODEFER for SIGIO and SIGUSR1

* Do not set SA_NODEFER for SIGIO and SIGUSR1 in vkernels.  This fixes a
  stack overflow which can occur under heavy I/O or IPI loads.

kernel - Fix signal delivery races

* The send side was using p->p_token but the processing code from trap
  was still using the mp_lock.  Fix the trap processing code to use
  p->p_token.

* This fixes several nasty races that can cause signals to be lost and
  vkernels to freeze, and possibly other programs which depend on signals
  between threads.

kernel - Minor enhancement to ddb's 'ps'

* Add a pointer value in hex for wchan field to DDB's ps output.

kernel - Fix a small race in the umtx code

* Add an additional check after registering the vm_page action before
  actually going to sleep, closing a potential vm_token race.

kernel - remove debugging print_backtrace() when a vkernel is killed

* In certain cases a debugging print_backtrace() occurs when a vkernel is
  killed while one or more of its cpu threads is active.  This can crash
  64-bit systems.

* Remove the call for now.

vkernel - Add SIGINFO support (experimental)

* Display the lwp id and the pc and sp of the thread.

vkernel - Fix lockup with [v]kernel due to missing ipiq signal

* If the target ipiq has nothing but passively queued entries the target
  cpu will normally just process the ipi's on the next clock interrupt.

  However, if the originating cpu is forced to live-loop waiting for the
  target to the drain the target may not be aware that it needs to drain
  ASAP.

* The fix is for the originating cpu to ensure that an ipi interrupt is
  sent to the target cpu before live looping.

* This appears to primarily effect vkernels.

Reported-by: ftigeot, tuxillo

tcplay(8): Fix SYNOPSIS & sync to usage()
Also fix typo in getopt string.

manpages: Add some missing includes.

prop_dictionary.3: Reapply 4bba5a94fad7a40a25b58fff23a76b3c0bee80ee.

manpages: Some little cleanup.

libprop manpages: Add missing LIBRARY sections (some added again).

kernel: Remove no longer used kernel option LOUTB.

kernel - Fix panic when the ccd device is used with swapcache

* The CCD device does not populate bp->b_xio.xio_npages or xio_pages[].
  A quirk in the xio test in vn_cache_strategy() could result in a null
  pointer dereference panic.

* Fix the test to avoid the panic.  Note that swapcache does not currently
  work well with the CCD device for stripe-crossing I/Os due to the way
  CCD breaks the I/O up.  It should no longer panic, though.

kernel - Fix ENOBUFS related panic in tcp_output()

* ENOBUFS in tcp_output() during connection initiation was trying to
  use the persist timer to retransmit the packet lost due to lack
  of mbufs, which will panic.  Use the retransmission timer instead.

Reported-by: Peter Avalos <peter@theshell.com>

kernel - Adjust mbuf cached free object retention

* Adjust the cache retention in the objcache_create() calls the mbuf
  subsystem makes to reduce burst ENOBUF failures.  Previously the
  main mbufphdr cache only retained ~150 or so free mbufs.  Now it
  retains up to 1/4 the limit.

Reported-by: Peter Avalos <peter@theshell.com>

tcplay - update to version 0.9

new stuff of relevance to DragonFly:
 * Backup header is now written on volume creation.

 * custom humanize function that is more flexible in what it understands
   and produces nicer results for tcplay, as well as being portable.

 * support for non-512 byte sector size

 * better memory freeing. Instead of just doing lazy freeing at end of
   API operations or execution, free up as much as possible after each
   individual operation.

 * Bug fix: adjust volume size so backup header is never overwritten.

Add the lgue(4) driver for USB CDC ethernet.

Submitted-by: Yellow Rabbit <yrabbit@sdf.lonestar.org>

usr.sbin/802_11: Raise WARNS to 1.

Makefile_upgrade.inc: More typo fixes.

Makefile_upgrade.inc: Fix typos and add two more gprof related files.

rtld-elf - restore old tls/tcb code

 * This was ported incorrectly from FreBSD; the dtv in the TCB needs to
   be updated properly.

 * This fixes a fairly tricky issue that appears in threaded programs
   using dlopen() and family, such as php and Java. It presented itself
   as a strcmp segfault in object_match_name() due to a messed up STAILQ
   ->next pointer. The pointer was being messed up by the TLS code.

Reported-by: Peter Avalos, Antonio Huete, Francois Tigeot

ethernet: Allow netisr handler to run directly

If the packet has already reach the correct netisr, we could simply call
the netisr handler instead of requeue the packet.

ethernet: Add ether_demux(), which will send the packet to the correct netisr

It is intended to be used by the function which does not know whether
the current thread is the correct netisr for the ethernet packet or not.

Currently only ng_ether uses this function, which incorrectly called
ether_demux_oncpu().  The other two callers of ether_demux_oncpu() are
already on the correct netisr.

This paves the way to avoid requeuing the packet to the current netisr
in the ether_demux_oncpu().

ethernet: Factor out ether_characterize()

ethernet: Change some stats type to u_long

kernel -- bpf: Clear bpf_filter mem[] to prevent kernel stack leak.

Submitted by: Guy Harris <guy@alum.mit.edu>

gdb(1): Fix the dreaded "xml-builtin.c already exists" quickworld error.

The feature-to-c.sh script has a check that outputs this error if the
file exists but would have to be regenerated (as can be the case when
quickworlding).

Because fixing it in the script would take more lines than fixing it
in the Makefile, I do the latter (the effect is the same).

HAMMER VFS - Add code to reduce frontend vs flusher locking conflicts

* Implement a Pulse-width modulated time-domain multiplexer on B-Tree
  cursor operations which splits fronttend operations from backend flusher
  operations.

  The larger the number of inodes undergoing reclamation, the greater the
  pulse width given over to locking operations initiated by the flusher.
  Frontend operations (typically reads) are given smaller and smaller
  slot widths as the flusher gets more overloaded.

  The advantage of this mechanism is that we are not simply imposing a
  delay in the reader, we are imposing a variable-length time slot during
  which the reader is able to grab a B-Tree cursor.  This allows linear
  and partially cached operations to 'burst' many operations within the
  slot, allowing them run at nearly full speed and not imposing an artificial
  performance limitation for linear I/O.

* This solves a major deadlock stalling issue that prevented the flusher
  from being able to actually flush sufficient I/O to keep up with the
  inode backlog that e.g. blogbench creates, causing excessive locking
  stalls throughout the HAMMER filesystem, particularly when many file
  inodes are being cycled through.

* When running blogbench --iterations=150 prior to this change write
  performance would drop to unacceptable levels and read operations
  (particularly things which cycle through inodes like 'find' and 'ls')
  would stall for unacceptably long periods of time, often resulting
  in diagnostic cache_lock messages on the console showing namecache
  blockages in excess of 100 seconds.

  With the change namecache blockages are significantly reduced in both
  frequency and duration, find and ls operations are able to run
  concurrently with a heavy multi-file write load, and blogbench shows
  improved write performance while still giving a reasonable priority to
  read operations (which is what we want).

* Rename a few of the sysctls to normalize internal vs external variable
  names.

netisr: Add hashcheck method to check and adjust hw provided hash

Currently only IPv4 provides the non-default hashcheck method

For IPv4's hashcheck:
- Fragements are always delivered to CPU0
- non-TCP and non-UDP packets are passed to software for hash calculation

ioapic: Disable unused GSI instead of leaving it in unknown state

ioapic: Don't do the default IRQ configure, if it is mapped to different GSI

The problem went on unnoticed for such a long time, mainly because most of
the mobos only map IRQ0 to GSI2, and GSI0 is taken as being hooked to the
external interrupt source like i8259.

However, the bug reporter's mobo has an extra IRQ source override entry in
ACPI MADT, which maps IRQ9 to GSI21.  The problem reported is actually
caused by:
GSI is configured in the ascending order, so GSI9 is configured before GSI21.
Since there is no explicit IRQ to GSI mapping for GSI9, by using the default
1:1 mapping IRQ9 will be configured.  When GSI21 is configured, due to the
explicit IRQ to GSI mapping, IRQ9 will be configured again, booo

Reported-by: Siju George <sgeorge.ml@gmail.com>

BSD gprof/4: Remove old gprof versions from code base

Gprof4 was inherited from FreeBSD, but removed from there in March 2002.
It was supposed to handle 8-byte counters which the standard gprof didn't
do at the time, but was later upgraded.  Gprof4 probably should not have
made it to DragonFly 1.0.  :)

BSD gprof has been replaced by GNU gprof, so let's retire it formally.

gprof: Replace BSD gprof and gprof4 with gnu gprof

This stops old gprof and gprof4 from getting built, and links gnu prof
to /usr/bin.

kernel: Remove some old ISA only drivers.

This commits removes the following old ISA specific drivers, most of which
have been removed in FreeBSD, too:

aha(4)    - Adaptec 154xA, 154xB, 154xC, 154xCF and 154xCP SCSI cards
asc(4)    - GI1904-based hand scanner
ctx       - ImageNation CORTEX-I Frame Grabber
dgb(4)    - DigiBoard serial cards (digi(4) driver remains)
el(4)     - 3Com Etherlink 3C501 NIC
gpib      - National Instruments AT-GPIB and AT-GPIB/TNT boards
gsc(4)    - Genius GS-4500 hand scanner
ie(4)     - Intel i82586 based 8 and 16 bit ISA ethernet cards
labpc(4)  - National Instruments LABPC and LABPC+ driver
le(4)     - DEC EtherWORKS II/III ethernet cards
mse(4)    - Bus and InPort mouse driver
rc(4)     - RISCom/8 multiport serial cards
rdp(4)    - RealTek RTL8002 based pocket ethernet adapters
spigot    - Creative Labs Spigot video acquisition board
tw(4)     - TW-523 X-10 interface
wl(4)     - T1 speed ISA/radio LAN card
wt(4)     - Archive/Wangtek cartridge tape driver

Along with those, a number of associated programs are removed, too:

sasc(1) sgsc(1) wlconfig(8) xten(1) xtend(8)

gold: Fix hardcoded library search path

Gold was hard-coded to search "/lib" and "/usr/lib" directories at a
minimum.  The "/lib" directory was removed and a prefix was passed
via CFLAGS to use a different default library path for the cross-tool
version.

libdm - add dummy dm_udev_set_sync_support()

if_bge: Support more chipsets

Add (limited) support for 5761, 5784, 57780 chipsets.

Tested with a Broadcom BCM5723. It works when media is set
before an IP is being assigned, otherwise it panics. Also panics
a lot on a SMP system.

Obtained from: FreeBSD rev 197832.

kernel - Fix several IPV6 issues

* Replace old critical sections with a lock around global structures,
  primarily the default route list for IPV6.  This fixes numerous MP
  races.

* Use rtrequest*_global() instead of rtrequest*() and remove user route
  socket notification (the rtrequest*_global() code should do the
  notification).  This fixes several issues with the per-cpu route table
  getting out of sync and triggering panics, and also appears to fix
  several connectivity issues.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

kernel - Additional fixes for vm_prefault issue

* Fix a case where map->timestamp was being tested without holding the
  map lock, which can race.  We now relock the map prior to testing
  map->timestamp.

* Fix a case where map->timestamp was being adjusted with the map lock
  released.

Reported-by: Peter Avalos <peter@theshell.com>

cryptsetup/dmsetup/lvm: Fix LDADD/DPADD.

cryptdisks(8): Fix LDADD/DPADD.

Add missing DPADD's for library dependencies.

bsd.libnames.mk: Add libkiconv, too.

iasl(8): Fix library dependencies.

acpidb(8): Fix library dependencies.

bsd.libnames.mk: Fix thread lib path.

udevd(8): Fix library dependencies.

ktr.4: Document KTR_DMCRYPT.

options/LINT: Sort the KTR options.

bsd.libnames.mk: Sync the library list with what we have.

Fix userland profiling on x86_64 by taking FreeBSD's mcount().

Previously, -pg compiled programs would segfault.

ktr(4): Add some sysctl descriptions for viewing with sysctl -d.

update proplib

 * There are several bugfixes and many cosmetic fixes.

Obtained-from: NetBSD

cryptsetup - switch to libdm

cryptdisks - switch over to libdm

tcplay - switch to using libdm

bsd.libnames.mk - add libdm

mdoc.local - add libdm

libdm - bind into build

libdm - a simple BSD-licensed libdevmapper

dm - sync_devs() on creation, add new dict entries

 * call sync_devs() on device creation to ensure all devices are visible
   in userland immediately after return from kernel.

 * add some new, so far unusued, dict entries

 * sneak in my copyright as I've rewritten large parts of dm. That way
   at least everyone knows who to blame for broken stuff :)

dm - add message support (one-way)

dm - get rid of excessive locking and redundancy

 * Just use dev->si_drv1 for the strategy, disk ioctl and dump as the
   underlying device and 'dmv' is guaranteed not to go away. Keep the
   locked approach (dm_dev_lookup) for open, close, and mapper ioctls to
   ensure that we never rip out any node that's still in use.

 * This eliminates exclusive locking in the IO path, which should
   improve performance.

initrd - add tcplay root mount support

bsd.libnames.mk - add libtcplay

cryptdisks - add (preliminary) tcplay support

mdoc.local - add libtcplay

tcplay - bring in

 - tcplay is a fully-compatible TrueCrypt implementation, including
   cascaded ciphers, creating volumes, hidden volumes, protecting hidden
   volumes, mapping system volumes, etc... written from scratch.

dm_target_crypt - use per-instance mpipes, KTR

 * Add KTR support (KTR_DMCRYPT) to monitor the read and write strategy
   paths.

 * Make the mpipes for reads and writes per-instance instead of for all
   targets. This solves the issue where two instances are interdependent
   and one starves the other, which will cause a deadlock. This way each
   instance is guaranteed to have some buffers.

 * Change the maximum size of the mpipes from 0.5% of physical memory to
   0.2%, as this limit is now per-instance and an average of 2 or 3
   crypt targets sounds reasonable.

ktr.4: Document the debug.ktr.resynchronize sysctl.