gdb(1): Fix the dreaded "xml-builtin.c already exists" quickworld error.

The feature-to-c.sh script has a check that outputs this error if the
file exists but would have to be regenerated (as can be the case when
quickworlding).

Because fixing it in the script would take more lines than fixing it
in the Makefile, I do the latter (the effect is the same).

HAMMER VFS - Add code to reduce frontend vs flusher locking conflicts

* Implement a Pulse-width modulated time-domain multiplexer on B-Tree
  cursor operations which splits fronttend operations from backend flusher
  operations.

  The larger the number of inodes undergoing reclamation, the greater the
  pulse width given over to locking operations initiated by the flusher.
  Frontend operations (typically reads) are given smaller and smaller
  slot widths as the flusher gets more overloaded.

  The advantage of this mechanism is that we are not simply imposing a
  delay in the reader, we are imposing a variable-length time slot during
  which the reader is able to grab a B-Tree cursor.  This allows linear
  and partially cached operations to 'burst' many operations within the
  slot, allowing them run at nearly full speed and not imposing an artificial
  performance limitation for linear I/O.

* This solves a major deadlock stalling issue that prevented the flusher
  from being able to actually flush sufficient I/O to keep up with the
  inode backlog that e.g. blogbench creates, causing excessive locking
  stalls throughout the HAMMER filesystem, particularly when many file
  inodes are being cycled through.

* When running blogbench --iterations=150 prior to this change write
  performance would drop to unacceptable levels and read operations
  (particularly things which cycle through inodes like 'find' and 'ls')
  would stall for unacceptably long periods of time, often resulting
  in diagnostic cache_lock messages on the console showing namecache
  blockages in excess of 100 seconds.

  With the change namecache blockages are significantly reduced in both
  frequency and duration, find and ls operations are able to run
  concurrently with a heavy multi-file write load, and blogbench shows
  improved write performance while still giving a reasonable priority to
  read operations (which is what we want).

* Rename a few of the sysctls to normalize internal vs external variable
  names.

netisr: Add hashcheck method to check and adjust hw provided hash

Currently only IPv4 provides the non-default hashcheck method

For IPv4's hashcheck:
- Fragements are always delivered to CPU0
- non-TCP and non-UDP packets are passed to software for hash calculation

ioapic: Disable unused GSI instead of leaving it in unknown state

ioapic: Don't do the default IRQ configure, if it is mapped to different GSI

The problem went on unnoticed for such a long time, mainly because most of
the mobos only map IRQ0 to GSI2, and GSI0 is taken as being hooked to the
external interrupt source like i8259.

However, the bug reporter's mobo has an extra IRQ source override entry in
ACPI MADT, which maps IRQ9 to GSI21.  The problem reported is actually
caused by:
GSI is configured in the ascending order, so GSI9 is configured before GSI21.
Since there is no explicit IRQ to GSI mapping for GSI9, by using the default
1:1 mapping IRQ9 will be configured.  When GSI21 is configured, due to the
explicit IRQ to GSI mapping, IRQ9 will be configured again, booo

Reported-by: Siju George <sgeorge.ml@gmail.com>

BSD gprof/4: Remove old gprof versions from code base

Gprof4 was inherited from FreeBSD, but removed from there in March 2002.
It was supposed to handle 8-byte counters which the standard gprof didn't
do at the time, but was later upgraded.  Gprof4 probably should not have
made it to DragonFly 1.0.  :)

BSD gprof has been replaced by GNU gprof, so let's retire it formally.

gprof: Replace BSD gprof and gprof4 with gnu gprof

This stops old gprof and gprof4 from getting built, and links gnu prof
to /usr/bin.

kernel: Remove some old ISA only drivers.

This commits removes the following old ISA specific drivers, most of which
have been removed in FreeBSD, too:

aha(4)    - Adaptec 154xA, 154xB, 154xC, 154xCF and 154xCP SCSI cards
asc(4)    - GI1904-based hand scanner
ctx       - ImageNation CORTEX-I Frame Grabber
dgb(4)    - DigiBoard serial cards (digi(4) driver remains)
el(4)     - 3Com Etherlink 3C501 NIC
gpib      - National Instruments AT-GPIB and AT-GPIB/TNT boards
gsc(4)    - Genius GS-4500 hand scanner
ie(4)     - Intel i82586 based 8 and 16 bit ISA ethernet cards
labpc(4)  - National Instruments LABPC and LABPC+ driver
le(4)     - DEC EtherWORKS II/III ethernet cards
mse(4)    - Bus and InPort mouse driver
rc(4)     - RISCom/8 multiport serial cards
rdp(4)    - RealTek RTL8002 based pocket ethernet adapters
spigot    - Creative Labs Spigot video acquisition board
tw(4)     - TW-523 X-10 interface
wl(4)     - T1 speed ISA/radio LAN card
wt(4)     - Archive/Wangtek cartridge tape driver

Along with those, a number of associated programs are removed, too:

sasc(1) sgsc(1) wlconfig(8) xten(1) xtend(8)

gold: Fix hardcoded library search path

Gold was hard-coded to search "/lib" and "/usr/lib" directories at a
minimum.  The "/lib" directory was removed and a prefix was passed
via CFLAGS to use a different default library path for the cross-tool
version.

libdm - add dummy dm_udev_set_sync_support()

if_bge: Support more chipsets

Add (limited) support for 5761, 5784, 57780 chipsets.

Tested with a Broadcom BCM5723. It works when media is set
before an IP is being assigned, otherwise it panics. Also panics
a lot on a SMP system.

Obtained from: FreeBSD rev 197832.

kernel - Fix several IPV6 issues

* Replace old critical sections with a lock around global structures,
  primarily the default route list for IPV6.  This fixes numerous MP
  races.

* Use rtrequest*_global() instead of rtrequest*() and remove user route
  socket notification (the rtrequest*_global() code should do the
  notification).  This fixes several issues with the per-cpu route table
  getting out of sync and triggering panics, and also appears to fix
  several connectivity issues.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

kernel - Additional fixes for vm_prefault issue

* Fix a case where map->timestamp was being tested without holding the
  map lock, which can race.  We now relock the map prior to testing
  map->timestamp.

* Fix a case where map->timestamp was being adjusted with the map lock
  released.

Reported-by: Peter Avalos <peter@theshell.com>

cryptsetup/dmsetup/lvm: Fix LDADD/DPADD.

cryptdisks(8): Fix LDADD/DPADD.

Add missing DPADD's for library dependencies.

bsd.libnames.mk: Add libkiconv, too.

iasl(8): Fix library dependencies.

acpidb(8): Fix library dependencies.

bsd.libnames.mk: Fix thread lib path.

udevd(8): Fix library dependencies.

ktr.4: Document KTR_DMCRYPT.

options/LINT: Sort the KTR options.

bsd.libnames.mk: Sync the library list with what we have.

Fix userland profiling on x86_64 by taking FreeBSD's mcount().

Previously, -pg compiled programs would segfault.

ktr(4): Add some sysctl descriptions for viewing with sysctl -d.

update proplib

 * There are several bugfixes and many cosmetic fixes.

Obtained-from: NetBSD

cryptsetup - switch to libdm

cryptdisks - switch over to libdm

tcplay - switch to using libdm

bsd.libnames.mk - add libdm

mdoc.local - add libdm

libdm - bind into build

libdm - a simple BSD-licensed libdevmapper

dm - sync_devs() on creation, add new dict entries

 * call sync_devs() on device creation to ensure all devices are visible
   in userland immediately after return from kernel.

 * add some new, so far unusued, dict entries

 * sneak in my copyright as I've rewritten large parts of dm. That way
   at least everyone knows who to blame for broken stuff :)

dm - add message support (one-way)

dm - get rid of excessive locking and redundancy

 * Just use dev->si_drv1 for the strategy, disk ioctl and dump as the
   underlying device and 'dmv' is guaranteed not to go away. Keep the
   locked approach (dm_dev_lookup) for open, close, and mapper ioctls to
   ensure that we never rip out any node that's still in use.

 * This eliminates exclusive locking in the IO path, which should
   improve performance.

initrd - add tcplay root mount support

bsd.libnames.mk - add libtcplay

cryptdisks - add (preliminary) tcplay support

mdoc.local - add libtcplay

tcplay - bring in

 - tcplay is a fully-compatible TrueCrypt implementation, including
   cascaded ciphers, creating volumes, hidden volumes, protecting hidden
   volumes, mapping system volumes, etc... written from scratch.

dm_target_crypt - use per-instance mpipes, KTR

 * Add KTR support (KTR_DMCRYPT) to monitor the read and write strategy
   paths.

 * Make the mpipes for reads and writes per-instance instead of for all
   targets. This solves the issue where two instances are interdependent
   and one starves the other, which will cause a deadlock. This way each
   instance is guaranteed to have some buffers.

 * Change the maximum size of the mpipes from 0.5% of physical memory to
   0.2%, as this limit is now per-instance and an average of 2 or 3
   crypt targets sounds reasonable.

ktr.4: Document the debug.ktr.resynchronize sysctl.

ktr.4: Do some cleanup.

kernel: Suppress the generation of unused debug.ktr.*_enable sysctls.

ktr.9: Add a few words about KTR_INFO_MASTER_EXTERN().

binutils: Build gprof with binutils 2.21.1

binutils: Update binutils 2.21 makefiles and READMEs

Merge branch 'vendor/BINUTILS221'

Conflicts:
contrib/binutils-2.21/bfd/doc/bfdver.texi
contrib/binutils-2.21/binutils/doc/addr2line.1
contrib/binutils-2.21/binutils/doc/ar.1
contrib/binutils-2.21/binutils/doc/elfedit.1
contrib/binutils-2.21/binutils/doc/nm.1
contrib/binutils-2.21/binutils/doc/objcopy.1
contrib/binutils-2.21/binutils/doc/objdump.1
contrib/binutils-2.21/binutils/doc/ranlib.1
contrib/binutils-2.21/binutils/doc/readelf.1
contrib/binutils-2.21/binutils/doc/size.1
contrib/binutils-2.21/binutils/doc/strings.1
contrib/binutils-2.21/binutils/doc/strip.1
contrib/binutils-2.21/gas/doc/as.1
contrib/binutils-2.21/ld/ld.1

binutils: Import binutils 2.21.1 files on vendor branch

ktr.4: Forgot an .El

ktr.4/ktr.9: Update and fix various things in our ktr manual pages.

* Document the ktr sysctls.

* KTR_INFO()'s maskbit is not unused as the manpage claims. Add a few
  words about it.

* Remove an obsolete reference to 'ptr'.

ktr(4): Ensure that KTR_ENTRIES is 2^n and document that it has to be.

Reported-by: alexh

gdbinit: Fix typo.

kernel - Add debugging and attempt to fix vm_prefault issue

* Add debugging assertions and attempt to fix a race in the vm_prefault
  code when running through backing_object chains.

* The fix may be incomplete, we really need a way to determine whether any
  chain element has changed state during the scan.  The generation count
  may be too excessive as it also covers vm_page insertions.

Reported-by: Peter Avalos <peter@theshell.com>

gdbinit: Some little simplification.

gdbinit: Add a function to show the unread portion of the kernel msgbuf.

kgdb only shows this at the start via a hard coded function. This
function is handy if you want to see it again and are too lazy to
scroll up or when it's out of the scrollback.

kernel/printcpuinfo(): Sync feature bit descriptions with FreeBSD.

vga(4): Remove a bogus check.

These are the remains of a larger chunk of code that I removed in
4e193d20. It was used to determine whether a MGA, CGA, EGA or VGA
was present in the box. I left the check in at the time because I
thought, why not?

However, ASpeed's VGA BIOS (at least as found on some Tyan S8230*
series motherboards) seems to have some flaws and ends up returning
0xf instead of 0x9. This caused vga(4) initialization to fail early
in the boot and no kernel messages would go to the screen.

Since the only thing that interests us is whether a VGA is present
or not, remove this check. There are other tests later on that will
detect what we want (such as checking the CRTC's address).

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

msk(4): Pass through mii_mediachg() return value

Obtained-from: FreeBSD 192720

msk(4): Align RX buffer on 8bytes for hardware w/ ram buffer

Add another hardware bug workaround for Yukon II controllers that
have hardware ram buffer. The silicon bug seem to be triggered by
pause frames if receive buffer is not aligned on FIFO word(8 bytes).
To workaround the issue, make sure to align Rx buffers on 8 bytes.
Unfortunately this workaround requires yet another Rx fixup for
strict alignment architecture machines to align IP header.

For newer hardwares that lacks ram buffer may not have this bug so
check number of available ram buffer size to see the existence of
ram buffer.

Obtained-frim: FreeBSD 183346

msk(4): Workaround GMAC hardware hang of Yukon II on the receipt of pause frame

This bug seems to happen on certain hardware model/revision (e.g. 88E8053)
but it's not identified which hardwares are affected.  To workaround it,
inrease GMAC FIFO threshold by one FIFO word to flush received pause frames.

Obtained-from: FreeBSD 176652

ktrdump: handle %c in ktr format strings

Mention the ktr format string limitations in ktr(9)

ktrdump: fixup size modifiers for integers

The 'j' modifier is actually {u,}intmax_t, not {s,}size_t. Correct that
and add support for 'z' while at it.

vfs_conf - remove dead struct

vga(4): Fix the kernel build with VGA_NO_BIOS set.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

kernel - Fix improper persist state in tcp

* Fix another case where the persist timer could wind up getting set
  while in TCPS_SYN_RECEIVED.

HAMMER VFS - Fix inconsistent atime updates on read()

* HAMMER's optimization of the read() path to improve concurrency broke
  atime updates in the cache case.  There was a big XXX comment in the
  code about it.

* Fix the issue in a way that avoids acquiring the fs_token in the cache
  case.  If the ATIME flag is already set all we need to do is update
  ip->ino_data.atime.  If it is not set we have to get the fs_token and
  go through the normal transaction.

Reported-by: marino

kernel - Fix improper persist state in tcp

* When TCP is doing a simultanious connect and sitting in the
  TCPS_SYN_RECEIVED state a degenerate 0 window (due to +SYN -ACK packets)
  case occurs where the code improperly tries to switch over from the
  retry timer to the persist timer, which panics.

  The invalid persist state was caught by code placed earlier in the
  year.

* Adjust the code to document the case and stay with the retry timer.

kernel: Fix compiling SMBFS and NETSMB into the x86_64 kernel.

vkernel - enhance the pidfile option and fix memimg file scanning

* Enhance the pidfile option to leave the file descriptor open and hold
  an active lock on the pidfile while the vkernel is running.

  This allows scripts to test whether the pidfile is real or stale.

* When scanning for memimg files only stop if we are unable to create
  a new file.  Skip files owned by other users instead of giving up.

* Adjust the vkernel manual page to document the pidfile feature.  Also
  document that -I can take a vknetd socket path.

less(1): Raise WARNS to 2.

kernel: Move the est(4) source code to dev/powermng/est.

Just like the other related drivers (such as powernow(4)).

Install the est(4) manual page for both i386 and x86_64.

kernel: FWIW, allow the CPU_ENABLE_EST option for x86_64 kernels too.

kernel: Remove obsolete comment.

kernel: Fix buildkernel for kernel w/ 'options IPSEC', but w/o IPSEC_ESP

VKERNEL64: Sync to VKERNEL; i.e. add IPSEC, TMPFS & NULLFS

vkernel64: Sync to vkernel modulo pc64

I.e. add conf/files files present in both platform/vkernel and platform/pc64.

This adds support for IPSEC

padlock(4): Fix build

bce(4): Fix build

crypto(4,9) - update with new algorithms

unix(4): Mention SOCK_SEQPACKET

Reviewed-by: swildner@

dm - change remove_all traversal direction

 * Make remove_all iterate backwards, so that devices that depend on
   other dm volumes created earlier are removed first; otherwise
   remove_all stops at the first dm volume on which another one depends.

kernel: Little style(9) issue.

bce(4): Add more definition for the RX frame header

Obtained-from: FreeBSD 218423

bce(4): Update firmware to 6.0.x

Obtained-from: FreeBSD 218529

devfs - replace subname* with related* functions

 * Completely remove the subname* cruft that removed devices based on
   whether they started with a given string. This was used to remove,
   for example, all slices and partitions whenever a disk was removed.
   The issue with it was that it was solely based on name, so if one
   created for example two (unrelated) dm volumes, called "foo1" and
   "foo1234", then removing "foo1" would leave "foo1234" dangling.

 * Instead we introduce the concept of devices (cdevs) having parents:
   now the slices have the disk as their parent, and the partitions have
   the slice as their parents. The related* functions in devfs
   recursively deal with these relationships given a parent node.

 * This fix will be MFC'ed in a week or two if no issues pop up.

Sort the file list in /usr/share/examples/etc.

Update the README in /usr/share/examples/etc.

Remove obsolete file.

Merge branch 'vendor/LESS'

Import less-444.

Fix ungetc bug; remove vestiges of obsolete -l option.

make upgrade: Remove various old files that were forgotten over the years.

dm_target_crypt - Add twofish & serpent support

 * Adds both CBC and XTS mode support for both Twofish and Serpent

opencrypto - Add serpent & twofish XTS modes

 * also minor cleanup

tests - minor cosmetic fix

tests - add serpent via cryptodev tests