Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

igb: Fix RSS redirect table setting

Allow debug code to force RX ring count

igb: Main serializer should be enough to protect link status

librefuse: Comment out all functions we don't (yet) have and add MLINKS.

librefuse: Makefile cleanup.

igb: Enable multiple RX rings and integrate it w/ DragonFly's RSS

hammer2 - Implement and test first SPAN message transaction.

* The hammer2 VFS now sends a dummy SPAN message to the hammer2 service
  daemon.  SPANs are used to register capabilities (primarily PFS services
  and PFS consumers).  SPAN messages are left as open transactions for the
  duration of the link and/or when the graph changes (mainly a spanning
  tree mechanic that will be coded as a function of the hammer2 service
  daemon in userland.

* Basic open transaction and simple reply message tested.  Use a dummy
  message for testing.

* hammer2_msg_write() detects CREATE, allocates state, and assigns a
  msgid.  state allocation moved out of hammer2_state_msgtx() and
  into hammer2_msg_write() so we can calculate the proper CRCs.

* Fixed a couple of expected bugs.  The userland code was swapping
  msg_hdr.source and msg_hdr.target in the reply, but I adjusted the
  message spec to NOT do that (meaning any message routing has to select
  {source} or {target} based on whether the REPLY bit is set or not.

* Memory seems to get cleaned up properly, so far.

ethernet: Use atomic operation to update RSS related stats

hammer2 - wire up msg transaction state machine

* Wire up the msg transaction state machine.  Split hammer2_msg into
  hammer2_state and hammer2_msg.  Track states in two RB trees in the
  hammer2_pfsmount structure.

  Handle CREATE, DELETE, ABORT, and REPLY flags.

* Revamp the API.  The adjustments make it less likely that messages can
  be left dangling.

* Compile only, untested, not yet operational.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

igb: Split RX and TX serializer

igb: Function renaming

igb_dma_{alloc,free} do more than just allocate/free busdma stuffs

igb: Move RX/TX descriptor count into ring struct

igb: Remove unused field

test/cocci: Add a patch that reports checks of variable/field addresses.

Like:

int i;
...
if (&i)
   ...

Taken-from: Linux

arcmsr(4): To check for sense data, use sense_len.

Checking the address of a variable or field is going to be always true.

jme: Don't allow lower 32bits of RX buffer's physical address to be 0

If lower 32bits of RX buffer's physical address is 0, it would break
hardware pending RSS information delivery detection on RX path.

jme: Fix the race on the RX path against hardware for jumbo frames

Hardware will not clear OWN bit except the first RX desc, so its
following RX desc's OWN bit should be cleared before set the OWN
bit on the first RX desc again, i.e. before the first RX desc get
reused.

jme: Don't reuse the RX descriptor if the RSS is not set by the hardware

Reenable RSS; it is stable enough now.

jme: Utilize ifnet_serialize_array_ functions

emx: Utilize ifnet_serialize_array_ functions

ifnet: Add ifnet_serialize_array_{enter,exit,try,assert}()

Ease network device driver development

VOP_LOOKUP.9: Fix a little coding mistake.

igb: Split RX/TX ring count

Remove the unused igb_queue struct

test/cocci: Add a patch that checks for various sizeof(<pointer>) issues.

It will warn about either assigning the size of a pointer to a variable
or passing both <pointer> and sizeof(<pointer>) to a function. These
patterns almost always point to bugs.

Taken-from: Linux

re: Fix size of the bcopy when extracting ethernet address

Reported-by: swildner@

jme: Reconfigure RSS when RX engine is stopped

jme: Save physical address of RX buffer, which will be used upon error

jme: Set OWN bit on TX desc, only after the other information is setup

jme: Increase alignment of TX/RX descriptor ring to the cacheline size

Round up TX/RX ring size to cacheline size too.

kernel/ufs: Bring in a fix to ufsdirhash_hash() from FreeBSD.

"When looking for some extra data to include in the hash, use the
 address of the dirhash, rather than the first sizeof(struct dirhash *)
 bytes of the structure (which, thankfully, seem to be constant)."

While here, fix some typos in the comment.

In-discussion-with: thesjg, vsrinivas

ppp(8): Raise WARNS to 6.

ppp(8): Another little fix (for i386).

usr.sbin/ppp: fix netgraph includes.

If the WANT_NETGRAPH7 make variable is set, use includes from
netgraph7/*; otherwise use includes from netgraph/*. It is possible
to use ppp with netgraph7 for establishing pppoe connections starting
from this commit.

XXX: the ng_tty module has not been ported yet into netgraph7, so use
the include header from legacy netgraph for now. This is an ugly hack
but allows ppp to compile for now until ng_tty is ported.

Reported-by: Sacha Wildner <swildner@>

netgraph7: ng_base: spl* -> crit_*

netgraph7: Dont register netisr for netgraph

Netgraph7 has been converted to taskqueue in an earlier commit.
* Do not register netisr.
* Rename ngintr() to ngtask(), no functional change.

netgraph: do not unconditionally load ng_ksocket module

Unconditionally loading ng_ksocket module was preventing correct operation
when compiling netgraph into the kernel (i.e. when not compiled as a
module).

ppp: Raise WARNS to 5.

Mostly-from: FreeBSD

kernel: Remove some bogus checks before returning anyway.

Fix two wrong sizeof() usages.

It should be taking the size of the variable the pointer points to,
instead of the size of the pointer itself.

hammer2 - Wire-up the kernel<->userland messaging pipe

This commit starts coding up the cluster controller messaging
infrastructure.  The cluster controller is a userland program
typically running on the same machine (but doesn't have to be).

The controller will be able to act in several capacities ranging
from simple remote mounts with no local storage to mirroring setups,
master/slave setups, and ultimately quorum setups.  Since communication
is over a socket it will eventually be possible to implement a
diskless hammer2 root mount without the need for a local controller.

The VFS only talks over one socket, so in quorum or multi-connection
setups the local cluster controller will deal with the complexity of
managing multiple connections and the hammer2 VFS messaging interface
remains simple.

The hammer2 VFS will also use this interface to request cache state
grants and, being a two-way protocol, the other end can request cache
state invalidations or downgrades.

* hammer2_mount now starts 'hammer2 service', connects to it via a socket,
  and passes the socket descriptor to the mount().

* The hammer2 VFS now refs the passed-in file pointer and starts a reader
  and writer thread to manage it.  The code does not yet process actual
  messages.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

sys/boot: Raise WARNS to 2 and silence a warning.

fwcontrol(8): Raise WARNS to 6 and fix warnings.

dconschat(8): Raise WARNS to 6 and fix warnings.

sensorsd(8): Raise WARNS to 6 and fix warnings.

kernel: Remove some unused variables.

dlopen.3: Remove wrong .El

Put getmntopts() into libutil and install mntopts.h to /usr/include.

Previously, they were private to sbin/mount and the other mount_*
commands would take them from there via their Makefiles.

However, puffs related stuff outside base (in pkgsrc for example)
couldn't reach them this way. So for now, arrange it like NetBSD
has it.

hammer2 - Integrate CCMS thread lock into hammer2 chain structure

* Integrate the CCMS thread lock into the hammer2 chain structure.

* Implement shared and exclusive modes (hammer2 was only really using
  exclusive mode before).  Rework all the chain and inode locking functions
  to use CCMS via chain->cst.

  This also required changing the SPLAY trees into RB trees.

* Start reworking non-modifying VNOPS to use shared CCMS locks.

* Rework the hammer2_chain_drop() function to avoid deadlocks due to the
  mixed shared/exclusive locks we now support.

* Major performance improvements for concurrent access.  SHARED locks now
  extend to hammer2_chain and hammer2_inode structural accesses, recursions,
  and cached data (buffer cache) accesses.

  In particular, multiple threads can now access the same bp via a
  hammer2_chain locked shared.  The bp's themselves are still exclusive
  only (the kernel APIs haven't changed), but the hammer2_chain structure
  can now share the bp's data across several threads accessing it via the
  chain.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

Remove doscmd(1).

Whatever it is that people take for running MS-DOS stuff nowadays, we do
not need to maintain this in the base.

It was i386 only, too.

hammer2 - Change from splay -> red-black tree

* Even though splay trees are faster they are not lookup-safe under a
  shared lock.  In order to consolidate the chain locks with the cache
  coherency state we need to make lookups shared-safe.

* This will allow me to move chain locks from exclusive to shared/exclusive
  with only modest surgery.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel: Use hashdestroy() to free hash tables allocated with hashinit().

It asserts that the table is empty before kfree()ing it.

Fix some unterminated quoted strings in several manual pages.

kernel/drm: Use hashdestroy(). Unbreaks kernel build.

kernel: Remove some unused variables.

hammer2 - Initial CCMS locking tie-in

This is a necessary precursor step to being able to integrate the cache
state grants with our chain locks.  Basically we are replacing the
hammer2 chain lockmgr lock (hammer2_chain->lk) with a CCMS cst structure
(hammer2_chain->cst).

This structure will become the attribute CST for hammer2 inodes.  The
topological CST is built into the hammer2_inode.  Data-space CSTs will
initially be the hammer2_chain->cst for indirect blocks though we will
probably also need one or more in hammer2_inode to handle generic casess.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

Update the pciconf(8) database.

May 7, 2012 snapshot from http://pciids.sourceforge.net/

kernel: Add <sys/hash.h>.

* Our DRM's drm_priv_hash.h is really what's <sys/hash.h> in the other
  BSDs. So move it there, too.

* Add a hash(9) manual page (from FreeBSD).

* Adjust DRM to use our hash{init,destroy}() functions instead of
  rolling its own.

Reported-by: ftigeot

kernel: Add hashdestroy() (taken from FreeBSD).

Move hash.9 to hashinit.9.

bce: Configuable number of TX/RX descriptor pages

igb: Use extended interrupt mode whenever possible

The extended interrupt mode could be used as long as the interrupt
is not shared.  MSI by definition is not shared.  For line interrupt,
hw.igbX.irq.unshared tunable is added; it could be set, if the igbX
does not share interrupt line with other devices.

The extended interrupt mode could deliver accurate information about
which queue is active, thus avoiding extra memory reading.

hammer2 - Initial CCMS adaptation and code-up

This is an initial code-up and compiles-without-error pass, untested and
likely full of bugs.

CCMS needed a makeover but I managed to retain the guts of the original
block/wakeup and CST partitioning code.

* The frontend code now creates a larger CCMS topology which will mirror
  the chain topology (the ccms_inode will be embedded in a hammer2_inode),
  and places the data ranging in ccms_inode.

* CCMS inode creation and deletion is broken up into two stages, e.g. a
  deletion requires a 'delete' plus 'uninit' sequence allowing the 'delete'
  to reflect a topological deletion but for the CCMS node to remain intact
  (e.g. if open descriptors on the related file or directory remain), then
  a final uninit when the descriptors finally go away.

* Enhanced the original CCMS code and the new ccms_inode to track three
  different cache coherency domains:  (1) A recursive topological domain
  which covers the inode and entire subtree.  (2) An attribute domain covering
  only the inode attributes, and (3) A data domain covering a data offset
  range or directory key range.

* Local cache states are implemented for the attribute and data range domains,
  the topological domain is not yet properly recursive.

* Remotely-granted cache states are not yet implemented.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

igb: Unbreak compile on i386

Reminded-by: swildner@

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

Unbreak kernel build. Also remove <sys/ccms.h> via 'make upgrade'.

hammer2 - Move CCMS code from kernel to hammer2

* Move the CCMS cache coherency module from the kernel to hammer2.  It will
  now be hammer2-specific.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel - Add comment on spinlocks_wr

* Document a side effect related to spinlocks_wr in the LWKT scheduler.

kernel - Remove kernel-level ccms module (it will be moved into hammer2)

* Remove the CCMS kernel layer.  The CCMS module is going to be moved
  directly into hammer2 in order to make hammer2 more portable.  For
  now that means moving the files into vfs/hammer2 in the hammer2 branch.

* CCMS is a logical cache coherency locking layer that has been in the
  DragonFly tree for a while but was not enabled by default.  Originally
  the plan was to not lock vnodes across operations but to instead acquire
  the appropriate CCMS lock(s), but rewiring all the filesystems proved to
  be too large a task.

* HAMMER2's cluster work is going to need this layer for real, but nothing
  else does.  What we will do instead (eventually) is add a mount flag to
  allow us to avoid locking vnodes across VNOPS calls which HAMMER2 will be
  able to specify.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

igb: Optimize TX path

Reduce the number of status reports of TX ring: at most 16 reports every
TX descriptor count tranmission.  It is unnecessary to report status for
every TX descriptor.  This could greatly reduce bus traffic.

Use "Transmit Completions Head Write Back" as mentioned in the datasheet.
In this model, TX descriptors are no longer written by hardware thus cache
trashing is avoided.  This also greatly reduce the complexity of igb_txeof.

Implemention note of "Transmit Completions Head Write Back",
- HWBTHRESH is not used, since:
  o  82575 does not support it
  o  Number of status reports are already greatly reduced
- WB_on_EITR is not used, since:
  o  82575 does not support it
  o  It will cause unnecessary head write-back

Performance is almost same as previous code:
- 1.48Mpps for 18bytes UDP datagram
- Line rate for 1472bytes UDP datagram and TCP stream

tcp: Adjust tcpcb fields comment about NewReno fast recovery

We have SACK based fast recovery; don't limits the fields to NewReno

kernel/drm: Remove bogus .PATHs.

drm: Stow drivers for various chip families

putting them into their own subdirectories in sys/dev/drm/

Inspired-by: David Shao's dflygsocdrm work

Fix for password truncation when using crypt(3) with DES

Passwords containing a 0x80 byte (UTF-8 encoded ones, ASCII and
ISO-8859-* not affected) would get truncated as if a '\0' byte
had been encountered. This could result in some very weak passwords.

Reported-by: Rubin Xu, Joseph Bonneau, Donting Yu (CVE-2012-2143)

icmp: Discard ICMP Source Quench per RFC6633

tcp: Only tcpopt.to_flags are needed in tcp_recv_dupack()

While im here, change tcpopt.to_flags from u_long to u_int

tcp: Even for PAWS tolerance, no segments should follow segment with FIN

tcp: Don't let fast retransmit disrupt RTO rebasing

While im here, add and adjust comment about spurious timeout retransmit
detection.

tcp/reass: Fix the cases that FIN got lost during reassemble

While im here, set SACK report's right edge correctly if the current
segment could be merged with its succeeding segment.

tcp/sack: If other side reneged, discard the current SACK scoreboard

Other side reneging is detected using the first SACK record:
If its left edge is less than or equal to the cumulative ACK of the
incoming segment, other side probably reneged.

This fixes the later assertion that the first SACK record's left edge
must be above snd_una in tcp_sack_first_unsacked_len()

Add statistics about other side reneging

socket: Fix wrongly numbered SIOCGIFDATA

While im here, add comment about used number in 'i' group

DragonFly-bug: http://bugs.dragonflybsd.org/issues/1897

drm.4: A little clean up.

kernel: increase watchdog default period to 30s

Reducing idle cpu time and power a bit

tcp/sack: Constify function arguments if possible

man/ktr: Adjust for the recent ether function cleanup

Reminded-by: swildner@

tcp/sack: Only retransmit unSACKed data when fast retransmit

pktgen: Unbreak compile

kernel: in_cksum2.s is needed by inet6 code

Remove a few more casts of NULL to some pointer type.

kernel: tcp_fasttimo() is dead

* It was actually killed in 1999

* Remove its last two remaining references

pci: Disable PCI express memory mapped access method by default

It seems to hang some systems during boot.

Reported-by: y0netan1@

tools: Add netblast

Obtained-from: FreeBSD

acpi: strupr() isn't used anywhere, so remove it.