emx(4): Remove emx_dma_{malloc,free}() and related struct.

emx(4): Move TX/RX desc ring alloc/free into ring creation/destroy functions

emx(4): Regroup RX/TX ring creation code

undo: don't run diff between last tid and tid_max

Diff works on pairs of tids and not on only the first tid passed in to
the generator.  As a result, there is nothing to do for the last pair of
tids: the last tid and max_tid refer to the same version.  Avoid running
the generator in this case.

undo: use MAX_TID for tid_max, or else HAMMER won't find the latest change

We should anyways use HAMMER_MAX_TID.  This also works around the bug in
<http://bugs.dragonflybsd.org/issue1307>.

undo: for one-shot operations, pass in the last tid and not tid_max

This allows diff to print a sensible time of the last modification and
not print the start of the epoch.

cleanup: typo in comment

ktrdump: print ktr data using vfprintf()

The code previously assumed that there is a maximum of 10 arguments which
are all integer (sized).  Printing of more or differently sized arguments
seemed to work on occasion, or not.

emx(4): Compact transmit path a little bit

- emx_buf.m_head is only set/cleared in the last emx_buf associated with
  the packet, so we don't need to keep clearing it in transmit descriptor
  setup loop.
- Used transmit descriptors do not need to be cleared in txeof and tx_collect

em/emx(4): Remove dead code; add comment.

em/emx(4): Don't use __predict_false when test m_len against EM_TXCSUM_MINHL

For 100 bytes UDP datagram written by userspace program, m_len is always
less then EM_TXCSUM_MINHL.

em/emx(4): Fix comment

Get rid of iwicontrol(8)

Update iwi(4) manpage according to recent firmware upgrade.

iwi(4): Upgrade to use 3.0 firmware and use firmware(9) API to load firmware.

Submitted-by: Johannes Hofmann <johannes.hofmann@gmx.de>

Allow the IP_MINTTL socket option to be set to zero.

This disables the feature and is the default actually.

Reported-by: Nick Hilliard <nick at foobar.org>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1304>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

disklabel64 UFS+HAMMER boot support (was previously just HAMMER boot support)

Create a mini-API for boot2 filesystems, split out the filesystem probe &
initialization code, and adjust boot2 to probe multiple filesystems.  While
the coding is fairly generic, only the larger boot2 area in a disklabel64
is big enough to hold a multi-filesystem boot2.  32 bit disklabels can still
only boot from UFS.

As part of this work the BTX loader offset for boot2 had to be adjusted.
boot1 used to load boot2 at 0xA000+0x4000 = 0xE000, but this left only 8KB
available before the segment would overflow in boot1's relocation code.

The BOOT2_VORIGIN was adjusted downward from 0x4000 to 0x2000, reducing
the absolute physical load address for boot2 to 0xC000 and allowing us
to load up to a 16K boot2 without overflowing the segment.

Fix checkpt's thaw failure error message.

em(4): Give preference to emx(4) based on PCI ids.

Copy em(4) to emx(4), which supports only 8257{1,2,3} parts.

The reasons to create another driver for 8257{1,2,3}:
- Various old hardware bug workaround code are removed, so the
  code is more straightforward, especially on the transmit path.
- Only 8257{1,2,3} support multi RX queues.
- Only 8257{1,2} support multi TX queues (no plan for it yet).
- It could be a sandbox for me to add multi queues support, while
  em(4) always works :).

em(4): Put back pkt_txclean KTR

em(4): We don't need in_detach trick.

em(4): Fix comment

em(4): We return 0 or errno, but not Intel e1000's error code.

em(4): White space

Small adjustment to committer(7): cherry-pick takes one argument.

Adjust checkpoint restore to use same note order as coredumps.

Recent changes to the coredump code broke the checkpoint restore
code (checkpt -r) due to reordering of the ELF notes.  Adjust the
checkpoint restore code to deal with the new ordering.

Reported-by: Samuel J. Greear <sjg@evilcode.net>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Fix improper cred checks for utimes()

Adjust the kern_utimes() code in the kernel to check for write permissions
prior to diving into the VFS.  UFS checks for write perms but HAMMER doesn't.
Generally speaking we want (at least for now) the kernel to do as much of
these checks as possible.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

Mention commit template in committer.7.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

VKERNEL - Fix entry into ddb when running a SMP vkernel.  Fixes stop/cont

The vkernel was trying to send individual LWPs a SIGSTOP, but POSIX handles
SIGSTOP differently from other signals and it was not having the desired
effect.

Instead the vkernel now sends SIGXCPU to each individual LWP and installs
a signal handler to pause the thread until the debugger wishes to wake it up
again.

Reported-by: corecode

msdosfs: clean up reference counting

For consistency and robustness, always test de_refcnt with > 0 or <= 0.

Also assert that de_refcnt is > 0 when deleting file.

msdosfs: fix deleted-but-open files handling.

When deleting a file, msdosfs keeps its denode in the denode cache until it is
reclaimed.  This causes a collision in the cache when recycling the directory
entry of a deleted but still open file for a new or renamed file.  This
collision was incorrecly handled resulting in a kernel panic (rename case) or
syscall error and corrupted in-core state (new file case).

Fix by allowing denodes pointing to the same directory entry to coexist in the
cache as long as a single one of them represents an existing file.

Reported-by: corecore@
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1286>

msdosfs: fix bug in msfdosfs_hashins().

This function returns an error if there is already a denode in the hash table:
EBUSY if the hashed denode represents a live file and EINVAL if it represents a
deleted but still opened file.

There was a typo in the function causing it to check for liveness in the denode
to insert instead of the already inserted one.  As a consequence, if N threads
were in a race in deget() to insert a new denode for the same file in the hash
table, the losers would fail with EINVAL instead of retrying.

msdosfs: Fix error path in deget().

There was one error path where the depp output parameter was not set to NULL.

Update busdma(9) manpage according to recent changes.

em(4) manpage: Update according to the recent changes.

- Hardware vlan tagging is always on
- Add hw.em.int_tx_nsegs
- Nuke hw.em.rx_{abs_int_delay,int_delay}
- Nuke hw.em.tx_{abs_int_delay,int_delay}

ioctl(9): Add more ioctl chars plus a missing struct keyword in example.

Submitted-by: Stathis Kamperis <ekamperi@gmail.com>

em(4): Reduce EM_TXDD_SAFE from 50 to 48.

With this change, the device will have at most 48 TX descriptors pending
to be write back.  48 is chosen according to the table listed on:
Intel 82571EB/82572EI Ethernet Controller Revision 6.0, Page 43,
Item 70. 82571/82572 Overwrites Transmit Descriptors in Internal Buffer.

em(4): Don't write ITR, if the NIC is not running yet.

em(4): We don't dynamicly config txd_cmd; there is no reason to keep it anymore.

em(4): We don't embrace TIDV/TADV; nuke the related bits.

em(4): Don't turn on/off TX descs' IDE bit in sysctl.

We don't use TIDV/TADV to implement TX interrupt moderation, i.e.
TX desc's IDE bit should always be off.  When we set TX desc's RS
bit, we do want TX interrupt to come immediately after the TX
desc's DD bit is set by hardware.

em(4): Adjust RDTR/RADV comment that they should not be used

em(4): Don't configure RADV (default is 0), which is deprecated.

- In 82573 workaround, we still need to configure RADV, since RDTR is used.
- Revoke tunable/sysctl node for RADV.

em(4): Add tunable for the 82573 workaround, enabled by default.

Given not all 82573 based NICs have this problem and RDTR is
deprecated, adding a tunable to disable the workaround for a bad
hardware design seems like a quite reasonable compromise ...

em(4): Revoke tunable/sysctl node for RDTR, which is dangerous and deprecated.

em(4): Make sure that the upper 16bits of ITR is 0.

em(4): Reduce TX interrupt rate and device's TX desc write requests

The RS (report status) bit in the TX desc controls whether DD bit
should be set by device (via write request) and whether TX interrupt
should be generated.  By setting RS bit in the last TX desc of
int_tx_nsegs TX descs, we greatly reduce the TX interrupt rate
(from 20000/s to 1200/s for full speed 1472bytes UDP datagrams) and
the number of device's TX desc write requests.  This also gives me
additional +10Kpps on 82573E_IAMT.  Add sysctl node for int_tx_nsegs,
its default value is 1/16 number of TX descs.  The implementation
details are commented near struct adapter's related fields.

Sync em(4) manual page with FreeBSD.

Some small fixes.

expr(1): Add support for -- as required by POSIX

Reported-By: vstemen on #dragonflybsd

Merge branch 'master' of git://venus/dragonfly

atacontrol(8): Fix amd64 warnings.

pppoed(8): Fix amd64 warnings.

Add OFF_MIN and OFF_MAX to limits.h.

While here, clean up the comments in amd64's limits.h a bit.

sail(6): Fix amd64 warnings.

The Write() function was being used for printing both numbers and strings
in an unportable way. Split it into Write() for numbers and Writestr()
for strings.

Taken-from: NetBSD

libopie:  on update, 0-pad the sequence integers to keep seed length

OPIE requires a certain seed length and generates a default seed, using
a 0-padded random number.  Subsequently changing the password will
increment this seed.  The code missed 0-padding this increased integer,
so opiepasswd would advance the seed from e.g. "la0092" to "la93".  This
would prevent opiekey(1) from working, complaining about a too short
seed.

syntax cleanup to unbreak code highlighting

mtree: create usr/include/dev/misc/ppi to properly install headers

Return EBUSY if we're detaching a vn with vnode refs to it.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue998>

pax(1): Fix amd64 warnings.

rcp(1): Fix amd64 warnings.

ls(1): Fix amd64 warnings.

df(1): Fix amd64 warnings (type widths).

Taken-from: FreeBSD

HAMMER Utiliites: undo can now detect all prior replacements of a file.

The undo code will now iterate the history of the parent directory and
attempt to locate all versions of the requested file even if the inode
number changes due to the file being deleted and recreated, or
renamed-over.

undo -i attempts to show inode number changes and deletions in the list.

undo -a (-d/-D) is now able to span inode number changes.

Suggested-by: corecode

HAMMER VFS:  Allow the form ".@@<snapshot>"

Normally "." is processed by the kernel, but since extended snapshot
filenames are handled by the VFS trying to access a snapshot of "."
is passed through.  Handle it properly.

Note that the "..@@<snapshot>" form is not handled.

HAMMER Utilities: Use a Red-Black tree to track HAMMER TIDs, use diff -N

Begin using a red-black tree to track the TIDs used to generate diff sets.

Use diff -N to deal with pre-creation/post-creation undo diffs.

Use diff -r.  However, running undo -a -d on a directory is not yet
meaningful because only the directory TIDs are used right now.

Remove the horribly designed RB_AUGMENT.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS: Add missing hammer_rel_volume() call in deadlock/retry case.

A late collision in hammer_get_buffer() could result in a ref count leak
on a hammer_volume structure.  Fix the leak.

HAMMER Utility: Allow -b to specify bytes per second if no suffix is supplied

Allow fractional delay specs for iostats and bstats, set lower limit to 0.001.

Suggested-by: cmpgt <cmpgt00@gmail.com>

dntpd(8): Fix amd64 warnings.

pctrack(8): Fix amd64 warnings.

sockstat(1): Fix amd64 warnings.

rconfig(8): Fix amd64 warnings.

init(8): Fix amd64 warnings.

disklabel(8): Fix amd64 warnings.

pax(1): Raise WARNS to 2.

dma(8): Raise WARNS to 6.

systat(1): Fix 'systat -ip' support

Based-on: related implementation in netstat(1)
Reported-by: ruse39 on EFNET #dragonflybsd

em(4): Correct the conditions to be asserted

em(4): Turn on/off SPEED_MODE according to the current link speed.

em(4): Avoid allocating a csum offloading TX desc whenever possible.

According to Intel's PCIe GbE Controllers Open Source Software
Developer's Manual Revision 1.8: a csum offloading TX desc will
prevent TX data read requests from being pipelined, thus reduce TX
performance.  The pipelining effect is not obvious when transmitting
bulk data (e.g. 1472 bytes UDP datagram), but it could be dominant
when transmitting tiny packets.  So we should avoid allocating a
csum offloading TX desc whenever possible to take advantage of the
pipelining effect.

On 82573E_IAMT,
Before this commit: ~700Kpps
After this commit:  ~990Kpps

The funny thing about this commit is:
Old driver code from Intel's FreeBSD driver 6.2.9 roughly did what
we are doing in this commit, while Intel's FreeBSD driver 6.9.6
simply follows Linux's way to flush the performance to the toilet ...

pktgen: Put -DSMP under '.ifdef SMP'

em(4): Free incomplete received packet in em_stop().

em(4): Put back the workaround and related comment for 82542 rev2

em(4): On TX path, make sure that ether header and ip.ip_hl are contiguous.

This must be done mainly because if hardware TX csum offloading is enabled,
setting up context TX descriptor will need to access ip.ip_hl.

em(4): Sync with Intel's em-6.9.6(FreeBSD)

In addition to adding support for some chips (e.g. 82574L), this also gives
me the chance to rearrange and clean up if_em.[ch] :)

Noticable changes to the FreeBSD driver:
- The hardware abstraction layer is put into a seperate module (ig_hal)
- IP csum offloading is supported when hardware TX csum offloading is enabled
- mbufs on RX/TX ring are freed in em_stop(), i.e. during "ifconfig emX down"
- TX pattern is adjusted that we test number of avaiable TX descs before
  dequeuing mbuf from ifq.  We also reserve double spare TX descs for 82544
  cards on PCI-X bus, so we will not need to unload the loaded mbuf in the
  mid way due to short of TX descs; this at least makes the logic a little
  bit simpler.

Add git commit template

Rename the old CVS template and add it to the repo.  As git is a DSCM
you have to install the template yourself.  Just use the following
command:

git config --add commit.template /usr/src/tools/gittemplate

mount_udf(8): Raise WARNS to 6 and fix warning.

dhclient(8): Raise WARNS to 2 and fix a warning.

libstand: Raise WARNS to 2 and fix warnings.

libpthread: Raise WARNS to 6 :)

libdevstat: Raise WARNS to 6 and fix warnings.

libbluetooth: Raise WARNS to 6.

libusbhid: Raise WARNS to 6.