Fix kernel panic on NULL pointer deref w/ certain ktrace commands, allow -c -f.

Fix a kernel panic on a NULL pointer dereference with certain ktrace -c
commands.

Allow the -c -f <file> combination (taken from FreeBSD).

Submitted-by: Stathis Kamperis <beket>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - return shorter-form softlinks "@@-1:%05d" when appropriate.

The HAMMER VFS supports a short "@@-1:%05d" for master PFSs.  Adjust the
HAMMER VFS to return softlinks in that form and adjust the hammer cleanup
code to recognize softlinks in that form.

Note that PFS softlinks are created as "@@PFS%05d", but the HAMMER VFS
presents them in an expanded form which allows the HAMMER VFS to reflect
the latest synchronized transaction id on slave PFSs.  This also prevents
slave PFSs from confusing DragonFly's namecache as each snapshot will appear
to be an entirely different path.

Unfortunately this does mean that cpdup/cp/tar will pickup a translated
softlink and not the actual one.  It's just something else to remember
about these 'weird' PFS mount points.

Suggested-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

emx(4): Move EMX_RSS_DEBUG into opt_emx.h

jme(4): Move JME_RSS_DEBUG into opt_jme.h

identcpu.c: Add MOVBE feature string.

Extract PFS null mounts from anywhere in the filesystem, instead of just
from the /pfs subdirectory.

Submitted-by: pgeorgi (via bugs)

em(4): Enable RX after RDH is configured (backport from emx(4)).

According to Intel OpenSDM's RDH description:
"... If software were to write to this register while the receive
 function was enabled, the on-chip descriptor buffers can be
 invalidated and other indeterminate operations might result ..."

Maybe we were just that lucky, the driver actually worked ...

em(4): Backport part of 62e0614e4c59f94c83cdf24ebf5995add53f03bf

Used transmit descriptors do not need to be cleared in txeof and
tx_collect

em(4): Backport cc8fffade4528dd788a4789998ed3d1e85f9644a

Use E1000_ICR_ macros when check against value read from ICR

em(4): Backport part of 62e0614e4c59f94c83cdf24ebf5995add53f03bf

em_buffer.m_head is only set/cleared in the last em_buffer associated
with the packet, so we don't need to keep clearing it in transmit
descriptor setup loop.

network: Turn on adaptive MPSAFE for network threads, and MPSAFE for IP and ARP

Approved-by dillon@

Install ncurses_dll.h to unbreak devel/ncursesw from pkgsrc.

Pkgsrc assumes that our ncurses is good enough to use, but installs
ncursesw/ncurses.h header which includes ncurses_dll.h. So, compiling
every piece of software using ncursesw/ncurses.h just failed.

signals: rename CURSIGNB to CURSIG_NOBLOCK and unify implementation

CURSIG() is defined as __cursig() and CURSIGNB() as __cursignb().
However both __cursig() and __cursignb() do almost the same thing, so
consolidate the code into one function.

signals: rework when CURSIG/issignal can stop a thread for tracing

When tracing a process, it can happen that the thread would get stopped
due to the signal and its tracing.  In this case the tracing parent
would get notified and it might choose to let the process to serve the
signal.

However if this stop+trace is happening somewhere deep in the kernel due
to a call to CURSIG(), it might happen that the same signal again is the
cause for a stop+trace cycle because of another call to CURSIG() while
the call stack is unwinding.

Introduce CURSIG_TRACE(), which explicitly allows stopping for tracing
signal delivery.  This is only called from userret().
All other instances of CURSIG() may still block/sleep because of SA_STOP
signals, but these invocations may not trace + repost signals.

As such, the only place where trace + repost of signals can happen now
is userret().  Nevertheless, CURSIG() still decides not to ignore a
currently ignored signal and rather lets the kernel unwind until this
signal arrives in the CURSIG_TRACE() called from userret().

signals: stop all threads of a process before taking a checkpoint

If we want to checkpoint a multi-threaded process, we need to wait until
the process is in a quiescent state, otherwise our checkpoint might be
incorrect.

stay in tstop() as long as the process is stopped

Under some conditions (mainly related to multi-threaded processes and
tracing (gdb)), wakeups, scheduling and stops can lead to a race which
will leave the process stopped and wait()ed, but the P_WAITED flag
cleared.  This happens because a thread in tstop() might have been woken
up, but not yet scheduled.  If the process in turn would get stopped
again (another bug), the thread in tstop() would be counted as stopped,
but would only be waiting to be scheduled to transition into LSRUN.

Prevent this by checking for SSLEEP in tstop() before returning.

don't loop printing the diagnostic "waiting for lwps to exit"

This diagnostic never was really useful and only clutters the message
buffer.  Also don't poll the process state once a second, but rely on
the wakeups from exiting threads.

emx(4): Add tunable to enable/disable multi-RX queue support

Multi-RX queue support is disabled on UP kernel, even if this
tunable is enabled.

emx(4): Add multi-RX queue support

Add an objcache(9) manual page.

Submitted-by: Stathis Kamperis <ekamperi@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1251>

emx(4): Use E1000_ICR_ macros when check against value read from ICR

emx(4): this driver does not support 82543

emx(4): Let the hardware strip the ethernet CRC on RX path

emx(4): Prepare multi-RX queue support -- use extended RX descriptor

emx(4): Prepare multi-RX queue support -- use different struct for RX/TX buffer

Extended RX descriptor will be needed for multi-RX queue support.  However,
hardware will write information into RX buffer address field of extended
RX descriptors, so we will need to save "device visible" address in RX buffer.

emx(4): Prepare multi-RX queue support -- group RX related fields together

emx(4): Factor out emx_dma_{alloc,free}()

emx(4): Remove emx_dma_{malloc,free}() and related struct.

emx(4): Move TX/RX desc ring alloc/free into ring creation/destroy functions

emx(4): Regroup RX/TX ring creation code

undo: don't run diff between last tid and tid_max

Diff works on pairs of tids and not on only the first tid passed in to
the generator.  As a result, there is nothing to do for the last pair of
tids: the last tid and max_tid refer to the same version.  Avoid running
the generator in this case.

undo: use MAX_TID for tid_max, or else HAMMER won't find the latest change

We should anyways use HAMMER_MAX_TID.  This also works around the bug in
<http://bugs.dragonflybsd.org/issue1307>.

undo: for one-shot operations, pass in the last tid and not tid_max

This allows diff to print a sensible time of the last modification and
not print the start of the epoch.

cleanup: typo in comment

ktrdump: print ktr data using vfprintf()

The code previously assumed that there is a maximum of 10 arguments which
are all integer (sized).  Printing of more or differently sized arguments
seemed to work on occasion, or not.

emx(4): Compact transmit path a little bit

- emx_buf.m_head is only set/cleared in the last emx_buf associated with
  the packet, so we don't need to keep clearing it in transmit descriptor
  setup loop.
- Used transmit descriptors do not need to be cleared in txeof and tx_collect

em/emx(4): Remove dead code; add comment.

em/emx(4): Don't use __predict_false when test m_len against EM_TXCSUM_MINHL

For 100 bytes UDP datagram written by userspace program, m_len is always
less then EM_TXCSUM_MINHL.

em/emx(4): Fix comment

Get rid of iwicontrol(8)

Update iwi(4) manpage according to recent firmware upgrade.

iwi(4): Upgrade to use 3.0 firmware and use firmware(9) API to load firmware.

Submitted-by: Johannes Hofmann <johannes.hofmann@gmx.de>

Allow the IP_MINTTL socket option to be set to zero.

This disables the feature and is the default actually.

Reported-by: Nick Hilliard <nick at foobar.org>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1304>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

disklabel64 UFS+HAMMER boot support (was previously just HAMMER boot support)

Create a mini-API for boot2 filesystems, split out the filesystem probe &
initialization code, and adjust boot2 to probe multiple filesystems.  While
the coding is fairly generic, only the larger boot2 area in a disklabel64
is big enough to hold a multi-filesystem boot2.  32 bit disklabels can still
only boot from UFS.

As part of this work the BTX loader offset for boot2 had to be adjusted.
boot1 used to load boot2 at 0xA000+0x4000 = 0xE000, but this left only 8KB
available before the segment would overflow in boot1's relocation code.

The BOOT2_VORIGIN was adjusted downward from 0x4000 to 0x2000, reducing
the absolute physical load address for boot2 to 0xC000 and allowing us
to load up to a 16K boot2 without overflowing the segment.

Fix checkpt's thaw failure error message.

em(4): Give preference to emx(4) based on PCI ids.

Copy em(4) to emx(4), which supports only 8257{1,2,3} parts.

The reasons to create another driver for 8257{1,2,3}:
- Various old hardware bug workaround code are removed, so the
  code is more straightforward, especially on the transmit path.
- Only 8257{1,2,3} support multi RX queues.
- Only 8257{1,2} support multi TX queues (no plan for it yet).
- It could be a sandbox for me to add multi queues support, while
  em(4) always works :).

em(4): Put back pkt_txclean KTR

em(4): We don't need in_detach trick.

em(4): Fix comment

em(4): We return 0 or errno, but not Intel e1000's error code.

em(4): White space

Small adjustment to committer(7): cherry-pick takes one argument.

Adjust checkpoint restore to use same note order as coredumps.

Recent changes to the coredump code broke the checkpoint restore
code (checkpt -r) due to reordering of the ELF notes.  Adjust the
checkpoint restore code to deal with the new ordering.

Reported-by: Samuel J. Greear <sjg@evilcode.net>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Fix improper cred checks for utimes()

Adjust the kern_utimes() code in the kernel to check for write permissions
prior to diving into the VFS.  UFS checks for write perms but HAMMER doesn't.
Generally speaking we want (at least for now) the kernel to do as much of
these checks as possible.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

Mention commit template in committer.7.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

VKERNEL - Fix entry into ddb when running a SMP vkernel.  Fixes stop/cont

The vkernel was trying to send individual LWPs a SIGSTOP, but POSIX handles
SIGSTOP differently from other signals and it was not having the desired
effect.

Instead the vkernel now sends SIGXCPU to each individual LWP and installs
a signal handler to pause the thread until the debugger wishes to wake it up
again.

Reported-by: corecode

msdosfs: clean up reference counting

For consistency and robustness, always test de_refcnt with > 0 or <= 0.

Also assert that de_refcnt is > 0 when deleting file.

msdosfs: fix deleted-but-open files handling.

When deleting a file, msdosfs keeps its denode in the denode cache until it is
reclaimed.  This causes a collision in the cache when recycling the directory
entry of a deleted but still open file for a new or renamed file.  This
collision was incorrecly handled resulting in a kernel panic (rename case) or
syscall error and corrupted in-core state (new file case).

Fix by allowing denodes pointing to the same directory entry to coexist in the
cache as long as a single one of them represents an existing file.

Reported-by: corecore@
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1286>

msdosfs: fix bug in msfdosfs_hashins().

This function returns an error if there is already a denode in the hash table:
EBUSY if the hashed denode represents a live file and EINVAL if it represents a
deleted but still opened file.

There was a typo in the function causing it to check for liveness in the denode
to insert instead of the already inserted one.  As a consequence, if N threads
were in a race in deget() to insert a new denode for the same file in the hash
table, the losers would fail with EINVAL instead of retrying.

msdosfs: Fix error path in deget().

There was one error path where the depp output parameter was not set to NULL.

Update busdma(9) manpage according to recent changes.

em(4) manpage: Update according to the recent changes.

- Hardware vlan tagging is always on
- Add hw.em.int_tx_nsegs
- Nuke hw.em.rx_{abs_int_delay,int_delay}
- Nuke hw.em.tx_{abs_int_delay,int_delay}

ioctl(9): Add more ioctl chars plus a missing struct keyword in example.

Submitted-by: Stathis Kamperis <ekamperi@gmail.com>

em(4): Reduce EM_TXDD_SAFE from 50 to 48.

With this change, the device will have at most 48 TX descriptors pending
to be write back.  48 is chosen according to the table listed on:
Intel 82571EB/82572EI Ethernet Controller Revision 6.0, Page 43,
Item 70. 82571/82572 Overwrites Transmit Descriptors in Internal Buffer.

em(4): Don't write ITR, if the NIC is not running yet.

em(4): We don't dynamicly config txd_cmd; there is no reason to keep it anymore.

em(4): We don't embrace TIDV/TADV; nuke the related bits.

em(4): Don't turn on/off TX descs' IDE bit in sysctl.

We don't use TIDV/TADV to implement TX interrupt moderation, i.e.
TX desc's IDE bit should always be off.  When we set TX desc's RS
bit, we do want TX interrupt to come immediately after the TX
desc's DD bit is set by hardware.

em(4): Adjust RDTR/RADV comment that they should not be used

em(4): Don't configure RADV (default is 0), which is deprecated.

- In 82573 workaround, we still need to configure RADV, since RDTR is used.
- Revoke tunable/sysctl node for RADV.

em(4): Add tunable for the 82573 workaround, enabled by default.

Given not all 82573 based NICs have this problem and RDTR is
deprecated, adding a tunable to disable the workaround for a bad
hardware design seems like a quite reasonable compromise ...

em(4): Revoke tunable/sysctl node for RDTR, which is dangerous and deprecated.

em(4): Make sure that the upper 16bits of ITR is 0.

em(4): Reduce TX interrupt rate and device's TX desc write requests

The RS (report status) bit in the TX desc controls whether DD bit
should be set by device (via write request) and whether TX interrupt
should be generated.  By setting RS bit in the last TX desc of
int_tx_nsegs TX descs, we greatly reduce the TX interrupt rate
(from 20000/s to 1200/s for full speed 1472bytes UDP datagrams) and
the number of device's TX desc write requests.  This also gives me
additional +10Kpps on 82573E_IAMT.  Add sysctl node for int_tx_nsegs,
its default value is 1/16 number of TX descs.  The implementation
details are commented near struct adapter's related fields.

Sync em(4) manual page with FreeBSD.

Some small fixes.

expr(1): Add support for -- as required by POSIX

Reported-By: vstemen on #dragonflybsd

Merge branch 'master' of git://venus/dragonfly

atacontrol(8): Fix amd64 warnings.

pppoed(8): Fix amd64 warnings.

Add OFF_MIN and OFF_MAX to limits.h.

While here, clean up the comments in amd64's limits.h a bit.

sail(6): Fix amd64 warnings.

The Write() function was being used for printing both numbers and strings
in an unportable way. Split it into Write() for numbers and Writestr()
for strings.

Taken-from: NetBSD

libopie:  on update, 0-pad the sequence integers to keep seed length

OPIE requires a certain seed length and generates a default seed, using
a 0-padded random number.  Subsequently changing the password will
increment this seed.  The code missed 0-padding this increased integer,
so opiepasswd would advance the seed from e.g. "la0092" to "la93".  This
would prevent opiekey(1) from working, complaining about a too short
seed.

syntax cleanup to unbreak code highlighting

mtree: create usr/include/dev/misc/ppi to properly install headers

Return EBUSY if we're detaching a vn with vnode refs to it.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue998>

pax(1): Fix amd64 warnings.

rcp(1): Fix amd64 warnings.

ls(1): Fix amd64 warnings.

df(1): Fix amd64 warnings (type widths).

Taken-from: FreeBSD

HAMMER Utiliites: undo can now detect all prior replacements of a file.

The undo code will now iterate the history of the parent directory and
attempt to locate all versions of the requested file even if the inode
number changes due to the file being deleted and recreated, or
renamed-over.

undo -i attempts to show inode number changes and deletions in the list.

undo -a (-d/-D) is now able to span inode number changes.

Suggested-by: corecode

HAMMER VFS:  Allow the form ".@@<snapshot>"

Normally "." is processed by the kernel, but since extended snapshot
filenames are handled by the VFS trying to access a snapshot of "."
is passed through.  Handle it properly.

Note that the "..@@<snapshot>" form is not handled.

HAMMER Utilities: Use a Red-Black tree to track HAMMER TIDs, use diff -N

Begin using a red-black tree to track the TIDs used to generate diff sets.

Use diff -N to deal with pre-creation/post-creation undo diffs.

Use diff -r.  However, running undo -a -d on a directory is not yet
meaningful because only the directory TIDs are used right now.

Remove the horribly designed RB_AUGMENT.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly