getc(3) and putc(3): macros are functions now

aio_write(2): fix capital letter in the middle of sentence

Install ciss(4) headers to /usr/include so that userland can find cissio.h.

localtime(3) & zic(8): Clean up definitions a bit.

netisr: Set M_HASH and pkthdr.hash if software calculates the packet hash.

emx(4): Pass packet info to ether_input_chain()

emx(4): Correct RSS configuration.

ether_input: Gather some RSS debug statistics.

jme(4): Don't deliver packet info if the packet has unknown layer3
protocol and is not a fragment.

jme(4): Allow stats to be writable

ip_demux: Add ip_mport_pktinfo() to map IP packets using packet info

jme(4): Pass packet info to ether_input_chain()

jme(4): Disable TXCSUM by default to improve bulk data transmit performance

It looks like when the hardware does the TX checksum in the internal TX
FIFO, the DMA read logic is kinda changed; the bursty read effect seems
to get discounted.

After the TX csum offloading is disabled, the device bulk data transmit
speed finally reach gigE line speed and the tiny packets transmit
performance is only reduced marginally (-6Kpps~-8Kpps).

toeplitz: Promote net/toeplitz.c to 'standard' file

Major part of net/toeplitz.c is not compiled if RSS kernel option
is not specified; only necessary symbols for device drivers are
compiled, so I don't need to put "#ifdef RSS" all over the device
drivers code.

toeplitz: Hash function renaming

toeplitz_hash     -> toeplitz_rawhash_addr
toeplitz_hash_tcp -> toeplitz_rawhash_addrport

Add toeplitz_hash() which mask the raw Toeplitz hash value with
ncpus2_mask.  This function will be used by device drivers too.

jme(4): Don't mess with M_PKTHDR

ether_input/ktr: Add ether_input_chain end KTR into several proper places.

ether_input/rss: Pass packet info to ether_input_chain.

- Pass packet info to ether_input_chain(), if netisr_find_pktinfo_port()
  could locate the msgport, then short circuit the rest of the ether_input
  code and dispatch the ethernet packet directly.
- Revoke the pi_hash field in pktinfo and extend the pktinfo_portfn_t to
  accpet an mbuf parameter, so that pktinfo_portfn_t could change the mbuf
  hash value.  e.g. pktinfo_portfn_cpu0() will always set m_pkthdr.hash
  to 0.
- Adjust ether_input_chain() callers accordingly.

mbuf: Add M_HASH mbuf flag and use the 'pad' field in pkthdr as 'hash'

'hash' field in pkthdr is valid iff M_HASH is set.

ether_input: Factor out ether_dispatch()

This function send the ethernet packet to the target msgport or
just queue it to the mbuf chain.

netisr: Add pktinfo struct; add new netisr method to find msgport using pktinfo

The new netisr method, ni_mport_pktinfo, returns NULL if the passed in pktinfo
does not contain enough information to determine the msgport.

Rename lwkt_portfn_t to pkt_portfn_t

Well, this function actually maps a network packet to a lwkt_port

jme(4): Using code logic to create redirect table.

- Avoid using magic number when creating redirect table, apply
  code logic instead.
- Add comment about how the redirect table is filled.

jme(4): Get key from Toeplitz code

toeplitz: Add toeplitz_get_key() and nuke toeplitz_get_keyseed()

toeplitz_get_key() hides more implementation details (i.e. key
seed replication) from callers than toeplitz_get_keyseed().

pax(1): Remove argument names from prototypes.

pax(1): Fix WARNS regression

motd(5) manual page: "Update" the example for DragonFly.

Reported-by: free-coder
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1316>

shlock(1) manual page: Fix typo

Reported-by: free-coder
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1316>

Create destination on copy if it doesn't exists.

Should conform to SUSv3 and fixes a lot of building failures in pkgsrc.

Digged-out-by: Alex Hornung

atphy: Reset PHY after extracting MII capabilities, since reset will
trigger auto negotiation, which depends on MII capabilities.

ale(4): Don't read/write 1000baseT specific MII registers on 10/100M only device

It looks like on 10/100M only device they do contain "valid" 1000baseT values.

bce/bge(4): Allow txcsum/rxcsum to be set individually

tcp_wrapper: Make sure that the buf has more than 1byte, before calling fgets()

FreeBSD-PR: kern/132705
Obtained-from: OpenBSD

ether_demux: Add comment

bridge: If we could enter bridge_input, then M_ETHER_BRIDGED will not be set.

ether_input: Add M_ETHER_VLANCHECKED

- In ether_input_handler(), if ether_vlancheck() has not been called
  (M_ETHER_VLANCHECKED) call it there; this could happen with upcoming
  RSS changes.
- Clear ethernet protocol mbuf flags before entering upper layer.

ether_input: Factor out ether_vlancheck()

Add M_LENCHECKED mbuf flag.

This flag indicates that various protocol length fields of the packet
are checked.  It is only used by IPv4 currently (ip_lengthcheck()).

Define M_ETHER_BRIDGED to M_PROTO1

Duplicated M_PROTO1 in M_COPYFLAGS

802.11: Clear M_PROTO? flags before calling ifnet.if_input

Defer ethernet mcast/bcast address detection to ether_input_handler()

ip_demux: If RSS kernel option is set, use Toeplitz hash function

Sync zoneinfo database with tzdata2009c from elsie.

northamerica:   8.26 -> 8.27

Cuba started DST one week earlier than previously thought.

Remove CVS Id from DragonFly fortune file

Remove the ID as the information is now misleading.  The content is
newer as the ID suggests.

Spotted-by: hasso@

HAMMER VFS - rebalancing, zero unused fields in boundary element

The rebalancer was not zeroing certain unused fields in a newly created
boundary element when truncating an existing internal B-Tree node.

While these fields are not used by the filesystem for boundary elements,
they are still expected to be zero'd out.

HAMMER VFS - Add a B-Tree rebalancing feature.

This is the initial commit of B-Tree rebalancing support for HAMMER.
The rebalancer may be run using the 'hammer rebalance' utility directive.

The leafs in a HAMMER B-Tree all reside at the same depth.  Insertions and
deletions only collapse the B-Tree when a leaf node becomes empty and then
only if any necessary recursion (possibly reaching the root node) succeeds.
No balancing occurs during normal operation and B-Tree nodes can wind up
with wildly different element counts which bloats the tree and makes
searches less efficient.

The rebalancer effectively does a depth-first traversal of the B-Tree,
visiting leaf nodes first and parent nodes as a trailing function on the
way back up the tree.  For any given internal node the sum total of
elements contained in its children is divided by the number of children.
The effective number of children is reduced as is practical to obtain a 75%
fill level.  The elements are then packed into the children and any
wholely empty children left over are deleted.  The rebalancer does not
create new B-Tree nodes.

Element packing is fairly complex, requiring tracked cursors, on-media
parent pointers, mirror TIDs, and boundary elements to be updated.  The
rebalancer must hold a large number of B-Tree nodes exclusively locked
while running.

Remove conditionals based on #if defined(i386) which wrapped code which was
unused.  Gcc does not define 'i386' anyway, it uses __i386__.

This also fixes some clang issues.

Requested-by: Alex Hornung

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER Utility: Change B-Tree, inodes, and dir reblocking params, add rebalance

* The normal cleanup operations now reblock all B-Tree, inode, and directory
  elements in the normal daily reblock mode instead of only the ones in
  fragmented big-blocks.  Bulk data is handled by the 30-day recopy mode.

* Add a new directive 'rebalance' (a future VFS ioctl).  This directive will
  tell the HAMMER VFS to rebalance the B-Tree.  HAMMER B-Trees are always
  balanced by depth but degenerate cases with minimal elements in a node
  can easily build up.  The new directive will rebalance the elements in
  each B-Tree node.

* The hammer cleanup directive was not reblocking directories.  Now it does.

It usually does not take very long to reblock the B-Tree nodes, inodes, or
directory elements.  Reblocking these unconditionally, instead of just
reblocking fragmented allocation areas, keeps the B-Tree in a more optimal
layout, though there is still a lack of correlation between inode numbers
and directory scan order.

rss: Add RSS_DEBUG kernel option

rss: Add Toeplitz hash function

ip_demux: Wrap INP_MPORT_HASH_{TCP,UDP}() around INP_MPORT_HASH()

ip_demux: Test IN_MULTICAST() if RSS kernel option is not enabled.

Add static ARP support.

Obtained-from: FreeBSD

emx(4): Fix comment

ifconfig(8): Remove string of if_flags, which will never be adopted.

jme(4): Correct SIOCSIFCAP ioctl handling

- Upper layer will always check if_capabilities against ifreq,
  so we don't need to check if_capabilities again.
- When IFCAP_RSS changes, the jme_init() should be called only if
  the interface is running.
- Don't use compile time condition for the code handling IFCAP_RSS.

emx(4): Support IFCAP_RSS

rss: Add RSS kernel option; Add IFCAP_RSS iface capability

Convert jme(4) to use the new IFCAP_RSS.

Update cpdup rev to 1.12.

Fix kernel panic on NULL pointer deref w/ certain ktrace commands, allow -c -f.

Fix a kernel panic on a NULL pointer dereference with certain ktrace -c
commands.

Allow the -c -f <file> combination (taken from FreeBSD).

Submitted-by: Stathis Kamperis <beket>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - return shorter-form softlinks "@@-1:%05d" when appropriate.

The HAMMER VFS supports a short "@@-1:%05d" for master PFSs.  Adjust the
HAMMER VFS to return softlinks in that form and adjust the hammer cleanup
code to recognize softlinks in that form.

Note that PFS softlinks are created as "@@PFS%05d", but the HAMMER VFS
presents them in an expanded form which allows the HAMMER VFS to reflect
the latest synchronized transaction id on slave PFSs.  This also prevents
slave PFSs from confusing DragonFly's namecache as each snapshot will appear
to be an entirely different path.

Unfortunately this does mean that cpdup/cp/tar will pickup a translated
softlink and not the actual one.  It's just something else to remember
about these 'weird' PFS mount points.

Suggested-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

emx(4): Move EMX_RSS_DEBUG into opt_emx.h

jme(4): Move JME_RSS_DEBUG into opt_jme.h

identcpu.c: Add MOVBE feature string.

Extract PFS null mounts from anywhere in the filesystem, instead of just
from the /pfs subdirectory.

Submitted-by: pgeorgi (via bugs)

em(4): Enable RX after RDH is configured (backport from emx(4)).

According to Intel OpenSDM's RDH description:
"... If software were to write to this register while the receive
 function was enabled, the on-chip descriptor buffers can be
 invalidated and other indeterminate operations might result ..."

Maybe we were just that lucky, the driver actually worked ...

em(4): Backport part of 62e0614e4c59f94c83cdf24ebf5995add53f03bf

Used transmit descriptors do not need to be cleared in txeof and
tx_collect

em(4): Backport cc8fffade4528dd788a4789998ed3d1e85f9644a

Use E1000_ICR_ macros when check against value read from ICR

em(4): Backport part of 62e0614e4c59f94c83cdf24ebf5995add53f03bf

em_buffer.m_head is only set/cleared in the last em_buffer associated
with the packet, so we don't need to keep clearing it in transmit
descriptor setup loop.

network: Turn on adaptive MPSAFE for network threads, and MPSAFE for IP and ARP

Approved-by dillon@

Install ncurses_dll.h to unbreak devel/ncursesw from pkgsrc.

Pkgsrc assumes that our ncurses is good enough to use, but installs
ncursesw/ncurses.h header which includes ncurses_dll.h. So, compiling
every piece of software using ncursesw/ncurses.h just failed.

signals: rename CURSIGNB to CURSIG_NOBLOCK and unify implementation

CURSIG() is defined as __cursig() and CURSIGNB() as __cursignb().
However both __cursig() and __cursignb() do almost the same thing, so
consolidate the code into one function.

signals: rework when CURSIG/issignal can stop a thread for tracing

When tracing a process, it can happen that the thread would get stopped
due to the signal and its tracing.  In this case the tracing parent
would get notified and it might choose to let the process to serve the
signal.

However if this stop+trace is happening somewhere deep in the kernel due
to a call to CURSIG(), it might happen that the same signal again is the
cause for a stop+trace cycle because of another call to CURSIG() while
the call stack is unwinding.

Introduce CURSIG_TRACE(), which explicitly allows stopping for tracing
signal delivery.  This is only called from userret().
All other instances of CURSIG() may still block/sleep because of SA_STOP
signals, but these invocations may not trace + repost signals.

As such, the only place where trace + repost of signals can happen now
is userret().  Nevertheless, CURSIG() still decides not to ignore a
currently ignored signal and rather lets the kernel unwind until this
signal arrives in the CURSIG_TRACE() called from userret().

signals: stop all threads of a process before taking a checkpoint

If we want to checkpoint a multi-threaded process, we need to wait until
the process is in a quiescent state, otherwise our checkpoint might be
incorrect.

stay in tstop() as long as the process is stopped

Under some conditions (mainly related to multi-threaded processes and
tracing (gdb)), wakeups, scheduling and stops can lead to a race which
will leave the process stopped and wait()ed, but the P_WAITED flag
cleared.  This happens because a thread in tstop() might have been woken
up, but not yet scheduled.  If the process in turn would get stopped
again (another bug), the thread in tstop() would be counted as stopped,
but would only be waiting to be scheduled to transition into LSRUN.

Prevent this by checking for SSLEEP in tstop() before returning.

don't loop printing the diagnostic "waiting for lwps to exit"

This diagnostic never was really useful and only clutters the message
buffer.  Also don't poll the process state once a second, but rely on
the wakeups from exiting threads.

emx(4): Add tunable to enable/disable multi-RX queue support

Multi-RX queue support is disabled on UP kernel, even if this
tunable is enabled.

emx(4): Add multi-RX queue support

Add an objcache(9) manual page.

Submitted-by: Stathis Kamperis <ekamperi@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1251>

emx(4): Use E1000_ICR_ macros when check against value read from ICR

emx(4): this driver does not support 82543

emx(4): Let the hardware strip the ethernet CRC on RX path

emx(4): Prepare multi-RX queue support -- use extended RX descriptor

emx(4): Prepare multi-RX queue support -- use different struct for RX/TX buffer

Extended RX descriptor will be needed for multi-RX queue support.  However,
hardware will write information into RX buffer address field of extended
RX descriptors, so we will need to save "device visible" address in RX buffer.

emx(4): Prepare multi-RX queue support -- group RX related fields together

emx(4): Factor out emx_dma_{alloc,free}()

emx(4): Remove emx_dma_{malloc,free}() and related struct.

emx(4): Move TX/RX desc ring alloc/free into ring creation/destroy functions

emx(4): Regroup RX/TX ring creation code

undo: don't run diff between last tid and tid_max

Diff works on pairs of tids and not on only the first tid passed in to
the generator.  As a result, there is nothing to do for the last pair of
tids: the last tid and max_tid refer to the same version.  Avoid running
the generator in this case.

undo: use MAX_TID for tid_max, or else HAMMER won't find the latest change

We should anyways use HAMMER_MAX_TID.  This also works around the bug in
<http://bugs.dragonflybsd.org/issue1307>.

undo: for one-shot operations, pass in the last tid and not tid_max

This allows diff to print a sensible time of the last modification and
not print the start of the epoch.

cleanup: typo in comment

ktrdump: print ktr data using vfprintf()

The code previously assumed that there is a maximum of 10 arguments which
are all integer (sized).  Printing of more or differently sized arguments
seemed to work on occasion, or not.

emx(4): Compact transmit path a little bit

- emx_buf.m_head is only set/cleared in the last emx_buf associated with
  the packet, so we don't need to keep clearing it in transmit descriptor
  setup loop.
- Used transmit descriptors do not need to be cleared in txeof and tx_collect

em/emx(4): Remove dead code; add comment.