tcp/sack: Fix off-by-one bug when updating rescue SACK information

tcp/sack: Force out more segments allowed by "pipe" during fast recovery

If some segments are cumulatively acked or SACKed, and HighRxt equals
snd_una, one segment (new or retransmit) will be forced out even if cwnd
and pipe don't allow it.  When large amount of segments are lost, i.e.
computed pipe could be large, this avoids unnecessary retransmit timeout
and could perform as good as NewReno.

Sysctl node net.inet.tcp.force_sackrxt could be tuned to burst out several
retransmits, default is 1 (should be good enough).  Set this sysctl to 0,
SACK based fast recovery will obey the computed pipe.

Several unnecessary retransmit timeout graph as described above:
http://leaf.dragonflybsd.org/~sephe/no_force_sack_rexmt2_15.xpl (starts @15s)
http://leaf.dragonflybsd.org/~sephe/no_force_sack_rexmt_54.xpl (starts @54s)

tcp/sack: Use RFC3517bis IsLost(snd_una) as fallback of early retransmit

Since we are less certain about whether is segment is lost or not when
using IsLost(snd_una), we do not send out other unSACKed segments except
the first unSACKed segment under this condition.  Sending out other
unSACKed segments could be too aggressive here; just wait for another
ACK to tick out more unSACKed segments.

kernel: Remove some bogus casts to the own type (FINAL).

kernel: Remove some bogus casts to the own type.

kernel: Remove some bogus casts to the own type.

kernel: Remove some bogus casts to the own type.

tcp/sack: Fix the condition that SACK rescue retransmit can't be done

If we have nothing left above the HighRxt, the first unSACKed segment
will be used as the SACK rescue retransmit.

tcp: Indentation

kernel -- CLFLUSH support

* Introduce a kernel variable, 'vmm_guest', signifying whether the
  kernel is running in a virtual environment, such as KVM. This is
  set based on the CPUID2.VMM flag on kernels and set automatically
  on virtual kernels.

* Introduce wrappers for CLFLUSH instructions.

* Provide tunable, hw.clflush_enable, to autoenable CLFLUSH on h/w (-1)
  disable always (0), or enable always (1).

Closes-bug: 2363
Reviewed-by: ftigeot@
From: David Shao, FreeBSD

kernel: Remove some bogus casts to the own type.

kernel: Remove some bogus casts to the own type.

kernel/linux: Fix a wrong cast (introduced in e54488bb).

kernel: Remove some bogus casts to the own type.

kernel: Remove some bogus casts to the own type.

tcp: Simplify "extended limited transmit" logic a little bit

Don't follow the RFC4653 or RFC3517bis's "extended limited transmit"
description verbatimly; increase cwnd once and let tcp_output() do
the job.

tcp: Optimize SACK scoreboard records consolidation a little bit

If the SACK block and SACK scoreboard record are matched exactly,
SACK scoreboard records consolidation is not needed at all.

Revert "libc -- dmalloc: Call malloc_init as-needed, rather than via cc constructor."

This reverts commit e12d3396c777165504d60d2a1408dcd7cb63660d.

acpica: Unbreak LINT/LINT64 building

acpi/timer: Fix return value

acpidb: regenerate osunixxf.c.patch

someone please take care of dfly header, if necessary;
i applied the patch by hand and pulled in a git diff

acpidb: add missing evglock.c to Makefile

Fix iasl compilation

basically sync with svn://svn.freebsd.org/base/head@220663

Some files overlooked on first commit...

Revert previous commit (wrong tentative)

and do like svn://svn.freebsd.org/base/head@220663
it doesn't seem possible with bsd Makefile infrastructure
to set source target specific flags

First import (compiles, seems to run correctly)

Taken from FreeBSD r222544:218590 (patch applied),
not from acpica repository.

One problem shown (no more reproducible, skew build?):
in bootverbose mode 'domain0 misses processors, should be 2, got 1'
sysctl shows hw.acpi.cpu0 only, other cpus are missing;
seems an error in evaluating C009 Method in aml code...

TODO:

* iasl compiler Makefile has to be reworked because of specific
  YASL flags for new files dtparser.[yl]

* 'EVENTHANDLER_INVOKE(power_suspend)' to be integrated in acpi.c

* atomic_load_acq_64 isn't implemented (used in acpi_hpet.c)

* sc->tc.tc_quality isn't available; to be investigated

* acpi_timer_test() improved implementation not integrated

* ACPI_CAP_SMP_C3_NATIVE and CPI_CAP_PX_HW_COORD in acpivar.h
  left out, as FreeBSD don't use it either

igb: Add to x86_64 and i386 GENERIC

LINT: Add igb(4)

hammer2 - Fix lost flush

* hammer2 allows the buffer cache buffers related to MODIFIED but unlocked
  chains to be retired by the OS.  In this situation hammer2 does not want
  to bdwrite() the buffer again unless additional modifications are made,
  even though the MODIFIED bit in the chain remains set throughout the
  entire sequence.

* Fix a case where these additional modifications were not properly flagging
  for the buffer cache buffer to be retired with a bdwrite(), causing data
  loss.  This is related to the DIRTYBP chain flag.

* Make further adjustments to the DIRTYBP chain flag.

* Also fix a case where the MOVED bit might not get properly set when a
  block is resized.  The problem was masked by the fact that a resize
  only occurs on data blocks and only during a write(), so the related
  buffer was being marked MODIFIED anyway.  However, the resize code still
  needed to be corrected.

* Add some debugging to 'hammer2 stat' to make it easier to poke around
  related kernel structures.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

libc -- dmalloc: Call malloc_init as-needed, rather than via cc constructor.

dmalloc requires its own _nmalloc_thr_init be called before it can service
allocations. Applications with preinit arrays were able to call malloc before
constructors ran, which caused them to crash on uninitialized allocator state.

The change uses a flag to test for allocator init state. It is also careful
to not allow _nmalloc_thr_init to be called recursively from within pthread
initialization (slglobal.masked).

Reported-by: marino@
Closes-bug: 2305

netif: Remove no longer used e1000 layout

igb: Import Intel igb-2.2.3

Local changes
- Laundry the code
- Rewrite busdma related code
- Rewrite RX path
- Enable hardware TX IP chesksum

Integration w/ DragonFly's RSS and TX path optimization will be
conducted in the repository.

Tested-with: 82576 82575EB

ig_hal: Merge Intel igb-2.2.3 HAL w/ em-7.2.4 HAL

e1000: Unhook from building, prepare for the new igb

kernel/devfs: Remove the unused devfs Makefile.

hammer2 - Add 'hammer2 stat'

* Add the 'hammer2 stat' directive to access inode information not
  available from a normal stat.

  Currently reports ncopies, data_count, inode_count, data_quota, and
  inode_quota.

hammer2 - Get data-usage aggregation working, add INODE_GET

* Cleanup aggregation of data_count and inode_count in the inode.
  data_count should now work properly (though it requires a 'sync'
  if you want up-to-date information).

  This allow data and inode usage for an entire sub-tree to be
  retrieved from the parent directory inode.  No need to run 'du'
  over millions of inodes.

  The new 'hammer2 stat' command can be used to access the info.

* Add the HAMMER2IOC_INODE_GET/SET ioctls to access information that
  cannot be obtained from a normal stat().

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel -- tmpfs: Convert tmpfs inode counter to per-mount field

tmpfs used a global counter under a spinlock to set inode numbers. This
should be a per-mount field, protected by the mount lock.

hammer2 - Flush ordering fixes

* The flush code is required to write out modified chains, not just bdwrite()
  them.  Otherwise the disk synchronization and volume header write will be
  mis-ordered.

* Don't re-write indirect blocks that the OS had already written out.  This
  check is already being made for data blocks, and inode modifications are
  embedded and thus must always be written out.

* This fixes issues where 'hammer2 show <device>' would find corrupt
  topology during concurrent filesystem write activity.  The disk media
  is always supposed to be consistent.

  We don't care about block-reuse cases for this debug command but we do
  care that, sans block-reuse, a dump will produce a consistent topology.

hammer2 - general stabilization, flusher, mmap, etc

* Revamp the flush logic.  Flushes now stage the blockref related to the
  data written out to the media.  Higher level chains save the staged
  blockref instead of the current blockref.

* This allows flushes to occur concurrent with active modification of the
  topology without having to restart the flush.  Modifications made after
  the flush has started running will remain intact and not be committed
  to media until the next flush (see note).

  NOTE: Currently chain deletions break this, but this is the only issue
  currently.

* Fix lost chains during unmount.  Deleted chains can still have the MOVED
  and/or MODIFIED bits set, which add additional refs and prevents them
  from being freed.

  Detect when a chain is being deleted permanently (verses temporarily due
  to a rename) and clean out the bits in question.

  NOTE: Currently deletions are removed from the in-memory topology, which
is why the previous NOTE above is still a problem, so we will need
to fix this and to retain at least the MOVED for flushes in
progress.

* Fix data corruption related to unflagged chains which wind up not getting
  flushed and also due to a bug in the indirect block management code.

* Fix a mmap() access failure for cached direct-data (less than 512 bytes).
  nvextendbuf() was not being called for the direct-data case during the
  write().

* Buildworld with a HAMMER2 /usr/obj now succeeds.

* 'hammer2 pfs-create <label>' now defaults to a pfstype of MASTER,
  instead of requiring that the pfstype always be specified.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

amr(4): Some fixes.

* Bring in some small updates from FreeBSD.

* Add MODULE_VERSION.

* Make the interrupt handler MPSAFE. This was a porting oversight by me.

Fix some typos in manual pages.

bsd-family-tree: Sync with FreeBSD.

builtin.1: Bring in some enhancements from FreeBSD.

It is modeled after what they did but based on what we actually have in
our shells' source.

* Use "No**" to mark commands which exist externally but are implemented
  as a script executing the builtin.

* Some further explanations and mdoc fixes.

builtin.1: Add two more built-in commands.

tcp: Implement RFC4653 Non-Congestion Robustness (NCR)

It is enabled by default and can be disabled using sysctl node:
net.inet.tcp.ncr

As far as I have tested on heavily reordered network path, this
algorithm does avoid most of the spurious fast retransmits.  While
on the normal network path, the fast retransmits stil could be
triggered properly.

tcp: Improve RFC3517bis support

- Factor out tcp_fast_recovery()
- Delay fast retransmit or fast recovery for duplicated ACK which
  carries data or updates receiving window, so that
  o  The segments sent by fast retransmit/recovery could carry
     proper ack sequence and SACK information.
  o  Receiving window could get updated, so more new data could be
     injected into the network by the fast recovery.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hammer2 - hardlink stabilization (3), data and inode count propagation.

* Files with cached chains have to be flushed before they can be copied
  to the hardlink target, because the original inode will become a
  OBJTYPE_HARDLINK pointer which isn't allowed to have any sub-chains
  under the inode.

* We also need to flush for the upcoming snapshot function to work properly
  or dirty in-memory data will not show up in the snapshot.

* Propagate the inode and byte use count up the chain.  Tie the inode count
  into df's inode count (per-PFS).  The byte count and quota fields are not
  yet tied in.

* Adjust stat[v]fs() to return filesystem space useage using the allocation
  iterator for now, to aid debugging.

* Adjust the allocation iterator to skip reserved areas at the beginning of
  each 2GB storage zone.

kernel: Remove some bogus casts to the own type.

builtin.1: Sync with what we have.

share/man/man1/Makefile: One MLINK per line.

examples/rconfig: Some fixes to our installation scripts.

* Allow the script to be run in a netbooted scenario, too.

* Raise the default size of the root partition to 768M (like the
  installer's default).

* While here, add some comments and whitespace.

Submitted-by: Joachim de Groot <jdegroot@web.de>

hammer2 - hardlink stabilization pass

* Fix another edge case where nkeybits could exceed 64, resulting in
  an assertion.

hammer2 - hardlink stabilization pass

* Fix infinite loop in hammer2_chain_create_indirect() related to the
  case where the key range is the full 64 bits, which can occur when
  invisible hardlink entries are mixed in with normal entries.

* Fix the nlinks count in a couple of places.

* Don't iterate invisibile directory entries.  Lookups of hardlink targets
  by inode number are absolute.  Normal directory entries have a collision
  counter, hardlink targets do not.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

vkernel: Fix compilation with profiling support.

The vkernel is a special userland program in the regard that its Makefile
is generated by config(8), which is kind of tailored to the real kernel.

So first of all, we have to modify config(8) to detect it's a vkernel we
want to build and in this case it should not define GPROF which otherwise
activates the real kernel's profiling bits.

Then, modify libkern's mcount.c to skip kernel specific parts too.

Then, modify the vkernels' Makefiles to take into account ${PROF} (and
while we're here, ${DEBUG} too) which are set by the surrounding Makefile
which is generated by config(8).

The vkernel is now (from profiling point of view) treated like any other
userland program.

Last but not least, add some documentation about building a vkernel with
profiling support to vkernel's manpage.

To build with profiling, simply add CONFIGARGS=-p to the buildkernel
command line. It will need the config(8) program to be in /usr/obj's
btools dir, so either a buildworld with this commit needs to be done,
or config can be installed manually to /usr/sbin and nativekernel can
be used.

Tested-by: tuxillo

tcp: Ignore TCP_NOPUSH socketopt by default

For ill optimized programs which misuses this sockopt will cause
unpredicted length of network stalling, if the total sending size
is not TCP sending segment size aligned.

sysctl node net.inet.tcp.disable_nopush controls whether TCP_NOPUSH
will take effect or not

I am not going to fight agaist the stupid programs in the wild.

DragonFly-bug: http://bugs.dragonflybsd.org/issues/2368

This is actually _not_ a bug on our side.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hammer2 - Complete core hardlink support work

This implements core hardlink support for hammer2.  In order to maintain the
strict bottom-up block modification hierarchy for the chains hardlinks must
be implemented with special forwarding inodes.

When a hardlink is created (nlinks 1->2) the file is replaced with a
forwarding entry and then recreated as a special hidden directory entry
indexed by its inode number at a higher directory level which is common
to all hardlinks to that file.

The forwarding entry simply specifies the inode number, thus our ability to
trivially snapshot a PFS is retained.

Since the real inode is indexed at a higher common directory locating the
real inode simply requires iterating parent directories until we find a
match.

* Default vfs.hammer2.hardlink_enable to 1 (enabled).

* Track and adjust nlinks.

* Implement OBJTYPE_HARDLINK forwarding directory entry, hidden inode,
  vnode->v_data inode replacement for the nlinks 1->2 case, and hidden
  inode deletion for the nlinks 1->0 case.

* The deconsolidation for the nlinks 2->1 case is not yet implemented.

kernel/profiling: Fix a kprintf format.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

tcp: Make PAWS robust against segments reordering

This tends to prevent valid new segments from being dropped by the
reordered segments sent by the fast retransmission algorithm on the
sending side, i.e. the fast retransmitted segment w/ larger timestamp
arrives earlier than the previously sent new segments w/ smaller
timestamp, which causes the valid new segments being dropped.

hammer2 - Flesh out hardlink infrastructure

* Create the API function skeletons which will be used to implement the
  hardlink support infrastructure.

* Add vfs.hammer2.hardlink_enable (default 0=disabled).  1=enable, -1=faked.
  This is mainly for debugging, hardlinks are not yet implemented as of this
  commit.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

test/debug/fdpassing: Correct a typo.

hammer2 - hookup getattr, setattr

* Hook up most remaining fields for getattr and setattr, and also initial
  ownership and so forth for create.

* initialize and update the time on create, setattr, and write.

* kqueue handling for write.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

tcp: Use TAILQ for segments reassemble queue

So the last segment of the reassemble queue could be peeked w/ minimal cost

kgdb: Add TUI mode as an option

Now that -tui mode is fixed for gdb, let's allow kgdb to use it.  This
commit adds the -t (--tui-mode) option to kgdb to allow debugging core
files with gdb's Text User Interface terminal interface.

The -q (--quiet) option had to set when --tui-mode option is set due
to the initial verbosity destroying the curses window otherwise.

gdb: Fix gdb -tui mode

The gdbtui (aka gdb -tui) mode has been nonfunctional for a long time
due to the replacement of readline with libedit.  After speaking with
Cristos Zoulas, it was confirmed that libedit can't support gdbtui now
and is not envisioned to support it in the future.

The tui mode is fixed by building the readline library internally and
linking against that instead of libedit.

The README files were updated to reflected additional imported sources
for readline and the removal of libedit-caused local modications to
tui-io.c file.

Merge branch 'vendor/GDB'

gdb vendor branch: Bring in additional source files

The tui mode of gdb will not function when the readline library is
replaced with libedit.  Bring in readline sources to build gdb
properly.  The readline library will be used internally to gdb only.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

pci: Update several bits for PCI Express 2.0

hammer2 - Add media dump command, improve help output

* Add 'hammer2 show <device>'.  This will dump the contents of the
  hammer2 filesystem structure on-media.

* Improve usage() output.

* Rename 'hammer2 debug <host>' to 'hammer2 shell <host>'.

hammer2 - last_tid renamed to mirror_tid in volume header

* The volume header needs a discrete field to hold the highest-propagated
  mirror_tid value.

hammer2 - Implement modify_tid and mirror_tid

* Assign and propagate mirror_tid to the root on flush.

* Set modify_tid for direct modifications

* Code variable naming cleanup in hammer2_flush*() functions.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

pci: Support PCI Express Configuration Space memory-mapped access mechanism

Also remove the outdated type 2 Configuration Space access mechanism;
it should never been seen on platforms w/ AMD64 capable CPUs.

Obtained-from: FreeBSD

pci: Introduce PCIE_REGMAX

Obtained-from: FreeBSD

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

Unbreak world (tic)

The tic utility should be built with the ncursesw library, but that one
is not available on any system with more than 2 days since the last
build.  On those systems, the world will break pretty quickly.

The Makefile was updated to use the available ncurses library.  After
the release of DragonFly 3.2, the makefile on the master branch can
be updated to take the wide version of the ncurses library since we
only guarantee upwards compatibility for one release.

tic(1): Add man page for new tic utility

terminfo: Add terminfo database creation to world build

1) add tic to bootstrap tools
2) pre-populate /usr/share/terminal subdirectories
3) Add share/terminfo subdir to share Makefile

Add share/terminfo: This constructs terminfo database

This is not tied into buildworld yet, it requires /usr/bin/tic to be
set up as a bootstrap tool first.

Add /usr.bin/tic: terminfo entry-description compiler

The tic program is required to create the terminfo database.

ncurses: move USE_GETCAP, update README files

The ncurses headers were generated with additional configuration switches
documented on README.DRAGONFLY.  One outcome is the USE_GETCAP should
be in the configuration header rather than in the Makefile, so that
was updated.

New files were imported to support building the terminfo database, and
the path for that will be /usr/share/terminfo.  Accordingly, the man
page and configuration header have been updated.

Merge branch 'vendor/NCURSES'

ncurses vendor branch: Bring in additional source files

In order to support the building of the terminfo database, additional
source files from the ncurses 5.9 tarball are needed.

iwn: Add Intel(R) Centrino Wireless-N 100

Submitted-by: Francis GUDIN
DragonFly-bug: http://bugs.dragonflybsd.org/issues/2366

Update files for OpenSSL-1.0.1c import.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.1c.

  o Fix TLS/DTLS record length checking bug CVE-2012-2333

arcmsr(4): Disable MSI support on the 1880 models.

There is definitely MSI related breakage here (resulting in ccb
command timeout issues). It was verified with an ARC-1880i that
was kindly provided by ftigeot.

On the other hand, my ARC-1210 works like a charm using MSI.

Reported-by: ftigeot

ncurses: Add wide-character support

The man pages already indicated wide-character support, but the
libraries weren't properly implemented.  Also removed unneeded
libmytinfo.  It was an alias for libncurses and four makefiles
referenced both.

hammer2 - Implement aes_256_cbc session encryption

* The AES session key and initial iv[] are transmitted in the public key
  exchange.

* The actual AES session key and initial iv[] is the data received XOR'd
  with the data sent, so if the public key exchange is broken (even if
  the verifier succeeds), the rest of the session will die a horrible
  death.

* We use aes_256_cbc and in addition to the iv[] being adjusted by the
  data in-flight we also inject some random data in each message header
  to mix iv[] up even more than it would be normally.

* We also check the message sequence number, which is embedded in the
  random data (the raw msg header's salt field), though the iv[] should
  catch any replays.

* NOTE: Verifier is still weak, but the session key and iv[] exchange
  is very strong.