re: RealTek8111F found in ASUS C60M1-I

DragonFly-issue: http://bugs.dragonflybsd.org/issue2479

em: Don't update TDT upon very packets transmitted

Merged following commits on emx(4):
7f32a9b0f8f25e43ab2ae4ee0d82ce69325d3b4b
0aba36eb844503423f414a3235eca72a78dc575a
b691889cfe23462069618f44bcf2ba0e71dcbb79

With following exception:
This optimization is not performed for 82547

pktgen: Pregenerate 3/4 of the ifq_maxlen should be enough

igb: Fix comment

emx: Fix comment

netgraph7/iface: Use ifq_dispatch() instead of ifq_handoff()

vlan: Use ifq_dispatch() instead of ifq_handoff()

atm: Use ifq_dispatch() instead of ifq_handoff()

ifq: Add ifq_purge_all(); currently it's same as ifq_purge()

This paves the way for the multiple transmission queues support.

ifq_purge_all() is used when ALTQ packet scheduler is changed,
interface routing is changed and pseudo devices are closed.

/usr/Makefile: Support dports and add error checking

* Check for git before issuing git command
* Check if directories existing when expected for a target
* Check if directories do not exist when they shouldn't for a target
* Issue error messages when above criteria are not met
* Convert to prinf to make spacing changes easier in future
* Remove options from help screen that are currently invalid
  ("make" by itself now reflects only options that are valid at the time)
* Remove reference to cvs repositories, that's obsolete now
* Add "dports-create" option (full git repository cloned from github)
* Add "dports-create-shallow" option (Depth=1 repository github clone)
* Add "dports-update" option to pull latest from git repository
* Add "dports-download" option (Download tarball from github, extract)
  (Has benefit that dports can be installed without git on system).
* Add "dports-replace" option (When dports was previously installed from
  tarball, use the option to replace it by downloading and extracting
  newer tarball)
* general cleanup

Add native dports support

DPorts, the ports building system tailored for Dragonfly,  requires
five bsd.*.mk scripts to be placed at /usr/share/mk in order to work
on DragonFly without any type of bootstrapping.

After installing dports using the /usr/Makefile script, any dport can
be built using the same instructions as FreeBSD (e.g. make install clean)

The resulting packages will be handled by "pkg", which will also be used
in the future for downloading prebuild binaries from an official
repository.

ifq: Move ifq_set_maxlen declaration to the declaration code block

ip6: Don't test ifq_len against ifq_maxlen; let IFQ make the decision

sctp: Don't test ifq_len against ifq_maxlen; let IFQ make the decision

ifq: Use ifq_set_maxlen for ifnet.if_snd

ifq/staging: Add comment about IFQ packet staging mechanism

ifq/staging: Remove debug code

ifq/staging: Clean up IFQ packet staging resources

- Make sure pending if_start scheduling IPIs are synchronized
- Make sure IFQ packets are no longer staged on any CPUs
- Free IFQ packet staging bookkeeping memory

ifq/staging: Increase ifq_maxlen a little bit for packets get staged

Increase ifq_maxlen by the amount that IFQ packet staging will take.

There are several places in the tree that if_snd.ifq_maxlen is set
directly instead of using ifq_set_maxlen().  These will be fixed in
some later commits.

ifq/staging: Perform IFQ packet staging for if_start scheduling

IFQ packets staging is now performed for ifnet's if_start scheduling,
i.e. if_start_schedule(), in addition to direct ifnet's if_start calling.

IFQ packets staging stopping condition
- if_start interlock (if_snd.altq_started) is not released.
is now changed to
- if_start_schedule() is not pending on the current CPU and if_start
  interlock (if_snd.altq_started) is not released.

By setting net.link.stage_cntmax to 8 and hw.igbX.tx_wreg_nsegs to 16,
following performance improvement is gained:
+80Kpps for normal IP forwarding
+30Kpps for fast IP forwarding

if_start: Use if_start_schedule in if_start_dispatch

Ease further optimization.

polling: Perform RX polling before TX polling

ifq/staging: Initial implementation of IFQ packet staging mechanism

The packets enqueued into IFQ are staged to a certain amount before the
ifnet's if_start is called.  In this way, the driver could avoid writing
to hardware registers upon every packet, instead, hardware registers
could be written when certain amount of packets are put onto hardware
TX ring.  The measurement on several modern NICs (emx(4), igb(4), bnx(4),
bge(4), jme(4)) shows that the hardware registers writing aggregation
could save ~20% CPU time when 18bytes UDP datagrams are transmitted at
1.48Mpps.

IFQ packets staging is performed for direct ifnet's if_start calling,
i.e. ifq_try_ifstart()

IFQ packets staging will be stopped upon any of the following conditions:
- If the count of packets enqueued on the current CPU is great than or
  equal to ifq_stage_cntmax.
- If the total length of packets enqueued on the current CPU is great
  than or equal to the hardware's MTU - max_protohdr.  max_protohdr is
  cut from the hardware's MTU mainly bacause a full TCP segment's size
  is usually less than hardware's MTU.
- if_start interlock (if_snd.altq_started) is not released.
- The if_start_rollup(), which is registered as low priority netisr
  rollup function, is called; probably because no more work is pending
  for netisr.

Currently IFQ packet staging is only performed in netisr threads.

Inspired-by: Luigi Rizzo's netmap paper
    (http://info.iet.unipi.it/~luigi/netmap/)
Also-Suggested-by: dillon@

kernel/powernow: Remove two unused variables.

libpthread: Add sem_timedwait().

It was commented out and I'm not sure why.

It needed a bit of adjustment to properly check the nanoseconds field but
with that, it passes all eleven tests of the Open POSIX Test Suite. Other
people (thesjg, vsrinivas) have tested and used it too in the past.

While here, also add a manual page (taken from FreeBSD).

In-discussion-with: vsrinivas

aio_write.3: Bring back a bit that should not have been deleted.

kernel/clock: Remove some pointless #include/#ifdef.

aio*.3: Some cleanup, wording improvement, etc.

Move AIO manual pages to librt.

While doing it, remove aio_waitcomplete(), as it has no librt (or POSIX)
counterpart.

librt/aio_cancel(): Set errno to EBADF if the fd is not valid.

kernel: Add CLOCK_THREAD_CPUTIME_ID

And make it usable with clock_gettime() and clock_getres()

With-advice-from: Sascha Wildner

iscontrol(8): Remove some unneeded includes.

mount_ntfs(8): Remove old __FreeBSD_version checks.

fwcontrol(8): Remove dead code.

kernel/ndis: We want the ctx_list and oid for now.

kernel/acpi: Fix #include, <sys/mutex.h> is not needed.

mlx(4): Remove unused defines.

kernel/iscsi: Do not conditionalize on undefined names.

kernel/procfs: Silence gcc47's whining.

ifq_dispatch: Avoid accessing the mbuf after it has been queued to if_snd

The enqueued mbuf could have be freed when it is used to update the stats.

arcmsr(4): Add missing D_MPSAFE (forgot when porting).

kernel/mmc: Remove an unused variable.

arcmsr(4): Remove some dead code and an unused variable.

Interrupts won't be enabled again in arcmsr_shutdown().

ifq_dispatch: If mbuf can't be enqueued and ifq has data; kick if_start

ip_forward: Optimize out the mbuf allocation for ICMP messages

A per-netisr mbuf template is used to save the necessary information
for later ICMP messages; this avoids unnecessary mbuf allocation
on forwarding path.  The mbufs for ICMP messages are allocated only
when ICMP messages do need to be sent.

Inspired-by: OpenBSD ip_forward

ip_output: Don't drop packet based on if_snd queue length

Later if_snd queue enqueuing should make this decision

installer: Remove CAPS remains.

share/Makefile: Break at initial letter boundary and sort terminfo.

installer: Use the LiveDVD's pfi.conf generally (works for LiveCD too).

Revert "mknod(2): Restrict functionality to creating FIFOs."

This reverts commit d5056fe0532f6e09c1c52b6384f3ef6e6db77a68.

After the commit, stuff like cpdup, tar, etc. used on dev would
start whining when before they would create the nodes, even
though they were not actually usable.

Since the potential breakage in external software is unknown, make
up my mind and go with the lower risk approach, even if it is kind
of pointless.

The mknod(8) utility is left deleted.

Remove the mknod(8) utility.

Now that we have devfs(5), it's of no use anymore.

mknod(2): Restrict functionality to creating FIFOs.

Now that we have devfs(5) for handling our device nodes, we can retire
part of mknod(2) functionality and restrict it to what POSIX requires:

"The only portable use of mknod() is to create a FIFO-special file.
 If mode is not S_IFIFO or dev is not 0, the behavior of mknod() is
 unspecified."

In-discussion-with: beket

standards.7: Add URLs for a couple of standards.

mdoc: Add definition for XSH, Issue 4, Version 2.

tools/toeplitz: Force 0 padding in result printing

pktgenctl: Allow pktgen device to be specified

pktgen: Create 4 device nodes by default

pktgen: This module is MPSAFE

While im here, nuke no longer needed CDEV_MAJOR

netisr: Remove unused macros

netisr: Add priority for netisr "rollup" functions

Higher priority "rollup" will be run first.  This mechanism auguments
the original "rollup" functionality which now could be used to implement
things like transmission packets aggregation and software TCP LRO.

polling: Increase default polling rate to 6000Hz

This increases the bidirational normal IP forwarding rate by 30~40Kpps

if_start: Fix indentation

installer: Always take the root directory's /dev.

Taking /dev relative to the directory we want to copy from was fine
until we got devfs, because we shipped actual device nodes in /dev
until then.

It only continued working because the directory we copy from is always
the distribution media's root directory currently.

kernel/atm: Fix wrong rt_tables[] access.

if_start: Fix a race that could delay the packets transmission

Since if_start_need_schedule is called w/ the cached IFF_OACTIVE out
side of ifnet's TX serializer, there could be a race that IFF_OACTIVE
could be cleared before if_start_need_schedule but after releasing
ifnet's TX serializer.  This could delay already queued packets
transmission until the new packet is coming.  Fix this race by calling
if_start_need_schedule inside ifnet's TX serializer.

Remove VFS_INIT(9) manpage via 'make upgrade'.

sglist.9: Add a missing include to the SYNOPSIS.

Remove VFS_INIT.9 manual page, there is no such macro.

VFS_MOUNT.9: Adjust to the current state in /usr/src.

Update the pciconf(8) database.

December 13, 2012 snapshot from http://pciids.sourceforge.net/

hammer2 - Split flush code out into its own source file

* Add hammer2_flush.c, move flush code into its own source file.

kernel - Fix buffer cache mismatch assertion (hammer)

* Fix an issue where cluster_write() could instantiate buffers with
  the wrong buffer size.  Only effects HAMMER1 which uses two different
  buffer sizes for files.

* Bug could cause a mismatched buffer size assertion in the kernel.

libkiconv: Remove unneeded SHLIBDIR in the Makefile.

kernel - ufs softdep fix under heavy load

Fix is from OpenBSD ffs_softdep.c v1.79, originally from FreeBSD
ffs_softdep.c 1.196. Commit message from OpenBSD:

"due to ffs_sync not be able to sync some buffers here is another
instance of softdep code that must ensure proper syncing.
try harder to flush MKDIR_BODY dependancy if such still exists
during pagedep flush (that is by syncing first block of the dir)."

wlandebug.8: Don't reference manual pages which we don't have.

Instead, point at the tools directories in our tree.

polling: Increase default rx.each_burst to 50

With this default the CPU usage still could be throttled to the desired
value (rx.user_frac), it gives reasonable burst for modern systems and
number of empty RX polling is reduced.

polling: Diverge each CPU's polling frequency a little bit (within 50Hz)

This avoids possible thunder hurd effect on ifnet.if_snd's serializer.

hammer2 - bigger stabilization & performance pass

* Fix additional namecache bogons that could result in a crash.

* Fix volume header synchronization.  It was possible for the voldata
  structure to be modified after its crc had been calculated but before
  its write.  A mount after a crash would then refuse to use the volume
  header.

* Each flush now iterates available volume header backups instead of
  just writing to block 0.  (The mount code selects the most recent
  valid volume header from available backups.  There is nothing special
  about the volume header in block 0).

* Fix volume header flush staging, the fsync of the device buffers
  was not ensuring a complete flush before synchronizing the volume
  header.

ipfw: Don't spam the log if dynamic rules allocation failed

There is high chance that kmalloc w/ M_NOWAIT fails; no need to bark

hammer2 - small stabilization & performance pass

* Change a few bawrite()'s to bdwrite()'s to the bufdaemon can cluster
  the meta-data.  This greatly improves continuous flushes (e.g. when
  running blogbench).

* Fix a number of improper cache_setvp() calls which can cause the
  system to panic later.  Basically the vnode was being cleared without
  the namecache error getting set (to ENOENT).  Easiest solution is to
  just not call cache_setvp() for those cases in the first place and
  just leave the ncp unresolved.

pktgen: Clear ip.ip_sum before calling in_cksum_hdr()

hammer2 - redo the flush collision handling

* Add HAMMER2_CHAIN_ONRBTREE and change HAMMER2_CHAIN_DELETED.  The DELETED
  flag now indicates a chain has been deleted (as in unlink, rmdir, truncate,
  etc) but could not be removed due to a conflicting flush.

  DELETED means something different from dropped chains with 0 refs which
  wind up sticking around due to the lastdrop code not being able to
  acquire a lock on the parent or colliding with a flush.  0-ref chains
  can be considered to cache clean media state when it comes down to it.
  (modified chains have a ref and so don't hit the lastdrop code).

* The flush code is now able to reliably unlock the chain parent when
  processing a child.

* Clean up a number of flush cases.

* Began to add error handling in the hammer2_chain_create() path.  The path
  now handles EAGAIN errors when insertions would collide with a flush.
  (The wait/retry code is currently just a sleep/retry).

* Removed the MAYDELETE junk.  It was too junky.

*

kernel: Remove USERFS.

It's an old project of Matt, but won't be continued anymore.

Approved-by: dillon

hammer2 - Cleanup various races, better flush

* Cleanup various topological scan races

* Temporarily release the parent lock when diving a child.

* Start work on a chain movement (disconnect from parent) interlock,
  which we need for stability during flushes, renames, and hardlink
  operations.  This will likely be rewritten.

kernel - Fix sync() system call

* The sync() system call was syncing the filesystems MNT_NOWAIT | MNT_LAZY.
  We need the MNT_NOWAIT to avoid an endless sync on a busy filesystem, but
  MNT_LAZY is another issue entirely.

* Remove the MNT_LAZY from the sync() system call, it can cause whole
  files to not be synced.  It is meant only to be used by the automatic
  kernel 30-second sync (which eventually gets everything flushed out).

thread: Add td_type field; this avoids blowout td_flags w/ type flags

- Replace TDF_CRYPTO with TD_TYPE_CRYPTO
- All lwkt threads are created as TD_TYPE_GENERIC
- Netisr threads now mark themselves as TD_TYPE_NETISR

Discussed-with: sjg@ and dillon@
Approved-by: dillon@

kernel - Fix missing B_ORDERED inheritance

* The cluster code was not inheriting B_ORDERED on buffers when constructing
  the rollup buffer due to a coding error.

* I don't think anything uses B_ORDERED so this shouldn't matter, but fix
  it anyway.

Reported-by: vsrinivas

kernel -- ffs: ufs_ihash may not match for vnode recycling reasons.

* vnode recycling may cause VGET to not find an inode; handle the
  race as before, it was not a bug.

* print diradd pointer in ffs MKDIR_BODY panics; will help finding
  the panic, it is masked by the inode hash panic.

Reviewed-by: sjg

Remove upc_{control,register} syscalls and everything that has to do with it.

It's no longer used for anything.

Requested-by: vsrinivas
Approved-by: dillon

bce: Disable RX max BDs based interrupt moderation

The RX max coalesce BDs is limited to 255, which means that the chip will
generate ~5800 interrupts/s when it sinks 1.48Mpps tiny packets.  However,
interrupt rate at 4500Hz is already enough for the chip to sink 1.48Mpps
tiny packets, so ticks based RX interrupt moderation should be prefered.

kernel/makesyscalls.sh: Fix copy/paste error.

Reported-by: vsrinivas

kernel/makesyscalls.sh: Improve comment and regenerate all affected files.

kernel/makesyscalls.sh: Output a friendlier comment about how to regenerate.

kernel - Reduce the size of the callout wheel

* The callout wheel is per-cpu but ncallout is calculated based on memory.
  A system with many cpus tended to allocate an excessive amount of memory
  in aggregate for the callout wheels.

* Reduce the size of the per-cpu callout wheel by approximately a factor
  of (ncpus).  On a 16G machine with 8 cores, aggregate callout wheel
  allocations is reduced from 128MB to 16MB.

kernel - Fix softupdates panic with UFS

* If getdirtybuf() was unable to lookup a dirty buffer from the
  flush_pagedep_deps path, we need to retry the lookup, rather than
  proceeding through processing the diradd.

Reported-by: marino@
Submitted-by: vsrinivas

kernel - Remove unnecessary mplock from ata I/O path

* ata_finish() doesn't need the MP Lock; moving it from taskqueue_swi
  to taskqueue_swi_mp will make sure it's not taken.

* Note that taskqueue_swi(_mp) will be processed when this ithread
  attempts to switch back to the thread it preempted. This means that
  taskqueue_swi(_mp) processing exclude processing further interrupts
  on the ithread while they're running. This may not be desirable and
  is different than taskqueue_swi / swi_* / setsoft* in FreeBSD 4.x.

Submitted-by: vsrinivas

kernel - Make UFS ihash table per-mount

* Make the UFS ihash table per-mount.

* Scale down the size of the hash table a bit so we have ~4 inodes per
  bucket instead of ~1.  Works fine for a single mount and this way
  multiple UFS mounts don't make [as] bloated kmalloc calls.

Submitted-by: vsrinivas

kernel - Fix bug (not reached in normal operation) in vm_map_set_wired_quick()

* Fix a bug where vm_map_set_wired_quick() only operated on the first
  vm_map_entry of a slab, and would panic if there were more.

* Slab allocations are only going to have one vm_map_entry anyway so the
  bug was never hit.  But we fix it anyway.

kernel - Fix debug output label

* Fix "rflags" to "eflags" in i386 kprintf() for smp_invltlb() debugging.

Reported-by: swildner

Fix buildkernel with 'options KTR' in the config.