kernel - Implement segment pmap optimizations for x86-64 (4)

* Fix pmap_pte_quick() when it is called on a VM object's simple pmap.
  Fixes a panic during postgres init w/ postgres/mmap.  Simple pmaps
  do not have PDP or PML4 pages or pv_entry's, only from PD on down.

* Do some minor API work on the pte-indexing functions.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Implement segment pmap optimizations for x86-64 (3)

* Fix pmap optimization bugs triggered by XORG (startx) and postgres/mmap

* The simple-mode pmaps embedded in VM objects do not have the PML4 or PDP
  layer.  This caused pmap_scan() to miss pages, resulting in an assertion
  and panic during object frees if the objects were large enough.

* Improve postgres 9.2/mmap, still more work to go.

Sync zoneinfo database with tzdata2012f from ftp://ftp.iana.org/tz/releases

* australasia (Pacific/Fiji): Fiji DST is October 21 through January 20
    this year.  (Thanks to Steffen Thorsen.)

* Theory: Correct a typo.

Expand a comment in lwkt_switch().

kernel: remove useless for (;;).

Discussed-with: dillon

kernel: Use NULL instead of 0 for pointers, part 2/x.

Found-with: Coccinelle (http://coccinelle.lip6.fr/)

kernel - Implement segment pmap optimizations for x86-64 (2)

* Reorder code to fix an assertion when a non-optimized PT belonging
  to the process pmap needs to be replaced by an optimized PT belonging
  to a shared pmap.

Reported-by: ftigeot

kernel - Add sysctls and tunables for [ALT_]BREAK_TO_DEBUGGER, change
 serial console

* Add kern.break_to_debugger and kern.alt_break_to_debugger sysctls and
  /boot/loader.conf tunables.

* Allows enabling of these features without having to specify the
  related options in the kernel config.

* Do not override current sio settings when checking, inputting, and
  outputing characters via the console functions.  The serial port
  will be set up initially according to the console specs.

kernel - Implement segment pmap optimizations for x86-64 (1)

* Relax the mmap() size requirement when auto-aligning the address.
  Also auto-align to a segment boundary if the size is > 16 * SEG_SIZE.
  It previously only allowed size to be an exact multiple of SEG_SIZE.

* Some pages at the end won't be optimized, but the bulk of the mmap()
  will be.

kernel - Implement segment pmap optimizations for x86-64

* Implement 2MB segment optimizations for x86-64.  Any shared read-only
  or read-write VM object mapped into memory, including physical objects
  (so both sysv_shm and mmap), which is a multiple of the segment size
  and segment-aligned can be optimized.

* Enable with sysctl machdep.pmap_mmu_optimize=1

  Default is off for now.  This is an experimental feature.

* It works as follows:  A VM object which is large enough will, when VM
  faults are generated, store a truncated pmap (PD, PT, and PTEs) in the
  VM object itself.

  VM faults whos vm_map_entry's can be optimized will cause the PTE, PT,
  and also the PD (for now) to be stored in a pmap embedded in the VM_OBJECT,
  instead of in the process pmap.

  The process pmap then creates PT entry in the PD page table that points
  to the PT page table page stored in the VM_OBJECT's pmap.

* This removes nearly all page table overhead from fork()'d processes or
  even unrelated process which massively share data via mmap() or sysv_shm.
  We still recommend using sysctl kern.ipc.shm_use_phys=1 (which is now
  the default), which also removes the PV entries associated with the
  shared pmap.  However, with this optimization PV entries are no longer
  a big issue since they will not be replicated in each process, only in
  the common pmap stored in the VM_OBJECT.

* Features of this optimization:

  * Number of PV entries is reduced to approximately the number of live
    pages and no longer multiplied by the number of processes separately
    mapping the shared memory.

  * One process faulting in a page naturally makes the PTE available to
    all other processes mapping the same shared memory.  The other processes
    do not have to fault that same page in.

  * Page tables survive process exit and restart.

  * Once page tables are populated and cached, any new process that maps
    the shared memory will take far fewer faults because each fault will
    bring in an ENTIRE page table.  Postgres w/ 64-clients, VM fault rate
    was observed to drop from 1M faults/sec to less than 500 at startup,
    and during the run the fault rates dropped from a steady decline into
    the hundreds of thousands into an instant decline to virtually zero
    VM faults.

  * We no longer have to depend on sysv_shm to optimize the MMU.

  * CPU caches will do a better job caching page tables since most of
    them are now themselves shared.  Even when we invltlb, more of the
    page tables will be in the L1, L2, and L3 caches.

* EXPERIMENTAL!!!!!

kernel - Segment-align mmap and sysv_shm when possible

* Segment align mmap and sysv_shm mappings which are large enough
  and whos size is a multiple of the segment-size.

  NOTE: MAP_FIXED mappings will not be segment-aligned, but the
optimization will sitll work if the passed address is already
segment-aligned.

* This will allow them to be optimized automatically by
  machdep.pmap_mmu_optimize.

kernel: Remove unused headers.

kernel: Remove some unused variables.

hammer(8): add HAMMER_RSH environment variable support.

Add support for a HAMMER_RSH environment variable which can be used
to select an alternate remote shell to be used for hammer remote operations,
change remote shell invocation to rsh(1) style '-l user host' instead of
ssh-style user@host to permit usage of rsh(1) as an alternate HAMMER_RSH
without the need for a wrapper script. Also change exec call of subshell
to use execvp instead of a hardcoded path to facillitate this change.

Update hammer.8 docs, along with minor formatting fix to environment
variable summary header sentence.

hammer - Add ssh-remote directive

* Adds a feature that allows you to set up a command="..." prefix for a
  ssh key in your ~/.ssh/authorized_keys file that only runs the hammer
  utility and only with specific commands and filesystem paths.

  For example:

  command="/sbin/hammer ssh-remote mirror-read,mirror-write /path/" ssh-rsa...

  Currently requires a trailing '/' if you want to restrict the path to
  a subdirectory.  Multiple commands can be listed but the filesystem path
  restriction is only currently tested for mirror-read and mirror-write.

* This allows ssh to be used for mirroring without having to give shell
  access to the remote.

hammer - Add scoreboard file option

* Add -e <scoreboardfile> option for mirror-stream, so one can see the
  progress of mirror-streams running in the background.

netisr: rename cpu_portfn() to netisr_portfn().

No functional change.

Searched and replaced with:
find sys/ -type f -exec sed -i "" 's/cpu_portfn/netisr_portfn/g' '{}' \;

hier.7: Oops, use Xr

hier.7: Add some words about /usr/share/terminfo.

Fix buildworld.

ixgbe: Document a performance tuning sysctl

* It is needed to consistently increase single stream TCP send
  performance

* Without it, single tcp connections rarely reach the maximum
  recorded speed of 9.4Gb/s

kernel/inet: Remove some unused variables.

mfi(4): Break some overly long lines.

acpi/resource: We still need to make sure that IRQ is valid at least

kernel: Use NULL instead of 0 for pointers, part 1/x.

Found-with: Coccinelle (http://coccinelle.lip6.fr/)

hammer - Fix core dump during remote termination of mirror-stream

* Fix issue where remote-end hammer can core trying to fprintf() an error
  message if a mirror-stream connection is lost unexpectedly.

kernel/acpi: Add missing include (for acpi_sci_irqno()).

ixgbe: Replace the TX lockmgr lock by a serializer

ixgbe: Do all RX/TX processing in ithreads

* There is no need to launch taskqueues if there is more data to
  process, the next interrupt thread will handle it.

* This will be no later than 125µs in the general case anyway.

* This change can even increase performance by removing lock contention
  between ithreads and taskqueues trying to run at the same time.

ifpoll: Dispatch netmsgs to netisr, which is MPSAFE now

acpi/resource: Only skip SCI trigger/polarity configuration

The code before this commit could cause interrupt storm on certain
systems, on which certain IRQs are configured into different mode
but the configured IRQs are actually never used.

Reported-by: swildner@

periodic.conf(5): document new 'daily_clean_hammer_pfslist' variable.

On further reflection - as hammer cleanup is not limited to pfs's -
should this this variable be called 'fslist'? but then - does that
make the usage for pfs's less obvious. Hmm. A philosophical question.

Leave the name for now, and take a sip from a glass 100% full of
some percentage of air and liquid.

suggested-by: swildner@

periodic/daily: add option to specify list of pfs's to daily/160.clean-hammer

Add a new variable, daily_clean_hammer_pfslist, which can be used to
specify a list of pfs's to cleanup. This is useful e.g. on systems
with offline hammer slave pfs's which should be cleaned but would
not be done so with the default 'hammer cleanup' command.

Defaults to previous online-only cleanup behavior if this variable is
not set.

iscontrol(8): Remove unused header file.

ixgbe: Remove the Adaptative Interrupt Moderation code

* It didn't work correctly, the number of ixgbe interrupts per second
  could become excessive

* Use a fixed rate for all interrupts, be they legacy, MSI or
  MSI-X vectors. 8000 intr/s is a good default value.

* This change increases single stream tcp performance up to almost 50%
  in the sending direction

ixgbe: Move sysctl creation to a separate function

kernel/bce: Fix an impossible && that should really be a ||.

Reviewed-by: sephe

Install apm(4)'s manual page on x86_64, too.

acpi(4) emulates apm(4)'s ioctls so it is relevant on x86_64 too.

Also, mention these things.

ixgbe: Enable existing MSI-X code

kernel: Remove two bogus break statements.

Remove pcidevs_data.h via 'make upgrade'.

BUS_SETUP_INTR.9: Add missing comma and bump .Dd

kernel/hptmv: Fix the completion of a write.

What is intended here is to perform BUS_DMASYNC_POSTWRITE when a write
is completed, but the 'else if' had the wrong check.

Rename notes/ directory to doc/

doc - Fix previous commit.

doc - Add some more porting notes regarding CVS ids.

Add some notes I had lying in my tree.

Lose LK_EXCLUSIVE in the lockinit example and a typo fix.

Add some documentation on converting sleep mutexes and fix a couple of typos.

Submitted-by: Aggelos Economopoulos <aoiko@cc.ece.ntua.gr>

Add a section about renamed kernel functions and clean up a bit.

Add an internal document describing (in a very incomplete way at the moment) how to port a driver from FreeBSD.

Document bus_setup_intr_descr(9)

VFS.9: Add a reference to VFS_SET(9).

Reported-by: Raimundo Santos <raitech@gmail.com>

kernel/ipx: Add a missing 'goto set_head;'.

ixgbe: Explicitely enable PCIe bus mastering

kernel: Use NULL for pointers in some places.

kernel: Remove pcidevs_data.h. It serves no purpose.

kernel/ixgbe: Add missing braces.

tcp: Implement asynchronized pru_rcvd

This mainly avoids extra scheduling cost on the reception path due to
lwkt_domsg().  lwkt_sendmsg() is now used to carry out TCP pru_rcvd.

Since TCP's pru_rcvd could be batched, one pru_rcvd netmsg is embedded
into struct socket to avoid pru_rcvd netmsg allocation for each pru_rcvd,
and this netmsg will be used by lwkt_sendmsg().  Whether this embedded
pcu_rcvd netmsg should be sent or not is determined by its MSG_DONE bit.
Since user thread and netisr thread could be on different CPUs, the
embedded pru_rcvd netmsg's MSG_DONE bit is protected by a spinlock.

To cope with the following race that could drop window updates,
tcp_usr_rcvd() replies asynchronized rcvd netmsg before tcp_output():

      netisr thread                     user thread

tcp_usr_rcvd()                   sorcvtcp()
{                                {
    tcp_output()                          :
          :                               :
          :                          sbunlinkmbuf()
          :                          if (rcvd & MSG_DONE) (2)
          :                              lwkt_sendmsg(rvcd)
          :                               :
    lwkt_replymsg(rcvd) (1)
}

At (2) window update is dropped, since rcvd netmsg is not replied yet at (1)

The result:
On i7-2600 (4C/8T, 3.4GHz):
32 parallel netperf -H 127.0.0.1 -t TCP_STREAM -P0 -l 30 (4 runs, unit: Mbps)

old   30253.88 30242.58 30162.55 30101.51
new   33962.74 33798.70 33499.92 33482.35

This gives ~12% performance improvement.

msgport.9: Fix a path.

* sys/kern/netisr.c -> sys/net/netisr.c

Pointed-out-by: Romick <yellowrabbit2010@gmail.com>

acpi: Remove some unused files.

Remove another unused header (<machine/ultrasound.h>).

Remove an unused old ral(4) firmware header.

Remove an unused and empty header (<machine/mtpr.h>).

libprop: Add two missing MLINKS.

tbridge: Sync NAME, SYNOPSIS and MLINKS.

libm: Add missing MLINK.

Bring in a VFS_SET(9) manual page (from FreeBSD).

link.2: Use .Fn and add .Nm linkat

amr(4): Remove some unused code (amr_timeout()).

Taken-from: FreeBSD

Add CARP support to the GENERIC kernels.

http://leaf.dragonflybsd.org/mailarchive/users/2012-08/msg00086.html

Suggested-by: Charles Rapenne <charles.rapenne@gmail.com>
Approved-by: sephe

usched_bsd4 - topology sched: go for safe defaults

 * When we don't know how to handle the level of the current CPU, go for
   safe defaults disabling both cache-coherent and SMT scheduling.

 * This seems to be the case on single-core machines where the level is
   the PACKAGE_LEVEL.

Reported-by: Max Herrgard, Ferruccio Zamuner, David Shao
Dragonfly-bug: http://bugs.dragonflybsd.org/issue2408
Dragonfly-bug: http://bugs.dragonflybsd.org/issue2413

sorecvtcp: Remove unapplied code

socket: Replicate soreceive() to sorecvtcp() for cleanup and optimization

jme: RX interrupt to ~6000Hz, TX interrupt to ~4000Hz

jme: Record number of times that RX ring becomes empty

jme: Allow MSI-X be evenly spreaded across CPUs

igb: Set default RX descriptor count to 512

acpi/sci: Test ACPI MADT interrupt override entry's preferred mode first

wpa_supplicant(8): Use libpcap functions.

kernel/acpi: Add smart battery support.

I don't know which laptops have them, as far as I can tell, none of mine
do. But as some seem to have it, it's worth supporting.

https://en.wikipedia.org/wiki/Smart_Battery_System

This is the patch from the tracker with some later updates FreeBSD did.

Taken-from:    FreeBSD
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/1229>
Submitted-by: Dmitry Komissaroff <aunoor@gmail.com>

mpt(4): We don't have MOD_QUIESCE.

tcp/ncr: Avoid using magic number

tcp: RFC3517bis is now officially RFC6675

acpi/pcib: Guard against invalid GSI provided by PRT

acpi/resource: Use legacy_intr_find to detect invalid IRQ configure

pci: Guard against wrong user supplied IRQ assignment

acpi/fadt: Make sure that SCI IRQ is valid

pci/pir: Make sure that the IRQ is allowed to be configured

If the IRQ is already configured into non-level/low mode, we should not
change the trigger and polarity

MachIntr: Add two methods to find IRQ

- Find IRQ conforming to the specified trigger and polarity, if it was
  configured.
- Find IRQ by GSI, the located IRQ must conform to the specified trigger
  and polarity if it was configured.

acpi/intr: Fix comment, source index is GSI _not_ IRQ

kernel: Turn the delay before mounting root into a tunable.

Submitted-by: Francis Gudin <fgudin@nerim.net>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2373>

/boot/defaults/loader.conf: Adjust a comment.

ixgbe: add tso_pullup function

* This routine rearranges mbuf chains to get more continuous bytes,
  potentially increasing tcp send performance

* Single TCP streams are now able to push slightly more than 4Gb/s
  under the right circumstances

Taken-from: Sepherosa Ziehau's work on the igb(4) driver

ixgbe: enable existing FreeBSD IPv4 TSO code

* This is not perfect but increases sending speeds up to about 3.5 Gb/s
  by TCP connection

* Total throughput has been measured up to 9.22 Gb/s in the sending
  direction

kernel: IFCAP_TSO is really IPv4-specific

* Rename IFCAP_TSO to IFCAP_TSO4 to make things crystal clear, keeping
  the old name for compatibility

* Add IFCAP_TSO6 for the future

kernel - reduce kern.maxvnodes default on 32 bit systems

* Reduce maximum kern.maxvnodes on standard-configured 32 bit systems
  from ~100K vnodes to ~80K vnodes to reduce kmem usage.

growfs(8)/ffsinfo(8): Use __func__

growfs(8): Fix building with -DFS_DEBUG.