kernel - fix vkernel64 startup when no hw virtualization present

kernel: disable VMM for AMD SVM to not break the vkernel64

kmalloc.9: Mention M_NULLOK in RETURN VALUE section

kmalloc.9: Add kmalloc_raise_limit to NAME section

em/emx: On attach path, perform another reset if the first one fails

The second reset fixes the 82573L attaching failure.

Reported-and-Tested-by: Johannes Hofmann <Johannes.Hofmann@gmx.de>

em/emx: Fix attach error handling and media leakage in detach

- Add missing ether_ifdetach() if reset fails.
Reported-by: Johannes Hofmann <Johannes.Hofmann@gmx.de>
- Call ifmedia_removeall() on detach path, since these drivers add
  ifmedia themselves; move ifmedia_init() to the beginning of attach
  for this to work.

kernel: remove garbage symlink MYKERNEL64

test: test: README: testing commit bit

kernel: Add vm_phys_fictitious_unreg_range()

Rework vm_phys_fictitious_reg_range() a bit

Obtained-from: FreeBSD

ifq: Add ifq_set_hw_serialize

This eases the drivers which use splitted serializers but only have one
transmit queue.

mxge: Simplify MSI handling; cleanup legacy interrupt handling

mxge: Limit unrelated softc fields' visibility to RX and TX path

libc/rpc: Fix some prototypes.

kernel/drm: Remove bogus typedef.

mxge: Count oerrors in generic way

- Remove unused local oerrors field
- Remove stats updating code which applies only to FreeBSD IFNET_BUF_RING

kmalloc.9: Update 'date'

kmalloc.9: Mention kmalloc_raise_limit()

kmalloc.9: M_INTWAIT is a proper "wait" flag too

kmalloc.9: Mention M_NULLOK

kmalloc.9: Mention allocated memory alignment garantee

kmalloc.9: Mention kmalloc_cachealign()

mxge: DragonFly's kmalloc(9) always returns 8 bytes aligned memory

mxge: Fix various comment

mxge: Utilize if_watchdog instead of knocking its own wheel out

kernel/drm: ttm_mem_global_free() is void, so don't return any result.

Fix typos (sytem -> system) in a manpage and a message.

buildworld - Fix buildworld conflict

* Remove EX_REBOOT from include/sysexits.h, it conflicts with the
  buildworld.

* Replace EX_REBOOT with a local #define'd symbol in
  vkernel64/platform/init.c.

mxge: Cleanup code that frees pending mbufs

kernel/acpi: Sync acpi_thermal with FreeBSD.

kernel: Fix some recently introduced breakage.

vm_page_free() and vm_page_undirty() are now inline functions
in <vm/vm_page2.h>.

kernel - Drop overlapping ipv6 fragments

* Unconditionally drop overlapping ipv6 fragments as per
  RFC 5722.

Reported-by: logan1, bug 2584, including patch

hammer2 - Merge Mihai Carabas's VKERNEL/VMM GSOC project into the main tree

* This merge contains work primarily by Mihai Carabas, with some misc
  fixes also by Matthew Dillon.

* Special note on GSOC core

  This is, needless to say, a huge amount of work compressed down into a
  few paragraphs of comments.  Adds the pc64/vmm subdirectory and tons
  of stuff to support hardware virtualization in guest-user mode, plus
  the ability for programs (vkernels) running in this mode to make normal
  system calls to the host.

* Add system call infrastructure for VMM mode operations in kern/sys_vmm.c
  which vectors through a structure to machine-specific implementations.

  vmm_guest_ctl_args()
  vmm_guest_sync_addr_args()

  vmm_guest_ctl_args() - bootstrap VMM and EPT modes.  Copydown the original
  user stack for EPT (since EPT 'physical' addresses cannot reach that far
  into the backing store represented by the process's original VM space).
  Also installs the GUEST_CR3 for the guest using parameters supplied by
  the guest.

  vmm_guest_sync_addr_args() - A host helper function that the vkernel can
  use to invalidate page tables on multiple real cpus.  This is a lot more
  efficient than having the vkernel try to do it itself with IPI signals
  via cpusync*().

* Add Intel VMX support to the host infrastructure.  Again, tons of work
  compressed down into a one paragraph commit message.  Intel VMX support
  added.  AMD SVM support is not part of this GSOC and not yet supported
  by DragonFly.

* Remove PG_* defines for PTE's and related mmu operations.  Replace with
  a table lookup so the same pmap code can be used for normal page tables
  and also EPT tables.

* Also include X86_PG_V defines specific to normal page tables for a few
  situations outside the pmap code.

* Adjust DDB to disassemble SVM related (intel) instructions.

* Add infrastructure to exit1() to deal related structures.

* Optimize pfind() and pfindn() to remove the global token when looking
  up the current process's PID (Matt)

* Add support for EPT (double layer page tables).  This primarily required
  adjusting the pmap code to use a table lookup to get the PG_* bits.

  Add an indirect vector for copyin, copyout, and other user address space
  copy operations to support manual walks when EPT is in use.

  A multitude of system calls which manually looked up user addresses via
  the vm_map now need a VMM layer call to translate EPT.

* Remove the MP lock from trapsignal() use cases in trap().

* (Matt) Add pthread_yield()s in most spin loops to help situations where
  the vkernel is running on more cpu's than the host has, and to help with
  scheduler edge cases on the host.

* (Matt) Add a pmap_fault_page_quick() infrastructure that vm_fault_page()
  uses to try to shortcut operations and avoid locks.  Implement it for
  pc64.  This function checks whether the page is already faulted in as
  requested by looking up the PTE.  If not it returns NULL and the full
  blown vm_fault_page() code continues running.

* (Matt) Remove the MP lock from most the vkernel's trap() code

* (Matt) Use a shared spinlock when possible for certain critical paths
  related to the copyin/copyout path.

dc(1): Sync with OpenBSD

Changes include :

 * show an error message if the argument is a dir

 * check value against UINT_MAX before casting to u_int; while
   there fix a buglet in bexp(): x * UINT_MAX only overflows if x > 0

 * fix fractional number exponentiation

 * use BN_set_negative() and BN_is_negative() instead of subtracting or
   comparing to zero

 * For exponenttion, only warn if the fractional part of the exponent
   is non-zero and avoid div by zero.

 * let length(0.000) conform to what gnu bc does

 * check for unitialized elements when accessing an array

 * although there's no EOF condition defined for the handling of '?',
   but anyway reset the eof condition on stdin, so you don't get an
   infinite loop in the typical program after a ^D.

 * convert malloc to calloc

 * fix three leaks

 * use size_t as stack size and ssize_t as stack pointer

 * add missing bn_check

Revision for updated OpenBSD files are :

 - bcode.c : 1.45
 - bcode.h : 1.7
 - dc.c : 1.11
 - inout.c : 1.17
 - stack.c : 1.11

Obtained-from: OpenBSD

bc(1): Sync with openBSD

This include the following changes :

 * repair function when used with different scales

 * Better error message on unexpected newline

 * save/restore tty state on SIGTSTP/SIGCONT

 * protect errno from damage in the signal handler

 * make ^D behave well
   dont't echo it and make it work if the cursor is at start of line after a ^C

 * avoid usage of YY_FLUSH_BUFFER

    - avoid YY_FLUSH_BUFFER: it is not signal safe and it does not work as intended
    after the introduction of editline
    - honour editline edit off mode

OpenBSD updated files revisions :
    - scan.l : 1.28
    - bc.y : 1.42
    - bc.library : 1.4
    - extern.h : 1.10
    - tty.c : 1.1

Obtained-from: OpenBSD

test/test: test commit

drm: sync drmP.h with FreeBSD

drm: Update drm_pciids.h with Linux 3.8 data

Obtained-from: FreeBSD

kernel/usb4bsd: Silence an 'unused variable' warning in run(4).

drm/ttm: Fix a crash in vm_page_unwire()

kernel/x86_64: Add a 64-bit atomic function

* atomic_swap_long()

* also define atomic_store_rel_64() and atomic_swap_64() aliases

sleep.9: Adjust prototypes.

hammer2 - GSOC cleanup pass

* Cleanup some syntax and convert // comments in core source files.
  Remove _t suffix on static compression type procedures, make a
  few variable names shorter, etc.

* Used in-memory hammer2_inode->comp_heuristic instead of the on-media
  ipdata->reserved85 field for the compression heuristic.  It doesn't
  need to be recorded on-media.

* If the write thread encounters an I/O error, flag the original logical
  bp with the error and continue rather than breaking out and killing
  the write thread.

hammer2 - Merge Daniel Flores's HAMMER2 GSOC project into the main tree

* This merge contains work primarily by Daniel Flores, and also by
  Matthew Dillon.  Daniel's work is focused around adding the compression
  infrastructure while my work was focused around changing HAMMER2's
  I/O infrastructure to work with the compression code.

  Daniel's work involved adding the compression functions and heuristics,
  modifying mainly vnops and vfsops to use them, adding the new buffer
  cache write thread, and adding the new hammer2 utility directives and
  related ioctls.

  My work involved changing the H2 I/O infrastructure to always double-buffer
  (i.e. logical buffers vs device buffers) because device buffers can now
  wind up being a different size than the related logical buffers.  I also
  had to make changes to the hammer2_mount and hammer2_pfsmount mechanics
  and other things to prevent deadlocks.

    Daniel's Work

* Add the hammer2 setcomp directive which sets the compression mode on a
  directory or file.  If applie to a directory, the compression mode is
  inherited by any new files or directories created under the directory.
  Pre-existing subdirectories and files are not affected.

  The directive has a recursive option to recurse down and set the mode on
  everything underneath.

* Add wthread_bioq and related fields to hammer2_mount to support a
  buffer cache buffer writing thread.  This thread is responsible for
  calculating compression sizes, allocating device buffer blocks, and
  compressing logical buffers into the device buffers.

* Implement HAMMER2_COMP_AUTOZERO, HAMMER2_COMP_LZ4, and HAMMER2_COMP_ZLIB
  compression modes.  AUTOZERO is the zero-block detection code.  LZ4 will
  do zero-block-detection and LZ4 otherwise, and ZLIB will do
  zero-block-detection and gzip otherwise.

  This work entails a ton of new files imported from the LZ4 and ZLIB
  projects plus lots of wiring.

  The new files had to be cleaned up considerably, as well, since they
  were originally intended for userland.

* Move synchronous device buffer handling out of hammer2_vop_write() and
  into the support thread.  Numerous procedures were moved out of
  hammer2_vnops.c and into hammer2_vfsops.c as well.

  This greatly simplifies hammer2_vop_write() as well as the truncate and
  extend code, and improves the critical-path performance for write()
  (at least until the buffer cache fills up or gets too far behind).

* Implement semi-synchronous decompression callbacks for read I/O and
  read-ahead I/O.

* Add HAMMER2IOC_INODE_COMP_REC_SET and HAMMER2IOC_INODE_COMP_REC_SET2
  ioctls to support the setcomp directive.

  Matthew's Work

* The hammer2_inode copies additional fields from the inode data, allowing
  the inode data to be deallocated after use.

* Due to the way the buffer cache now operates, multiple deletions of the
  same chain key can occur within the same transaction.  Adjust the RBTREE
  compare code to handle the case.

* Track chain structure use on a pfsmount-by-pfsmount basis for current
  and future management of the kmalloc pools used by hammer2.

* Rework the way inodes are locked to track chain modifications.

* Rewrite hammer2_chain_delete_duplicate().

* Rewrite hammer2_trans_init() and the flush code primarily to fix
  deadlocks in the flush synchronization mechanics.

* Interlock very low level chain operations with a spin lock instead
  of the full-blown chain lock to deal with potential deadlocks and
  fix a few SMP races.

* For the moment make all logical buffers 64KB.  Not efficient for small
  files and will be changed back at some point but necessary for efficient
  compression at the moment.

* Implement an asynchronous buffer cache callback feature.

* Use a localized in-hammer2_inode-structure size field for frontend
  operations, including extend and truncate, to remove confusion against
  backend flushes.  This way the inode data can be modified only during
  the flush and not before where it might cause confusion with previously
  staged flushes.

inet6: Add missing ifioctl credential checks

This fixes issue #2581 (again), but with SIOCSIFBRDADDR and
SIOCSIFNETMASK ioctls this time.

Security: CVE-2013-5691
Patch-from: Loganaden Velvindron, inspired by FreeBSD changes

dsched.9: Fix dsched_new_policy_thread_io()'s prototype (see 5374d04f).

token.9: lwkt_token_init()'s desc argument is const.

fortune - Add a fun tip

* Works best with cowsay.

libhammer_stats.3: Fix typo.

mandoc: upstream fix for missed clearing of MDOC_NEWLINE

Provided-by: Ingo Schwarze <schwarze at mdocml dot bsd dot lv>

kernel/drm: Add missing vm_phys_fictitious_to_vm_page() prototype.

mxge: Cleanup watchdog reset path

Change device_printf on that code path to if_printf

mxge: Cleanup sysctl handlers

mxge: Cleanup ioctl path

Change device_printf on that code path to if_printf

vm: Implement and use vm_page_initfake()

Replacing a possibly buggy in some corner cases drm-specific function

Inspired-from: FreeBSD

mxge: Cleanup TX completion path

While im here, remove unused stats fields in softc

mxge: Fix if_start implementation

- Don't transmit, if interface is not up or OACTIVE
- Merge mxge_start_locked into mxge_start; we won't need locked version
  of if_start

mxge: Remove several unused fields in softc

mxge: Cleanup TX descriptor capsulation

mxge: inline -> __inline

mxge: Clean up RX path

mxge: Constify various const strings

ifpoll: Use tsc_invariant consistently

mxge: Cleanup probe code

hammer - Unbreak buildkernel

HAMMER - Fix VFS_STATFS() after volume-add.

* Make sure the new free bigblocks count is accurate
  when a volume is added to a HAMMER filesystem.

mxge: Fix big buf allocation

- MB_WAIT should be used to allocate mbuf.
- m_freem() instead of m_free() should be called if busdma error happens.
- During initialization, there is no mbuf to be recycled; just return
  error.

mxge: Limit MTU to ~4K

Various code for "gather" jumbo frame is just broken; limiting MTU to 4K
(MJUMPAGESIZE) should workaround this.

mxge: Fix small buf allocation

- MB_WAIT should be used to allocate mbuf.
- m_freem() instead of m_free() should be called if busdma error happens.
- During initialization, there is no mbuf to be recycled; just return
  error.

mxge: Cleanup slice open code

mxge: Cleanup stop path

mxge: Cleanup if_init path

make.1: correct a few style issues

<sys/cdefs.h>: Fix the _Static_assert compatiblity macros.

Remove the typedef hack (which was like our CTASSERT()). Emacs was
choking on it because it is using _Static_assert like this (in verify.h):

#define _GL_VERIFY_TYPE(R, DIAGNOSTIC)  \
     struct {                           \
       _Static_assert (R, DIAGNOSTIC);  \
       int _gl_dummy;                   \
     }

GCC supports it since 4.6, so take that into account too.

mxge: Make detach suitable for error handling and fix attach error handling

drm.4: Fix some mandoc warnings which I introduced.

Update the pciconf(8) database.

September 14, 2013 snapshot from http://pciids.sourceforge.net/

mxge: Cleanup attach path

Most of the changes are non-functional.  M_NOWAIT -> M_WAITOK is the most
important one.

drm: Sync with FreeBSD

* As of commit r255045 (2013-08-30):
  'u_long' is consistently spelled 'unsigned long' in this file.  Fix it.

* Some of the changes are bug fixes, including a few memory leaks

* Others are necessary groundwork for the Radeon KMS driver

* Some new files were imported from Linux 3.8-rc3

* Support for E-DDC has been added

* Many atomic routines were revisited to make them more compatible with
  the Linux APIs and run-time behavior

kernel/i386: Implement ffsl()

It was only a builtin function on x86_64.

Obtained-from: FreeBSD

kernel: Import atomic_testandset_int() from FreeBSD

kernel - Fix issue revealed by new yield code

* Make sure the current lwp is released from the scheduler in all cases.
  There were a few race cases where it would not be released.

* Reorder the yield code a little.

kernel - Misc adjustments used by the vkernel and VMM, misc optimizations

* This section committed separately because it is basically independent
  of VMM.

* Improve pfind().  Don't get proc_token if the process being looked up
  is the current process.

* Improve kern_kill().  Do not obtain proc_token any more.  p->p_token
  is sufficient and the process group has its own lock now.

* Call pthread_yield() when spinning on various things.

    x Spinlocks
    x Tokens (spinning in lwkt_switch)
    x cpusync (ipiq)

* Rewrite sched_yield() -> dfly_yield().  dfly_yield() will
  unconditionally round-robin the LWP, ignoring estcpu.  It isn't
  perfect but it works fairly well.

  The dfly scheduler will also no longer attempt to migrate threads
  across cpus when handling yields.  They migrate normally in all
  other circumstances.

  This fixes situations where the vkernel is spinning waiting for multiple
  events from other cpus and in particular when it is doing a global IPI
  for pmap synchronization of the kernel_pmap.

Disable making i915kms compilable into the kernel.

Right now, on systems with supported cards, it would cause the screen
go black before Xorg is started.

In-discussion-with: ftigeot

drm.4: Update a bit to reflect the current state of affairs.

While here, remove an obsolete MLINK, and add some more MLINKS to cover
module names too.

Based on a patch by ftigeot, with additional input by him.

tcp: Use mbuf jcluster (4K) in sosendtcp(); improve 10Ge TSO performance

For the Myricom PCIE-8AL-C I have tested, this gives ~900Mbps performance
boost using 1500 MTU when TSO is enabled (from 7.7Gbps to 8.6Gbps).

Using mbuf jcluster could:
- Reduce the number of TX descriptors needed for one TSO packet.
- Let the NIC chip perform longer large data burst.

I believe this is the main reasons for the 10Ge performance boost.

Reduce sosend_agglim from 3 to 2, which means 8K aggregation (was 6K
aggregation) before user thread dispatches the sending buf to netisr.

net.inet.tcp.sosend_jcluster is added to enable this feature; it is
enabled by default.

mbuf: Fix jcluster support

- Free the jcluster to the correct objcache, which solves "jcluster mbuf"
  objcache exhaustion.
- By default, set the amount of the jclusters to half the amount of the
  normal clusters.  jcluster will be used on TCP sending path in the later
  commit to improve TSO performance for 10Ge.
- Add mbuf stat for jcluster; adjust netstat(1) to show it.
- Add m_getlj(), which will be used on TCP sending path in the later
  commit to improve TSO performnace for 10Ge.

<sys/vnode.h>: Remove two unused externs.

dirfs.5: Add missing .Ed

drm: Replace the i915 driver by i915kms

i915kms was already an updated version of i915, there's no need to
keep maintaining two separate instances of the same driver.

fortune - Add yet another prompt tip.

mxge: Adjust interrupt moderation and TSO burst parameters

- Increase TSO burst to 48000 (32 x 1500B)
- Reduce interrupt rate from 30000Hz to 6000Hz

in6: Fix DoS on INET6 w/ SIOCSIFADDR or SIOCSIFDSTADDR

For reference:
http://cvsweb.netbsd.org/bsdweb.cgi/src/sys/netinet6/in6.c?rev=1.104&content-type=text/x-cvsweb-markup&only_with_tag=MAIN

DragonFly-bug: http://bugs.dragonflybsd.org/issues/2581

tools: Add TCP_SENDFILE test to tcp_stream

em.4: I217 and I218 are supported by emx

build: mxge_lro.c is gone

mxge: Sync w/ FreeBSD

- Update firmware
- Sync w/ FreeBSD if_mxge.c rev 254263

Local changes:
- Adjust output path a little bit:
  o  Utilize bus_dmamap_load_mbuf_defrag()
  o  Utilize the header length fields in mbuf pkthdr instead of
     peeking at the packet data
- Change TSO mode to NDIS mode
- Minor white space changes
- Nuke mxge_lro.c; we won't need it

vkernel64 - Add newline to the end of options files.

Spotted by: swildner

acpi.4: Remove some unneeded commas, too.

acpi.4: Fix typo, Diabling -> Disabling

ifnet - Compute iface statistics for NET_RT_IFLIST

  Before the ifnet statistics went per-cpu, they were being stored in
  ifnet->if_data. Some functions, like getifaddrs(3), expect them to
  be there so make sure they are available.

Reported by: Tim Bishop, Jens Rehsack