kernel - Increase IFQ_MAXLEN from 50 to 250

* IFQ_MAXLEN is used as the default for numerous pseudo-network drivers.
  The value 50 is just too low.  Increase to 250.

/usr/Makefile: Add pkg-bootstrap target

New snapshots provide a pre-built "pkg" tool so pre-build dports
binaries can be installed easily.  However, upgrades from older releases
won't have "pkg" available, and for those systems they had to download
the entire dports repository just to build pkg in order to take advantage
of the available pre-built packages.

To fix this situation, and the situation where /usr/local/sbin/pkg is
lost for any reason, a new make target has been added to /usr/Makefile:
pkg-bootstrap

The pkg-bootstrap target will download a pre-built "pkg-static" program
along with pkg.conf and all the man pages.  In reality, pkg-static is
only used for one command, and that is to install a full "pkg" program
from the dragonfly repository.

If "pkg.conf" already exists, a message will instruct the user to move
it first.  If /usr/local/sbin/pkg already exists, the target won't work
and it won't even show as an option.

After pkg-static is installed, the user will be instructed to type
"rehash; pkg-static install -y pkg; rehash" which should result in the
system having the latest pkg on their system and thus can proceed to
install packages normally.

hammer2 - Adjust newfs_hammer2 for recent media changes

* Adjust newfs_hammer2 for recent media changes.  The freemap is now based
  in the volume header with a blockref set instead of a single blockref.

hammer2 - Add 'hammer2 freemap' directive

* Beef up 'show' and add the 'hammer2 freemap' directive to dump the
  freemap.

hammer2 - freemap part 3 - group by allocation size

* Each freemap leaf represents ~2MB worth of storage.  Assign a radix to
  each leaf, limiting allocations from that leaf to that radix.

  This primarily results in inodes being grouped together, improving
  the performance for find, ls or other topological scans.  We could
  improve this but for now we'll stick with it as-is.

  This mechanic also allows us to use cluster_read().  This function is
  used for everything except volume-header and freemap elements.

* More formally handle logical sizes vs allocation sizes vs device I/O
  sizes.  For example, a 1KB inode allocates 1KB using 16KB device I/O's.

* Beef up the sysctl I/O counters.

rpc.statd(8): Fix warnings and bump WARNS to 6.

ifsubque: Cut ties with ifqueue

ifq: Add ifsq_poll_pktlen, which calculate the polled mbuf's length

Calculating the polled mbuf's length w/o ALTQ lock is not MPSAFE.

ifq/classic: Add pkthdr assertion

altq: Remove the unused parameter 'mpolled' from dequeue method

cam(3): Fix a wrong check and bump WARNS to 2.

ifq: Remove the unused parameter 'mpolled' from ifq dequeue interface

The ifq_poll() -> ifq_dequeue() model is not MPSAFE, and mpolled has
not been used, i.e. set to NULL, for years; time to let it go.

math.3/tgmath.3: Bump dates and fix minor mdoc issues.

rconfig(8): Stop creating /usr/pkg/etc/mk.conf from the scripts.

Add FreeBSD's <tgmath.h> tests.

Add FreeBSD's libm tests.

libm: Fix an MLINKS typo.

<complex.h>: Allow CMPLX CMPLXF CMPLXL in our default environment.

Bump library versions for libc and libm.

I forgot to do this for the libm changes, and it's required since some
of the symbols moved around.

Stop overwriting /etc/services.

Users should be able to configure their services database, so those
changes shouldn't be blown away when they do a make upgrade.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2564>

Add <tgmath.h>.

Obtained-from:   FreeBSD

Bring in FreeBSD's msun code for our libm.

Our current libm is a mix of NetBSD and FreeBSD.  To ease
maintainability, sync with FreeBSD as requested by John Marino.

Obtained-from:   FreeBSD

<iso646.h>: Avoid conflicts w/ C++ keywords.

Fix whitespace too.

Obtained-from:   FreeBSD

mpt.4: Uncomment reference to mps(4).

bce.4: Remove unnecessary .Pp and trailing whitespace.

mpt(4): Use cam_calc_geometry() directly.

sigaltstack(2): Bring it closer to POSIX.

POSIX says that sigaltstack() shall return EINVAL if the "ss argument
is not a null pointer, and the ss_flags member pointed to by ss contains
flags other than SS_DISABLE".

kernel/mpt: Remove empty macros.

kernel/mpt: Fix two operator precedence mistakes.

Give /usr/local/... precedence over /usr/pkg/... in various paths.

route: Remove the unused rt_addrinfo parameter from ifa_rtrequest

kernel - Fix TDF_NOFAULT issue related to vm.read_shortcut_enable.

* TDF_NOFAULT was not preventing vm_fault() from calling vm_wait_pfault(),
  which could result in a deadlock in the read_shortcut path.  A combination
  of a low-memory situation plus the read_shortcut hitting the vm_fault
  sequence from uiomove_nofault().

Correct BSD License clause numbering from 1-2-4 to 1-2-3.

Apparently everyone's doing it:
http://svnweb.freebsd.org/base?view=revision&revision=251069

Submitted-by: "Eitan Adler" <lists at eitanadler.com>

cpdup - roll 1.18 for ports consumers

* Add the -n option.  This is the not-for-real option.  cpdup will go through
  the motions but not actually take any action.  Useful for validating a
  topology without modifying it, e.g. 'cpdup -n -v -VV source target'.

* Fix clang static/global and alignment warnings

* Bump rev to 1.18

* Porters please note that this release has added an __aligned(n)
  directive to two structures.  BSDs and linux's should be able to
  handle this no-problem but just like __printflike() it is a bit
  of a departure from standard.

* Ports URL: fetch http://apollo.backplane.com/FreeBSDPorts/cpdup-1.18.tar.gz

Submitted-by: (static/global fixes) "Eitan Adler" <lists@eitanadler.com>
Submitted-by: (n-option & alignment fixes) dillon
Testing-by: "Eitan Adler" <lists@eitanadler.com>

em/emx: Unbreak vlan settings

Obtained-from: FreeBSD

bce.4: Fix wording and typos in a number of places.

vmstat: Update man page for the -v

bnx: Add comment about how the RSS redirect table is configured

bce: Update man page

evtranalyze(1): Move it to using ploticus from dports.

kernel/kern_time.c: Mark the hack to not settimeofday(0) with XXX.

Switch to /usr/local/... paths in several files.

Point to more neutral, yet dports biased directories from manual pages.

Most of them are identical in pkgsrc.

carp: Fix routes reset issue

Before this commit, routes related to carp or carp backing device were
reset, i.e. only prefix route was left, when carp state changed, e.g.
carp is down.

This commit fixes this routes reset issue by replacing the carp or carp
device routes' rt_ifa and rt_ifp with proper ifaddr and ifnet, instead
of discarding the old routes and installing the new prefix route.

Reported-by: robgar

carp: Take netmask into consideration when picking up backing address

carp: Perfer addresses with prefix route installed.

pkg_radd - update to also handle dports

* Detect that dports has been installed.  dports takes priority over
  pkgsrc in this situation.

* For dports we just 'pkg install ...'.  The script also warns if the
  /usr/local/etc/pkg.conf file has not been installed.

nrelease - Set dports default, add dports defaults

* Default DPORTS_PATH to /usr/dports.

* Add dports defaults for the git build to match the git we intend to
  prepackage with the installation.

nrelease: Switch over to dports for all packages.

fix MXCSR default value

XEN fails to initialise its vcpus to behave like actual cpus. One
instance of this is that the MXCSR is not setup to the default
value documented in as documented in AMD64 Architecture
Programmer's Manual Volume 1: Application Programming, Section
Section 4.3.2

phantasia(6): Fix two operator precedence mistakes.

libc/citrus: Remove unneeded check (n is never < 0).

libc/citrus: Fix an assertion (& becomes &&).

jme.4: Fix some wording and typos.

mrouted(8): Fix a wrong check that was always false.

fetch(1): Fix a wrong check that was always false.

libkvm: Remove a redundant check.

split(1): Add -d which allows a numeric suffix instead of an alphabetic one.

Submitted-by: Eitan Adler <lists@eitanadler.com>
Taken-from:   FreeBSD (r250432, r250882)

split(1): Add missing static declarations.

Submitted-by: Eitan Adler <lists@eitanadler.com>

split(1): Retain previous error message.

split(1): Use dehumanize_number(3) for -b.

jme: Update manpage

Bring in a dports(7) manual page.

It is based on FreeBSD's ports(7) manpage with some adjustments.

hier.7: Adjust date.

hier.7: Add some bits about /usr/dports and /usr/local.

Add /usr/local/... to various paths.

polling: Update manpage

netgraph7/iface: Second parameter to ifq_dequeue should be NULL

802.11: vap's if_snd is _not_ ALTQ ready

netgraph7/source: ifnet.if_snd is not ifqueue

ifq: Expand IF queue operation macros

This prepares for the byte based queue limit and "rough priority queues"

ip/udp: Make input source address and source port saving MPSAFE

Change the global variable udp_in, udp_in6 and udp_ip6 into stack variable
and passing them around.  This should unbreak applications which depend
on received datagrams' source address or source port.

udp: Fix IP source address setting for multicast address bound socket (2)

Source address should _not_ be set to INADDR_ANY in udp_output(), which
will make udp_output() calculate wrong pseudo header checksum.  Instead
of letting IP to select the source address, we extend in_pcbladdr() to
always locate the laddr, and use this function to find the source address
in udp_output().

<sys/cdefs.h>: Simplify the _Noreturn compatibility macro.

Our g++ doesn't support [[noreturn]] yet. We might use [[gnu::noreturn]]
here for now, but thinking about it, simpler is better, so just make it
__dead2 for anything that doesn't claim to be C11.

Buildworld-breakage-originally-pointed-out-by: sephe

pf: Ask caller to recalculate packet hash, if nat/binat/rdr happens

This unbreaks redirect (rdr) to local address.

DragonFly-bug: http://bugs.dragonflybsd.org/issues/2133

<sys/cdefs.h>: Fix buildworld until I understand it better.

socket: Extend SO_REUSEPORT to distribute workload to available sockets

The idea is from Linux's recently added SO_REUSEPORT support from Google:
https://lwn.net/Articles/542629/
(thank aggelos@ for pointing it to me)

In DragonFly, SO_REUSEPORT is already supported.  However, the original
support only allows the first wildcard address bound socket or the last
non-wildcard address bound socket to receive input, e.g. accept(2) on TCP
socket or receive datagrams on UDP socket; the rest of the sockets bound
to the same port will _not_ get any input.

In this commit, we extend SO_REUSEPORT to allow all sockets bound to the
same address and same port to receive input based on the input packet's
hash, so the workload, e.g. accept(2) or datagram reception, could be
evenly distributed among different sockets (imagine each socket is
handled by one process/thread).  This extension could also reduce the
contention from user space on TCP listen socket's so_comp or UDP socket's
so_rcv, when it is compared with the traditinally and commonly used one
socket model.

The implementation details:
- Introduce inp_localgroup, which groups inpcbs bound to the same address
  and same port.
- Add inp_localgroup hash table to inpcbinfo.  This hash table is
  allocated only for protocols supporting SO_REUSEPORT extension.
  Currently only TCP and UDP support SO_REUSEPORT extension.
- When inpcb is inserted into inpcbinfo wildcard hash table, it is also
  inserted into the cooresponding inp_localgroup.
- Before locating inpcb from inpcbinfo wildcard hash table, we check
  inpcbinfo's inp_localgroup hash table first.  If there is a matching
  inp_localgroup, packet hash will be used to pick one of the inpcbs from
  the inp_localgroup, and this inpcb will be used for further processing
  on this packet.  Packet hash's bits (ncpus2_shift), which are used to
  dispatch packet to the proper netisr, are ignored, since they may
  introduce unfairness between inpcbs in the same inp_localgroup.
  Hash-threshold instead of modulo-N is used to pick the inpcb from the
  inpcbs in the same inp_localgroup (http://tools.ietf.org/html/rfc2992
  for hash-threshold and modulo-N).

 inp_localgroup
   hash table

  |    :     |
  +----------+      +--------------+      +--------------+
  |    79    |      |inp_localgroup|      |inp_localgroup|
  +----------+      +--------------+      +--------------+
  |    80    |----->|     *:80     |----->|192.168.2.1:80|
  +----------+      +--------------+      +--------------+
  |    81    |      |    inpcb1    |      |    inpcb4    |
  +----------+      +--------------+      +--------------+
  |    :     |      |    inpcb2    |<--+
                    +--------------+   |
                    |    inpcb3    |   |
                    +--------------+   |
                                       |  input SYN dst 10.0.0.1:80
                                       |
                                       |  15           3 2  0
                                       |  +-------------+---+
                                       |  |       hash      |
                                       |  +-------------+---+
                                       +--|<--  used -->| (ncpus == 8)

Limitation:
- Each inp_localgroup could hold at most 256 inpcbs, which probably
  should be enough.
- Jailed sockets will not be entered into inp_localgroup, since the
  original inpcb preference of in_pcblookup_hash() must be kept.
- Wildcard IPv4 mapped INET6 sockets will not be entered into
  inp_localgroup, since the original inpcb preference of
  in_pcblookup_hash() must be kept.
- If one of the sockets in the inp_localgroup is closed, e.g. the process
  handles the socket is crashed: For TCP, certain amount of TCP syncache
  may be dropped prematurely by syncache timeout and the sockets on the
  closed socket's so_comp are all closed.  For UDP, all of the datagrams
  on the closed socket's so_rcv are dropped.  However, these will happen
  even before this commit.

Sysctl nodes net.inet.tcp.reuseport_ext and net.inet.udp.reuseport_ext
are added to enable/disable this SO_REUSEPORT extension on TCP and UDP.
They are enabled by default.

<stdlib.h>: Use _Noreturn for C11's quick_exit().

Taken-from: FreeBSD

<sys/cdefs.h>: Add compatibility macros for C11's _Noreturn.

Taken-from: FreeBSD

tpm(4): Use __func__.

tpm(4): Fix building with TPM_DEBUG.

intr: Fix comment

Reported-by: haesbaert@haesbaert.org

sili(4): Maximum I/O size is 256KB

kernel: Add CLOCK_PROCESS_CPUTIME_ID (part 2)

kernel: Add CLOCK_PROCESS_CPUTIME_ID

ixgbe: On transmit path, prepend the unconsumed mbuf to the if_snd

DragonFly-bug: http://bugs.dragonflybsd.org/issues/2563

whereis(1): Search /usr/dports too.

kernel -- x86_64: Do not set reserved bits in CR3.

The x86-64 platform code was setting PG_V, PG_U, and PG_RW bits in the
CR3 register. While the bits were supposed to cleared, Intel and AMD
hardware were ignoring them. Other x86-64 implementations, in
particular the software emulator in Linux's KVM, do check that these
reserved bits are zero.

Fixes issue running DragonFly x86_64 on KVM hosts without
two-dimensional (nested) paging.

Tested on a variety of real hardware (AMD FX(tm)-8150, c2q 6600, others)
and VM configurations (KVM on Intel/AMD hosts, Xen).

Committing-on-behalf-of: Venkatesh Srinivas <vsrinivas@ops101.org>
Reported-by: aggelos@, c.turner1, others.
Testing-by: aggelos@, swildner@, mneumann@, ftigeot@, profmakx@, Enjolras
Bug: 2561

syncache: Avoid unnecessary tcpcb checking during syncache dropping

syncache: Avoid NULL accessing to tcpcb of the to-be-dropped syncache

It is possible that the syncache tcpcb is NULL when overflow happens,
e.g. the corresponding listen socket was closed but the timeout has
not recollected the staled syncache yet.

setkey(8): Use '#!/usr/bin/env' to find perl in a script.

installer: Remove pnpinfo configuration option.

pnpinfo(8) is i386 only. Also, it's easy enough to review it by logging
in as root.

Suggested-by: ftigeot

Remove /usr/pkg/xorg/... and /usr/X11R6/... from various paths/manpages.

msk: Disable MSI by default.

For certain chips, enabling it will cause watchdog timeout and the chip
may not be able to work again w/o rebooting.

Reported-by: ferz

Use '#!/usr/bin/env' to find perl in some scripts.

bsd-family-tree: Sync with FreeBSD.

bmake: Fix wildcard srcs for phony targets

Bug fix created by Simon G. at BSDcan 2013 when Baptiste mentioned the
incompatiblity with legacy make seen during adding support to ports for
bmake.  There is no impaet for world/kernel builds.

Taken-from: FreeBSD SVN 250773 (18 May 2013)

hammer2 - freemap part 2 - cleanup & performance pass

* Increase minimum I/O from 1K to 16K (HAMMER2_LBUFSIZE).

* Adjust some use cases, increasing the smallest indirect block to the
  minimum IO size 4K->16K.

* The BREF_TYPE_FREEMAP_LEAF bitmap is now embedded in the chain, allowing
  us to use the 256 byte bitmaps more safely.  As with inodes, a read-in
  involves using a larger buffer-cache buffer and then copying the data
  into the chain.

* Avoid unnecessary reads from disk when allocating blocks that are less
  than the minimum IO size.  If it is determined that the bitmap bits
  covering the minimum IO size are 0 (unallocated), we pre-validate the
  larger buffer cache buffer so the later bread() does not have to issue
  any actual reads.

  Pre-validation for allocations larger than or equal to the minimum IO
  size is already handled in the chain locking code.

  With this change, a cpdup into H2 will issue mostly writes and is able
  to avoid nearly all reads.

* Make some progress formalizing chain-embedded data.

lvm: Fix two wrong array indexes.

Both files are not used by us. Just in case someone wants to play with
them.

hammer2 - freemap part 1 - initial block allocator and media support

* Freemap document (FREEMAP in this directory)

* temporarily turn off clustering until the freemap gets that capability
  (mixed buffer sizes can be adjacent atm).

* Remove the freemap_blockref[1] from the volume header and replace it
  with a blockset array (8 blockrefs).

* Implement dynamic creation of freemap nodes and leafs on an as-needed
  basis using the normal indirect block creation code.  Most of the standard
  file handling code is reused for the freemap support.

* Major cleanup of hammer2_chain.c, the duplication code, the indirect
  block creation and handling, and the chain->flag handling.