ipfw: Factor out ipfw_defrag_redispatch.

Remove no longer needed IP_FW_CONTINUE.

kern: Remove ncpus2 and friends.

They were no longer used, after netisr_ncpus was delployed.

Reminded-by: dillon@

mpls: Use netisr_ncpus

Reminded-by: dillon@

Update the pciconf(8) database.

October 12, 2017 snapshot from http://pciids.sourceforge.net/

LINT64: Sort vmx a bit better.

Revert "libthread_xu - Wakeup all waiters"

This reverts commit de7ba607e4500e7df6ade3916977cc8a91e1b4e9.

* Didn't intend to push this.

ipfw: Implement state based "redirect", i.e. without using libalias.

Redirection creates two states, i.e. one before the translation (xlat0)
and one after the translation (xlat1).  If the hash of the translated
packet indicates that it is owned by a remote CPU:
- If the packet triggers the state pair creation, the 'xlat1' will be
  piggybacked by the translated packet, which will be forwarded to the
  remote CPU for further evalution.  And the 'xlat1' will be installed
  on the remote CPU before the evalution of the translated packet.
- Else only the translated packet will be forwarded to the remote CPU
  for further evalution.

The 'xlat1' is called the slave state, which will be deleted only when
the 'xlat0' (the master state) is deleted.  The state pair is always
deleted on the CPU owning the 'xlat1'; the 'xlat0' will be forwarded
there.

The reference counting of the state pair is maintained independently
in each state, the memory of the state pair will be freed only after
the sum of the counter in each state reaches 0.  This avoids expensive
per-packet atomic ops.

As far as I have tested, this implementation of "redirect" does _not_
introduce any noticeable performance reduction, latency increasing or
latency destability.

This commit makes most of the necessary bits for NAT ready too.

libthread_xu - Wakeup all waiters

* For now punt on trying to wakeup an optimized numbers of waiters.
  Wake up all waiters and let them sort it out.

* This may fix specific count races in threaded programs using
  pthread mutexes.

hammer2 - Handle error on rename in media out of space case

* Process the error code from hammer2_chain_delete() in
  hammer2_xop_nrename() to ensure that we do not try to reattach
  the chain under another parent.

Reported-by: arcade (Bug #3055)

sshd - Disable tunneled clear text passwords by default

* Reapply 1cb3a32c13b and c866a462b3.  sshd on DragonFlyBSD defaults
  to disabling cleartext passwords by default.

Reminded-by: ivadasz

cpdup(1): Some improvements.

* Make cpdup retry failed rmdirs after chflags. It already does this
  for remove().

* When deciding whether to copy a file, cpdup should ignore the
  UF_ARCHIVE file flag. If that flag is supported by the destination
  file system but it's cleared on a source file, then multiple
  invocations of cpdup would all copy the source file because its
  flags wouldn't match. OTOH, if the destination filesystem doesn't
  support UF_ARCHIVE, then there's no point in cpdup setting it.

Submitted-by: Will Andrews <will@firepipe.net>
Dragonfly-bug: https://bugs.dragonflybsd.org/issues/2987
               https://bugs.dragonflybsd.org/issues/2988
               https://bugs.dragonflybsd.org/issues/3067

hammer2 - Slightly reduce LZ4 output buffer limit

* LZ4_compress_limitedOutput() appears to be able to overrun the
  supplied buffer.

* Slightly reduce the LZ4 output buffer limit from a 4-byte alignment
  to an 8-byte alignment to try to fix the problem.

Fix additional cases of seg-faults on crypt(3) failure

* On failure, crypt(3) returns NULL, which is then used as a
  strcmp(3) argument

opieftpd.c and opiesu.c are not actually used anywhere.

rc.8: Clarify foo.sh behavior.

Improve wording a bit. See NetBSD's revision 1.38.

Reported-by: Aaron LI <aly@aaronly.me>

disklabel64: Fix an error message

ifconfig(8): Add 'lscan'. Like 'scan', but displays long SSIDs.

Submitted-by: Max Herrgard <herrgard@gmail.com>

mkinitrd - Add missing /var/db

* dhclient also needs /var/db to exist, make sure it does.

Reported-by: amonk

mkinitrd - Add missing /var/empty

* /var/empty is required by dhclient, which will SIGHUP itself
  without it.

Reported-by: amonk

kernel - Rearrange namecache globals a bit

* Make sure ncspin and ncneglist are in the same cache line, and
  do not overlap other globals in that cache line.

Suggested-by: mjg_

test - Cleanup pipe2

* Cleanup the pipe2 code a bit

Import OpenSSH-7.6p1

* Adjust build to match import

Import OpenSSH-7.6p1

* Import OpeNSSH-7.6p1.  Couldn't really merge from the vendor branch
  so just brought it in.

* Adjustments for WARNS issues

usr.sbin/fstyp: Update fstyp(8) for HAMMER2

sbin/newfs_hammer2: Add missing free() for uuid_to_string'd strings

sbin/newfs_hammer2: Fix compile-time warning on Linux distros (gcc6)

--
warning: pointer targets in passing argument 1 of 'snprintf' differ in signedness [-Wpointer-sign]
warning: pointer targets in passing argument 1 of 'strlen' differ in signedness [-Wpointer-sign]

sbin/newfs_hammer2: Check S_ISREG()

The comment says as follows, so check S_ISREG().
/* Allow the formatting of regular files as HAMMER2 volumes */

This is also what the same function in HAMMER1 does.

<netdb.h>: Adjust comment a bit.

libc/net: Add NI_NUMERICSCOPE flag for getnameinfo().

Code to handle it is already present in getnameinfo() but we
were missing the flag so far.

See http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/netdb.h.html

Merge commit 'crater/master'

Merge commit 'crater/master'

systat.1: Update man page: sync to current program & improve markup a bit

    Substantial changes has happened, especially for vmstat display.

kernel/atkbdc: Fix a prototype.

kernel/cam: Add some missing parameter names.

Just like the rest of the file.

<vfs/hammer2/hammer2.h>: Fix parameter names in two prototypes.

Discussed-with: dillon

kernel: Simplify various redundant conditions.

Found-by: cppcheck
One was reported by dcb in <https://bugs.dragonflybsd.org/issues/3078>.

libc - Bring in s_ceill.c v1.2 from OpenBSD (2)

* Note, correction, v1.3 from OpenBSD, not v1.2

* Restore a cast that we need to compile with our higher WARNS level.

Reported-by: marino, xenu

kernel/mrsas: Simplify redundant conditions and remove never used variable

Reported-by: dcb

libc - Bring in s_ceill.c v1.2 from OpenBSD

fix a case where ceill() returns 1.0L: in the x86 extended precision format
the fraction part has no implicit bit.

Reported-by: xenu
Taken-from: OpenBSD

hammer2.8/pthread_attr_setaffinity_np.3: Fix mdoc issues.

disklabel64.8: Add HAMMER2 fstype info.

periodic.conf.5: Add hammer2 variables.

    Add description for periodic HAMMER2 script variables: 161.clean_hammer2.
    While here add HAMMER man pages to SEE ALSO section.

etc/periodic/daily/161.clean-hammer2: Fix typo

    pfslist variable for HAMMER, not HAMMER2 was used.
    This will typically have no effect, as pfslist is typically empty.

periodic.conf: Fix typo in comment

mount_hammer2(8): Add man page.

kernel - Refuse to swapoff under certain conditions

* Both tmpfs and vn can't handle swapoff's method of bringing pages
  back in from the swap partition being decomissioned.

* Fixing this properly is fairly involved. The normal swapoff procedure
  is to page swap into the related VM object, but tmpfs and vn use their
  VM objects ONLY to track swap blocks and not for vm_page manipulation,
  so that just won't work.  In addition, the swap code may associate
  a swap block with a VM object before issuing the write I/O to page
  out the data, and the swapoff code's asynchronous pagein might cause
  problems.

  For now, just make sure that swapoff refuses to remove the partition
  under these conditions, so it doesn't blow up tmpfs or vn.

tmpfs - Fix bug in call to vinitvmio()

* TMPFS_BLKMASK was being passed to vinitvmio() instead of
  TMPFS_BLKSIZE.  It is unclear if this caused any particular
  issue other than an occasional console warning.  Fixed.

kernel - Change index fields from unsigned to signed

* We use a signed trick for (j), fix the code so it actually works.

* The chipset field used to index (i) cannot exceed 1024 anyway.

Reported-by: lubos Bug #3020

Fix seg-faults on crypt(3) failure

Improve kdump.1 and ktrace.1

nologin(8): Sync with FreeBSD; Symlink as /usr/sbin/nologin

* Sync "nologin.c" with FreeBSD.  Login attempts are logged into syslog.
* Create symlink "/usr/sbin/nologin" to "/sbin/nologin".  FreeBSD
  (and Linux) installs "nologin" at  "/usr/sbin/nologin", and the users
  created by DPorts/packages also use "/usr/sbin/nologin" (see
  "/usr/dports/UIDs").
* Statically link "nologin" as done by FreeBSD.

camcontrol(8): Check scsiserial()'s error, too.

After some testing with devices that have no serial number, it looks
like this is safe to add nowadays.

Reported-by: dcb
Submitted-by: Lubos Boucek <bouceklubos@gmail.com>
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/3059>

socket: Limit the number of accepted sockets that kevent reports.

By default it is limited to 32.  It can be changed through:
sysctl kern.ipc.soavailconn=X

This change does _not_ affect userland using accept(2) in the following
way:
    for (;;) {
        s = accept();
        if (s < 0 && errno == EAGAIN)
            break;
        /* Processing accepted socket. */
    }

This change only affects optimized userland using kevent.data to avoid
extra accept(2) syscall:
    for (i = 0; i < kevent.data; ++i) {
        s = accept();
        /* Processing accepted socket. */
    }

The above logic is applied by nginx.  However, due to the cost of the
"Processing accepted socket" parts, this kinda of loop can increase
latency and destablize latency.

The comparison w/ 30K concurrent connections, 1 request/connection.

 1K web object
         |  performance |  lat-avg | lat-stdev |  lat-99%
---------+--------------+----------+-----------+----------
no limit | 210279.88tps |  59.19ms |    4.60ms |  69.02ms
---------+--------------+----------+-----------+----------
32 limit | 217599.01tps |  32.00ms |    2.35ms |  35.59ms

========

 8K web object
         |  performance |  lat-avg | lat-stdev |  lat-99%
---------+--------------+----------+-----------+----------
no limit | 180627.61tps |  70.53ms |    4.95ms |  80.61ms
---------+--------------+----------+-----------+----------
32 limit | 186324.41tps |  37.41ms |    4.81ms |  48.69ms

========

16K web object
         |  performance |  lat-avg | lat-stdev |  lat-99%
---------+--------------+----------+-----------+----------
no limit | 138667.84tps |  95.93ms |   14.90ms | 135.47ms
---------+--------------+----------+-----------+----------
32 limit | 138778.11tps |  60.90ms |   11.80ms |  92.07ms

This change significantly reduces average latency and .99 latency,
and performance is improved slightly.

Bring in vmx(4) (VMware virtual network driver, aka vmxnet3).

Some features are still disabled, namely LRO, TSO, VLAN_HWFILTER,
and MSI-X support. That being said, it works and seems stable.

Tested-by: swildner (VMware Player 7.1.4 build-3848939)
            tuxillo (VMware ESXi 6.5.0 (Build 4887370))
Taken-from: FreeBSD (in turn based on OpenBSD's driver)

kernel - Fix GCC reordering problem with td_critcount

* Wrap all ++td->td_critcount and --td->td_critcount use cases
  with an inline which executes cpu_ccfence() before and after,
  to guarantee that GCC does not try to reorder the operation around
  critical memory changes.

* This fixes a race in lockmgr() and possibly a few other places
  too.

kernel - Fix rare lockmgr() state transition (2)

* Fix two lock timeout cases for LK_EXCLUPGRADE and LK_UPGRADE, and
  fix a bug in undo_upreq().

* A tsleep failure (such as the LK_TIMELOCK case via
  vm_map_lock_read_to()) was not properly backing-out a LKC_UPREQ,
  resulting in a situation where the lock becomes exclusively owned
  by nobody and deadlocks against all-comers.  Fix by properly
  calling undo_upreq().

* Fix a bug in undo_upreq() itself.  When undoing a granted UPREQ,
  the lockholder must be set prior to releasing the now-granted
  exclusive lock in order to avoid an assertion panic.

* While we are at it, replace a weird cmpset count,count with a
  fetchadd(count, 0).

sbin/hammer: Fix compile-time warning by some Linux distros

--
test_dupkey.c: In function 'main':
test_dupkey.c:54:1: warning: control reaches end of non-void function [-Wreturn-type]
 }

Fix some minor issues in several manual pages.

X86_64_GENERIC: Fix indent.

kernel - Improve tsleep/wakeup queue collisions (3)

* Doh, fix variable declaration.

kernel - Improve tsleep/wakeup queue collisions (2)

* Fix SMP race.  When testing ident0 against -1 or the ident value
  as stored in a remote cpu's structure, ident0 must be loaded from memory
  once to avoid a cross-over race.

kernel - Fix rare lockmgr() state transition

* When lockmgr() is releasing the last count on an exclusive lock
  with an upgrade request pending, and the atomic op fails, the
  code fails to properly retry.  Fixed by properly retrying.

* This situation should not be possible to even get into, hence 'rare'.
  It requires UPREQ to be set while the lock is being held exclusively,
  which should never be possible because there is no shared lock holder
  in that case who might attempt to upgrade.

  I checked race conditions when multiple shared holders attempt
  to upgrade but all that happens is that one will release and
  acquire a normal exclusive lock instead.

mandoc(1): Changed OSNAME to match 5.1.

Fix some Xr punctuation issues in several manual pages.

Use standard section name 'AUTHORS' in several manual pages.

Revert "Update drm/radeon to Linux 4.7.10 as much as possible..."

This caused severe issues on some modern radeon models (e.g. Kaveri APUs).
Not reverting the 62dc643ef61b347c4c2e60ad9ea68dd766741c90 commit, it's just
a 2 character diff that was conflicting with this change.

This reverts commit a7a95252afec8bfcc34ee5b8725136b17b77043f.

Tested-By: ivadasz
Reported-By: several people on #dragonflybsd

sbin/mount_hammer: Remove redundant test_volumes() on mount(2) failure

This code was originally added by 1a607e3e which added signature check
when mount(2) failed, and later modified by several commits including
1e297b34 which copied code from sbin/hammer/ondisk.c. But as mentioned
in 1e297b34, this entire checking wasn't needed (as it's in dmesg),
or it may even show the wrong reason of failure.

The correct way is to just type dmesg, and see what the kernel said,
instead of resorting to wild guess in userspace by reading volume header
*after* mount(2) failure (If you really want this it should be done
*before* mount(2)).

This originally didn't exist till 2009 and that was better.

sys/vfs/hammer: Check root voume# is 0 on mount(2)

We could check this in addition to the existing conditional to
know the volume is the root volume. /sbin/hammer and /sbin/mount_hammer
do this, so why not.

If failed here, the volume which has just been inserted to the rbtree
(and other volumes already inserted) are going to be removed by
hammer_free_hmp().

sbin/hammer: Add UUID string on error and blockmap,show

to make clear whether ondisk vol_fstype UUID is simply wrong or
due to byte order of the first 8 bytes (4-2-2 part).

sbin/hammer: Minor cleanup

The prototype was originally brought (copied) from uuid(3).

tmpfs - Conditionalize atomic adds on mount structure

* Conditionalize tracking of the total pages allocated to avoid
  the atomic op when the delta change is 0.

Suggested-by: mjg_

<sys/param.h>: Fix __DragonFly_version.

Reported-by: zrj

Update UPDATING a bit for the disabling of FFS_ROOT.

rc.conf.5: Improve moused_type description a bit more.

5.1 commit.

rc.conf.5: Improve wording of the moused_type variable description.

Especially, point out that the default is 'auto' and if that is
what the user wants, they need not set it explicitly in their
/etc/rc.conf.

Reported-by: htse (Harald Brinkhof)

arp: Allocate context memory on owner cpu.

syncache: Timer queue iteration is MPsafe; no need to use marker.

syncache: Move local variables close their usage.

syncache: inpcb will never be NULL.

syncache: Resurrect net.inet.tcp.syncache.count

syncache: Allocate syncache context on the owner cpu.

syncache: Group timeout queue related fields together.

syncache: Simplify timer message

syncache: Remove unnecessary struct field

syncache: Staticize syncache_lookup

syncache: Stringent assertion.

kern: Allocate sleep hash on owner cpu.

vkernel - Print mmap() failures in megabytes

* Print mmap() failures for vkd* drives in megabytes instead
  of bytes.

kernel - Add poor-man's AMD TOPOEXT support

* Add a poor-man's TOPOEXT support which should properly detect
  the Ryzen topology.  I don't know about EPYC, though.  And it
  might muff the topology for older AMD cpus (also don't know).

kernel - Improve tsleep/wakeup queue collisions

* Expand the per-cpu array of TAILQs into an array of structures for
  tsleep/wakeup operation.

  The new structure stores up to four idents using a 4-way set-associative
  algorithm (-1 in ident0 handles overflows), allowing the originating cpu
  for a wakeup() to implement a second-level filter after the global array's
  cpumask.

* This filter prevents nearly all possible spurious IPIs that used to occur
  due to ident hash collisions, even when the hash table size is forced to
  be relatively small.  The code isn't the best in the world, but the IPIs
  it saves probably blow away the added overhead.

Testing-by: sephe, dillon

sound - Don't need to use swi_taskq to call KNOTE from the interrupt.

* Also the dsp_read_filterops and dsp_write_filterops kqueue filters can
  be flagged FILTEROP_MPSAFE.

kernel - Restrict kill(-1, ...) to the reaper group as well

* When kill(-1, ...) is issued to 'all processes', restrict the list
  of processes signaled to the sender's reaper group or any sub-group
  of that group.

* This works around issues found when testing low maxproc limits.
  At least one (and probably several) third party programs do not
  properly handle errors when [v]fork() returns -1 and may try to
  signal the returned 'pid', which being -1 crowbars the entire system.

* Fixes issue when a cmake running under synth hits a fork failure
  and tries to signal the whole system.  With this change, the cmake
  winds up only crowbaring its own chroot due to synthexec's use of
  the reaper feature.

* Adjust the kill.2 manual page to reflect the change.

mandoc(1): Move the config.h to the build directory.

Next mandoc upgrade will remove it on the vendor branch as well.

ipfw: Add interface network filter.

This eases src/dst matching if the IP address is assigned to the interface
dynamically, e.g. by DHCP.

uipc: Use sendmsg_oncpu, if possible.

This further reduces unnecessary IPIs (5500/s -> 5000/s).

callout: Embed thread in per-cpu callout context.

kern: Enhance wakeup hash construction to reduce hash collision.

With-input-from: dillon
Tested-by: dillon

Remove libmandoc.

Maintaining it separately, along with its manual pages and headers,
is more maintenance burden than it has real value.

Nothing but mandoc(1) needs it, so just include the source files in
the mandoc(1) build for now.

In-discussion-with: Lubos Boucek <bouceklubos@gmail.com>

kern: Add read-only sysctl for sleep queue table size

kernel - Fix cpu_rotator in lwkt_alloc_thread()

* The cpu and rotator are signed.  Use an unsigned modulo to ensure
  that the resulting cpu is properly ranged.