kernel - Fix a major (pageable) memory leak

* MFC 15553805ce from master.  Only MFC the actual one-line fix, do not
  MFC all the debug code and other stuff.

* This fixes a memory leak which can cause a system to run out of swap
  space relatively easily.

hammer(8): Fix closing brace indent in 'show' output.

Commit 39e88285cb81d7847bb54a08e0f50a61be890e08 extended the bad
indication to two chars ("B " or "BM") but forgot to adjust the
indent of the closing brace.

kernel/netmap: Switch sysctls over to dev.netmap like in FreeBSD.

Add dev.* sysctl hierarchy to 4.0.

kernel: Don't confuse kmalloc() and mbuf flags.

<sys/file2.h>: Correct include guard check.

twa(4): Fix a crash with TWA_DEBUG >= 3.

tw_osli_dbg_dprintf() uses device_printf(sc->bus_dev, ...) so we can't
use it before sc->bus_dev is actually set.

usb4bsd/if_rum: Add missing locking around rum_start_locked().

namecache: Remove a diagnostic message

It only scares users these days.

devd(8): Fix asus.conf installation.

link_elf: Work around a GCC optimization bug. Fixes ddb stack traces.

Taken-from: FreeBSD r102348

vkernel64 - Fix pmap panic

* Fix a pmap panic complaining about the pm_active cpumask not being zero
  when the pmap is released/destroyed.

* The vkernel64 swtch code was improperly setting the active bits from
  the gd_other_cpus field instead of the gd_cpumask field, which wound
  up setting lots of bits instead of the one bit we wanted to set.

* Long-known bug was difficult to reproduce consistently enough to
  locate until Robert found a quick way.

Reproduced-by: Robert Garrett

kernel/acpi: Add missing ACPI_SERIAL_INIT calls for lock initialization.

Merge branch 'DragonFly_RELEASE_4_0' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into DragonFly_RELEASE_4_0

kernel - Fix panic on upmap/kpmap read via procfs.

* Fix a panic when upmap/kpmap is accessed via procfs.

Reported-by: Joris Giovannangeli

loader: Fix typos in help.common

    - ahci(4) doesn't use .0 for disable hint
    - fix slice name in example

loader: Fix XHCI description in help.common

tools - A bunch of bugfixes for hammer-backup.sh

  - Fix a problem when trying to backup / PFS
  - Return errors on checksum failure. This can be used by other
    scripts to verify the files are not corrupt.
  - Force absolute paths to specify which PFS to backup
  - Fix a problem with incremental non-compressed backups
  - Set a memory limit to xz to avoid massive memory usage

hammer - Better trailing '/' handling on PFS paths

- Remove all trailing slashes from PFS paths to make sure
  there are no problems when performing operations on them.

udp: Fix parameter order of udp_addrcpu()

Remove obsolete ieee80211_amrr.9 manual page.

rc.8: Mention 'reload', which is enabled frequently to kill -HUP daemons.

Reported-by: Matteo Cypriani <mcy@lm7.fr>

boot/loader: Autoload XHCI support (xhci.ko).

This should help with issues people were having when trying to
boot a DragonFly USB IMG from a thumb drive plugged into a
USB 3 port.

usbdi.9: Some small fixes.

msk.4: Document that MSI is turned off by default.

-h (human-readable counters) for netstat

virtio_pci: Use device_probe_and_attach(), instead of DEVICE_ATTACH().

* By directly calling DEVICE_ATTACH(), we didn't get automatically created
  sysctl nodes (added in 8e4d13764bdfc916c23fb22158c65e486dce631c), and
  we didn't get automatic dmesg messages on child driver attachement
  (e.g. "vtblk0: <VirtIO Block Adapter> on virtio_pci1") .

* Since we have no direct equivalent to FreeBSD's device_attach(), use
  device_probe_and_attach(). This means we do a vtpci_set_status() cycle
  even if no matching driver is found.

rc.subr: Add required_modules processing.

This will kldload appropriate modules, needed by some dports (e.g.
openvpn).

Obtained-from:   FreeBSD

top: fix per status process count reporting

World: Remove the X11BASE variable

Requested-by: marino

OpenSSH: Correctly set xauth's path (2/2)

X11BASE is used internally by dports and setting it globally
can be dangerous.
Only define this variable in the OpenSSH makefiles.

service(8): Sync with FreeBSD.

service(8): Fix error message being displayed when invoking service

service(8) has been imported from FreeBSD. However, DragonFly rc(8) does
not have 'nojail', thus this would have no effect on the call to
rcorder(8).

rc.subr: Add function to find scripts in local_startup directories

* Add 'find_local_scripts()' function which is useful for
service(8).

* Fix reference to function in service.sh. This fixes two issues in
  service(8) for which 'service -e' and 'service -l' would simply fail
  to list local startup scripts.

'find_local_scripts()' has been imported from FreeBSD, where it is
called 'find_local_scripts_new()'.

OpenSSH: Correctly set xauth's path

Revision 111f4c913a18de9586649cc1a374240679ec903a saw the removal
of X11BASE from the tree.

Howewer, it is still required by ssh(1) and sshd(8) to set the
default location of xauth(1).

Put it back but change the value to /usr/local following the change
from pkgsrc to dports.

dhclient: Fix a busy loop

The ifi->linkstat variable seemed to be not updated after the poll
returns in dispatch.c. This might only be a hack, but it makes the
busylooping go away.

sound/pcm - Attempt to fix 'play interrupt timeout, channel dead' error

* Fix the timeout calculation to properly calculate the buffering
  timeout.

* Adjusted code taken from bug 2067 submission.

PR: 2067

drm: Use lockmgr locks with Linux wait queues

* On Linux, it is possible to grab a second spinlock in an already
  spinlock-protected code section.

* The wait_event() macro is used in such a situation in the i915 driver.
  One of the event checks itself tries to grab a second lock. What's more,
  this second lock is a lockmgr lock in the DragonFly kernel. This results
  in the following situation:

    spinlock
    lockmgr LK_EXCLUSIVE
    spinunlock

* Unfortunately if the lockmgr lock can't be acquired, the thread is put
  to sleep and a thread sleeping with a spinlock held leads to a general
  system freeze or a kernel panic.

* For that reason, we can't use a spinlock in Linux wait queues. Change
  the internal wait_queue_head_t lock to a lockmgr lock.

Thanks go to Imre Vadász for spotting this horrible issue.

drm: Make wait_event_interruptible interruptible and fix its return value.

* __wait_event_common now works like wait_event_interruptible_timeout does
  in Linux.

* wait_event_interruptible uses different return values than the other
  wait_event variants.

* translate -ERESTARTSYS to -EINTR in two obvious places in radeon_gem.c,
  before returning from an ioctl handler.

drm: Use the ERESTARTSYS error code

* Linux kernel functions can return -ERESTARTSYS in some cases, a
  negative value indicating an error (typically -512)

* Howewer, ERESTARTSYS was previously as ERESTART, itself defined
  as -1 in *BSD kernels

* The -ERESTARTSYS return value thus was positive on the DragonFly
  kernel, potentially breaking various drm error checks.

* Fix this issue by defining ERESTARTSYS separately

Thanks-to: Imre Vadasz for discovering the original problem

drm: Add linux/mm.h

Obtained-from: FreeBSD's OFED framework

newsyslog(8): use the size of the file instead of the blocks...

... it takes on disk, as advertised in newsyslog.conf(5).

Taken-from: FreeBSD

drm/radeon: Replace some custom code by Linux wait queues

drm/ttm: Fix ttm_bo_wait_unreserved()

By using the wait event API and code from Linux 3.8.13

The old implementation of this function had a tendency to wrongly
go to an uninterruptible sleep state.

kernel/ndis - Fix flag usage in a macro.

- For identifying system processes, Use P_SYSTEM for
  AT_PASSIVE_LEVEL() macro.

kernel - Rename unused flag.

- This flag used to identify whether a process was a system one.
  Currently, we can use P_SYSTEM flag for that.

pkill - Fix a problem identifying system threads.

- As of commit 65a0e3d68b951f39cc39be7808e11e9de908d9fc the test to
  check whether a process is a system one or not was replaced by a
  wrong one. Restore that behaviour so that they are excluded by pkill(1).

Sync zoneinfo database with tzdata2014j from ftp://ftp.iana.org/tz/releases

* Turks & Caicos' switch from US eastern time to UTC-4 year-round
    did not occur on 2014-11-02 at 02:00.  It's currently scheduled
    for 2015-11-01 at 02:00.  (Thanks to Chris Walton.)

* Many corrections to pre-1989 time stamps of Asia/Seoul and
    Asia/Pyongyang.

* Change various zones into links where they differ only in pre-1970
    time stamps.

* Miscenallenous commentary adjustments.

jls - Fix seg-fault and formatting

* Fix seg-fault when no IPs are configured for a jail.

* Improve formatting, increase path to 15 characters.

kernel - Add reapctl() system call for managing sub-processes (5) -> procctl

* Last commit was incomplete.  reaper_get() must be used to obtain
  the reaper in the RFNOWAIT case.

kernel - Add reapctl() system call for managing sub-processes (4) -> procctl

* Reparent to the correct reaper in the fork/RFNOWAIT case.

kernel - Add reapctl() system call for managing sub-processes (3) -> procctl()

* After discussions, rename reapctl() -> procctl() and adjust
  the API to be compatible with FreeBSD.

* bapt will implement the same exact feature in FreeBSD via procctl().

kernel - Add reapctl() system call for managing sub-processes (2)

* subtract 1 from refs returned in status, so they roughly match the
  number of processes which are direct children of the caller.

* Load udata.status.pid_head even if we have not acquired reaping control.
  This can be useful information either way.

kernel - Add reapctl() system call for managing sub-processes

* Add reapctl().  This system call allows the current process to become
  the designated reaper for all sub-processes that are directly or indirectly
  forked under it, even if they detach.

  Instead of reparenting to init, related sub-processes will reparent to
  up the tree to the nearest process with reaping management enabled.

* The system call can be run by any user.  Multiple processes in the
  running topology can be reap masters for the processes under them,
  include sub-processes being reap-masters for processes under them,
  recursively.

* The system call provides an easy way to ensure that all processes under
  the current process, when it is a reap master, to be killed.  The first
  child pid under management can be queried, killed, waited upon, and the
  service monitor then simply loops until no children remain.

  Normally this information might not be available or require a 'ps' style
  (expensive) run to obtain.  This way it can be done trivially and
  dependably via reapctl().

dev/drm: Implement kqueue support; Wake up blocking reads

* Add a call to drm_event_wakeup() in drm/radeon.

* Flesh out the stubbed kqueue support.

* Blocking reads were not woken up because of a typo in the wakeup call.

usb4bsd/if_urndis: Add a missing KKASSERT().

While here, remove an unused URNDIS_LOCK_ASSERT() parameter.

urndis.4: No ifmedia support in this driver.

kernel - Improve m->hold_count assertions, fix page-zeroing code bug

* Improve assertions on m->hold_count to provide more information.

* Fix a bug in vm_page_free_fromq_fast() where an assertion can get
  hit due to a SMP race.  This is only used by the page-zeroing code.

kernel - Fix exec optimization race

* Fix an improper vm_page_unhold() in exec_map_page() which
  under heavy memory loads can cause a later assertion
  on m->hold_count == 0.

* Triggered every few days by bulk builds on pkgbox64.

usb4bsd: Fix if_urndis/umodem probing conflict.

Previously, if_urndis would not detect certain devices (among them
the HTC One) due to a conflict with certain USB modems from Huawei.

Fix this by making umodem check explicitly for Huawei as the vendor.

As far as I can see, devd(8) would now load both umodem.ko and
if_urndis.ko for these modems but only umodem.ko would attach, so
we should be fine.

However, so far only the urndis(4) part was actually tested.

Submitted-by: Yellow Rabbit <yrabbit@sdf.lonestar.org>
Tested-by: Robin Hahling <robin.hahling@gw-computing.net>
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/2725>

kernel: Allow pf to build without INET6

Submitted-by: lhmwzy

sysv_shm: allow attaching to REMOVED shm segments

 * Add kern.ipc.shm_allow_removed to allow for this behavior

 * chrome relies on this behavior

Taken-from: FreeBSD

usb4bsd: Fix usb_etherther and cleanup if_axe

Since mii relies on a struct ifnet being the first part of a
softc for a network driver, make usb_ethernet adhere to this rule.
This fixes panics with usb_ethernet caused by parts of the
uether_softc being overwritten by the mii code.

ftp - bring 1.205 from netbsd

* Don't pay attention to special characters if they don't come
  from the command line (from jmcneill)

* Also, for DragonFly specifically I am removing the use of
  popen() entirely, even for command-line-specified features.

build.7: document rescue target

4.0 release candidate tag.

Sync zoneinfo database with tzdata2014i from ftp://ftp.iana.org/tz/releases

* asia: Many time stamps have been corrected for Asia/Ho_Chi_Minh
    before 1976. Asia/Phnom_Penh and Asia/Vientiane have been turned
    into links, as they differed from existing zones only for older
    time stamps.

* australasia: Pacific/Fiji will observe DST from 2014-11-02 02:00 to
    2015-01-18 03:00. A new Zone Pacific/Bougainville, for the part
    of Papua New Guinea that plans to switch from UTC+10 to UTC+11 on
    2014-12-28 at 02:00.

* europe: Since Belarus is not changing its clocks even though Moscow is,
    the time zone abbreviation in Europe/Minsk is changing from FET
    to its more-traditional value MSK on 2014-10-26 at 01:00.

* northamerica: Some comment fixes.

As usual, the NEWS file has more details.

upmap.4: Add missing .El

mdoc.local: Add version 3.9 for .Dx

While here, also add 9.3 for .Fx

Add a upmap(4)/kpmap(4) manual page.

Submitted-by: Robin Hahling <robin.hahling@gw-computing.net>

drm/radeon: Handle -fms-extensions better (fixes the clang build).

FreeBSD has since switched to only using it for GCC (which apparently
complains about anonymous unions). In clang, it will enable Microsoft's
__wchar_t type, which (as in FreeBSD) conflicts with our own one.

We actually only need it for gcc44. Our gcc47 builds radeon.ko fine
without it.

dev/drm: For now, only build radeon drivers with base compilers

Currently, at least clang35 can't build radeon drivers due to how system
headers are included.  I suspect dports gcc compilers may also have the
same issue.  Until this issue is understood and fixed, limit the building
of radeon modules to the base compilers.

kern.mk: isolate gcc-only flags to gcc compilers (determined by CCVER)

libstand: Isolate gcc-specific flags, avoid native compilations

Only set -mpreferred-stack-boundary when using GCC.  While here, add
a bunch of flags that avoid cpu-specific instructions.  Similar flags
are seen in the boot code.

boot/pc32: specify some flags based on CCVER

Some flags are gcc-specific, so only set them if CCVER begins with
the substring "gcc".  Some assembly files can only be built by the
binutils GNU assembler, so define ASSEMBLER flags which CCVER starting
with "clang" will augment.  There is no change for the current base
compilers.

boot/dloader: Remove duplicate CFLAGS

The -ffreestanding flag gets defined by ../pc32/Makefile.inc which
both platforms pull in.  The -m32 flag is defined by ../pc64/Makefile
which only x86_64 pulls in.

pc64/acpica: specify cmpw in acpi_wakecode.S

The "cmp" instruction is ambiguious in acpi_wakecode.S.  The GNU assembler
should emit an error, but instead it just assumes that the operand is of
a wide type.  The clang assembler does throw an error, so let's explicitly
use "cmpw" to resolve the ambuiguity.

drm1: Remove formatted manual pages via 'make upgrade', too.

Remove forgotten backslash.

Remove remaining drm1 bits

* Remove kernel compilation options and manpages for old drivers

* Make sure make upgrade removes old kernel modules and other
  files

drm: Remove unused PCI ids

kernel: Drop drm1 drivers

* They were used for 3D OpenGL acceleration with ancient graphic cards
  from the 1990s to early 2000s

* Mesa removed support for them in August 2011, before its 8.0 release

* No Mesa 7.x version beeing available in dports anymore these drivers
  have become completely useless

reboot - Mask SIGTERM to fix a self-immolation issue

* reboot is getting SIGTERM'd, possibly from its parent shell, before
  it can finish telling the system to reboot.  Mask this signal as well.

* But possibly exposed by earlier SMP work that could result in the
  signal getting in front of the final system call to reboot.

Submitted-by: YONETANI Tomokazu

tip(1): Raise WARNS to 2 and fix all corresponding warnings.

Also ansify, use -std=gnu99 like everywhere else and do some more
cleanups.

drm: msleep() must not sleep forever

* In some cases, the msleep() implementation called tsleep() with a
  timeout value of zero, making the calling thread sleep forever.

* Ensure tsleep() is always called with a minimal timeout value of
  one tick to avoid this situation.

openssl: Update version/date in the manual pages.

bsd-family-tree: Sync with FreeBSD (for Mac OS X 10.10).

Local adjustments for OpenSSL-1.0.1j.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.1j.

* Fixes for CVE-2014-3513, CVE-2014-3566, CVE-2014-3567 and
  CVE-2014-3568.

* Additional DigestInfo checks.

tip(1): Fix various warnings and errors emitted by clang

The most serious were void/return mismatches, but clang also complained
about ambiguous brackets and mis-matching printf formats.  It also didn't
like one particular K&R-formatted function, but I'm not sure why not.

Really set default binutils to version 2.24

The last update of binutils missed changing the default in bsd.cpu.mk,
which means all the bootstrap and other tools were built with binutils
2.22 instead of 2.24.  This oversight is rectified now.

boot: remove sparc, powerpc, ia64 code and references

While I'm here, remove the practically blank README.  Apparently this was
on Matt's "To-Do" list, but that was 4 years ago so I don't think it's
going to get done.

routed - Apply FreeBSD-SA-14:21.routed

* Apply patch to fix null-pointer DOS.

csu: Remove $CFLAGS from intermediate object targets

These makefile case from FreeBSD, but the flags were called $ACFLAGS,
not $CFLAGS, and they are empty by default.  I noticed clang's
assembler screaming about unused flags and then noticed this mistake.

customcc: Improve wrapper script efficiency and capabilities

The wrapper script had some deficies, such as:
 * awk called every invocation
 * cc and gcc treated the same
 * c++ and g++ treated the same
 * evals for variables not used
 * every invocation of c++ or g++ called cc -dumpmachine
 * g++ hardcoded to dports include scheme
 * no support for "CC" or "gcov" (both defined by base compilers)

The update addresses these by:
 * awk eliminated by pushing INCOPT definition to defaults/compilers.conf
 * cc -dumpmachine eliminated during creation of defaults/compilers.conf
   It was only used for dports gcc, so with the assumption that the dports
   compiler matches the uname information (a decent assumption), this
   was predefined, yet overridable by /etc/compilers.conf
 * cc is treated separately from gcc
 * CC and c++ are treated the same but separately from g++
 * by wrapper default, gcc and g++ refer to base gcc4.7, but the default
   compilers.conf sets them to the same as the specified dports gcc
 * Support for clang, clang++, clang-cpp, CC, and gcov was added
 * Support for base clang, clang++, and clang-cpp was added in
   anticipation of bringing clang into base.
 * variables are only evaluated if used.
 * supports the ability to have gcc, g++, clang, clang++ point to base
   compilers while cc, c++, CC point to custom compiler.  However, the
   custom compiler can also point to any combination of cc, gcc, c++, and
   g++ and that's controllable by compilers.conf.

The /etc/defaults/compilers.conf file was augmented and support for
clang35 from dports added.  man 5 compilers.conf was edited accordingly
with placeholders for <version>_CLANG, <version>_CLANGCXX and
<version>_CLANGCPP which aren't applicable until clang comes into base.

kernel - Fix int/long truncation problem in rman_reserve_resource()

* Use ulmin/ulmax instead of min/max in three places, fixing a 32-bit
  truncation problem when setting up memory resources that caused our
  48-core opteron to panic.

* An earlier commit adjusting count values to be more correct revealed
  the bug.

* Fixes booting the kernel on our 48-core opteron w/128G of ram.

kernel: FWIW, add FreeBSD's led(4) framework.

It's not big and some ACPI code can utilize it.

Also add -l to morse(6) to output in led(4) compatible format.

Thanks to Markus Pfeiffer and Johannes Hofmann for testing and
finding issues.

Taken-from: FreeBSD

kernel - Add the nitems(x) macro from FreeBSD to sys/param.h

* Horrible name but... ok.

dma(8): Better integration with our periodic scripts.

* Make dma(8) accept the -Ac option when run as 'mailq'. Also make it
  run as 'hoststat' and 'purgestat' (does nothing in this case).

* Adjust the 440.status-mailq daily periodic script to also check for
  "Mail queue is empty", which is dma(8)'s corresponding text.

Note: We really should be suppressing the checking of the submit queue
      automatically if mailer.conf is set up for dma(8) but I'm not
      sure yet what's the best way.

Reported and tested by Max Herrgard <herrgard@gmail.com>.