kernel - Add reapctl() system call for managing sub-processes (2)

* subtract 1 from refs returned in status, so they roughly match the
  number of processes which are direct children of the caller.

* Load udata.status.pid_head even if we have not acquired reaping control.
  This can be useful information either way.

kernel - Add reapctl() system call for managing sub-processes

* Add reapctl().  This system call allows the current process to become
  the designated reaper for all sub-processes that are directly or indirectly
  forked under it, even if they detach.

  Instead of reparenting to init, related sub-processes will reparent to
  up the tree to the nearest process with reaping management enabled.

* The system call can be run by any user.  Multiple processes in the
  running topology can be reap masters for the processes under them,
  include sub-processes being reap-masters for processes under them,
  recursively.

* The system call provides an easy way to ensure that all processes under
  the current process, when it is a reap master, to be killed.  The first
  child pid under management can be queried, killed, waited upon, and the
  service monitor then simply loops until no children remain.

  Normally this information might not be available or require a 'ps' style
  (expensive) run to obtain.  This way it can be done trivially and
  dependably via reapctl().

usb4bsd: Fix SRCS sorting.

usb4bsd: Add usb_pf.c to the module Makefile too.

usb4bsd: Make usb_pf work

Together with usbdump this allows dumping of usb traffic just like
tcpdump allows dumping of network traffic.

At the moment it is necessary to create the cloned device manually
for the usb bus one wants to monitor.

rtld-elf - save/restore args fp regs as well (clang)

* Note: this has no real effect on gcc based systems.

* fp registers %xmm0-7 can be used for arguments to procedures.  With
  GCC we didn't have to save/restore them for the rtld binder because
  rtld didn't use any FP registers and GCC did not insert any for
  structural copies.

  But CLANG does, so the binder has to save/restore these registers or
  dynamically linked calls which take FP arguments will explode on the
  first call.

* For example, A simple clang program to printf("%f", 1.0); a few times...
  the first output would be 0.0 instead of 1.0 due to the binder blowing
  away the procedure argument to dtoa().  The bug also blows up awk and
  dports and... well.

Reported-by: marino

yacc(1): Some local adjustments for byacc-20141006.

This also doubles the MAXTABLE size (which is configurable in 20141006
and the reason for this upgrade), because a newer iasl(8) was whining
about it.

Merge branch 'vendor/BYACC'

drm: Remove some useless macros

byacc-20141006: Adjust some forgotten things on the vendor branch.

* skeleton.c is now yaccpar.c

* New file mstring.c

* Adjust README.DELETED

pci.9: Some more cleanup.

kernel: Document pci_find_extcap(9)

Inspired-from: FreeBSD's pci.9 manpage
Reviewed-by: swildner

kernel: Move dev2unit() to a common place

It is required by both the firewire driver and recent versions of the
FreeBSD sound framework.

Import byacc-20141006.

iasl(8): Add some missing CLEANFILES.

compilers.conf: Remove EOL whitespace and start sentences on new lines.

ipheth.4: Remove empty line.

dev/drm: Implement kqueue support; Wake up blocking reads

* Add a call to drm_event_wakeup() in drm/radeon.

* Flesh out the stubbed kqueue support.

* Blocking reads were not woken up because of a typo in the wakeup call.

usb4bsd/net: Adjust comment, we also miss axge(4) and smsc(4).

usb4bsd: Port aue(4), cue(4), ipheth(4) and kue(4) USB ethernet drivers.

Also sync them with FreeBSD's current code.

aue(4), cue(4) and kue(4) were available with oldusb. ipheth(4) is a
new driver.

This commit adds support for 105 devices.

Still missing from our net/ category are cdce(4), rue(4), uhso(4) and
usie(4).

Taken-from-and-thanks-to: FreeBSD

usb4bsd/if_urndis: Add a missing KKASSERT().

While here, remove an unused URNDIS_LOCK_ASSERT() parameter.

urndis.4: No ifmedia support in this driver.

usb4bsd: Fix if_urndis/umodem probing conflict.

Previously, if_urndis would not detect certain devices (among them
the HTC One) due to a conflict with certain USB modems from Huawei.

Fix this by making umodem check explicitly for Huawei as the vendor.

As far as I can see, devd(8) would now load both umodem.ko and
if_urndis.ko for these modems but only umodem.ko would attach, so
we should be fine.

However, so far only the urndis(4) part was actually tested.

Submitted-by: Yellow Rabbit <yrabbit@sdf.lonestar.org>
Tested-by: Robin Hahling <robin.hahling@gw-computing.net>
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/2725>

sed(1): Fix implicit definition of getline error

csu: isolate gcc-specific flags

Limiting gcc-specific flags to CCVER that begins with "gcc"  allows world
to build on clang without NO_WARNS defined.

sed(1): Sync with FreeBSD (adds -u switch)

This is a minor sync with FreeBSD.  The -r option, an alias of -E, was
recently added.  This adds "-u" which makes the output unbuffered.  There
are minor tweaks to newline and file handling.

drm/i915: Remove a premature i915_gem_valid_gtt_space() check

We still miss some gtt initialization code at this point in time

Reported-and-tested-by: Johannes Hofmann

crt1.o: Fix compilation failure with -DGCRT on clang

Clang has been failing to compile the crt1.c with GCRT macro defined.  The
error message stated the "eprol" label was being defined twice.  Clang was
performing an alternative conditional optimization which duplicated the
assembly including our inserted eprol label.

The workaround is to relocate the eprol label after the handle_static_init
function to get it out of the optimization loop.  The trade-off of this
workaround is that handle_static_init() can no longer be profiled.  The
formerly preceding monstartup belongs to gmon and it controls the range of
PCs the profiling code considers.

Suggested by: dillon

kernel - Improve m->hold_count assertions, fix page-zeroing code bug

* Improve assertions on m->hold_count to provide more information.

* Fix a bug in vm_page_free_fromq_fast() where an assertion can get
  hit due to a SMP race.  This is only used by the page-zeroing code.

kernel - Fix exec optimization race

* Fix an improper vm_page_unhold() in exec_map_page() which
  under heavy memory loads can cause a later assertion
  on m->hold_count == 0.

* Triggered every few days by bulk builds on pkgbox64.

kernel: Allow pf to build without INET6

Submitted-by: lhmwzy

usb4bsd: Cleanup usb_ethernet after the recent changes

The ue_ifp member of the usb ethernet softc is not required anymore, so get
rid of it to have less points of failure.

usb4bsd/if_mos: Add a missing line to 'files' and fix some USB_DEBUG errors.

Revert "kern/dsched: Fix a panic at proc exit"

This reverts commit 4db1a66d8221d557a0a3e37aa842cf2824e0dfea.

Caused a random panic with no dump, I need more time to figure it
out.

usb4bsd: Fix usb_etherther and cleanup if_axe

Since mii relies on a struct ifnet being the first part of a
softc for a network driver, make usb_ethernet adhere to this rule.
This fixes panics with usb_ethernet caused by parts of the
uether_softc being overwritten by the mii code.

drm/i915: Make the GEM code more Linux-like

* Reduce differences with Linux 3.8.13

* Segregate memory domains in the GTT using coloring

* Enable the use of i915 semaphores

Update devd(8)'s usb.conf for mos(4).

usb4bsd/if_mos: Sync with FreeBSD.

usb4bsd/if_mos: Make mos(4) compile.

sysv_shm: allow attaching to REMOVED shm segments

 * Add kern.ipc.shm_allow_removed to allow for this behavior

 * chrome relies on this behavior

Taken-from: FreeBSD

drm/i915: Clean up various non-critical files

Remove dead code and obsolete fields in various areas, reducing differences
with Linux 3.8.13.

kernel/x86: Add Advanced Power Management Information constants

Obtained-from: FreeBSD

camcontrol - Add idle, standby, and sleep directives

* Bring the idle, standby, and sleep directives in from FreeBSD.

* Note that our ATA pass-through works a bit differently than FreeBSDs.

hammer2 - update documentation, begin working on callback I/O

* Update documentation with my current thinking.

* Implement hammer2_iocb - a structure to govern async block I/O requests
  with a callback function.

* Implement iocb API.

* Replace old hammer2_chain_load_async() and related code with the new
  callback mechanism.

* Implemented a somewhat more sophisticated freemap DOMAYFREE setting,
  but note that we still do not iterate file data blocks when removing
  a file to adjust their freemap (and I may decide not to just in general,
  since the meta-data scan and freemap update can add considerable latency
  to a remove() operation).

  This means that the whole concept of partial block free states may wind
  up being thrown out the window, but as of now it's still the plan.

Remove obsolete ieee80211_amrr.9 manual page.

kern/dsched: Fix a panic at proc exit

 * When a proc exit, dsched tries to destroy the thread context.
   But if the thread context is not empty, it needs to wait
   for the thread ios to be drained.

 * add a callback to wakeup the thread when the last queued io is
   completed and resume the in progress destruction.

 * Should fix #2645

rc.8: Mention 'reload', which is enabled frequently to kill -HUP daemons.

Reported-by: Matteo Cypriani <mcy@lm7.fr>

powerd.8: Fix incomplete -p / -u commit.

powerd: add tunables to control the load thresold

Remove pkg_radd from the Makefile too.

powerd.8: Fix a typo and elaborate a bit on what -t means.

Remove various pkgsrc remains.

* Remove pkgsrcaudit periodic script.

* Remove pkg_radd(1) and pkg_search. pkg(8) will do.

* Remove pkgsrc(7) manual page.

* Remove test/fastbulk (meant to be a faster alternative to pbulk but it
  never took off).

* Remove searching of /usr/pkgsrc searching via whereis(1).

* Various small adjustments.

powerd: add an option to disable turbo mode

mdocml: compile and reapply some local changes

Merge branch 'vendor/MDOCML'

Conflicts:
contrib/mdocml/Makefile
contrib/mdocml/mandoc.h
contrib/mdocml/mdoc_validate.c
contrib/mdocml/read.c

Import mdocml-1.13.1

ftp - bring 1.205 from netbsd

* Don't pay attention to special characters if they don't come
  from the command line (from jmcneill)

* Also, for DragonFly specifically I am removing the use of
  popen() entirely, even for command-line-specified features.

build.7: document rescue target

Sync zoneinfo database with tzdata2014i from ftp://ftp.iana.org/tz/releases

* asia: Many time stamps have been corrected for Asia/Ho_Chi_Minh
    before 1976. Asia/Phnom_Penh and Asia/Vientiane have been turned
    into links, as they differed from existing zones only for older
    time stamps.

* australasia: Pacific/Fiji will observe DST from 2014-11-02 02:00 to
    2015-01-18 03:00. A new Zone Pacific/Bougainville, for the part
    of Papua New Guinea that plans to switch from UTC+10 to UTC+11 on
    2014-12-28 at 02:00.

* europe: Since Belarus is not changing its clocks even though Moscow is,
    the time zone abbreviation in Europe/Minsk is changing from FET
    to its more-traditional value MSK on 2014-10-26 at 01:00.

* northamerica: Some comment fixes.

As usual, the NEWS file has more details.

4.1 branch.

upmap.4: Add missing .El

mdoc.local: Add version 3.9 for .Dx

While here, also add 9.3 for .Fx

Add a upmap(4)/kpmap(4) manual page.

Submitted-by: Robin Hahling <robin.hahling@gw-computing.net>

drm/radeon: Handle -fms-extensions better (fixes the clang build).

FreeBSD has since switched to only using it for GCC (which apparently
complains about anonymous unions). In clang, it will enable Microsoft's
__wchar_t type, which (as in FreeBSD) conflicts with our own one.

We actually only need it for gcc44. Our gcc47 builds radeon.ko fine
without it.

dev/drm: For now, only build radeon drivers with base compilers

Currently, at least clang35 can't build radeon drivers due to how system
headers are included.  I suspect dports gcc compilers may also have the
same issue.  Until this issue is understood and fixed, limit the building
of radeon modules to the base compilers.

kern.mk: isolate gcc-only flags to gcc compilers (determined by CCVER)

libstand: Isolate gcc-specific flags, avoid native compilations

Only set -mpreferred-stack-boundary when using GCC.  While here, add
a bunch of flags that avoid cpu-specific instructions.  Similar flags
are seen in the boot code.

boot/pc32: specify some flags based on CCVER

Some flags are gcc-specific, so only set them if CCVER begins with
the substring "gcc".  Some assembly files can only be built by the
binutils GNU assembler, so define ASSEMBLER flags which CCVER starting
with "clang" will augment.  There is no change for the current base
compilers.

boot/dloader: Remove duplicate CFLAGS

The -ffreestanding flag gets defined by ../pc32/Makefile.inc which
both platforms pull in.  The -m32 flag is defined by ../pc64/Makefile
which only x86_64 pulls in.

pc64/acpica: specify cmpw in acpi_wakecode.S

The "cmp" instruction is ambiguious in acpi_wakecode.S.  The GNU assembler
should emit an error, but instead it just assumes that the operand is of
a wide type.  The clang assembler does throw an error, so let's explicitly
use "cmpw" to resolve the ambuiguity.

drm1: Remove formatted manual pages via 'make upgrade', too.

Remove forgotten backslash.

Remove remaining drm1 bits

* Remove kernel compilation options and manpages for old drivers

* Make sure make upgrade removes old kernel modules and other
  files

drm: Remove unused PCI ids

kernel: Drop drm1 drivers

* They were used for 3D OpenGL acceleration with ancient graphic cards
  from the 1990s to early 2000s

* Mesa removed support for them in August 2011, before its 8.0 release

* No Mesa 7.x version beeing available in dports anymore these drivers
  have become completely useless

reboot - Mask SIGTERM to fix a self-immolation issue

* reboot is getting SIGTERM'd, possibly from its parent shell, before
  it can finish telling the system to reboot.  Mask this signal as well.

* But possibly exposed by earlier SMP work that could result in the
  signal getting in front of the final system call to reboot.

Submitted-by: YONETANI Tomokazu

tip(1): Raise WARNS to 2 and fix all corresponding warnings.

Also ansify, use -std=gnu99 like everywhere else and do some more
cleanups.

drm: msleep() must not sleep forever

* In some cases, the msleep() implementation called tsleep() with a
  timeout value of zero, making the calling thread sleep forever.

* Ensure tsleep() is always called with a minimal timeout value of
  one tick to avoid this situation.

openssl: Update version/date in the manual pages.

bsd-family-tree: Sync with FreeBSD (for Mac OS X 10.10).

Local adjustments for OpenSSL-1.0.1j.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.1j.

* Fixes for CVE-2014-3513, CVE-2014-3566, CVE-2014-3567 and
  CVE-2014-3568.

* Additional DigestInfo checks.

tip(1): Fix various warnings and errors emitted by clang

The most serious were void/return mismatches, but clang also complained
about ambiguous brackets and mis-matching printf formats.  It also didn't
like one particular K&R-formatted function, but I'm not sure why not.

Really set default binutils to version 2.24

The last update of binutils missed changing the default in bsd.cpu.mk,
which means all the bootstrap and other tools were built with binutils
2.22 instead of 2.24.  This oversight is rectified now.

boot: remove sparc, powerpc, ia64 code and references

While I'm here, remove the practically blank README.  Apparently this was
on Matt's "To-Do" list, but that was 4 years ago so I don't think it's
going to get done.

routed - Apply FreeBSD-SA-14:21.routed

* Apply patch to fix null-pointer DOS.

csu: Remove $CFLAGS from intermediate object targets

These makefile case from FreeBSD, but the flags were called $ACFLAGS,
not $CFLAGS, and they are empty by default.  I noticed clang's
assembler screaming about unused flags and then noticed this mistake.

customcc: Improve wrapper script efficiency and capabilities

The wrapper script had some deficies, such as:
 * awk called every invocation
 * cc and gcc treated the same
 * c++ and g++ treated the same
 * evals for variables not used
 * every invocation of c++ or g++ called cc -dumpmachine
 * g++ hardcoded to dports include scheme
 * no support for "CC" or "gcov" (both defined by base compilers)

The update addresses these by:
 * awk eliminated by pushing INCOPT definition to defaults/compilers.conf
 * cc -dumpmachine eliminated during creation of defaults/compilers.conf
   It was only used for dports gcc, so with the assumption that the dports
   compiler matches the uname information (a decent assumption), this
   was predefined, yet overridable by /etc/compilers.conf
 * cc is treated separately from gcc
 * CC and c++ are treated the same but separately from g++
 * by wrapper default, gcc and g++ refer to base gcc4.7, but the default
   compilers.conf sets them to the same as the specified dports gcc
 * Support for clang, clang++, clang-cpp, CC, and gcov was added
 * Support for base clang, clang++, and clang-cpp was added in
   anticipation of bringing clang into base.
 * variables are only evaluated if used.
 * supports the ability to have gcc, g++, clang, clang++ point to base
   compilers while cc, c++, CC point to custom compiler.  However, the
   custom compiler can also point to any combination of cc, gcc, c++, and
   g++ and that's controllable by compilers.conf.

The /etc/defaults/compilers.conf file was augmented and support for
clang35 from dports added.  man 5 compilers.conf was edited accordingly
with placeholders for <version>_CLANG, <version>_CLANGCXX and
<version>_CLANGCPP which aren't applicable until clang comes into base.

kernel - Fix int/long truncation problem in rman_reserve_resource()

* Use ulmin/ulmax instead of min/max in three places, fixing a 32-bit
  truncation problem when setting up memory resources that caused our
  48-core opteron to panic.

* An earlier commit adjusting count values to be more correct revealed
  the bug.

* Fixes booting the kernel on our 48-core opteron w/128G of ram.

kernel: FWIW, add FreeBSD's led(4) framework.

It's not big and some ACPI code can utilize it.

Also add -l to morse(6) to output in led(4) compatible format.

Thanks to Markus Pfeiffer and Johannes Hofmann for testing and
finding issues.

Taken-from: FreeBSD

kernel - Add the nitems(x) macro from FreeBSD to sys/param.h

* Horrible name but... ok.

dma(8): Better integration with our periodic scripts.

* Make dma(8) accept the -Ac option when run as 'mailq'. Also make it
  run as 'hoststat' and 'purgestat' (does nothing in this case).

* Adjust the 440.status-mailq daily periodic script to also check for
  "Mail queue is empty", which is dma(8)'s corresponding text.

Note: We really should be suppressing the checking of the submit queue
      automatically if mailer.conf is set up for dma(8) but I'm not
      sure yet what's the best way.

Reported and tested by Max Herrgard <herrgard@gmail.com>.

rc.d/nfsd: Add shutdown keyword so as it's stopped at shutdown.

Add ifmedia(4) reference to vkernel.7 (which is vke's manual page too).

vkernel: Add rudimentary media support to if_vke

dma(8): Fix some comment typos.

vkernel - Enhance panic message for freeing held page table page

* Adjust the 'freeing held page table page' to say 'freeing held pt page'
  and also include a bunch of pointer and other information.

kernel - Add /dev/upmap and /dev/kpmap and sys/upmap.h (4)

* Properly remove pte entries for VM_MAPTYPE_UKSMAP mappings.  This maptype
  will have a NULL object.

* Fixes a vkernel panic, probably fixes a page leak in real kernels.

Sort SEE ALSO in libusb20.3 and environ.7