Merge branch 'vendor/NVI2'

Import nvi2 version 2.1.3 to vendor branch

smbutil: No reason to not build on x86_64 too.

i386 removal, part 30/x: Remove i386 specific asm files from libcrypto.

Remove i386 config file too.

Remove remaining OSI protocol support.

These were just leftovers.

libypclnt: Remove unused file.

kernel: Add missing file to 'files' list.

drm: Fix wrong by one error in drm_ioctl()

This was preventing the ioctl table from being made const.

Submitted-by: Yellow Rabbit

cvs/easy-import.pl: Convert character to ASCII

The author's name was using extended ASCII which sed rejects when
the locale is set for UTF-8.  Just use "oe" instead of the umlaut
to resolve the problem easily.

Reported by: Yellow Rabbit

Review libc symbol maps

The two previous attempts to version libc failed, so I'm going to start
reviewing each map individually and correct as I find errors.  No-op.

kdump: Remove (void) casting for unused return values.

This is just clutter, really.

kdump: Fix shutdown flags regexp and remove shutdownf flags handling.

We don't have the latter syscall at all.

kdump: Bring in FreeBSD's r175936 and r212727.

groff/mdoc: Disable ru-KOI8-R localization

The template for the ru-KOI8-R localization for groff -mdoc option was
not created in ASCII as it should have been.  Neither was the French
version, which I was able to fix.  Since I can't fix the data that uses
what I believe is an obsolete codeset, I'm disabling it from the build,
effectively removing the locale.

From what I can tell, neither Russian nor French is used on DragonFly
anyway.  It appears to be something inherited from FreeBSD.  I am also
unsure what is special about these two particular mdoc options as they
are the only locales supported.

With this commit, it is possible to buildworld with locale set (e.g.
to en_US.UTF-8, which correctly failed after regex upgrade)

Replace illegal characters from man pages

Convert mmroff man page to UTF-8

This is basically a "test commit".  Yellow Rabbit notes that DragonFly
can't be built if UTF-8 locale is set, so we probably need to convert
a lot of illegal character sequences, just like this one.

libc/regex: Replace old regex library with modified TRE

The existing DragonFly REGEX library has several limitations, including
lack of wide character support and no collation ability due to its being
locked to POSIX/C locale.  It's also slow and doesn't pass a number of
tests of the AT&T Research Regex testsuite:

   basic       : TEST testregex, 539 tests,  0 errors
   categorize  : TEST testregex,  20 tests,  0 errors
   nullsubexpr : TEST testregex,  84 tests, 31 errors
   leftassoc   : TEST testregex,  12 tests, 12 errors
   rightassoc  : TEST testregex,  24 tests,  0 errors
   forcedassoc : TEST testregex,  48 tests,  8 errors
   repetition  : TEST testregex, 129 tests, 37 errors

Now it achieves these scores (elevated with new regnexec support):

   basic       : TEST testregex, 808 tests,  0 errors
   categorize  : TEST testregex,  26 tests,  0 errors
   nullsubexpr : TEST testregex, 172 tests,  0 errors
   leftassoc   : TEST testregex,  12 tests, 12 errors
   rightassoc  : TEST testregex,  36 tests,  0 errors
   forcedassoc : TEST testregex,  84 tests,  0 errors
   repetition  : TEST testregex, 241 tests,  0 errors

Here's proof that the regex library is now locale sensitive:

> env LANG=C sed /abandonn[a-z]/d fwl-sort-C.txt
a
abandonnâmes
abandonnât
abandonnâtes
abandonnèrent
abandonné
abandonnée
abandonnées
abandonnés
abord
abords
absence

> env LANG=fr_FR sed /abandonn[a-z]/d fwl-sort-C.txt
a
abord
abords
absence
accepta
acceptai
acceptaient
acceptais
acceptait
acceptant
acceptas
acceptasse

Several new functions have been added to to libc:

  variations of regcomp: regcomp_l,
    regncomp,  regncomp_l,
    regwcomp,  regwcomp_l,
    regnwcomp, regnwcomp_l

  variations of regexec: regnexec, regwexec, regwnexec

The regex.3 and re_format.7 map pages have been updated and symlinked
accordingly.

TRE: Add DragonFly README files

TRE: Add local modifications to extend functionality

The stock TRE regex library is very good, but it is missing three
key functionalities:
  1) collation support
  2) equivalence classes
  3) legacy support for character-name table

Luckily, TRE was imported in Apple's Libc and they solved these issues.
This commit represents the modifications Apple made (under the same
2-clause license the author Ville Laurikari issued) minus differences
in xlocale support and the exclusion of "if 0" equivalent blocks.

Merge branch 'vendor/TRE'

libc/locale: Add __collate_equiv_value functionality

This function is required for TRE bracket equivalence support.

sed(1): Move regex.h to be the last included

The regex.h will soon include <wchar.h> which pulls in <stdio.h>.  The
main.c needs _WITH_GETLINE defined before <stdio.h> is included in order
to have getline's prototype available.  When the new regex library is
imported, sed will break unless _WITH_GETLINE is defined sooner or unless
stdio.h is included before regex.h is.  Let's just move regex.h to be
the last included header to avoid our future issue.

Import TRE regex library v0.8.0 to vendor branch

drm/radeon: Limit HDMI to 8 bit per color

This patch prevents the calculation and use of unsupported frequency for
HDMI monitor. This is a temporary solution. We still can not do this as it
does Linux.

<sys/bitstring.h>: Stop removing it.

This was to be in a42cf85c165bd828567c497705474634ea858d9f but seems I
forgot to push it.

net/inet6: Add missing ;

* Unbreaks kernel.

Pointed-out-by: YRabbit

kernel - Allow kprintf() output targets to be managed as a debugging aid.

* Add kern.kprintf_logging which is a bitmask of kprintf() logging targets.
  This can be adjusted to reduce kprintf() overhead and serialization when
  using it to debug kernel issues.

* The default value is 0x05 which outputs to the console and the
  dmesg buffer.  One can disable console logging and spin-lock
  serialization by setting this to 0x14, causing kprintf() to only
  log to the dmesg buffer.

  0x01 Output to console
  0x02 (unsafe for general kprintf operation, do not use)
  0x04 Output to dmesg buffer
  0x08 (do not use)
  0x10 Do not serialize the whole kprintf() with a spin-lock.

drm - Bring in two haswell drm fixes from linux

* Thsi might fix a GPU-based whole system lockup which can occur on haswell
  systems while running X.  It can take several hours to manifest and
  typically occurs when scrolling or typing in firefox.

* 2c550183476dfa25641309ae9a28d30feed14379
  Disable PSMI sleep messages on all rings around context switches

* add284a3a2481e759d6bec35f6444c32c8ddc383
  Force the CS stall for invalidate flushes

inet6: Cosmetic clean up

No functional changes.

Obtained-from: KAME via FreeBSD

inet6: Style and indentation

Obtained-from: KAME via FreeBSD

inet/inet6: Add IN6ADDR_LINKLOCAL_ALLMDNS_INIT and INADDR_ALLMDNS_GROUP

Obtained-from: FreeBSD

kernel/ahd: Do not assign an uninitialized variable in early fail cases.

inet6: Nuke duplicated function and unused function

Obtained-from: KAME via FreeBSD

icmp6: Fix possible mbuf leakage

Though, this will not happen in the current code, better safe than
sorry here.

Obtained-from: KAME via FreeBSD

rtsock: If target cpu is not specified, stick to cpu0

Add AT&T Research regex(3) regression testsuite

Before we replace our ancient regex, we need to baseline it.
This is a well-known and maintained regex testsuite from AT&T Research.
The following commands from tools/regression/lib/libc-regex can be used:

  Make full-test-run   (this runs all tests consecutively)

  make test-basic
  make test-categorize
  make test-nullsubexpr
  make test-leftassoc
  make test-rightassoc
  make test-forcedassoc
  make test-repetition

To change the locale, set LOCALE (e.g. make LOCAL=en_US.UTF-8 test-basic)
These are the baseline results:

  basic       : TEST testregex, 539 tests,  0 errors
  categorize  : TEST testregex,  20 tests,  0 errors
  nullsubexpr : TEST testregex,  84 tests, 31 errors
  leftassoc   : TEST testregex,  12 tests, 12 errors
  rightassoc  : TEST testregex,  24 tests,  0 errors
  forcedassoc : TEST testregex,  48 tests,  8 errors
  repetition  : TEST testregex, 129 tests, 37 errors

UNSUPPORTED:
  AUGMENTED,SHELL,CLASS_ESCAPE,COMMENT,DELIMITED,DISCIPLINE,ESCAPE,LEFT,
  LENIENT,LITERAL,MINIMAL,MULTIPLE,MULTIREF,MUSTDELIM,NULL,RIGHT,
  SHELL_DOT,SHELL_ESCAPED,SHELL_GROUP,SHELL_PATH,SPAN,regnexec,
  regsubcomp,redecomp

vgrind(1): Remove unused file.

tip(1): Remove another unused file.

tip(1): Reduce it to what we actually use from it.

Also, merge libacu remains.

No change in functionality.

libkern: Remove unused locc() function.

ipfw3: get act of the rule

ipfw3: dummynet dispatch back to the same cpu

i386 removal, part 29/x: Remove old serial drivers, cy(4) and stl(4).

stlstats(8), too.

kernel: Fix for compiling drm into the kernel.

i386 removal, part 28/x: Remove pnpinfo(8).

locales: Update to CLDR version 27.0.1 (from 2.0.1)

I generates the new POSIX files from the latest CLDR release (from
June 2015) using the provided java tool, and regenerated all the
locales accordingly.

Note that kk_KZ has been renamed to kk_Cyrl_KZ.

locales: Update ctype charmaps with CLDR 27 data

cldr2def: Update Makefile to generate new POSIX source files

We've been using CLDR v2.0.1 because it was the last version that
provided generated POSIX source files.  (The next release, v21, only
provided the java tool to generate them).  The last release is version
27.0.1.  This alternation to the makefile allows the generation of the
desired 72 base locales with a single command (after the tool is
downloaded and installed in the same CLDR release directory)

Note that kk_KZ locale is changing to kk_Cyrl_KZ.

While here, make the necessary updates to charmaps.xml to generate
to locale source files.

ssh - Fix an openssh vulnerability

* Note that this vulnerability cannot occur with
  DragonFly's defaults.

Security:   CVE-2015-5600
Security:   FreeBSD-SA-15:16.openssh

drm/i915: Fix core-2 ring buffer init

* Fix a ring buffer initialization issue with core-2 by using a read-back
  to enforce order.

* Taken-from linux, checked linux-current and same fix is still there.

Taken-from: a4acb8d0933f89 (linux)
Reported-by: davshao bug #2834

kernel/devfs: style(9) fixes.

unbreak 4 LC categories

My regular expression was wrong and all the comments were not getting
stripped.  This broke LC_MONETARY, LC_NUMERIC, LC_MESSAGES, and
LC_TIMEDEF.  Fix cldr2def tool and regenerate makefiles.

gdb: Fix quickworld failure.

xml-builtin.c couldn't be regenerated via 'quickworld' because the
feature_to_c.sh script refuses to overwrite it if it does already
exist.

strcoll(1): Fix named locale case where conversion fails

When strcoll is used with a locale other than C/POSIX, it uses the
mbsrtowcs_l(1) function which can alter the src pointer upon failure.
If that happens in the current implementation of strcoll, a null pointer
is send to strcmp (resulting in wrong answer) and it will change the s
or s2 argument of strcoll(1), which is not behavior expected by the POSIX
standard.

Using a copy of the s and s2 arguments prevents this situation.  Note that
Illumos, which which the source came, still has this vulnerability.

Reported by: Romick (YRabbit) on IRC

locales: create short names for the 9 new base locales

locales: Fix pt_BR.ISO8859-15, remove UTF-8

The pt_BR.ISO8859-15 locale was not properly defined because it's
directory was not pre-created (fixed now).  The UTF-8 CTYPE is no longer
used (every locale explicitly is accounted for) so let's remove it.

The Brazilian locale won't always be fixed under quickworld, it will
require a full build in some cases.

sys/vfs/hammer: Fix potential wrong error message

It's not always because of volume not empty.

sys/vfs/hammer: Minor optimization on layer1/2 iteration

Layer1 and layer2 metadata are clustered in each big-block,
so use different buffers for layer1 and layer2 to prevent
unnecessary buffer release/get. This is what newfs_hammer
does on bootstrap in userspace and this function basically
does the same thing via ioctl.

sys/vfs/hammer: Add test_free_callback()

Add test_free_callback() and remove dry run code from
free_callback() which has been used for both testing
and actual ondisk modification. It makes free_callback()
more simple and clearer with no flag and null-checks
that were necessary to make it work for both purposes.

sbin/mount_hammer: Fix error messages

It's possible that open(2) and signature check do not fail
but mount(2) still fails possibly because of fs's bug.
When that happens (it actually did happen right now) fdevs
remains with no valid string strcatted. Add an error message
for such case.

Also change printf(); to fprintf(stderr);.

sbin/mount_hammer: Fix upper limit of volume num

(ac - 1) is for the command arg which is in blkdevs format.
info.nvolumes is the number of volumes after dissecting blkdevs format.

sys/vfs/hammer: Fix wrong function name in kprintf

sys/vfs/hammer: Add cond to kprintf("\n"); on volume-del

Should print \n only when count>=5 otherwise it generates
a blank line in dmesg.

sys/vfs/hammer: Fix comment on localization

Add missing tid.

drm/i915: experimental adapter->name to sc->name patch

drm/i915: use drm_asprintf() in ivybridge_parity_work

  Useless kmalloc/kfree but useful to test drm_asprintf() itself

drm: add connector/encoder name creation

  This implements name creation using drm_asprintf() helper function.
  For now skip "adapter->name".

drm: init unused_nodes list for drm/ttm from FreeBSD times

drm/i915: Avoid releasing non acquired lock for eDP systems

drm/i915: Fix i915_gem_fault()

The retry loop in i915_gem_fault() was very seriously broken for EINTR
or ERETRYSYS (which is also basically EINTR)
It loops with gem mostly left locked, doesn't sleep, so it live locks a
cpu if it ever gets hit

The best solution is to disallow EINTR / ERESTARTSYS entirely.
The implementation is crazy... normal drm locks are allowed to PCATCH
and fail with EINTR.  That's just insane

Stability is better with some hacks added.  I'm unwinding all the locks,
sleeping for one tick, and then retrying.
Horrible hack but so far it works

drm/i915: Update to Linux 3.16

* Much improved support for Broadwell GPUs. Acceleration should now be fully
  operational and the giant L4 eDRAM cache is now enabled when present.

* Baytrail/Valleyview support improvements

* prelimary support for Cherryview (14nm Atom SOCs)

* Various fixes and performance improvements on most other GPU generations

* Improved runtime power management

* 5.4GHz DisplayPort support

* Large cursor support (up to 256x256 pixels), useful for high-dpi displays.

* Mapping of user pages into video memory (userptr)
  This allows zero-copy downloads and efficient readback to/from the GPU,
  allowing faster rendering of client-side software rasterisers, mitigation
  of stalls due to read back and faster pipelining of texture data (such as
  pixel buffer objects in GL or data blobs in CL). Mixed CPU/GPU operations
  become more efficient in general.

hammer - Allow PVFSROOT to have more refs when upgrading

* When upgrading a PFS from slave to master, allow the PVFSROOT
  to have refs and a vnode because the hammer pfs-upgrade command
  itself might have it open.

kernel - Disable swapcache once paniced or if dumping

* Make sure we do not attempt to read or write via the swapcache if the
  machine is paniced or has been dumped via the debugger.  This avoids
  corrupting the dump and avoids corrupting reads shortcut through the
  swapcache under these conditions.

boot - Fix gzipped initrd.img loading

* Fix tests in libstand filesystems against f_flags.  Previous tests
  were f_flags != F_READ, which does not work properly when other flags
  are present.  Change to ((f_flags & (F_READ|F_WRITE)) != F_READ).

* Skip whiteout entries in UFS.  These could lead to false positives.

Add 17 new locales and really remove Latin

Now that locale defintions are generates, it's easy to add more.
I've added the following new locale defintions:

  * en_HK ISO-8859-1  (Hong Kong/English)
  * en_HK UTF-8
  * en_PH ISO-8859-1  (Phillipines/English)
  * en_PH UTF-8
  * en_SG ISO-8859-1  (Singapore/English)
  * en_SG UTF-8
  * es_AR ISO-8859-1  (Argentina/Spanish)
  * es_AR UTF-8
  * es_CR ISO-8859-1  (Costa Rica/Spanish)
  * es_CR UTF-8
  * es_MX ISO-8859-1  (Mexico/Spanish)
  * es_MX UTF-8
  * se_FI UTF-8       (Finland/Northern Sami)
  * se_NO UTF-8       (Norway/Northern Sami)
  * sv_FI ISO-8859-1  (Finland/Swedish)
  * sv_FI ISO-8859-15
  * sv_FI UTF-8

There were a few places la_LN (Latin) was hidden so I've really
removed it now.

Remove kk_KZ.PT154 and all latin locales

Latin, strangely enough, is not covered by CLDR POSIX files.  Thus,
it is impossible to completely load the locales.  Both LC_CTYPE and
LC_COLLATE need updated files.  Thus, all version of the Latin
locales needs to go.

The kk_KZ locale just came back with the UTF-8 codeset, but there are
character maps for PT154, so it's impossible to continue to have this
locale.

locales: also update lv_LV, pt_BR and kk_KZ

These were stuck with old definitions due to the cldr2def's configure
file missing these three locales.

Activate kk_KZ, lv_LV, and pt_BR locales

These three locales already existed, but they weren't being updated.
I've adjusted the xml configuration to get them building (minus the
kk_KZ.PT154 locale which will be removed).

While here, update the tools/tools/locale Makefile to replace all
six LC categories in /usr/src/share with the "make install" target,
and then install them on a live system with "make post-install" target.

Remove obsolete mklocale directory and its old src files

Use localedef(1) to generate LC_CTYPE, switch off mklocale

Active the new share/ctypedef directory and deactivate share/mklocale.
This means the LC_CTYPE files will be generated by localedef(1) now.
As a result, remove mklocale from bootstrap tools and remove it via
"make upgrade"

libc/locale: Revamp CTYPE support (from Illumos)

The LC_CTYPE format didn't change, but libc stills needs a revamp
to properly use the new LC_CTYPE files that localedef(2) generates.

Fix cldr2def tool and regenerate 2 makefiles as a result

I accidently changed the wrong makefile so both colldef and ctype makefiles
wrong wrong.  I adjusted the tool and regenerated the makefiles.

While here, remove the unused map.UTF-8 that should have been removed
earlier but wasn't due to a git misuse.

Unbreak world

I didn't mean to update the share/colldef Makefile yet, and an
incorrect version got committed.  This should fix world.

buildworld - Fix bootstrapping from older worlds

* __returns_twice doesn't exist in older sys/cdefs.h, fix bootstrapping by
  shoehorning a default if it does not exist.

libc/locale: Replace ascii.c, it was removed too soon

I am not sure what happened, I limited the commit commit but somehow
this deleted file got included in a recent commit.  It will be removed
again shortly.

Add share/ctypedef directory (it will replace mklocale)

This directory will generate new LC_CTYPE files.  They require a
significant update to libc/locale so it is not hooked into the
build yet.  This the the produce of the clr2def tool upgrade
and the generated codeset maps at tools/tools/locale/etc/final-maps.

Pregenerate maps for LC_CTYPE generation

These are the products of the new convert_map.pl which localedef
will use to generate LC_CTYPE.  To avoid duplication, these maps
will be used where they are (in tools/tools/locale/etc/final-maps)

It turns out that the widths.txt file is only used for LC_CTYPE,
so it's being moved as well as being removed from share/colldef.

Fix three clr2def2 character maps

The localedef(1) tool does not allow two symbols to be mapped to
the same unicode character.  I actually don't know if this is really
"wrong", but I had to adjust a couple of character sets that
violated this rule: ARMSCII-8 and Big5HKSCS.  Neither are present
on Illumos so that may explain why localedef(1) wasn't prepared
to do anything except throw an error.

The CP866 charset had a trailing garbage at the end of the file that
localedef didn't like, so I removed it.

clr2def: Add LC_CTYPE source file generation support

I added the capability to generate LC_CTYPE source files (really this is
basically extracting a section from the POSIX files) but there was some
logic to figure out how to use the least amount of files because some of
them are large.

I compromised on a scheme that makes two reductions.  The first eliminates
true duplicates and uses the SAME+= mechanism to create symlinks.  However,
this leaves still some duplicates because while the output is distinct,
the source files are the same (e.g. en_US.ISO8859* uses the same input file
as en_US.UTF-8 locale, but the LC_CTYPE products differ.  The script
identifies those are replaces them with symlinks.  So it looks like a lot
of files but really it's only about 12 or so.

During the actual LC_CTYPE generating, character maps are needed.  I added
a Illumos tool to do this, which I had to modify.  Unlike Illumos, we will
pregenerate the maps that the tool (convert_map.pl) produces.  I had to
spend hours troubleshooting various "invalid" inputs so this is definitely
something that should not be repeated in the build.

Fix zh_Hans_CN.GB2312 locale

It turns out that using a commented source file for LC_* file generation
really isn't a good idea.  In the cldr2def tool's charmap.xls, the
low ASCII is transformed to the "Full width" versions, but the first
byte just happens to be "#".  Yes, that's right, the comment character.

Since all comments are either "#" or or followed by a space, I can fix
the resulting broken zh_Hans_CN.GB2312 by alterning the grep instruction.
However, if we ever have a legitimate single "#" character as input, then
this won't work anymore.

The Armenian changes are a result to a tool correction that will be
commited shortly.

kernel/dsched: Use <machine/inttypes.h>, not <inttypes.h>.

kernel/vfs_quota: Remove unneeded <inttypes.h> inclusion.

kernel: Use <sys/stdbool.h> in kernel code, not <stdbool.h>.

kernel/iscsi: Remove unneeded <signal.h> inclusion.

kernel: Use <sys/bitstring.h> instead of <bitstring.h>.

<bitstring.h>: Move it to /usr/src/sys/sys so kernel files can use it too.

To avoid using userspace headers in the kernel.

agp: Remove some debugging printfs

drm: Add linux/hashtable.h

kernel/usb4bsd: Install gadget example drivers and fix usbtest.

Taken-from: FreeBSD

kernel/usb4bsd: Set USB_HAVE_MSCTEST_DETACH and adjust include guard.