socket: Allow keeping a reference on the new socket in sonewconn_faddr

It will be used to fix unix socket races.

drm: Implement gcd64.h math function

Adapted-from: lib/libc/stdlib/getopt_long.c

drm/linux: Implement simple capable() priv helper

drm/linux: Add define for jiffies_64 compat

Likely is wrong, but better than nothing

drm/linux: Implement atomic64_add/atomic64_sub macros

mbintowcr.3: Remove unneeded .Pp

mkregtable: Sync script to Linux v3.14

This fixes sscanf handling vulnerability

Taken-from: Linux drm/radeon/mkregtable.c

drm: const'ify ioctls table (v2)

Because, there is no reason for it not to be const.
We never modify the contents of drm_ioctls, so make it const.

kernel/nfs: Fix up the per-export address lists.

* Use a pool token to properly protect access to both the radix
  trees and the mask tree.

* Also free the mask tree when freeing the address list trees.

* Fix a few bugs in the original work (ne_inethead and ne_inet6head
  were not assigned, *prnh not set to NULL on free, and ne_maskhead
  was being unconditionally freed even if it wasn't initialized.

Reported-by: profmakx
Lots-of-help-from: sephe, dillon
Submitted-by: Nuno Antunes <nuno.antunes@gmail.com>

kernel/acpica: Put back debugger/disassembler code disabling at file level.

Removing those in the last ACPICA upgrade led to too much code going
into the acpi.ko module which is actually only needed when ACPI_DEBUG
is in the config.

Reported-by: profmakx, jh32

i386 removal, part 37/x: Remove more i386 related small bits and pieces.

socket: Reorder state setting a little bit in sonewconn_faddr()

This prevents several possible races.

socket: Move accept queues flush into sofree()

Prepare to fix unix socket races.

i386 removal, part 36/x: Remove the i386 specific kgzip(8) utility.

It was used to compress kernels to be loaded without the loader.

For our standard loader it is enough to just gzip the kernel (i.e.,
create /boot/kernel/kernel.gz). This doesn't work with modules
unfortunately.

Sync ACPICA with Intel's version 20150818.

* Disassembler and debugger are now standalone components without
  cross-component dependencies.

* Various fixes: BZ 1186, BZ 1192, BZ 1135, BZ 1015, BZ 794, BZ 1176,
  BZ 1185, BZ 1184, BZ 1188, BZ 1190, BZ 1187, BZ 1189, BZ 1191.

* More small fixes without BZ IDs.

* In the debugger, "objects" without arguments now displays a summary
  of the current namespace objects.

* In acpinames(8), the new -x option can be used to set the debug level,
  just like in acpiexec(8).

* aapits test has been removed.

kernel - Fix several low memory+swap pageout/killproc issues

* Add significant slop to the PQAVERAGE() calculation in the
  pageout daemon and increase the slop in the vm_paging_target()
  test the pageout daemon makes to determine if it can stop early.

  These adjustments fix a degenerate case when no swap is configured
  and a large number of clean pages are present in the inactive queue
  which could prevent the pageout daemon from cleaning a sufficient number
  of pages and cause it to start killing processes even when plenty of
  freeable memory exists.

* Impose a one-second delay when killing processes due to insufficient
  memory + swap.  This reduces the chance that multiple processes will
  be killed even if the first one would have been sufficient by giving
  the kernel more time to dipose of the process.

* Fix a bug in vm_page_alloc().  When v_free_count exactly matches
  v_free_reserved it successfully passes the vm_page_count_target()
  test but vm_page_alloc() will still fail.  This results in a livelock
  in vm_fault_object() and will livelock the pageout daemon vs a user
  process stuck in vm_fault(), causing the machine to lock.

  Fixed by adjusting the conditional test in vm_page_alloc().

Reported-by: luxh

lgamma.3: There is no lgammal_r() function in libm.

libc/regex: Fix up the regex upgrade.

* Fix typo in 3 function names: s/regnw/regwn/.

* Add missing overriding #defines for 4 further functions to <regex.h>.

<math.h>: Fix visibility of scalb(), which was removed from Issue 7.

logb.3: There is no scalbl() function in libm.

vkernel.7: Sort -d alphabetically.

mbintowcr.3: Add missing types.

procctl.2: Clean up a bit.

netinet{,6}: Assert in{,6}_inithead() are only used for system routing tables.

Suggested-by: sephe

kernel/nfs: Remove old hack abusing dom_rtattach.

* Mostly obtained from FreeBSD. Here's the relevant part of the
  original commit message.

    According to IANA RPC uaddr registry, there are no AFs
    except IPv4 and IPv6, so it's not worth being too abstract here.

    Remove ne_rtable[AF_MAX+1] and use explicit per-AF radix tries.
    Use own initialization without relying on domattach code.

    While I admit that this was one of the rare places in kernel
    networking code which really was capable of doing multi-AF
    without any AF-depended code, it is not possible anymore to
    rely on dom* code.

* Give netexports their own mask radix tree.

Reviewed-by: sephe, dillon
Tested-by: dillon

queue: Log 'last' ptr in addition to 'head'

socket: Assert SS_{INCOMP,COMP} before deq/enq so_{comp,incomp}

Suggested-by: dillon@

socket: Don't define SS_ISCLOSING same as SS_INCOMP

iasl.8: Clarify the -in option a bit better.

fdisk(8): Raise WARNS to 6 and fix warnings.

boot - Fix CD booting

* Recent changes to move the loader's heap to high-memory broke the
  CD I/O code due to being beyond the BIOS'es segmentation range.  The
  HDD code was already using bounce buffers, but the CD code was not.

* Adjust the CD I/O code to use bounce buffers too.

Reported-by: numerous.
Testing-by: swildner

corepower.4: Explain what the package power usage value means.

powerd: Restore backlight when powerd exits

inet6: Limit the # of fragments in addition to the # of fragmented packets

Obtained-from: KAME via FreeBSD

inet6: Send initial NS in a timely fashion.

The call of nd6_rtrequest() in nd6_output() sets the newly created
neighbor cache entry expire to time_uptime, which prevents the NS
output at the end of nd6_output().  Though the NS will be sent when
the neighbor cache times out, it will cause large delay (0~1s).

ndp: Fix neighbor cache entry expire time logging

kernel/vmm: Use "(a & b) == 0" instead of "!(a & b)".

Poked-by: dillon

kernel/vmm: Use __func__ and adjust whitespace.

kernel/vmm: Untangle a too deeply nested if/else.

Get rid of if/goto/else cases. Check errors first and return early where
possible.

<sys/vmm.h>: Fix include guard and adjust indent/whitespace a bit.

kernel/hammer: Simplify an if/goto/else construct.

sys/vfs/hammer: Cleanups

Remaining minor ones.

sys/vfs/hammer: Cleanup volume-add|del ioctl [3/3]

This commit is 3/3 of a series of commits that extract
common procedures on updating volumes header into a function.

Add hammer_update_volumes_header().

sys/vfs/hammer: Cleanup volume-add|del ioctl [2/3]

This commit is 2/3 of a series of commits that extract
common procedures on updating volumes header into a function.

Changing bigblock_stat fields to signed is ok (or even better)
since the original ondisk fields are int64_t.

sys/vfs/hammer: Cleanup volume-add|del ioctl [1/3]

This commit is 1/3 of a series of commits that extract
common procedures on updating volumes header into a function.

Reordering hammer_format_freemap() and updating volume count
doesn't affect behavior of volume-add since it's independent
of each other. Also note that these all must succeed anyway
as assertions show.

sys/vfs/hammer: Remove duplicated vfs code

Much of the code in sys/vfs/hammer/hammer_volume.c is taken
from the existing code, and some of them could be integrated
into mainstream hammer code. This commit does that without
messing up interface or making functional changes.

This greatly reduces and simplifies code, and also gets rid
of extra (and unnecessary) vfs open/close operations that
existed only to initialize or erase volume header while in
kernel space on ioctl.

sbin/hammer: Fix hammer show output format

Sync with formats of other fields.

hammer: Cleanups

Unfold lines (that aren't intentionally separated
into different lines) that fit in 80 chars.

Fold lines that are way too long.

hammer: Conform to style(9)

Also
* Remove header includes that are already included by
  common hammer headers (of either userspace or kernel).
* Add "#include <sys/vnode.h>" to sys/vfs/fifofs/fifo.h.

sys/gnu/vfs/ext2fs: Remove unused ioctl call and variables

In addition to 30b14d35.
(Also see r98542 and r104697 of FreeBSD)

sys/vfs/ufs: Remove unused ioctl call and variables

Similar to 30b14d35.
(Also see r98542 and r104697 of FreeBSD)

sbin/hammer: Add init_boot|mem_area_size()

Integrate copy-pasted code by 6f3076af into functions.

sys/vfs/hammer: Cleanup volume# iteration

if (volume == NULL && error == ENOENT) {...
can be removed since now that vol_no must exist.

If error==ENOENT and hits the assertion right after this,
then the code has a bug.

sys/vfs/hammer: Fix wrong function name in kprintf

It used to be "hammer_mountroot" according to 104cb849.
"hammer_mount" still isn't name of a function, but this
is what other kprintfs around here use.

sys/vfs/hammer: Fix inconsistent function prototypes

Should use either of the type name or typedef'd name
for both function prototype and the function itself.

(hammer mostly uses hammer_mount_t rather than struct
hammer_mount in this case)

sys/vfs/hammer: Avoid volume# inconsistency on mount

hammer_vfs_mount() should check and compare # of volumes
to mount (# of volumes in mount_hammer arg in blkdevs format)
and vol_count field in volume header.

mount_hammer should fail if they don't match even if it's
technically possible to mount at the moment after newfs.

In the following Example1, it's possible to safely mount
/dev/da1 without /dev/da2:/dev/da3 or
/dev/da1:/dev/da2 without /dev/da3 or
/dev/da1:/dev/da3 without /dev/da2 at this point because
both /dev/da2 and /dev/da3 has no data (only layer2 big-block)
right after newfs_hammer, however if filesystem has enough
data that zone2 next_offset has already reached the missing
volume before unmount, there is going to be inconsistency
between blockmap and actual mounted volumes, which results
in kernel panic. mount needs to avoid this by checking #
of volumes as the Example2 shows.

Example 1. - newfs 3 volumes and then mount 2 volumes
  # newfs_hammer -L TEST /dev/da1 /dev/da2 /dev/da3 > /dev/null
  # mount_hammer /dev/da1:/dev/da2:/dev/da3 /HAMMER
  # mount | grep /HAMMER
  TEST on /HAMMER (hammer, local)
  # hammer volume-blkdevs /HAMMER
  /dev/da1:/dev/da2:/dev/da3
  # umount /HAMMER
  # mount_hammer /dev/da1:/dev/da2 /HAMMER
  # mount | grep /HAMMER
  TEST on /HAMMER (hammer, local)
  # hammer volume-blkdevs /HAMMER
  /dev/da1:/dev/da2

Example 2. - with this commit it fails to mount
  # newfs_hammer -L TEST /dev/da1 /dev/da2 /dev/da3 > /dev/null
  # mount_hammer /dev/da1:/dev/da2:/dev/da3 /HAMMER
  # mount | grep /HAMMER
  TEST on /HAMMER (hammer, local)
  # hammer volume-blkdevs /HAMMER
  /dev/da1:/dev/da2:/dev/da3
  # umount /HAMMER
  # mount_hammer /dev/da1:/dev/da2 /HAMMER
  mount_hammer: Unknown error: Invalid argument
  # dmesg | tail -1
  hammer_mount: volume header says 3 volumes, but 2 installed
  # mount_hammer /dev/da1 /HAMMER
  mount_hammer: Unknown error: Invalid argument
  # dmesg | tail -1
  hammer_mount: volume header says 3 volumes, but 1 installed

sys/vfs/hammer: Fix error check on mount

Since it already has failed: that does the same thing,
goto failed; on each error case makes code more clear.

Remove error==0 from the first if() conditional since
error isn't 0 when hmp->rootvol==NULL.

sys/vfs/hammer: Fix comments

These functions return 1 or 0, but not TRUE or FALSE macros.
(there are also existing comments that use 1/0)

hammer: Fix unusual line break style

sys/vfs/hammer: Fix volume-del issue with >1 pfs

Since 5e1e1454 hammer reblock supports a new option that
can reblock all pfses within filesystem.

hammer volume-del needs to use this when it finds the volume
not empty and needs to reblock. Otherwise it only reblocks a
single pfs (pfs 0 in this case) and may end up ignoring data
in other pfses that should have been reblocked from that volume
(remember that pfs has nothing to do with which volume pfs
data/inodes/etc are stored in).

As the following examples show, hammer volume-del results in
failure if the above situation occurs. It fails because data
in non-pfs0 remains in that volume without being reblocked.
If one is lucky that the volume doesn't have non-pfs0 data,
then hammer volume-del won't fail even without allpfs=1 set
(of course given that the whole filesystem has enough space
for reblock to succeed).

--
Create filesystem that consists of 3 volumes and >1 pfses.
The root volume can't be removed, so fill up non-zero pfses
till it gets to the second volume while keeping enough space
for reblock to succeed. Then try to remove a non-root volume
that isn't empty which is /dev/da2 in this case.

  # hammer volume-blkdevs /HAMMER
  /dev/da1:/dev/da2:/dev/da3    /* /dev/da1 is root volume */
  # ls -l /HAMMER               /* data exists in pfs 1 to 12 */
  total 0
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:24 master1 -> @@-1:00001
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:31 master10 -> @@-1:00010
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:32 master11 -> @@-1:00011
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:33 master12 -> @@-1:00012
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:25 master2 -> @@-1:00002
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:26 master3 -> @@-1:00003
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:27 master4 -> @@-1:00004
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:28 master5 -> @@-1:00005
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:29 master6 -> @@-1:00006
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:29 master7 -> @@-1:00007
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:30 master8 -> @@-1:00008
  lrwxr-xr-x  1 root  wheel  10 Aug  9 13:31 master9 -> @@-1:00009
  # df -Th /HAMMER
  Filesystem  Type     Size   Used  Avail Capacity  Mounted on
  TEST        hammer   334G   118G   216G    35%    /HAMMER
  # hammer -f /dev/da1:/dev/da2:/dev/da3 blockmap | grep -A2 layer1
    layer1 4000000000000000 @2000000000800000 blocks-free 0
          4000000000000000 zone=4  app=8388608 free=0
          4000000000800000 zone=4  app=8388608 free=0
  --
    layer1 4010000000000000 @2010000000000000 blocks-free 13449
          4010000000000000 zone=4  app=8388608 free=0
          4010000000800000 zone=10 app=8388608 free=0
  --
    layer1 4020000000000000 @2020000000000000 blocks-free 14268
          4020000000000000 zone=4  app=8388608 free=0
          4020000000800000 zone=0  app=0       free=8388608
/* /dev/da1 is 100% used,
   /dev/da2 is partially used,
   /dev/da3 is 0% used */

Example 1. - without allpfs=1 fails in a second because
there isn't really anything it can do as there's no data
in pfs0 except for some inodes and btree nodes, etc.
  # time hammer volume-del /dev/da2 /HAMMER
  hammer volume-del ioctl: Device busy

  real    0m0.017s
  user    0m0.000s
  sys     0m0.000s
  # dmesg | tail -2
  reblock started
  Failed to free volume: Volume 1 not empty

Example 2. - this commit with allpfs=1 takes 15 min because
it reblocks all the data in all pfses (mostly from non-pfs0),
but successfully removes /dev/da2.
  # time hammer volume-del /dev/da2 /HAMMER

  real    15m7.664s
  user    0m0.000s
  sys     7m36.270s
  # hammer volume-blkdevs /HAMMER
  /dev/da1:/dev/da3

sys/vfs/hammer: Add (missing)debug print for data reblock

Add debug kprintf for data reblock since leaf/internal
node have it in the same format as this.

Also add "%08x",elm->base.localization to above and the
existing debug kprintfs.

corepower(4): Sensor for Intel CPUs' power usage via the RAPL MSRs

sensors: Add SENSOR_WATTS support to sysctl(8) and systat(1)

inet: Don't accept fragments if maxfragsperpacket is 0.

Obtained-from: FreeBSD

powerd: Set backlight to the specified value, if AC line is unplugged.

UTF-8 locales: Change all to use single master CTYPE file

The xx_Comm_US locale has been removed.  It's CTYPE file has moved
to en_US.UTF-8, and all other UTF-8 locales' CTYPE links to it.

The non-UTF8 locales remain essentially the same.  They have tailored
CTYPES per the CLDR definition, just as before.

locale gen tools: Set all UTF-8 to same rollup CTYPE

The CLDR CTYPE definitions are still used for non-UTF8 encodings,
but all UTF-8 locales now share a single "master" CTYPE that knows
all reasonable character sets.

locale - Add two new API functions

* Add wcrtombin() and mbintowcr(), powerful buffer-to-buffer functions
  to translate UTF8, which can also perform escaping and de-escaping,
  allow legacy parsing, and do checks with varying levels of strictness.

  NOTE: If no locale or "C" locale, these functions are 1:1 (do not do
UTF8 processing).  A UTF8 locale must be used to access these
functions.

* Add wcrtoutf8() and utf8towcr().  These work exactly the same as
  the above functions but are locale-agnostic.  They always operate in
  UTF8 and locale initialization is not necessary.

* Escaping and de-escaping for 8-bit-clean round-trips with two of the
  modes.

* Can construct UTF8B from unescaped 8-bit-clean data, can deconstruct
  UTF8B (restore the original clean data), and can also be flagged
  generically to take already-escaped UTF8B or wchars as input.

* Can be used to perform strict checks.

* Very powerful incremental buffer validation and processing capabilities.
  Far more visibility to the caller rather than hiding state in a tracking
  state structure.  No tracking state structure.

* Does not do idiotic nul buffer termination.  Caller passes explicitly
  sized data, can opt to include or not include a terminator (depending
  on what is desired), and the byte buffers can contain any 8-bit code
  including 0x00.

rollup UTF-8: Manually add NO-BREAK_SPACE

Move this definition from cldr2def to manual UTF8 definition.
It was omitted in the first draft accidentally.

Update common UTF-8 src file with generated one.

Add locale tool to generate "rollup" UTF-8 src file

The first version of the "common" UTF-8 file was hand-assembled by myself.
This is obviously prone to error and is very hard to maintain (the
previous incarnation was never maintained; not once after it was added).

To address these issues, create a new tool (using cldr2def as inspiration)
to create a composite UTF-8 source files using all available POSIX input
from CLDR.  What can't be generated still comes from a manual fragment
that is added to the common source file at the end.

This allows periodic maintenance when CLDR issues new releases.  We are
converging on using this composite (aka "rollup") file for all UTF-8
locales.

utf8.c: Fix second error of two-line patch

Embarrassing.

kernel/iwn: Grab the WLAN serializer around ieee80211_ifdetach()

This fixes a panic on kldunload.

utf8.c: Fix typo

reported-by: Yellow Rabbit

libc/locale: limit utf8 illegal input detection to 10FF FFFF

This had been mostly done but we missed these two changes.

Discovered-by: dillon

Add 6 Arabic locales: AE EG JO MA QA SA

The lack of Arabic support on BSD seems to be a glaring omission, so
lets help rectify that by adding since 6 locales:
ar_AE: United Arab Emirates
ar_EG: Egypt
ar_JO: Jordan
ar_MA: Morocco
ar_QA: Qatar
ar_SA: Saudi Arabia

There are obviously more (e.g. Iraq, Kuwait, Algeria, Libya, Tunisia,
Syria, etc.) but I selected these as being the most likely to be
used in my limited opinion.

They are UTF-8 locales only. Most of them are identical to ar_SA except
for the monetary definitions (each has a different currency)

cldr2def: Add 6 Arabic locales: AE EG JO MA QA SA

The lack of Arabic support on BSD seems to be a glaring omission, so
lets help rectify that by adding since 6 locales to the cldr2def tool:
ar_AE: United Arab Emirates
ar_EG: Egypt
ar_JO: Jordan
ar_MA: Morocco
ar_QA: Qatar
ar_SA: Saudi Arabia

There are obviously more (e.g. Iraq, Kuwait, Algeria, Libya, Tunisia,
Syria, etc.) but I selected these as being the most likely to be
used in my limited opinion.

They are UTF-8 locales only.

ctypedef: Replace entire "print" sections with one element

With a recent change to localedef, the "print" section became completely
redundant.  Since it can consume several hundred thousand bytes, removing
it makes the ctype src files much smaller, usually by 33% - 50%.

However, non-breaking spaces have not been previously defined despite
being used in monetary definitions. To correct this mistake, the
non-breaking space has been introduced to ctype as a printable blank
character.  Localedef considers "blanks" as "spaces" so there is no need
to explicitly define this as a space as well.

cldr2def: Slim down ctype src files

I originally modified the tool to use "ranges" to define the CTYPE,
e.g. "<a>;...;<z>" rather than "<a>;<b>;<c> ... <z>".  This worked
great on UTF-8 but converting to other encodings is not supported
because part of the range may not exist, or the upper boundary may
come before the lower boundary in the target encoding.  Thus I had
to remove that work, but I was able to retain the removal of the now
redundant "print" section.

I confirmed that the output without "print" section was identical to
before, and then I added back "print" section with a single element:
NO-BREAK_SPACE. This character is used in quite a few monetary
defintions, but it was never mapped to CTYPE, which I believe is a
mistake.  NO-BREAK_SPACE is also defined as a blank, which is considered
a space as well by localedef tool (so there's no need to also define a
"space" section").

The net change is multibyte encodings now have non-breaking spaces
1) recognized and 2) defined as printable.

localedef(1): eliminate need for "print" definition

By having space automatically classified as "print" type, we can
eliminate the print section from ctype src files completely (they
are just "graph" plus "<space>".

inet6: Set rtentry properly in nd6_output()

inet6/nd6: Join and leave solicited node mcast group once on cpu0

inet/arp: Announce proxied ARP once on cpu0

inet6: Dispatch mcast routing expire upcalls to netisr0 to run

inet6: Dispatch route timeouts to netisr to run

While I'm here, remove unnecessary crit sections.

inet6: Avoid excessive calling of in6_addr2zoneid()

Obtained-from: FreeBSD

Update the pciconf(8) database.

July 31, 2015 snapshot from http://pciids.sourceforge.net/

kernel/lagg: Use __printflike().

kernel/ddb: Change some function definitions to static.

All these were already declared static.

i386 removal, part 35/x: Remove the i386 specific vesa(4) code.

Clean up vga(4) too.

kernel/vga: Remove unused code.

patch - Fix shell injection vulnerability

* Fix shell injection vulnerability in patch(1) via ed(1) by
  tightening sanity check of the input. [1]

* While I'm there also replace ed(1) with red(1) because we do
  not need the unrestricted functionality.

Obtained from: Bitrig [1], and discussions w/ FreeBSD
Security: CVE-2015-1418 [1]

Sync zoneinfo database with tzdata2015f from ftp://ftp.iana.org/tz/releases

* asia: North Korea switches to +0830 on 2015-08-15. (Thanks to
    Steffen Thorsen.) The abbreviation remains "KST". (Thanks to
    Robert Elz.)

* europe: Moldova starts and ends DST at 00:00 UTC, not at 01:00 UTC.
    (Thanks to Roman Tudos.) Also mention that Herbert Samuel
    introduced the term "Summer Time".

* northamerica: Comments for America/Halifax and America/Glace_Bay have
    been improved. (Thanks to Brian Inglis.)

* southamerica: Uruguay no longer observes DST. (Thanks to
    Steffen Thorsen and Pablo Camargo.)

* Theory: The Theory file mentions naming issues earlier, as these seem
    to be poorly publicized (thanks to Gilmore Davidson for reporting
    the problem).

* Various: Data entries have been simplified for Atlantic/Canary,
    Europe/Simferopol, Europe/Sofia, and Europe/Tallinn.  This yields
    slightly smaller installed data files for Europe/Simferopol and
    Europe/Tallinn. It does not affect timestamps. (Thanks to
    Howard Hinnant.)

gnu man(1): Recognize locales with Scripts in name

Our GNU man considered locales out of the form of xx_YY (where x is
anything except "_" and Y isn't checked) to be invalid.

However, we have valid locales like sr_Cyrl_RS which were being
rejected.  Adjust the validation code to handle these names.

It also appears that man requires a codeset to be specified, e.g.
fr_FR would be ignored but fr_FR.UTF-8 would be accepted.  I didn't
do anything about this.

Regenerate locales (common.UTF-8 => xx_Comm_US.UTF-8)

A rename is required because some applications check the format of the
locale name, so we need to use a legal one (e.g. xx_Yyyy_ZZ.<encoding>)

cldr2def: Change locale from common.UTF-8 to xx_Comm_US.UTF-8

Some applications check the format of the locale so we need to stick
to the xx_Yyyy_ZZ format.

inet6: Change scope to zone and use in6_clearscope() whenever possible

Obtained-from: KAME via FreeBSD

socket: Fix soabort() race if crfree() blocks in soinherit().

In soinherit(), if the accepted socket was on the temp list
and crfree() blocked, the owner netisr's soabort() would cause
use-after-free.

After this commit, we move one accepted socket each time, so
that the potential blocking crfree() will not cause trouble
for us.  And we no longer allow inheritting incomplete queue,
which could be dropped by definition.

Pointed-out-by: dillon@

locales: Add "common.UTF-8" locale

See previous commit message.  This locale is en_US.UTF-8 with a new
LC_CTYPE that covers all common charactersets (not the full UTF-8, but
a very good chunk of it).  This LC_CTYPE source file is manually
created, unfortunately, so it can slowly rot if not updated.

Other locales can use the versatile support of UTF-8 by setting
LC_CTYPE to "common.UTF-8" in the environment.

cldr2def: Modify tool to create a "common" UTF-8 locale

With the switch to CLDR definitions, each locale has specific encoding.
E.g. en_US, fr_FR has latin characters, el_GR has Greek characters,
etc.  Seeing a filename written in Chinese characters while in en_US.UTF-8
will result in a bunch of "???" because the characters are illegal for
the locale's CTYPE definition.

Previously there was one shared CTYPE for all locales.  This was handy
but incorrect.  It was also not updated and became slightly bitrotted.

I am going to create a "fake" locale called "common.UTF-8".  It is the
same as en_US.UTF-8, but with an LC_CTYPE that is practically universal
in that all common character sets (and symbols) are defined.  To use it,
one can do either:
  1) Set LANG env. variable to "common.UTF-8"
  2) Set LC_CTYPE env. variable to "common.UTF-8"

e.g. "env LANG=fr_FR.UTF-8 LC_CTYPE=common.UTF-8 ls"

This commit only updates the tool.  The locale comes later.
In addition to making changes that support the "common" base, the tool
was also tweaked to favor en_US.UTF-8 as the "LOCALES+=" value.  This
should reduce a lot of the renaming churn we've been seeing on new
generations.