Always build world under C/POSIX locale

gold linker: Fix SYSROOT definition (unbreaks world for some)

The linkers are supposed to have a different system rool for the
crosstool versions, but this was not working for the gold linker.  As
a result, the host libraries are getting picked up instead of the
world object lib directories.

This commit fixes the build problem.  As a result, a local modification
to a gold source file is been removed (for 2.24 and 2.25)

Remove offsetof definitions from binutils* sysdep.h

There's a guard to prevent redefinition of offsetof.  The problem is that
the <sys/cdefs.h> definition comes in just after, so it's still redefined.
Just remove the definition from sysdep.h and use the DF version (this
avoids a bunch of redefinition warnings during building)

Block out two more _Noreturn redefinitions

inpcb: Unbreak SO_REUSEPORT support.

inp_lport must not be whacked when inpcb is removed from local
port hash, since the inp_lport will be used to locate local group
Use inp_phd instead to detect whether the inpcb is on local port
hash or not.

This is a bug introduced by part of:
296c350d3c63a181744b80a4b7973dac5fc162a3

udp: Fix bind races due to async close and random socket inital msgport

Bind for UDP sockets is now serialized by local port based netisr.  And
on detach path, the UDP inpcb is removed from local port hash before
other netisrs are synchronized, so that the local port for the detaching
UDP inpcb could be recycled timely.

tcp: Fix bind races due to async close and random socket inital msgport

Bind for TCP sockets is now serialized by netisr0.  Add comment about
this bind race.

Reported-by: Justin Sherrill

libstdc++ (5.0): Modify to allow clang 3.6+ to used C99 functions

The "throw()" attributes in libstdc++ are unique to GCC, so when clang 3.6+
tries to use them, a prototype mismatch error comes up.  This modification
allows clang to use the entire libstdc++.

libdiffutils: Don't "predefine" _Noreturn

Libdiffutils config.h defines _Noreturn which causes a redefinition warning
when <sys/cdefs> defines it afterward.  Comment it out to prevent the warnings.

Tweak cdefs.h (no functional change)

This check was bothering me so I tighted it up.

We should think about removing all these GNUC version checks for at
least GCC 4.2.1 and below.  I suspect DF will not build with less
than GCC 4.4 in any case, but certainly GCC 3 and below could never
be used, so these definitions that depend on GCC 2, 3 will never
fail thus they should be set uncondionally to clean this header up.

Switch to using gold linker by default

DragonFly has always used the "GNU ld" linker to build itself.  Now that
the ELF boot loader has been fixed to handle zero-offset headers (seen
with zero-length ELF notes), the newer gold linker can handle being the
default.  That's what this commit does.

People can continue with the classic linker by putting the following in
/etc/make.conf:  WORLD_LDVER=ld.bfd
... and setting "LDVER=ld.bfd" in their environment.

The gold linker does not use the bfd library and thus is limited to the
ELF format (fine for DF).  It's code is much cleaner (c++), so it's easy
to understand and modify, and it reportedly links complex c++ object
files significantly faster than the BFD-based linker.  Both linkers are
written by the same person, Ian Lance Taylor.

Restore buildworld from clang (adjust libm)

Functions like "isinff" come from GCC only, causes a missed reference when
the world is built with clang.  To solve, bring back FreeBSD versions of
round(|f|l).  An additional benefit is that these functions appear to be
improved over the OpenBSD versions (avoids unnecessary conversions).  The
FreeBSD roundl uses ENTERI/RETURNI macros so I left these off meaning DF
will still not able to raise exceptions on roundl.

Since isinff and friends are no longer used, clang can continue further with
building the world.

Restore buildworld using clang (XZ)

The new XZ was configured using GCC and thus clang will fail when building
liblzma due to missing a gcc-specific header.  This added check will restore
building DragonFly with clang.

drm: Fix previous commit

drm: Handle DRM_CAP IOCTLs for querying cursor width and height.

Fixes cursor corruption on my AMD Kaveri APU.

Taken-from: 8716ed4e7bed4e4c7e3f37940e950ddc0362f450 (linux)

drm: Import memchr_inv() from NetBSD

boot loader: Improve code of elf header initialization

This has been driving me crazy.  This change has no practical difference,
but I didn't like seeing the code loop through headers twice for no good
reason.  This moves all the initialization to a single loop.

drm: Implement a few missing functions from linux/timer.h

drm: Add list_replace_init()

Obtained from: drm/radeon's mkregtable.c

drm: Implement signal_pending()

top: Fix system process cpu usage percentage display

Not accurate, but much better than 0.00%

top: Fix 'c' for -S and -I

style: Fix white spaces

uipc: Port Unix socket domain GC from FreeBSD.

The new GC code records struct file in unpcb when the unpcb
is used as one of the rights.  And GC only scans all unpcbs,
instead of all files, and GC only takes unpcbs used as rights
as targets.  Unlike FreeBSD:
- We don't scan sockets on so_comp, since they are on unpcb
  global lists.
- We don't allocate a temporary array for all unreachable
  Unix domain sockets, since it could be pretty large.
  Instead, the unreachable Unix domain sockets are processed
  chunk by chunk (in the same style as our original GC code).

The original GC code is still kept around for reference
(under UNP_GC_ALLFILES).

And optimize unp_discard() a little bit by calling fdrop()
directly, if the right is not a Unix domain socket.  This is
also taken from FreeBSD.

While I'm here, reorder unpcb fields (moving most commonly
used fields to the beginning of unpcb) and add more comment.

kernel - Fix comment type-o

* Fix comment type-o

kernel - Fixes for usb modems

* Separate t_sc into t_sc and t_slsc to allow line disciplines to
  coexsist with USB serial.  This allows SLIP to work.  Please don't
  ask me why I still need to use SLIP.

* Fix several panics in usb_serial.c.  Missing initializations,
  deadlocks due to locks held during blocking operations,
  missing unlocks, etc.

* Fix improper signed-char promotion to int causing high-bits to be
  set in calls to linesw[].l_rint(), which prevented SLIP from recognizing
  packets.

* Allow flags to be adjusted for SLIPs sl%d interfaces, in particular
  allow them to be setup as broadcast interfaces instead of point-to-point
  interfaces if desired.  Settable via /boot/loader.conf.

* Still TODO: Bugs present related to detection of modem control bits.

Some adjustments to the recent dsched removal.

* Make 'options DSCHED_FQ' a no-op for now. It used to be in our
  default config, so give people some time to edit their custom
  configs derived from X86_64_GENERIC, like we did for other such
  options. It will be completely removed at a later point in time
  after the release.

* Add a quick note to UPGRADING about this.

* While here, remove associated manual pages and MLINKS too.

kernel/drm: Fix an unitialized variable warning when building with -O0.

Reported-by: tuxillo

Remove <malloc.h> from the system.

Originally, I wanted to follow FreeBSD which errors if __STDC__ is
defined and silently includes <stdlib.h>, which has the malloc()
and friends prototypes, if it is not defined. The only case where
__STDC__ isn't defined used to be when -traditional was passed to
GCC, which used to attempt an emulation of a pre-standard compiler.
But -traditional has since been made a cpp(1) specific option in
newer releases of GCC, so it becomes more and more pointless to
support <malloc.h>, even if we went with FreeBSD's version.

Therefore, remove it completely.

Also disable its usage in a number of contrib/ software which
expected it due to its presence at the time when the software was
configured.

Suggested-by: marino, who also fixed the resultant dports breakage

sys/dev/disk/dm: Don't expect destroy() to set config to NULL

Having a comment like below in dm core that expects programmers
to code their dm targets in a certain way is not efficient.
They may not read such a rule written in the source.

  /*
   * Remove target specific config data. After successfull
   * call table_en->target_config must be set to NULL.
   */

Just check a return value of destroy() and set config to NULL
on dm core side since it's also visible to dm core. There is
nothing targets can/would do with the config pointer other than
setting it to NULL considering targets have just freed it.

sys/dev/disk/dm: Add a comment on race on unload

There is a minor race window in dm_modcmd() after the below
conditional on unloading dm.ko. It's possible to create a new
device after it gets beyond the conditional with 0.

    if (dm_dev_counter > 0)
        return EBUSY;

Running the below a.sh and then b.sh concurrently causes
kernel panic. Avoiding this race seems to be difficult using
the existing locks that are all file local ones. The panic
can be reproduced with or without the previous commit.

===== a.sh
  #!/usr/local/bin/bash
  while [ 1 ]; do
      kldload dm
      kldunload dm
  done

===== b.sh
  #!/usr/local/bin/bash
  kldload dm
  while [ 1 ]; do
      dmsetup create zero1 --table '0 100 zero'
      dmsetup remove /dev/mapper/zero1
  done

sys/dev/disk/dm: Fix device counter handling

dm_dev_list and its element counter dm_dev_counter should be
protected by the same lock dm_dev_mutex. Having these updated
separately makes code logic more complex than it should.

If dm_dev_counter is protected by dm_dev_mutex, then no need
to care if dm_dev_counter++/-- are atomic or not.

sys/dev/disk/dm: Fix/refactor alloc/free functions [6/6]

Rename dm_target_rem() to dm_target_remove() for consistency.

sys/dev/disk/dm: Fix/refactor alloc/free functions [5/6]

Add dm_target_free().

sys/dev/disk/dm: Fix/refactor alloc/free functions [4/6]

dm_target_alloc() takes char *name, but does nothing with it.
Add strlcpy and remove strlcpy from each target's init().

sys/dev/disk/dm: Fix/refactor alloc/free functions [3/6]

dm_dev_alloc()/free()
* Make them static.
* Make alloc() take name and uuid just like dm_pdev_alloc().
* Refactoring.

dm_pdev_alloc()/free()
* Fix memory leak.
* Rename dm_pdev_rem() to dm_pdev_free().
  A simple kfree function should be xxx_free() but not xxx_rem().
  xxx_rem() isn't necessarily a name used for just kfree() in
  other files, which makes naming very confusing.
* Refactoring.

sys/dev/disk/dm: Fix/refactor alloc/free functions [2/6]

Rename dm_dev_rem() to dm_dev_lookup_evict(). There is
dm_dev_remove(), and having remove()/rem() is confusing.

Refactor dm_dev_lookup()/dm_dev_lookup_evict() using a common
lookup function.

Disable dm_dev_lookup_evict() by #if0. This function is only
used for renaming, but renaming is not implemented.

sys/dev/disk/dm: Fix/refactor alloc/free functions [1/6]

There are way too many functions with similar names that do
something related to removing and/or freeing dm device.

dm_dev_rem_dev() doesn't need to be a function so get rid of it.
dm_dev_destroy() can be a static function.

Remove dsched_bfq.4 manual page from the Makefile too.

Fix module name in the drm.4 manual page.

Remove no longer used dsched modules & manpage via 'make upgrade'.

uipc: Release token in the proper order on unconnected DGRAM send path

Reported-by: zrj

Update some generated collate definitions

Likely due to recently fixed bugs, four colldef files generated slightly
differently than before.  The changes look correct so let's just take the
latest version.

cldr2def: Use explicit target files when generating symlinks

Update the generated makefiles to use a target filename on symlinks.
This avoids creating a directory symlink with the target directory
does not exist.

Taken from: FreeBSD

Remove obsolete references to libedit from gdb

We removed libedit from gdb a long time ago (readline is mandatory
so we used bundled version) but apparently these references were
missed.

kernel - Remove dsched

* After consultation, remove dsched from the kernel.  The original idea
  is still valid but the current implementation has had lingering bugs for
  several years now and we've determined that it's just got its fingers into
  too many structures.

  Also, the implementation was designed before SSDs, and doesn't play well
  with SSDs.

* Leave various empty entry points in so we can revisit at some
  future date.

drm - Fix kldload issue

drm_setsarea() -> drm_legacy_getsarea() in one place, fixed kldload issue
w/haswell graphics.

drm/i915: Remove old i915kms.ko modules

drm: Add nsecs_to_jiffies()

systat/pv: Avoid systat pvmmeter crashing for refresh rates <1s.

Also fixes values displayed for non-integral refresh-rate values.

top: Actually implement DragonFly code for the interactive 'c' command.

Using the 'c' command now allows filtering displayed processes by
command name, as documented in top(1). Filtering by command name displays
only processes whose command contains the given substring.
This matches thte behaviour of the 'g' option in OpenBSD's top.

Using 'c' again and just pressing enter without entering a command name,
disables filtering and displays all processes again.

Sync col(1) with FreeBSD.

* Multibyte character support.

* Misc bug fixes and code cleanup.

Remove unnecessary whitespace in macro arguments in some manual pages.

Add README for basic locale source file generation

Bapt wrote this README for FreeBSD, let's bring it in as a starting point.

nl_langinfo(CODESET): Again return "US-ASCII" for C/POSIX

Reflecting that the "C"/"POSIX" locale has a different encoding (8-bit)
than "US-ASCII" (7-bit) resulted in immediate fallout on ports,
particularly on python.

Looking at glibc, nl_langinfo returns "ANSI_X3.4-1968" for both "C" and
"POSIX" locales, which is the Linux equivalent of US-ASCII.

Despite it being impossible to distinguish between C/POSIX and US-ASCII
with this change, it needs to be reverted for the sake of third-party
software compatibility.  (Remember nl_langinfo has no standard)

kernel - Improve tcp starting window

* The tcp sender inflight management was forcing a starting window that
  was way too small for international connections, causing a bulk fetch
  to take several seconds to ramp up.  This management is enabled by default.

* Add net.inet.tcp.inflight_start to set the starting window and set the
  default to something more reasonable, 33792.  Inflight management previously
  used net.inet.tcp.inflight_min as the starting value, which was 6144 and
  way too small.

* This will significantly improve the performance of small fetches, e.g.
  pkg install's, update's, and upgrades, and the performance of small web
  server fetches occuring over high latency connections.

Reported-by: tuxillo

nl_langinfo: Simplify case ladder

The NONE:US-ASCII case isn't necessary.  The "NONE:" case will handle
US-ASCII, so let's remove the redundant handling.

locales: Enforce US-ASCII encoding (limited to 7-bit)

The US-ASCII format was getting treated identically to POSIX.  It is
supposed to throw an ILSEQ errno if a value of 0x80 or greater is
encountered, so let's bring back the "ASCII" handling.

While here, change nl_codeset to return US-ASCII only when the encoding
really is "US-ASCII".  Before "C" and "POSIX" encoding returned this
string, so now they return "POSIX".

localedef(1): Remove GCC pragmas on two source files

Taken-from: FreeBSD

uipc: Use taskqueue to run GC.

And revoke no longer used unp_gcing.

uipc: No need to call sorflush() before unp_gc()

And move unp_gc() to the end of unp_detach().

test: Add test for unix socket cross/self reference

cross ref: s1 on s2 rcvbuf, while s2 on s1 rcvbuf.
self ref: s1 on s1 rcvbuf, while s2 on s2 rcvbuf.

sys/dev/disk/dm: Check if target has registered handlers

Define which handlers are mandatory or optional.
init(), destroy(), strategy() are (or should be) mandatory.
Others aren't needed by all targets hence should be optional.

Add sanity checks in dm_target_insert() to make sure targets
have implemented and registered mandatory handlers.

Cleanup struct dm_target by removing obvious comments and
adding comments on mandatory/optional handlers.

sys/dev/disk/dm: Rename aprint_debug() to dmdebug()

Not sure what aprint is, but dmdebug() is better considering
this macro does
    if (dm_debug_level) kprintf(...);

sys/dev/disk/dm: Add dm_alloc_string()

Add dm_alloc_string() which kmallocs char* from M_DM.

It was confusing that targets had to use M_DM for status
purpose while targets had their own M_DMXXX. Using this
wrapper function makes target code less error prone when
allocating a string without an extra comment on usage.

sys/dev/disk/dm: Remove misleading code/comment on linear target arg

The offset arg is mandatory.
Remove code and comment that makes it sounds like it's optional.

drm: Don't leak memory from linux_workqueue.c

cldr2def: Pad CJK short months

Since 2001, FreeBSD has padded the first 9 abbreviated month names
with a space for the CJK locales.  This allows them to line up.
This alternation will return the padding to avoid a regression
for users (and avoid having to hand-edit the source files)

sys/dev/disk/dm: Fix/refactor TAILQ_HEAD structure

Some minor fixes.

Initialize TAILQs in init() since they are removed and freed
in uninit(). Not doing it in init() works only when init() is
guaranteed to be called once.

sys/dev/disk/dm: Fix table/info priority

Fix conditional in dm_table_status() added in e243a4fb to
avoid a potential bug, where DM_STATUS_TABLE_FLAG is set,
but table() handler is NULL, and results calling info().

Currently there are no target that implements info() but
does not implement table() (see f134a703 and 54b60c60).
Therefore this isn't likely to happen, but should be fixed
to avoid a potential bug.

sys/dev/disk/dm: Use uint32_t for flags

since libprop uses uint32 APIs for this.

sys/dev/disk/dm: Change DM_XXX_FLAG() to inline functions

These shouldn't be macros IMO.

sys/dev/disk/dm: Cleanup dm_dbg_print_flags()

Some minor fixes.

sys/dev/disk/dm: Whitespace cleanups

sys/dev/disk/dm: Fix typo

"striped" is the name of this target.

localedef: Replace avl tree (cddl) with RB tree, plus ...

When FreeBSD adopted DragonFly's locales, the AVL tree code was replaced
with an RB tree equivalent. While cddl wasn't an issue here, let's bring
in FreeBSD's changes since they did the work.

Some other changes:
 * replace (safe) strcpy+strncat with snprintf
 * rework charmap types/prototypes to remove GCC pragmas
 * Support case where wchar_t is an unsigned int (ARM)
 * Change -D "DragonFly-style" option description to -D "BSD-style"

tree.h: Restore ability to generate static functions

These two functions were hardcodes as "static" before the previous
commit which removed the qualifier.  Instead, "static" should have
been changed to the the STORQUAL macro argument.

Doing so now fixes static RB function generation.

sys/dev/disk/dm: Refactor dm_table_status_ioctl()

dm_table_status_ioctl() is getting messy, so separate
table/info handler related part into a different function.

prop_dictionary_set_cstring(target_dict, DM_TABLE_PARAMS, "");
is necessary when table/info handlers aren't supported or
handlers return NULL. See a6cf5418.

sys/dev/disk/dm: Don't force targets to implement table handler

All targets implementing table handler is redundant as some
of them don't need to do anything. Avoid it by a simple NULL
check, just like what's been done to other handlers.

drm: Add ktime_get_raw_ns()

sys/dev/disk/dm: Remove unnecessary dump=NULL;

sys/dev/disk/dm: Remove upcall handler

dm target's upcall() handler
  int (*upcall)(dm_table_entry_t *, struct buf *);
implemented by dm targets acutally do nothing other than
returning 0. Also note that upcall() is not used by dm core.

The targets that are supposed to be relying on this api are
obviously not working at the moment, however things aren't
as simple as just implementing missing upcall() handler.

upcall() is supposed to be something to do with targets like
snapshot, but it lacks documentation and purpose of this api
is not clear at all. Whoever tries to implement snapshot/etc
will have to re-design dm core and appropriate handlers from
scratch anyway without using the existing one.

drm/i915: Rename the kernel module to i915.ko

* Giving it the same name than on Linux

* Bump __DragonFly_version

drm: Make dev.dri.X node creation work properly with multiple drm devices.

Just use the device unit number for the sysctl node name.

corepower: Use rdmsr_safe to check availibility of the MSRs first.

This should avoid panic-ing in virtual machines where the RAPL MSRs are
not available.

Replace our soelim(1) with FreeBSD's.

Before, DragonFly used Bill Joy's original UCB version, which we inherited
from FreeBSD 4. We never switched to groff's version like they did later.
A year ago they replaced groff's version with one written by bapt.

dports needs features from it which our version doesn't provide.

Pointed-out-by: marino

kernel/if_re: Add support for the Realtek 8168H.

It is found in the Intel NUC5CPYH, for example.

Adapted from FreeBSD.

Reported-and-tested-by: Michael Iline <michael.iline@yahoo.com>

<sys/cdefs.h>: Align some indent (no functional change).

sys/dev/disk/dm: Disable 2nd level bio_done handler for striped target

Disable 2nd level bio added by the previous commit for now.

All it does is count # of i/o error if any, and it probably
doesn't worth imposing 2 levels of callback for each stripe
device just to do this. Changing netiobuf makes it possible
to do this without using stacked bios, but that requires
(not large but) modification to netiobuf in vfs.

sys/dev/disk/dm: Add 2nd level bio_done handler for striped target

As mentioned in b48c316c, dm-striped target needs to have its
own callback in order to make use of error counter. It could
be done by either modifying netiobuf code or using stacked bio,
but using stacked bio seems to be the right approach here as
it doesn't modify the existing netiobuf bio code.

This commit adds bio_done handler for nbio (the 2nd level bio
after pushing the original bio), and make the handler increment
num_error field of a stripe device if i/o error is detected.

sys/kern/vfs: Add comment on buf(9) manpage

man buf(9) is obsolete and doesn't reflect implementation
although the manpage doesn't say so.

sys/kern/vfs: Fix wrong function name in panic()

sys/kern/vfs: Fix wrong function name in kprintf/panic

ae8e83e6e in 2009 renamed biodone() to bpdone(), and made
bpdone() to be called by the new biodone() implementation
as well as other callers, but the function names used in
kprintf() and panic() were not updated to "bpdone:".

bpdone() isn't exclusively used by biodone(), so it should
use a proper function name.

sys/dev/disk/dm: Cleanups

minor fix and typos.

sys/dev/disk/dm: Remove redundant kprintf in dm strategy

Having two kprintf("------...\n"); before and after debug
messages is redundant since they mostly end up printing
two consecutive lines. One of them could be removed.

sys/vfs/hammer: Add HAMMER_ITOB() macro

to hide explicit cast from C code so the impact will be small
on possible data structure change. No change in binary.

uipc: Use token for rights counting

This is mainly used to avoid races stemming from f_msgcount accessing
w/o unp_spin.

uipc: Factor out unp_{add,del}_right()

compilers.conf: nextclang => clangnext

After thinking about it, we want to keep the clang compilers starting
with "clang" so that make can filter for it, e.g. ".if ${CC:Mclang*}".

compilers.conf: Add the two latest clangs to options

This adds "clang37" and "nextclang" defaults to compilers.conf.
Note that nextclang has a new port: devel/llvm-devel.  In fact
lang/clang37 is just a metaport that builds devel/llvm37.

"nextclang" will change over time.  Currently it's the precursor to
clang38, but once llvm3.8 is released, it will become the precursor
to clang 3.9 (or whatever comes after 3.8)