ldns: Adjust makefiles for ldns-1.7.0 update.

Several changes:
 * move ldns.h to contrib
 * use single config.h
 * convert ldns headers to private (ldns is a private base lib)
 * bump soname for api changesmi, use shpub
 * add missing deps on librecrypto.so
 * update READMES

Currently only user of the libprivate_ldns is drill(1).
OpenSSH will be adjusted to use this lib next.

Merge remote-tracking branch 'origin/vendor/LDNS'

Revert "drill(1): Use strdup() for known strings."

This reverts commit 471272f59981f2dcc1aac28b61c0a06d49388615.

Already in a new version.

unzip(1): Add missing dependencies.

Satisfies NOSHARED build after libarchive update.

Makefile.inc1: Update library interdeps.

 * libarchive no longer depends on libmd
 * libarchive and liblzma no longer depends on libthread_xu
 * libdevattr can be compiled in standard order

Adjust lib/Makefile to match output of tools/make_libdeps.sh.

xz: Adjust makefiles for xz-5.2.4 update.

Disable multi-threading on liblizma by deafult to prevent libarchive
getting a hard dependency on pthreads. Move whole threading support
directly to usr.bin/xz. This solves static linking and simplifies the
lib/Makefile inter-libs dependencies. This also makes pkg(8) no longer
implicitly depend on pthreads. As bonus, allow crunchgen'ed xz(8)
without multi-threading support. Should be benefitial for initrd/rescue.

Merge remote-tracking branch 'origin/vendor/XZ'

Adjust files for libarchive-3.3.3 import.

This finally drops dependency on libmd. Also avoid pthreads from lzma.

Changes:
 * Remove LIBMD
 * Add README.DELETED
 * Fix Symbol.map
 * Adjust tools to take version from config.h

Merge remote-tracking branch 'origin/vendor/LIBARCHIVE'

libarchive: Revert manpage fixes.

libarchive: Revert local changes.

Fixed in new version.

Revert "libarchive: Use memcpy() when constructing buffers."

This reverts commit be16867234e89aa9cc5f9a12e3836f84f5268b80.

Before libarchive update.

Update LibreSSL makefiles.

Version 2.9.1, add local CRYPTO_free.c CRYPTO_malloc.c to avoid extra deps.

libressl: Add missing timespecsub().

The <sys/time.h> needs update for 3 arg macros.

Add local patches to LibreSSL.

Document local changes.

Merge remote-tracking branch 'origin/vendor/LIBRESSL'

Revert "libressl: Few local modifications for netcat."

This reverts commit 66ceb5e9b7ccc1005b0b710f32228c0b69070e98.

Before LibreSSL update.

Revert "security/libressl: Fix ECDSA P-256 timing attack vulnerability"

This reverts commit bd84e83893b298face58762e1fec24667126c8c7.

Before LibreSSL update.

wpa_supplicant(8): Add LibreSSL v2.9.0 compat fixes.

The tls_connection_get_keyblock_size() seems to be unused.

The wpa_supplicant really needs a proper update.

libssh: Disable use of openssl engine.

ldns: Add OPENSSL_NO_ENGINE checks.

Functionality is unused.

ldns: Update vendor branch from 1.6.16 to 1.7.0

Upgrade xz from 5.2.2 to 5.2.4 on the vendor branch.

Remove not needed sources.

Import libarchive-3.3.3

Remove README.DELETED, it will be recreated on master branch.

Update LibreSSL from version 2.4.4 => 2.9.1

Submitted-by: Maxim + v2 update to 2.9.1 stable

drm/linux: Add trace/events/dma_fence.h

<unistd.h>: FWIW, set _XOPEN_ENH_I18N, per the standard.

We support all functions that it originally required, when it was
still optional. It won't have any impact on anything, as far as I
can see, so this commit is more cosmetic than anything else.

While here, improve some comments.

Sync indent(1) with FreeBSD.

A number of new options. Also -troff is gone.

<unistd.h>: Bump _POSIX_THREAD_SAFE_FUNCTIONS to 200112L.

It became non-optional anyway in 200809. We have all the functions
that 200112 required in the option, so I don't see why not.

Thanks to zrj for checking with a dports bulk build.

man(1): Adjust manual page search path a bit.

Our old one, basically.

makedb: Ignore makewhatis(8) errors.

Might occur with make distribution building a master IMG on release or
vice versa, due to the location change of makewhatis (its database
format has changed too).

drm/linux: Add config_enabled()

Link mandoc(1) as 'whatis' too.

Reported-by: zrj

hammer2(8): Document dependency on thread library.

While there, start using PRIVATELIB_CFLAGS.

libc: Move out locking from vsyslog() core.

For consistency with openlog() and closelog().

While there, use SOCK_CLOEXEC directly and do not attempt to closelog()
several times for badly written programs (LogFile is handled internally).

libc: Fix few typos in vsyslog().

While there, move variable declarations to top and remove braces.

gcc47: Disconnect objc components from world.

Remove groff from base.

There is a dports package available for people who need it. Also,
for some manual pages in dports, man(1) will report that mandoc(1)
cannot render them, and advise to install groff too, which man(1)
will then use.

Also remove vgrind(1) and the old base me(7) macros.

Disable the groff part of manlint for now, also mandiff. I will
decide later if it should be made to work with dports groff.

There are a number of related utilities, like colcrt, checknr etc.
that I have not touched yet. Their fate will be decided later.

There are also some references to these tools left in existing
manual pages.

Remove no longer needed catman periodic via 'make upgrade'.

drm/linux: Add list_for_each_entry_continue_reverse()

Obtained-from: OpenBSD

Deprecate and remove OPIE from PAM.

This will require user intervention to manually disable OPIE usage or
cleanly reinstall pam.d/* (even better if no modifications were done).
Due to very strict used "requisite" requirements any pam_opie loading
error will result in unusable system except for singe user mode.
Add warning for the user. Sooner or later this will need to be done.

While there, disable installing /etc/pam.d/rsh script. It can be removed.

kernel/tty: Use GID_TTY for non root users by default.

Previous behaviour defaulting to GID_WHEEL was confusing OpenSSH tests.

Remove the old GNU man, makewhatis and manpath.config.5 manual page.

Switch to the new man(1) command.

* Exchange our old GNU man(1) command with the one from FreeBSD that I
  recently imported. It uses mandoc(1) by default. If mandoc(1) reports
  that it cannot render a page, man(1) will fall back to groff (right
  now our base groff, later the groff pkg when we remove it).

* Install mandoc(1) as apropos(1) and makewhatis(8). This means
  makewhatis moves from /usr/sbin to /usr/bin.

* Use mandoc(1) instead of groff for most purposes of bsd.man.mk.

* Remove /usr/share/man/cat*. It's not necessary anymore to cache
  formatted manual pages.

Kind of sync makewhatis.local with FreeBSD. Ignore r/o directories.

One or two improvements to the manual page by me.

drm/linux: Add down_read_trylock()

Sync manctl(8) with FreeBSD.

Basically, don't mention the unimplemented purge command anymore.

Remove catman(1) since it is no longer needed in modern times.

It was used to bulk format manual pages for faster displaying.

su(1)'s EXAMPLES section was taken from FreeBSD.

Our man(1) command still stores and utilizes manual pages in
/usr/share/man/cat* after this commit.

usr.bin/man: Some local adjustments, also bump .Dd.

Add FreeBSD's man(1) command unchanged but don't hook in just yet.

It will use mandoc if the manual page is supported by it (all our
base manual pages are). If unsupported, as could be the case for
ports manual pages, it will fall back to groff. If groff isn't
found, it will advise to install the groff package.

hammer2 - Improve verbosity of CHECK errors on the console (2)

* Also print the PFS name along with the device.

hammer2 - Improve verbosity of CHECK errors on the console

* Improve the verbosity of CHECK errors on the console.  Print
  the block-type in human-readable form, and attempt to trace
  it back to its governing inode and report the inode number
  the error is in.

* Also print the device path string associated with the mount
  so we know what block device the error occurred on.

CAM - A few more kmalloc -> xpt_alloc_ccb fixes

* Fix (now improper) kmalloc()s of ccbs in the ASR and MPS
  drivers.  Properly use xpt_alloc_ccb().

cross-tools: Do not install manpages during this stage.

Saves ~1s and few KBs in /usr/obj/.

libutil: Prevent leaking slave fd on failed fork.

libc: Implement properly pthread_equal() stub.

Functional stub is needed to avoid forcing thread library on librecrypto.

Fix a couple of NULL dereferences in error paths.

kernel: Use NULL for pointers, not 0.

kernel/libiconv: Compare a char with \0.

hammer2: Improve bulkfree console logging

* Improve console logging, only print one buf= line and make the
  'pass' lines fit in 80 columns.  Improve the media coverage
  message so users are not confused.

* There is no need to allocate an excessively-large buffer when
  the bitmap for the entire media fits.  Cap the buffer size for
  this case.

libc/rpc: Fix -Wtype-limits.

Instead of triggering a warning by checking if the passed type is signed
split the INT_STRLEN_MACRO() into two, one for unsigned and the other for
signed types. The latter isn't used and was added just for completeness.

libc: Fix some more -Wmissing-prototypes warnings.

<time.h>: Provide time2posix(), posix2time() prototypes.

They have a manual page too. Also provide offtime() and timeoff()
prototypes.

Fixes some -Wmissing-prototypes warnings.

Update the pciconf(8) database.

April 12, 2019 snapshot from https://pci-ids.ucw.cz

gcc80: Document -save-temps=objects addition.

gcc80: Update manpages.

Adjust makefiles for GCC80 update.

Merge remote-tracking branch 'origin/vendor/GCC80'

Bring in branch-8 bugfixes into GCC80.

Bugfixes as of April 15.
Huge thanks to gcc developers for keeping longterm branches and
backporting/testing all the bugfixes.

Update GCC80 to version 8.3

bsd.lib.mk: Fix SHLIB_LINK handling.

Checks should be for TARGETs. Also .so should be created in LIBDIR version.

No functional change intended on master.

gcc80: Make LTO plugins installation consistent.

Previously my LTO additions were (ab)using bug in bsd.lib.mk.
All other cases in world override both variables.
Do the same fix for gcc47 too.

No functional change intended.

libc: Adjust HISTORY sections in a few recently added manual pages.

timingsafe_bcmp.3: Add missing .Lb.

PRIV: Add transitional handling in bsd.lib.mk.

Allow certain versioned private libraries to be installed into public
libraries directory. PRIVATELIB libraries already have mangled names.

PRIV: Add helper tool.

To speed up vendor updates.

factor(6): Convert to BN_is_prime_ex().

hammer2 - Performance work

* Implement immediate (async) flush follow-through when OS requests
  it, with write-clustering support at the device level if enabled.
  Write-clustering support at the device level is disabled by default
  because H2 already uses a fairly large and efficient 64K block size.

* Change the XOP dispatch for strategy functions.  Further partition
  strategy functions by read or write to prevent reads from getting
  stuck behind long write chains.

  Also do not span-out I/O related to a single inode across too many
  XOP threads as doing so creates a massive amount of unnecessary
  lock contention.

* Significantly improves concurrent filesystem ops and I/O and
  significantly improves sequential filesystem write I/O.

hammer2 - Add debugging directive for calculating dirent crcs

* Add a debugging directive 'dhash' that can calculate the
  crc for extended directory entries (ones that overflow into
  a data block).

hammer2 - Correct allocator race and related corruption

* When allocating fragments (below 16KB), for example 1K directory
  entries, 1K inodes, compressed file blocks that happen to be
  fragments, or end-of-file fragments, the allocator must ensure
  that any partially freed block is set back to fully allocated.

* In this specific case the allocator was not setting the
  correct bits in the freemap.  The situation never occurs
  on a block boundary (different code is executed which does
  the correct calculation), so the related block will always
  be in a minimally allocated state (either partially allocated
  or fully allocated).

  This means that the corruption can only happen under the specific
  circumstance where a fragment is allocated out of a block that
  the bulkfree code is simultaneously trying to free (marking it
  partially-allocated).  Because the wrong bits are set, the NEXT
  bulkfree pass can also miss the fact that the fragment is
  allocated and finish transitioning the block from partially-
  allocated to fully-free.

  A later allocation then corrupts the block, resulting in CHECK
  errors on the console.

* Because the bulkfree code always comes in and in ALL SITUATIONS OTHER
  THAN THIS SPECIFIC RACE will re-mark the blocks fully-allocated,
  the corruption can ONLY occur during heavy write activity during
  a bulkfree operation, typically when heavy manipulation of directory
  entries or inodes occurs.

* Correct the fragmentary bitmap calculation to set the proper
  bits.

libc/rpc: Use sig_t (fixes -Wstrict-prototypes).

libc/rpc: Fix some -Wstrict-prototypes warnings.

libc/db: Remove unnecessary casts too.

ftpd(8): Use libutil's pidfile(3) implementation.

This unbreaks buildworld.

Reported-by: zrj

libc/db: Fix -Wcast-function-type.

<string.h>: Remove legacy declaration of swab().

It has prototype in <unistd.h> like in other BSDs and GNU implementations
as per OpenGroups XSI.

libc/string: Add timing_safe functions from OpenBSD.

Good and small functions for crypto retlated things.
Add manpage and set __pure attributes.

Taken-from: OpenBSD

libc/stdlib: Add recallocarray() function.

It is useful function for security related features, like resizing
memory objects containing sensitive data to avoid information leaking.
Update manpage.

Taken-from: OpenBSD

libc/stdlib: Add freezero() function.

It is useful function for security related features. Internally uses
explicit_bzero(3) before freeing the pointers. It could be implemented
in nmalloc.c for extra benefits.
Update the manpage.

Taken-from: OpenBSD

libc/string: Add explicit_bzero() from OpenBSD.

It is useful function for security related features. It allows to
further manipulate discarded memory region through weak hook.
Update the bzero.3 manpage.

Taken-from: OpenBSD

libc/tre: Fix -Wpointer-arith.

nscd(8): Remove local pidfile(3) implementation and use libutil's.

libc/rpc: Fix some -Wmissing-prototypes.

libc/locale: Fix -Wmissing-field-initializers.

libc: Remove an age old unused function.

It was labeled as "historic" even in 1994 and probably much earlier
before FreeBSD existed. Nothing in dports uses it and it was also
not added to Symbol.map so nothing could exist that uses it and is
dynamically linked against our libc.

In-discussion-with: zrj

libc: Revert last commit partially. Make function public instead.

libc/net: Align rthdr.c with <netinet6/in6.h> (#if 0 a function).

Fixes a -Wmissing-prototype.

While here, fix typos in comments.

libc: Fix some more -Wmissing-prototype.

libc/glob: Fix a -Wstrict-prototypes warning by bringing back an old fix.

It went like this:

* In 2005, joerg fixed this warning in DragonFly (2a6aec8dab58c89961).

* In 2013, this fix was overwritten without looking with the then still
  broken version from FreeBSD (0d5acd7467c4e95f79).

* In 2015, joerg submitted the fix to FreeBSD and it was committed as
  r288098.

This commit applies back FreeBSD's r288098 to our tree. :)

PRIV: Add global PRIVATELIB_CFLAGS.

In preparations for next updates.