boot: Remove unused loader.rc

We use dloader.rc and certainly do not have a loader.4th.
The loader.rc is not put into Makefile_upgrade.inc because we have not
detected it on any of setups and ficl removal was done back in 2010 in
116b7e3c174090f2c3e2f98e4d71f482b50700db

i386 removal, part 67/x: Remove last traces of I386_BUS_SPACE_* macros.

Discussed-with: sephe, zrj

kernel/sis: Fix some missed x86_64 porting.

Similar to what was done in FreeBSD.

ip: Set ip_porthash_trycount based on the # of netisrs.

This helps on the machine w/ relative large # of netisrs.  It cuts
> 40% IPIs (160K/s -> 93K/s), and increases the connect rate a bit
(602K/s -> 618K/s).

fflush(3): Return success on a read-only stream.

Loosen up the requirements for opened streams. It is needed to support c++
runtime lib after ext/basic_file_stdio.c s/this->sync()/fflush()/ change.
It likely needed for libc++ too.
Adjust the manpage for behaviour change and only set _w to 0 when stream is
not currently reading in fpurge(4) to avoid failures in fflush(4).

Taken-from: FreeBSD

<sys/types.h>: Remove <machine/stdarg.h> and adjust some headers.

Userland utilities should not use __va_* definitions and kernel already has
the <machine/stdarg.h> in <systm.h>.

Submitted-by: swildner

net: Increase max stage packet count to 16.

This increase IP forwarding rate by 200Kpps ~ 300Kpps.  Normal
forwarding reaches 11.3Mpps, while fastforwarding is at 14.2Mpps
now.

Setting this to 8 does not give as much improvement as setting
this to 16.  While setting this to 24 gives no observable
improvement compared with setting this to 16.

i386 removal, part 66/x: Remove SND_PCM_64 as an explicit kernel option.

It only made sense as an option on i386. On x86_64 (or better, if long
is 64 bits wide) it is the default, per sys/dev/sound/pcm/pcm.h.

morse(6): Avoid -Wshadow warning with gcc47.

morse.c:465:8: warning: declaration of 'isblank' shadows a global declaration [-Wshadow]
In file included from morse.c:43:0:
/usr/include/ctype.h:211:5: warning: shadowed declaration is here [-Wshadow]

morse(6): Add decoding functionality for dot-dash code.

Our -d was already taken so use -r option for "reverse" mode.

Usage examples through command line ("--" for safety) and pipe:
_# morse -r -- .... .- -.-. -.- .. -. --.
HACKING
_# cat <<EOF | morse -r
 .---
 -...
 ---
 -..
 --..
EOF
JBODZ

Also it woks as most inefficient way to capitalize words too:
_# morse -s meow | morse -r
MEOW

Pointed-by: tuxillo
Decoding-shamelessly-stolen-from: OpenBSD

kernel/de: Use I/O mapped access on x86_64 too.

Seems we missed this in our x86_64 porting.

Approved-by: sephe
Tested-on:   Hyper-V

inpcb: Change how TCP local ephemeral port is selected.

The goal should be reducing the chance of connection forwarding.
However, ports in a given portinfo is too sparse to achieve this
goal.  With the help of randomized local port initial value, the
tentative local port can be incremented by 1 each time, so that
the chance of keeping the connection on the current cpu increases.

This change reduces IPI rate significantly (200K/s -> 160K/s), and
the connection establish rate is increased from 590Kconn/s to
600Kconn/s.

<sys/disklabel32.h>: Add comment that it is used in sys/boot (i386 code).

libkern/stack_protector: Add comment that it is used in dloader (i386 code).

kernel: Remove some references to i386.

While there, adjust some outdated paths in comments and some minor cleanup.

i386 removal, part 65/x: Remove some leftovers in kernel.

i386 removal, part 64/x: Remove some leftovers in asr(4).

kernel/pc64: Mark cpu_type as hardcoded.

We currently mark all x86_64 cpus as CPU_CLAWHAMMER.

i386 removal, part 63/x: Remove some leftovers in segments.h

Last users were removed in
8c2a9b77413a2154aa54084381f6703dd5446fa4

kernel/pc64: Adjust some references to already removed i386.

While there, perform some whitespace fixes.
No functional change.

fsck_msdosfs(8): Use __printflike.

routed(8): Clean up a bit.

* Use __printflike and __unused.

* Remove sccsid[] etc.

Add __attribute__((__noreturn__)) to various function prototypes in sbin/.

This general cleanup is useful in various ways. It helps the compiler
optimize better and it also helps later GCCs detect better when to give
-Wimplicit-fallthrough warnings and when not.

Found-with: -Wsuggest-attribute=noreturn

libc/sysconf: Add _SC_LEVEL1_DCACHE_LINESIZE.

nginx can make use of it (see http://hg.nginx.org/nginx/rev/057adb2a9d23).

Requested-by: sephe

kernel/pc64: Rename i386_protection_init().

No functional change.

apply(1): Add const attributes.

tcp: Stringent assertion for pru_connect.

gettytab: Add 3wire and std as terminal types/classes.

These are similar to
the existing terminal types/classes that have the baudrate suffix,
but differ in that no baudrate is set/defined.

Obtained-from: FreeBSD (r262955)

libc/nmalloc: Handle size_t overflows in posix_memalign().

Some algorithms/programs try to heuristically deduce alignment rules.
Instead of confusing them with minimal allocations for size == (size_t)-7 and
friends at different alignment values, just return ENOMEM since POSIX does not
explictly specify how alignment overflows should behave. Programs should keep
track of pointers they try to allocate (including size == 0 case too).

libc/nmalloc: Whistespace cleanup.

No functional change.

kernel - Relax requirements for sysctl operations on longs

* Relax the requirements for sysctl operations on longs.  Allow the
  case where userland is reading the sysctl variable as an integer
  instead of a long.

* Allows us to promote various vm.stats.vm_* fields that must now be
  longs in order to support > 8TB of ram as well as avoid internal
  calculation overflows.

* Fixes an issue where chrome issues this sysctl as an int:

  sysctlbyname("vm.stats.vm.v_page_count", &pages, &size, NULL, 0);

  And fails to check the return value / error code, resulting in
  a garbage value for 'pages' which chrome then uses to size the
  browser's memory restrains.  This in turn was causing chrome
  to give up multiple tabs thinking it had run out of memory when,
  in fact, there is plenty of memory available.

* Generally speaking, I've wanted to have this sort of backwards
  compatibility for a while now.  Userland shouldn't get errors
  accesing integral sysctl values simply because it uses an integer
  of a different size than the sysctl.

md5(1): Add support for sha512.

md5(1): Minor cleanup.

 * add static and const attributes;
 * use RUSAGE_SELF;
 * fix some whitespace errors.

No functional change.

boot/efi: Remove our old efi include files.

The remaining local header is eficonsctl.h which I will deal with later.

boot/efi: Port most of our efi boot code to the EDK II headers.

boot/efi: Bring in a bunch of additional TianoCore EDK II headers.

Taken from the MdePkg of the UDK2017 branch of the
git://github.com/tianocore/edk2 repository.
All I modified was killing CRs using 'tr -d "\015"'.

This is a work in progress.

igb.4: Sort chip names.

ix.4: Sort chip names.

mount_udf(8): Staticize

dumpfs(8): Staticize

dmesg(8): Staticize

devfsctl(8): syntax_error() never returns, so change it to 'void'.

While here, fix indent a bit and add a copyright to devfsctl.h.

igb: Sync with Intel's igb 2.5.3

- Enable RX packets dropping, if flow control is disabled.
- Clear bad data at chip initialization time.

Tested-by: Tim Darby <t timdarby net> (i211)
   Thomas Nikolajsen <thomas nikolajsen mail dk> (i210)

Remove /boot/efiboot.img via 'make upgrade'.

This is needed in our ISOs only to allow booting in EFI mode from
CD-ROM. In the installed system it is not needed anymore, so it
can be removed.

bsd-family-tree: add NetBSD 7.0.2; Add recent DragonFly

Also changes exact location of NetBSD 7.0.1
Gives some breathing room for adding new releases

Obtained-from: NetBSD (partially)

Sync our gcc5 manual pages with gcc-5.4.0

Remove <sys/ioccom.h> inclusion from a number of files.

<sys/ioccom.h> should only be included from header files that define
ioctls.

tmpfs - Fix arbitrary maximum file size limitation

* tmpfs's maxfilesize was limited to the original tmpfs mount
  storage limit, prior to argument overrides.  In addition,
  the -f argument override would not increase the maxfilesize
  limit beyond the original storage limit anyway.

* Remove this limit calculation entirely.  Instead the limit
  is based on the storage limit which can be optioned at mount
  time.

* Fixes expectations when tmpfs is used to hold just a few (or
  even just one) file.

Reported-by: kerma

boot/efi: Sync IndustryStandard/Bluetooth.h with UDK2017 branch of EDK II.

boot/efi: Bring in two more TianoCore EDK II headers.

Taken from the MdePkg of the UDK2017 branch of the
git://github.com/tianocore/edk2 repository.
All I modified was killing CRs using 'tr -d "\015"'.

This is a work in progress.

boot/efi: Remove an unused header.

If we ever need it we'd take it from TianoCore EDK II, i.e.
MdePkg/Include/IndustryStandard/Mbr.h.

kernel - Revert part of the contig allocation work

* Revert part of the contig allocation work.  Always use the alist
  allocation from the DMA reserve first, and revert to scanning the
  VM page list only if it fails.

* Fixes performance problems with X.

* What this means, generally, is that we will probably need to rely
  directly on the dma reserve for most of our DMA allocation and
  freeing just to ensure reasonable performance.  Scanning page
  lists is a big lose.

Reported-by: mneumann

libc: Forgotten adjustment in Versions.def

Reported-by: Aaron LI <aly@aaronly.me>

Makefile_upgrade.inc: Add adding_user.8 to the end of the list.

libc/termios: Add cfmakesane().

This makes net/bsdrcmds build, in preparation for removing rcp, rlogin,
rlogind, rsh and rshd from base.

Taken-from: FreeBSD

Update bsd-family-tree

Remove 'adding_user.8'

Not to be confused with adduser.
Not to be confused with useful information.

flowers: correct spelling of lily, Camellia

scsi_modes - bring up to date

Obtained-from:   FreeBSD

ascii: Use standard name for ASCII control codes

Obtained-from: FreeBSD r293281

rlogind(8): Staticize and remove unused declarations.

Add test to dports-download-check target

Signed-off-by: Pierre-Alain TORET <pierre-alain.toret@protonmail.com>
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/3053>

Add __attribute__((__noreturn__)) to various function prototypes in bin/.

This general cleanup is useful in various ways. It helps the compiler
optimize better and it also helps later GCCs detect better when to give
-Wimplicit-fallthrough warnings and when not.

Found-with: -Wsuggest-attribute=noreturn

rcp(1): Staticize.

pwd(1): Staticize, remove void cast.

Add dports-download-check target

Signed-off-by: Pierre-Alain TORET <pierre-alain.toret@protonmail.com>
Dragonfly-bug: <https://bugs.dragonflybsd.org/issues/3053>

drm/radeon: Prevent a crash on load with newer drm code

* The existing drm/radeon code base contained an invalid unlock/lock
  sequence in radeon_irq_kms_init() which caused the kernel to crash
  during driver initialization with the drm code base from Linux 4.8

* Fixed by replacing the problematic function with its version from
  Linux 4.8

kernel/evdev: Fix Makefile permission.

kernel - Add evdev support to kbdmux, ukbd and ums

* Allows kbdmux, ukbd and ums to send input events to evdev if kernel
  is built with evdev support.

* The sysctl kern.evdev.rcpt_mask determines which drivers are allowed
  to send events to evdev. Its default value is 3, meaning that kbdmux
  and sysmouse are enabled. Since the latter is not yet supported, one
  might want to change the value to 6 (kbdmux and ums) until sysmouse
  will be added.

Obtained-from: FreeBSD

kernel - Bring in evdev from FreeBSD

* This is a port of evdev, the generic input event interface, from
  FreeBSD. Wikipedia: "Evdev generalizes raw input events from device
  drivers and makes them available through character devices in the
  /dev/input/ directory."

* It is currently considered experimental since in rare cases it may cause
  kernel crash when a device, e.g. usb mouse or keyboard, is detached
  while a userland program reading from the corresponding input/eventX
  device.

* In order to enable evdev, kernel needs to be rebuilt with 'device evdev'
  and 'options EVDEV_SUPPORT'. For debugging, add 'options EVDEV_DEBUG'.

* At present, only ums, kbd and kbdmux can send events to their respective
  input/eventX devices. More drivers will be added in due course. The sysctl
  kern.evdev.rcpt_mask determines which drivers send events to evdev.

kernel - Fix crash when cdev is destroyed

* If a device is destroyed while a userland program is blocked
  in a read() or device ioctl, the underlying node will be deleted.
  Returning EIO will prevent kernel from crashing.

* This is a temporary hack until a better solution is found.

tmpfs - Correct some timestamp update issues

* write() was updating ACCESSED and MODIFIED when it should only
  be updating MODIFIED.

* unlink() (aka rm) was updating CHANGE, ACCESSED, and MODIFIED
  which would be visible if a file has multiple links.  It should
  only update the CHANGE time.

* rmdir() was doing the same thing as UNLINKED.  Fixed this too,
  but the bug would not be readily visible anyway since directories
  cannot be hardlinked.  However, fstat() on an open descriptor
  would still reveal it.

ddb.4: Document i command addition.

While there, document call and reset commands too.

kernel - Improve contiguous DMA memory allocation

* vm_page_alloc_contig() will use vm_page_alloc() for degenerate
  requests instead of the free page reserve.  This case often
  occurs when called from kmem_alloc_attr().

* vm_contig_pg_alloc() will scan the VM page queues first for
  unrestricted memory requests, falling back to vm_page_alloc_contig()
  if this fails.

  vm_contig_pg_alloc() will call vm_page_alloc_contig() first if the
  memory request has an address range restriction, falling back to
  a VM page queue scan if it fails.

* This should hopefully reduce instances where device drivers probed
  prior to e.g. NATA eat up all available low-memory DMA space,
  leaving none for NATA (or other drivers) that might need low-memory
  DMA space.

kernel - Fix ranging test in memory probe, adjust memory test (2)

* Correct bug in ranging test commit.

kernel - Fix vmstats.v_dma_pages

* Fix an atomic adjustment on v_dma_pages that we believe was
  messing it up, due to not sign-extended a negation of an unsigned
  field.

Reported-by: swildner

kernel - Fix hw.usermem, hw.physmem, hw.availpages

* Fix the hw.usermem, hw.physmem, and hw.availpages sysctls.
  Some of these were improperly 32-bit sysctls when they need
  to be 64-bits, causing silly values to be returned on
  machines with more than 2G of ram.

Reported-by: zrj

kernel - Adjust vfs.nbuf, kern.maxvnodes, and debug.max_softdeps counts

* Cap some system limits on machines with tons of memory.

* vfs.nbuf is capped at roughly 350,000 buffer cache buffers.  This
  also caps buffer cache data to approximately 11G.

  The reason for this is to avoid wiring too much physical memory in
  the default configuration since programs might want to use the
  memory fo r other purposes.  Buffer cache buffers provide very fast
  access when reading data from cached vnodes, but the new KVABIO ABI
  will soon allow us to acquire and dispose of such buffers more
  efficiently, increasing the efficiency of accessing data cached via
  the block device and making long-term caching via vnode-backed
  buffers somewhat less important.

* kern.maxvnodes is capped at approximately 3 million vnodes.  This
  can be set higher at run-time via a sysctl, if desired.

  NOTE: Our go-to filesystems are designed to or can be set to cache
file data via the block device instead of the vnode, which is
preferable on systems with lots of memory.  vnode caching is
still important, but a bit less so now than in prior years.

* debug.max_softdeps is capped at 1000000, because even a million
  is an obscenely high value for softdep structures.

kernel - Fix ranging test in memory probe, adjust memory test

* Fix a ranging test in the memory probe code.  The 'incr' value can
  potentially skip over blacked-out areas of memory and thus accidently
  include them in the range.

* We no longer exhaustively test memory.  Instead, just test the first
  and last page for each range.

kernel - add 'i' command to ddb

* Add the 'i' command, which just issues a cpu_invltlb() on the
  current cpu.  Useful when testing MMU/PMAP issues.

efisetup - Correct bugs

* nvme0 was hardwired in one place, use ${drive}.  This fixes
  issues with efisetup not working on e.g. drives other than nvme0.

* Use -f in the newfs_hammer to avoid complaints about small
  partition sizes.

drm/linux: Improve linux/pci.h

* Add pci_get_drvdata and pci_set_drvdata()

* Add pci_register_driver()

fdc(4): Check return error from isa_dma_init().

Must have been a bad sector in
0bc821c68ba308f17d4f0a7bfd300c432d575a09

Reported-by: dcb <https://bugs.dragonflybsd.org/issues/3108>

kernel/ipfw3: Minimal K&R cleanup.

libcipher: Minimal K&R cleanup.

libcrypt: K&R cleanup.

libcrypt: Remove some __STDC__ checks.

rtld - Fix ifunc relocations

* ifunc relocations had a bug that caused an immediate seg-fault.
  Apparently this type of relocation is not used very much, we've
  never encountered it before.  But the qemu port uses it.

* Fix the bug.  Basically missing lockstate and the top level in
  rtld was expected to hold the bind lock.

Remove some orphaned externs.

kernel - Correct vm_map_entry_reserve() call depth issue w/vkernel

* vm_map was making vaddr tests against VM_MAX_USER_ADDRESS to
  determine when to call vm_map_entry_reserve().  This test works
  fine on real hardware but will not work properly for a vkernel.

* Instead, just use td_nest_count to prevent excessive recursion,
  or test against &kernel_map when necessary.

* Fixes SIGILL in vkernel due to stack overflow.

Reported-by: tuxillo

libc - Adjust comment

* Adjust comment for dmalloc.c

debug - Adjust kmapinfo

* Use formatnum() for kmapinfo's segment size output when
  printing EMPTY segments.  This makes the output more readable.

kernel - Expand physical memory support to 64TB

* Make NKPML4E truly programmable and change the default from 1
  PDP page to 16 PDP pages.  This increases KVM from 512G to
  8TB, which should be enough to accomodate a maximal 64TB
  configuration.

  Note that e.g. 64TB of physical ram certainly requires more
  than one kernel PDP page, since the vm_page_array alone
  would require around 2TB, never mind everything else!

  PDP entries in the PML4E (512 total @ 512GB per entry):
256 User space
112 (unused, avail for NKPML4E)
128 DMAP (64TB max physical memory)
 16 KVM NKPML4E default (8TB) (recommend 64 max)

* Increase the DMAP from 64 PDP pages to 128 PDP pages, allowing
  support for up to 64TB of physical memory.

* Changes the meaning of KPML4I from being 'the index of the only
  PDP page in the PML4e' to 'the index of the first PDP page in
  the PML4e'.  There are NKPML4E PDP pages starting at index KPML4I.

* NKPDPE can now exceed 512.  This is calculated to be the maximmum
  number of PD pages needed for KVM, which is now (NKPML4E*NPDPEPG-1).

  We now pre-allocate and populate only enough PD pages to accomodate
  the page tables we are pre-installing.  Those, in turn, are calculated
  to be sufficient for bootstrapping mainly vm_page_array and a large
  initial set of pv_entry structures.

* Remove nkpt, it was not being used any more.

kernel - Remove DISABLE_PSE option and related code

* Remove the DISABLE_PSE option and related code.  Note that the pmap
  code was already forcing DISABLE_PSE since we are 64-bit only and
  the pmap code never supported PSE anyway.

vmstat(8): Change few printf formats for -s.

Catch up with b7ea2f3f550021bfaabd8ed8d50b54c157fb55bf

Fix mdoc issues in various manual pages.

kernel - Expand page count fields to 64 bits

* 32 bit page count fields limit us to 8TB of ram.  Expand to allow
  up to the DMAP limit (32TB).  Do an initial pass on various page
  count fields and change them from int's to long's or vm_pindex_t's.

* Fix a 32-bit overflow in the pv_entry initialization code.

  pv_entry_max = shpgperproc * maxproc + vm_page_array_size;
  2000 * 1046516 + pages_of_phys_memory;

  maxproc is 1046516 @ 512GB.  This calculation overflows its 32
  bit signed variable somewhere between 256G and 512G of ram.  This
  can lead to a zinitna() allocation in pvzone that is much too
  large.

Reported-by: zrj

test/vkernel - Add hammer2 support

- Fix fstab and loader.conf settings.

drm/linux: Implement sort()

drm/linux: Fix linux/dma-mapping.h compilation...

... with the drm/i915 codebase from Linux 4.8

* Move functions from .h to .c files in order to hide their implementations

* This avoids leaking DragonFly headers to Linux code or Linux headers
  to DragonFly code with associated bad side-effects like type redefinitions