devfs - Introduce MPSAFE read/write/ioctl support

* Add D_MPSAFE_READ, D_MPSAFE_WRITE and D_MPSAFE_IOCTL defines for use
  with the dev_ops structure to mark the read,write and/or ioctl methods
  as mpsafe.

* Change devfs so that it won't acquire the mplock for
  read/writes/ioctls that are marked as MPSAFE.

* Add some statistics under sysctl vfs.devfs about the number of read
  and writes done with the mplock and without it.

* While here, MPSAFE specf_stat in devfs so it doesn't acquire the
  mplock anymore as it doesn't even need it.

kernel - lwkt_token code, minor fix to last commit

* lwkt_getalltokens() has to release any partially acquired tokens
  when it fails to get them all.  Fixes an issue with the last commit
  that could cause processes to get stuck in a Run state.

kernel - Refactor the lwkt_token code, making it faster

* Rewrite the core token functions and revamp the structures.  The
  lwkt_token structure now contains just a single element, a pointer
  to the on-stack lwkt_tokref.  The lwkt_tokref now contains the
  owner id.

* Recursive tokens are still fully supported and coded trivially.

* Critical sections and spinlocks are no longer needed or used by
  the lwkt_token code.  Token aquisition is basically a single
  atomic_cmpset_ptr() call in the critical path.  Everything runs
  ultra clean now.

* Improve the pool token API.

* Remove extranious cruft

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Silence -Wold-style-definition in a number of places in the kernel.

kernel - jails - undo minor prisoncount atomic ops

* cleanup, the functions in question aren't MPSAFE yet anyway.

fsmid followup - fix compiler warning in ls

* Fix an unused variable warning that was causing buildworld to
  fail (due to WARNS options).

make.conf.5: Note that NO_WERROR applies to the kernel build as well.

kernel - remove FSMID support

* Remove all the fsmid stuff.  I never got it working 100% (e.g. such as
  when hardlinks are present) and it really complicates the MPSAFE work
  on the namecache.

* Remove struct stat->st_fsmid (replace with a spare field)

* Comment out the _ST_FSMID_PRESENT_ flag.  Userland conditionalizes
  on the flag so it should still build.

* The kqueue vnode monitoring feature is good enough and more portable.

top(1): Merge top.x and top.local.1 into one manual page.

top: Describe new output "CTIME" in man page.

Add some missing ACPI source files (for LINT).

Fix acpi (loading it failed).

Reported-by: alexh

Add a BUS_ADD_CHILD.9 manual page (adapted from FreeBSD).

mbuf.9: We have neither the MFREE() nor M_COPY_PKTHDR() macros.

hash.9: Improve wording.

hash.9: Update the manual page for the *_ext() functions.

Fix UP kernel build.

kernel - add hashinit_ext() and phashinit_ext()

* Add hashinit_ext() and phashinit_ext(), extended versions of
  hashinit() and phashinit() which take a structure size and zero
  the array instead of assuming it is only an array of LIST_HEAD's.

kernel - misc MPSAFe work

* prisoncount, prison_hold(), and prison_free() are now MPSAFE

* Remove spinlock from ucred

* Fix cr_ref race in crfree(), and crfree() is now fully MPSAFE.

* cache_hold(), cache_copy(), cache_changemount() are now MPSAFE.

* cache_drop() is not yet MPSAFE in the 1->0 transition case.

* nlookup_init() is now MPSAFE

kernel - Move mplock to machine-independent C

* Remove the per-platform mplock code and move it all into
  machine-independent code: sys/mplock2.h and kern/kern_mplock.c.

* Inline the critical path.

* When a conflict occurs kern_mplock.c will KTR log the file and line
  number of both the holder and conflicting acquirer.  Set
  debug.ktr.giant_enable=-1 to enable conflict logging.

ktrdump - Parse format string manually, implement %s

* Allows %s to be used in KTR format strings in-kernel.  ktrdump will
  read the string out via KVM and print it.

* We parse the format string manually, so we may have to add stuff as
  time goes on.

busdma - Fix bouncebuffer operation for 64 bit builds / mountroot & boot issues

* BUF_SPACE_MAXADDR was incorrectly defined for 64 bit builds, effectively
  disabling bounce buffers.  Fixed.

* This created issues with drivers (particularly NATA) which only support
  32 bit physical addresses, causing x86_64 machines to fail to boot or
  to blow up.

Reported-by: several people

signal - Introduce si_code codes

* Introduce si_code codes #defines for signals.

* Assign proper si_code for most traps.

* Get rid of x86_64-only si_code code #defines.

* This also fixes build of pkgsrc devel/boost-libs

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1313

top: Remove WCPU, implement CTIME.
     * WCPU is a quite useless value for a long time,
       thus it has been replaced with
     * CTIME, which presents the same value as 'ps -S'
       does for the CPU value. This is the process's own
       cpu time plus the cpu time of it's exited child
       processes

Fix buildworld with -DNDEBUG in CFLAGS.

ANSI C requires that if NDEBUG is defined, assert(3) shall be disabled,
that is, defined "((void)0)".

The usage of NDEBUG in libevent is not related to assert(3), so simply
remove the #ifdef's (as was done upstream in later versions of
libevent).

examples/kld - Fix for devfs.

Remove dev_ops_{add,remove} and remove mknod from Makefile.

CONFIG - untangle whitespace mess

* fix whitespace mess introduced by previous commit.

CONFIG - add NULLFS

* add option NULLFS to all kernel config files, as nullfs is more or
  less a requirement for a hammer system due to pfs.

* Incidentally this solves problems when mounting /usr and other PFS
  when the modules are out of sync with the kernel; for example after a
  bad buildkernel and using an old kernel.

Discussed-With: Matt Dillon

dump - rename md dumpsys to md_dumpsys

* Rename the machine dependent dumpsys() to md_dumpsys().

* Add dumpsys() which takes no arguments, giving backward compatibility
  and the possibility to use 'call dumpsys' from the ddb> prompt.
  dumpsys() then calls md_dumpsys(), except for vkernels.

devfs - Populate getattr va_size for disks properly

* As getattr() va_size is used for lseek SEEK_END, we need to set
  va_size for disk devices to the underlying device's media size.

* Beware that *stat() will not be affected, and st_size will remain
  the size of the devfs_node structure, as it has been so far.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1632
Reported-by: Steve O'Hara-Smith

ncurses: Update master to work with v5.7 in contrib.

Merge branch 'vendor/NCURSES'

vendor/NCURSES: Import v5.7 sources

ncurses: Update to work without version tag.

Merge branch 'vendor/NCURSES'

vendor/NCURSES: Remove version tag.

kern/kern_kinfo.c: Fix incorrect population of kinfo_proc.kp_cru

Fix some warnings that creep up when compiling without INVARIANTS.

* Add a __debugvar define to <sys/systm.h> which is empty when INVARIANTS
  is set (default) and __attribute__((unused)) when INVARIANTS is not set.

* Use __debugvar in the declaration of variables which are only used in a
  KASSERT or KKASSERT to avoid 'unused variable' warnings.

Suggested-by: aggelos
Reported-by: Joel K. Petterson <joelkpettersson@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1629>

Fix the SOEKRIS build (kernel without I686_CPU).

Fix the LINT build.

Unbreak HAMMER root mounts

Absolute device names in vfs.root.mountfrom where handled incorrectly.

Reported-by: aggelos

kernel - adjust falloc and arguments to dupfdopen, fsetfd, fdcheckstd

* Make changes to the pointer type passed (proc, lwp, filedesc) to
  numerous routines.

* falloc() needs access to td_ucred (it was previously using p_ucred which
  is not MPSAFE).

* Adjust fsetfd() to make it conform to the other fsetfd*() procedures.

* Related changes to fdcheckstd() and dupfdopen().

kernel - use new td_ucred in numerous places

* Use curthread->td_ucred in numerous places, primarily system calls,
  where curproc->p_ucred was used before.

* Clean up local variable use related to the above.

* Adjust several places where p_ucred is replaced to properly deal
  with lwp threading races to avoid accessing and freeing a potentially
  stale ucred.

* Adjust static procedures in the ktrace code to generally take lwp
  pointers instead of proc pointers.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Add -Werror to the kernel build.

* Add a new 'nowerror' keyword to config(8) for parsing the 'files' files.
  When specified, it will prevent the file from being compiled with
  -Werror.

  Note that files that have their own compile-with rules need "${WERROR}"
  added to get -Werror.

* Adjust all 'files' files accordingly: Set nowerror where we still warn
  (i386 or x86_64) and add "${WERROR}" to compile-with rules where it
  applies.

* Remove explicit -Werror-implicit-function-declaration setting as it is
  now useless (-Wimplicit-function-declaration is already part of -Wall).

You will need an updated config(8) (i.e., one that understands 'nowerror')
for this to work so don't forget to quick/buildworld before recompiling
the kernel. nativekernel users will have to update their host config(8).

NO_WERROR in /etc/make.conf applies here as well and turns off the setting
of -Werror for the kernel, too.

In-discussion-with: corecode, aggelos, and others

mp_machdep.c: Fix some warnings of the SMP without APIC_IO build.

LINT - clear a bunch of warnings

* Clear a bunch of warnings that appear when building LINT kernel.

Fix warning in the UP build.

kernel - Third time's the charm - move lwp_ucred to td_ucred

* Easier access to the cached ucred via the thread structure instead of
  the lwp.

savecore(8) - Update manpage

* Update savecore man page to reflect changes to the savecore utility itself.

Obtained-from: FreeBSD

kernel - Make adjustments to the per-lwp ucred

* Rename lwp_syscall_ucred to lwp_ucred and move ucred synchronization
  from syscall2() to userenter().  It now runs on any user entry into
  the kernel, not just for system calls.

  NOTE: A VM fault from the kernel itself does not call userenter() and
        does not trigger another synchronization.  This is the behavior
we desire, to ensure that lwp_ucred is stable.

  There are numerous non-syscall cases (e.g. signal, fault, etc) where
  we may need to access a safe ucred.

* Remove the SMP conditional.  lwp_ucred is now tracked for both UP and SMP.
  There is no point optimizing this for UP since there is basically no cost
  for tracking lwp_ucred.

kernel - move proc->p_lock, add lwp ucred caching

* Move p_lock out from the struct proc copy area, change it from a
  char to an int, and make PHOLD/PRELE MPSAFE.

* System calls now cache a read-only copy of p->p_ucred in
  lp->lwp_syscall_ucred.  This will be used by system call code
  to access the ucred in a MPSAFE manner.

vga(4): Simplify conditions for mode rejection somewhat.

When mapping the video parameter table to our mode_map, only reject modes
which are neither 40x25, 80x25 nor 80x30, instead of rejecting or accepting
the whole table based on comparing the initial mode's BIOS and power-up
register settings.

Add a VGA_KEEP_POWERON_MODE option which (when set) preserves the register
settings which were found for the initial mode upon power-on for switching
back to it (or some mode derived from it) from another mode. The power-on
settings are also taken for the initial mode in case the video parameter
table has no valid settings for it.

This is kinda similar to what's proposed in FreeBSD's kern/64114.

periodic - Don't include timestamps in e-mail output by default.

HAMMER Utility - fix unfreeable pointer in 'hammer info'

* Fix the construction of the mountedon variable to ensure the
  variable can be free()'d.

Reported-by: "Steve O'Hara-Smith" <steve@sohara.org>
Also-suggested-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>

HAMMER Utility - Fix seg-fault in hammer cleanup if blank lines in config

* If the HAMMER config contained blank lines the hammer cleanup
  directive would seg-fault trying to parse it.

* Ignore blank lines.  Also ignore lines beginning with a '#' when
  parsing the config.

Reported-by: elekktretterr@exemail.com.au

setlocale.3: Correct function name.

pnp.4: Comment out some docs (code either gone or #if 0'd).

rman.9: Comment out documentation for rman_await_resource().

The code is #if 0'd too.

vcount.9: count_udev() no longer exists.

See aec8eea47f8acbdec20843e7d8e7bc6d4255cce3

pthread_rwlock_timedwrlock.3: Correct function name.

sleep.9: Adjust for serialize_sleep() -> zsleep() rename.

See ed3f6624e9093425dd733be90efc696df86c9e0e

Also, sync the MLINKS with the manual page.

kernel - Move MP lock inward, plus misc other stuff

* Remove the MPSAFE flag from the syscalls.master file.  All system calls
  are now called without the MP lock held and will acquire the MP lock if
  necessary.

* Shift the MP lock inward.  Try to leave most copyin/copyout operations
  outside the MP lock.  Reorder some of the copyouts in the linux emulation
  code to suit.

  Kernel resource operations are MP safe.

  Process ucred access is now outside the MP lock but not quite MP safe
  yet (will be fixed in a followup).

* Remove unnecessary KKASSERT(p) calls left over from the time before
  system calls where prefixed with sys_*

* Fix a bunch of cases in the linux emulation code when setting groups
  where the ngrp range check is incorrect.

Remove misleading comments

HAMMER - Stabilize and refactor volume removal

* Correctly handle already freed layer1 entries.
* Correclty avoid reallocation on the volume to be removed
  during reblocking.
* Erase volume header after removal so that trying to mount it
  afterwards will fail (otherwise mount will silently use it).

libc: Some warning fixes.

Sync libc's un-namespace.h with namespace.h.

i386: sync k6_mem.c with FreeBSD

 * style(9)
 * replace strcmp() with cpu_vendor_id

i386: sync i686_mem with FreeBSD

 * style cleanup
 * replace cpu_vendor with cpu_vendor_id
 * fix performance problem with some cpus
   (see http://svn.freebsd.org/viewvc/base?view=revision&revision=177125)
 * add constants for the various fields in MTRR registers
 * hide MTRR under bootverbose

identcpu.c: add PLCMULDQ, AES and VMM feature strings

i386: sync identcpu with FreeBSD

 * more feature strings
 * core/package detection (from x86_64)
 * replace cpu_vendor with cpu_vendor_id
 * move cpu identification variables declaration
   to initcpu.c

HAMMER - Fix reblocking operation of volume removal

* Reblock everything
* Interruptable
* Sync before free L1/L2 entries (bigblocks might be reserved).
* Fix a bug (layer2->zone vs. layer2_zone)

HAMMER VFS - Fix incorrect hammer_cursor_removed_node() call in btree_remove()

* hammer_cursor_removed_node() was being called on the wrong node.  This
  fixes a parent != NULL assertion later on.

* There is still at least one known issue where btree_iterate can panic
  due to a cursor tracking issue that has not yet been located.

HAMMER - Fix panic when removing volume

* unload buffers before unloading volume

* fix missing call to hammer_rel_volume() which lead to
  kernel panic upon umount

Remove inclusion of <sys/cdefs.h> from kernel .c files.

They are not needed and mostly leftovers from former __FBSDID and the
likes.

Also add some missing CVS ids to the comments.

HAMMER - Stabilize volume removal

* assert that L1 entries point to the volume

* don't leave the volume in an inconsistent state
  if it is not completely empty.

Fix typo

HAMMER - Fix umount flushing issue for volume-add/del

Only changes to the header of the root volume are automatically
flushed to disk, changes to headers of other volumes not. Do it
manually.

Add hotplugd options to the default rc.conf and rc.conf.5.

HAMMER - Implement experimental volume removal

A volume other than the root volume can be removed with:

    hammer volume-del device filesystem

WARNING: Experimental!

Kill T/TCP

T/TCP has serious security issues by design and has not
found widespread usage. Keeping it around is also a
maintenance burden.

top - bring in "pid" sort order from freebsd module (N-KEY and option -o "pid").
    - rework pointer casts in compare_* functions after netbsd module's pattern.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

make.conf and make.conf.5: Remove obsolete TOP_TABLE_SIZE option.

hotplug.4 & hotplugd.8: Some mdoc cleanup.

Rename "hammer expand" to "hammer volume-add"

Also rename the ioctl interface function accordingly.

NOTE:

  hammer expand fs device

changed to:

  hammer volume-add device fs

Fix argument order for netmsg_init().

Actually hook hotplug.4 into the build.

top - enable full command line display.

Fix LINT kernel build.

Specifically, building with IPDIVERT & SMP was broken.

hammer: update Version 4 description

HAMMER VFS - Fix WIP

* Change WIP to 5 so hammer version-upgrade doesn't complain when upgrading
  to version 4 (which is no longer WIP).

Reported-by: Johannes Hofmann

HAMMER Utility - Allow expanding root filesystems again

This reverts commit e3102897c486b844e6a59e419e7e98a0d1ca3246, because
as of commit 104cb849cad1c21c8929f73d7654e16c4fb8a268, multi-volume
HAMMER root-mounts should work.

Please note that "hammer expand" is still considered EXPERIMENTAL.

HAMMER - Implement multi-volume root mounts

dump - Unbreak VKERNELs

* VKERNELs don't support dumping, so add a dummy dumpsys() to indicate this
  on VKERNELs.

* hence also don't allocate vm_page_dump.

Reported-by: Simon "corecode" Schubert

top(1): Remove top.x from CLEANFILES, since it's not generated.

HAMMER Utility - Refuse to expand the root filesystem

* Refuse to expand a HAMMER filesystem mounted as the root filesystem.
  The DragonFly kernel is currently not able to mount a multi-volume
  HAMMER root.

Reported-by: Jan Lentfer <Jan.Lentfer@web.de>

HAMMER Utility - Add -p <ssh-port> option

* Allows the ssh port for remote specification to be specified.  This
  option is passed as '-p <ssh-port>' to ssh invocations.

loader.8: Bump .Dd and fix a manlint warning.