Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Add -Werror to the kernel build.

* Add a new 'nowerror' keyword to config(8) for parsing the 'files' files.
  When specified, it will prevent the file from being compiled with
  -Werror.

  Note that files that have their own compile-with rules need "${WERROR}"
  added to get -Werror.

* Adjust all 'files' files accordingly: Set nowerror where we still warn
  (i386 or x86_64) and add "${WERROR}" to compile-with rules where it
  applies.

* Remove explicit -Werror-implicit-function-declaration setting as it is
  now useless (-Wimplicit-function-declaration is already part of -Wall).

You will need an updated config(8) (i.e., one that understands 'nowerror')
for this to work so don't forget to quick/buildworld before recompiling
the kernel. nativekernel users will have to update their host config(8).

NO_WERROR in /etc/make.conf applies here as well and turns off the setting
of -Werror for the kernel, too.

In-discussion-with: corecode, aggelos, and others

mp_machdep.c: Fix some warnings of the SMP without APIC_IO build.

LINT - clear a bunch of warnings

* Clear a bunch of warnings that appear when building LINT kernel.

Fix warning in the UP build.

kernel - Third time's the charm - move lwp_ucred to td_ucred

* Easier access to the cached ucred via the thread structure instead of
  the lwp.

savecore(8) - Update manpage

* Update savecore man page to reflect changes to the savecore utility itself.

Obtained-from: FreeBSD

kernel - Make adjustments to the per-lwp ucred

* Rename lwp_syscall_ucred to lwp_ucred and move ucred synchronization
  from syscall2() to userenter().  It now runs on any user entry into
  the kernel, not just for system calls.

  NOTE: A VM fault from the kernel itself does not call userenter() and
        does not trigger another synchronization.  This is the behavior
we desire, to ensure that lwp_ucred is stable.

  There are numerous non-syscall cases (e.g. signal, fault, etc) where
  we may need to access a safe ucred.

* Remove the SMP conditional.  lwp_ucred is now tracked for both UP and SMP.
  There is no point optimizing this for UP since there is basically no cost
  for tracking lwp_ucred.

kernel - move proc->p_lock, add lwp ucred caching

* Move p_lock out from the struct proc copy area, change it from a
  char to an int, and make PHOLD/PRELE MPSAFE.

* System calls now cache a read-only copy of p->p_ucred in
  lp->lwp_syscall_ucred.  This will be used by system call code
  to access the ucred in a MPSAFE manner.

vga(4): Simplify conditions for mode rejection somewhat.

When mapping the video parameter table to our mode_map, only reject modes
which are neither 40x25, 80x25 nor 80x30, instead of rejecting or accepting
the whole table based on comparing the initial mode's BIOS and power-up
register settings.

Add a VGA_KEEP_POWERON_MODE option which (when set) preserves the register
settings which were found for the initial mode upon power-on for switching
back to it (or some mode derived from it) from another mode. The power-on
settings are also taken for the initial mode in case the video parameter
table has no valid settings for it.

This is kinda similar to what's proposed in FreeBSD's kern/64114.

periodic - Don't include timestamps in e-mail output by default.

HAMMER Utility - fix unfreeable pointer in 'hammer info'

* Fix the construction of the mountedon variable to ensure the
  variable can be free()'d.

Reported-by: "Steve O'Hara-Smith" <steve@sohara.org>
Also-suggested-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>

HAMMER Utility - Fix seg-fault in hammer cleanup if blank lines in config

* If the HAMMER config contained blank lines the hammer cleanup
  directive would seg-fault trying to parse it.

* Ignore blank lines.  Also ignore lines beginning with a '#' when
  parsing the config.

Reported-by: elekktretterr@exemail.com.au

setlocale.3: Correct function name.

pnp.4: Comment out some docs (code either gone or #if 0'd).

rman.9: Comment out documentation for rman_await_resource().

The code is #if 0'd too.

vcount.9: count_udev() no longer exists.

See aec8eea47f8acbdec20843e7d8e7bc6d4255cce3

pthread_rwlock_timedwrlock.3: Correct function name.

sleep.9: Adjust for serialize_sleep() -> zsleep() rename.

See ed3f6624e9093425dd733be90efc696df86c9e0e

Also, sync the MLINKS with the manual page.

kernel - Move MP lock inward, plus misc other stuff

* Remove the MPSAFE flag from the syscalls.master file.  All system calls
  are now called without the MP lock held and will acquire the MP lock if
  necessary.

* Shift the MP lock inward.  Try to leave most copyin/copyout operations
  outside the MP lock.  Reorder some of the copyouts in the linux emulation
  code to suit.

  Kernel resource operations are MP safe.

  Process ucred access is now outside the MP lock but not quite MP safe
  yet (will be fixed in a followup).

* Remove unnecessary KKASSERT(p) calls left over from the time before
  system calls where prefixed with sys_*

* Fix a bunch of cases in the linux emulation code when setting groups
  where the ngrp range check is incorrect.

Remove misleading comments

HAMMER - Stabilize and refactor volume removal

* Correctly handle already freed layer1 entries.
* Correclty avoid reallocation on the volume to be removed
  during reblocking.
* Erase volume header after removal so that trying to mount it
  afterwards will fail (otherwise mount will silently use it).

libc: Some warning fixes.

Sync libc's un-namespace.h with namespace.h.

i386: sync k6_mem.c with FreeBSD

 * style(9)
 * replace strcmp() with cpu_vendor_id

i386: sync i686_mem with FreeBSD

 * style cleanup
 * replace cpu_vendor with cpu_vendor_id
 * fix performance problem with some cpus
   (see http://svn.freebsd.org/viewvc/base?view=revision&revision=177125)
 * add constants for the various fields in MTRR registers
 * hide MTRR under bootverbose

identcpu.c: add PLCMULDQ, AES and VMM feature strings

i386: sync identcpu with FreeBSD

 * more feature strings
 * core/package detection (from x86_64)
 * replace cpu_vendor with cpu_vendor_id
 * move cpu identification variables declaration
   to initcpu.c

HAMMER - Fix reblocking operation of volume removal

* Reblock everything
* Interruptable
* Sync before free L1/L2 entries (bigblocks might be reserved).
* Fix a bug (layer2->zone vs. layer2_zone)

HAMMER VFS - Fix incorrect hammer_cursor_removed_node() call in btree_remove()

* hammer_cursor_removed_node() was being called on the wrong node.  This
  fixes a parent != NULL assertion later on.

* There is still at least one known issue where btree_iterate can panic
  due to a cursor tracking issue that has not yet been located.

HAMMER - Fix panic when removing volume

* unload buffers before unloading volume

* fix missing call to hammer_rel_volume() which lead to
  kernel panic upon umount

Remove inclusion of <sys/cdefs.h> from kernel .c files.

They are not needed and mostly leftovers from former __FBSDID and the
likes.

Also add some missing CVS ids to the comments.

HAMMER - Stabilize volume removal

* assert that L1 entries point to the volume

* don't leave the volume in an inconsistent state
  if it is not completely empty.

Fix typo

HAMMER - Fix umount flushing issue for volume-add/del

Only changes to the header of the root volume are automatically
flushed to disk, changes to headers of other volumes not. Do it
manually.

Add hotplugd options to the default rc.conf and rc.conf.5.

HAMMER - Implement experimental volume removal

A volume other than the root volume can be removed with:

    hammer volume-del device filesystem

WARNING: Experimental!

Kill T/TCP

T/TCP has serious security issues by design and has not
found widespread usage. Keeping it around is also a
maintenance burden.

top - bring in "pid" sort order from freebsd module (N-KEY and option -o "pid").
    - rework pointer casts in compare_* functions after netbsd module's pattern.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

make.conf and make.conf.5: Remove obsolete TOP_TABLE_SIZE option.

hotplug.4 & hotplugd.8: Some mdoc cleanup.

Rename "hammer expand" to "hammer volume-add"

Also rename the ioctl interface function accordingly.

NOTE:

  hammer expand fs device

changed to:

  hammer volume-add device fs

Fix argument order for netmsg_init().

Actually hook hotplug.4 into the build.

top - enable full command line display.

Fix LINT kernel build.

Specifically, building with IPDIVERT & SMP was broken.

hammer: update Version 4 description

HAMMER VFS - Fix WIP

* Change WIP to 5 so hammer version-upgrade doesn't complain when upgrading
  to version 4 (which is no longer WIP).

Reported-by: Johannes Hofmann

HAMMER Utility - Allow expanding root filesystems again

This reverts commit e3102897c486b844e6a59e419e7e98a0d1ca3246, because
as of commit 104cb849cad1c21c8929f73d7654e16c4fb8a268, multi-volume
HAMMER root-mounts should work.

Please note that "hammer expand" is still considered EXPERIMENTAL.

HAMMER - Implement multi-volume root mounts

dump - Unbreak VKERNELs

* VKERNELs don't support dumping, so add a dummy dumpsys() to indicate this
  on VKERNELs.

* hence also don't allocate vm_page_dump.

Reported-by: Simon "corecode" Schubert

top(1): Remove top.x from CLEANFILES, since it's not generated.

HAMMER Utility - Refuse to expand the root filesystem

* Refuse to expand a HAMMER filesystem mounted as the root filesystem.
  The DragonFly kernel is currently not able to mount a multi-volume
  HAMMER root.

Reported-by: Jan Lentfer <Jan.Lentfer@web.de>

HAMMER Utility - Add -p <ssh-port> option

* Allows the ssh port for remote specification to be specified.  This
  option is passed as '-p <ssh-port>' to ssh invocations.

loader.8: Bump .Dd and fix a manlint warning.

Clean up BIND upgrade.

Remove some auto-generated files which were accidentally added.

libkvm - Update for new dumps & minidumps

* Update libkvm so it will work with the new-style dumps and minidumps.

* If the ELF header of a core dump is not valid, assume it's an old style
  dump. This way we can still read old-style dumps after this update.

Obtained-from: FreeBSD

savecore - Update savecore to work with new dumps/minidumps

* Update savecore so it can save the new ELF dumps and minidumps.

Obtained-from: FreeBSD

dump - Make use of the new dumping

* Adapt our dumping infrastructure to the new dump type.

* Update all disk/raid dump methods (except aac) to work with the new
  dumps. These now don't take matters into their own hands and just write
  what they are told to.

dump - Bring in FreeBSD's dumping (new dumps & minidumps)

* Bring in FreeBSD's dumps and minidumps, which use an ELF header instead of
  a raw dump.

* Adapt to our needs by, for example, saving the dumppcb and dumpthread.

Obtained-from: FreeBSD

pmap - Change pmap_map syntaxis

* Change pmap_map syntaxis to take a pointer to vm_offset_t, so the vaddr is
  modified when memory is mapped.

* Hence also don't return the modified vaddr, but rather return the mapped
  memory.

* This unifies the syntax for the different platforms, as on amd64, pmap_map
  returned the mapped area, instead of the changed vaddr.

* Modify vm_page.c accordingly, and also set aside some memory that minidumps
  need.

lentferj - commit test.

network - Fix SMP build

Reported-by: lentferj

network - Fix UP build

Reported-by: Sascha Wildner <saw@online.de>

network - Move socket from netmsg ext to netmsg header, add port to socket

These changes should make it easier to debug mbufs routed to the wrong
protocol threads.  Note that IPV6 is routed to netisr0, even for tcp and udp
packets, so for now we do not KKASSERT that the port matches directly.

The TCP code still KKASSERTs that the timers are running on the correct cpu,
since the cpu is still correct for IPV6 TCP/UDP packets even when the
protocol thread is wrong (netisr_cpu 0 instead of tcp_thread 0 or
udp_thread 0).

* Instead of recalculating the port based on the inp or mbuf all the time,
  add a so_port field to the socket structure directly.

* The socket pointer is now part of the netmsg header, even though some
  subsystems do not need it.  This allows us to validate the message port
  more easily.

development.7: Add style(9) xref and a pointer to dragonfly.el.

Move tools/tools/editing/dragonfly.el to share/misc.

Add a profile for indent(1) which matches our style quite well.

Adapted-from: NetBSD

Clean up some Makefiles (let the user decide which options they want).

Merge commit 'lentferj/top_update'

top - correctly prototype compare_* functions. Remove debug option from Makefile.

HAMMER VFS - Change default from version 3 to version 4

* Version 4 is now the default for newfs_hammer and is no longer
  considered a work in progress.

* Filesystems may be upgraded to version 4 in-place.  The UNDO FIFO
  (typically 1G) is reformatted so the upgrade might take a minute or
  two depending.

* Version 4 allows the UNDO FIFO to be flushed without also having
  to flush the volume header, removing 2 of the 4 disk syncs typically
  required for an fsync() and removing 1 of the 2 disk syncs typically
  required for a flush sequence.

  This is accomplished by adding a sequence number of the UNDO entries
  in the FIFO and preventing them from crossing a 512-byte boundary,
  so each 512-byte block starts with an entry.  HAMMER's mount code
  is then able to scan the UNDO FIFO to determine the start and end
  for recovery purposes.

* Version 4 implements the infrastructure needed for REDO, but does not
  implement any REDO operations.

top - style cleanup and removal of unnecessary code

Import hotplugd(8) from OpenBSD.

Import hotplug(4) pseudo-device.

Obtained-from: OpenBSD.

kernel - Fix recursive lockmgr lock panic when creating a hardlink

* HAMMER uses non-recursive vnode locks.  Fix a case where attempting
  to hardlink A to B where both already exist and point to the same
  inode can result in a panic if B is not in the namecache.

  HAMMER must temporarily lock the vnode it returns in the resolver
  and kern_link() was already holding A locked.  This all occurs
  before kern_link() is able to check whether A and B are the same
  so it can't be avoided.

  Solve the problem by unlocking A while resolving B.

Reported-by: Goetz Isenmann <info@goetz-isenmann.de>

Merge commit 'lentferj/top_update'

top - Import DragonFly specific patches for 3.8beta1.
       * fix commands.c renice function to prevent segfault on wrong number of parameters.

HAMMER VFS - Fix bug in statvfs()

* statvfs() had a coding error which caused it to return 0 free space
  until the first statfs() call was made.

Reported-by: Johannes Hofmann <johannes.hofmann@gmx.de>

sysperf /call-loop test - Ensure the nop() call is not optimized out

vkernel test - Add a NFS root / boot feature to the vkernel test environment

* Add a NFS root / boot feature to the vkernel test environment.  By
  default set IP to 10.0.0.53 and mount the root from 10.0.0.1:/netboot2,
  using overridable make variables.

hammer utility - minor adjustment to snaprm

* Allow the removal of snapshots with a transaction id of 0.  Such
  snapshots are a degenerate case which can occur only during testing.

adventure(6): Fix saving games on x86_64.

Submitted-by: tuxillo

cxm_extract_fw(8): Fix indent.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

cpdup - Multiple additions, fixes, and one removal

* Make -x/-X (cpignore) work with remote sources.

* Add Makefile hack for _ST_FLAGS_PRESENT_ on FreeBSD.

* Suppress "Handshaked with <host>" and "Not running as root"
  messages when the -q option was specified.

* Mount points are now skipped completely.  (Before this,
  the directories and .cpignore inside them were still read.)

* Extract scanning directories (src and dst) from DoCopy() into
  a function ScanDir(), and use ScanDir() for both src and dst.

* Remove threads support.  It never worked very well and is
  getting in the way of new development.  The intention is to
  develop a more efficient pipelined algorithm in the future
  which does not require threading the program.

* Use getopt(3) instead of non-standard parser, making sure
  that all options still work exactly as documented in the
  manual page.

* Use fnmatch(3) instead of WildCmp(), adding support for
  bracket expressions (e.g. [xyz0-9]) and escaping (e.g. foo\*).
  I also suspect that fnmatch() is more efficient.

* Use the same syntax for remote paths as scp(1), so local paths
  that contain colons can be specified (e.g. "./foo:bar");
  extract that code into its own function SplitRemote().

* Add protocol commands hc_geteuid() and hc_getgroups().
  Use them to properly check permissions for various operations
  that would require root privileges on the target machine.

* Bugfix:  If a symlink already existed on the target but the
  owner/group didn't match, cpdup missed to update it.
  Added a call to hc_lchown() to fix that, if privileges allow.

* Bugfix:  The dispatch[] array wasn't initialized, so the slave
  crashed upon an unknown command instead of calling rc_badop().

* Bump protocol version to 3 in order to be able to maintain
  backwards compatibility with older clients.

* Bump utility version to 1.16.

* Make the source compile with WARNS=6.
  It still doesn't pass -ansi -pedantic, though.  :-)

* Document -j0, -k and -K in usage message (misc.c).

* Update the manual page, fix mdoc markup and various details.

* Add "ssh security tips" section to the BACKUPS text file.

Submitted-by: Oliver Fromme <olli@fromme.com>

cxm_extract_fw.8: Small mdoc correction.

Merge commit 'lentferj/bind_vendor2'

bind - Changed bind dependend Makefiles to fit to new contrib/bind without version tag.

Merge branch 'vendor/BIND' into bind_vendor2

bind - Removed version tag from contrib directory and updated README.DRAGONFLY.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Unbreak ptrace on x86_64

The asm code was calling __tls_get_addr in order to set errno to 0
before the system call and that was trashing registers holding the
syscall arguments. Don't bother setting errno to 0 anymore (the
in-tree users are careful to set that themselves when appropriate).
While here, declare it properly as a weak symbol. At this point we
could just drop the hand-written assembly.

Proxies-to-x86_64-dfly: Antonio Huete Jimenez, Jan Lentfer
Dragonfly-bug: http://bugs.dragonflybsd.org/issue1571

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Dev  1, 2009
Mares:   Nov 23, 2009

top - Import 3.8beta1 sources into new vendor/TOP branch.

top - Remove contrib/top from base in perparation of update.

libm: Fix typos in Makefile comments.

libm: Import nearbyint{,f}() functions from FreeBSD.

nearbyintl() requires rintl() which we currently miss.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1546>

cpdup - Fix the sense of a uid check when files are otherwise identical

* Fix the sense of a uid check when files are otherwise identical
  (Oliver).

* Also slightly reduce network overhead by removing unnecessary chflags
  calls when running as a user and the only differences are in the
  root-only chflags bits (Matt).

Submitted-by: Oliver Fromme <olli@fromme.com> (RunningAsRoot fix)