hammer2 - more indirect block work, add advlock

* Fix several bugs in the indirect block code.  Directories and files should
  both now be able to expand properly.  Except for an excessive dirty buffer
  buildup (see 'bawrite' below), we can now create regular files linearly
  and create sub-directory trees.  e.g. cpdup is starting to show results.

* Fix an issue with readdir related to how ranged searches work (results
  can be returned in any order within the range).  Do a direct lookup of
  the key before resorting to a range.  Until we sort the keys this is not
  going to work correctly in the face of concurrent deletions.

* Try conditionalizing bawrite() vs bdwrite() in the flush code, but there
  are still major issues when NFS is used to back a VN device for testing
  which can deadlock the system.

* Remove or conditionalize a bunch of debugging kprintfs.

hammer2 - More indirect block work & test script work

* Correct strategy read and bmap offset calculations to allow for arbitrary
  differences between logical and physical block sizes.  This fixes data
  read-back issues past the first 16K of data.

* Correct a panic related to the use of an unlocked chain in the lookup
  code when indirect blocks have to be recursed through.

* Add vop_getpages/vop_putpages -> stdgetpages/stdputpages.

* Minor reordering for correctness.

* Adjust test scripts to be a bit smarter, adjust debugging kprintf()s

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

vn - use DSO_RAWPSIZE flag

 * Use the DSO_RAWPSIZE flag so that the disk subsystem uses vn's own
   psize when the top level fails.

 * This allows the use of vn disks as swap.

Reported-by: Antonio Huete (tuxillo@)

disk - add flag to use underlying psize

 * If the top (disk subsystem) psize fails, try again with the
   underlying raw device psize if the DSO_RAWPSIZE flag is set for the
   disk.

 * This allows for disk devices and slices without a proper disklabel to
   return a correct psize, which in turn allows the device to be used
   for swap.

 * Previously that behaviour was integrated with the DSO_DEVICEMAPPER
   flag.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

uguru(4): Fix a panic when detaching (e.g., on kldunload).

Reported-by: Max Herrgard <herrgard@gmail.com>

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

vnconfig - use correct device if using autoclone

 * if autoclone device (/dev/vn) is used in vnconfig, the wrong device
   is later passed to, e.g., swapon().

 * Fix it by changing the device name the rest of vnconfig
   operates on to the actual device name as per fdevname.

Reported-by: tuxillo

subr_disk - clear out old labels

 * Whenever a label is blown out and we reprobe, make sure we also clean
   the in-memory disklabel inside the diskslice - otherwise dscheck()
   will think that there's still an old disklabel around.

 * This fixes changing the disklabel from disklabel64 to disklabel32 and
   vice versa without rebooting.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1667
Reported-by: Thomas Nikolajsen

disklabel - add new freedisklabel op

 * The freedisklabel op is simply used to free the disklabel stored in a
   disklabel_t (in a diskslice).

 * It deallocates the memory and sets the pointer to NULL.

kernel: Regenerate pcidevs.h and pcidevs_data.h.

kernel/pcidevs: Shrink it down to what we actually need from it.

kernel: Move a de(4) specific header file where it belongs.

netif: Use ether_ioctl() to handle SIOCSIFADDR

DragonFly's SIOCSIFADDR handling in ether_ioctl() already has unnecessary
if_init avoidance processing; no need to reinvent the wheel

e1000: Remove em specific files, which are not and will not be used

kernel/pci: Fix indent.

kernel/pci: Fix the securelevel check in pci_open() for write access.

While here, clean up some unused code and definitions.

dm_target_crypt.4: Remove trailing whitespace.

puffs - fix possible null pointer dereference

Found-by: clang static analyzer

puffs: Install some headers and remove now unnecessary -I's in Makefiles.

kernel/i386: Remove the empty CPU_HAS_FXSR kernel option.

vlan: Add comment about how MPSAFE works out for vlan

vlan: Fix the incorrect logic

It should speak that parent interface is gone or parent interface
was changed.

rdrand.4 - add warning about being untested

rdrand.4 - add man page

LINT{,64} - add rdrand

rdrand - An RNG driver for the RdRand insn

 * The driver is as of yet untested as the hardware is not yet
   available!

build: Add WORLD_LDVER (similar to WORLD_CCVER)

This enables building world and kernel with the gold linker, and the
result is finally fully bootable and functional.

objformat: Recognize LDVER instead of LINKERVER

An informal discussion on IRC revealed that the environment variable
LDVER is preferred over LINKERVER to select the gold linker.

boot2: Add linker scripts for gold v2.22

The precursors for boot2 and boot2_64 also require linker scripts
when built with gold.  The boot2 program was tested using disklabel
for both linkers after introducing the attached linker script.

loader: Add linker scripts for gold v2.22

The program header handling defaults for the gold linker that comes with
binutils 2.22 changed from the 2.21 version.  As a result, DragonFly's
loader broke when linked with gold, rendering it unbootable.

The solution is to provide dedicated linker scripts for btx, btxldr, and
the loader itself.  These scripts specify how to handle the program
headers.  In these cases, we don't want to embed the headers in the first
LOAD segment which is what gold was doing, so the PDHRS section of the
scripts prevents that from happening.

The gnu ld-built loader still builds just fine with these linker scripts.

loader: use _end symbol instead of end

A long time ago, the "_end" symbol replaced the "end" symbol.  The "end"
symbol was never present on the x86_64 DragonFly platform, but it was
erroneously carried inside the i386 libc for a few years (removed with
commit 8f73bea34efe21334e560a312017af168f3d1991).

The main.c file of the loader has been carrying the old version of the
symbol, but this was masked with the standard linker script which defined
"end: as an alias of "_end" and put both symbols in the binary.

This is the only instance of "end" found in the DragonFly code base, and
now it is gone.

identcpu - add bits about RdRand (RDRND)

hammer2 -- Fix failure to release buffer in hammer2 mount path error route.

hammer2 -- Check root blockset CRC during mount attempts.

kthread_create - fix varargs bug

 * varargs in _kthread_create were handed the formatter but not the
   va_list, leading to all sorts of unexpected behaviour.

 * Set up the va_list in the callers of _kthread_create and pass it in
   when calling.

Points-finger-at: tuxillo
Reported-by: Markus Pfeiffer, Sascha Wildner, Myself

crypttab.5 - Mention loading dm_target_crypt

Dragonfly-bug: http://bugs.dragonflybsd.org/issue2281

dm - Add manpages for target crypt and striped

agp - fix potential panic

 * Fix a potential panic when close() is called on an agp device that
   hasn't been opened.

 * Check whether it's open (and has been busied) before trying to unbusy
   it.

Reported-by: Pierre Abbat
DragonFly-bug: http://bugs.dragonflybsd.org/issue2310

psshfs - implement hard links

 * implement hard links using the OpenSSH SFTP extension for it, since
   OpenSSH doesn't understand FXP_LINK as per sftp version 6.

libc -- stdlib: Implement aligned_alloc from C11.

libc -- stdlib: Implement quick_exit and at_quick_exit from C11.

puffs - check whether the FS has the given op

 * Previously calls to some of the vnops that are unimplemented in the
   actual puffs filesystem were succeeding.

 * We now check whether the op exists before trying to pass it to
   the userland FS. If it doesn't exist, fail (or return ok if no real
   action needs to be taken).

puffs - fix panic on hardlink

 * puffs was trying to lock the vp in nlink again, but kern_link does
   that already via vget.

Reported-by: Sascha Wildner (swildner@)

kern - Do not expose _kthread_create()

Pointed-out-by: aggelos

kern build: Tweak ldscripts for gold linker

The gold linker v2.21 was able to link a working kernel although its
modules were unloadable.  The gold linker v2.22 could build loadable
modules, but the kernel wouldn't boot!  It's not clear why the modules
started to work -- my guess is that the ancient ldscripts used during
the 2.21 trial were the culprit.

The gold linker changed its ELF program header handling defaults for
version 2.22, and this resulted in an extra LOAD segment reserved only
for the program headers.  The DragonFly loader wasn't expecting that
and instantly rebooted when trying to load a gold kernel.

The solution was to add a PHDRS section to the ldscripts to specify
exactly the section to segment mapping, and prevent gold from putting
the elf headers in their own load segment.  Now gold matches gnu ld
linker in having only two LOAD segments, text and data.

As a curiousity, gold sets the LOAD segment alignment value at 0x1000
for both i386 and x86_64, where gnu ld sets the segment alignment at
0x1000 for i386 and 0x200000 for x86_64.  This seems to have no impact
on the loading of the kernel.

loaded: Remove obsolete -elf cflags

The gnu ld ignores -elf, but gold linker interprets this flag as
entry=lf.  It's a dinosaur from the FreeBSD aout days.

LINT: Add CPU_HAS_SSE2.

build - Add git gc --aggressive to src and pkgsrc git repo creation

* Issue a git gc --aggressive after pulling the git repo for src
  and/or pkgsrc.  This will garbage collect and recompress the
  repo, significantly reducing the disk space required.

* Primarily intended to reduce the size of the usb and dvd gui nrelease
  images.

* The gc pass takes a few minutes to run but seems worth it.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

Remove the KTR_MSGPORT kernel option which was never used.

kern - Merge two functions to avoid duplicated code.

- Merged kthread_create() and kthread_create_cpu() into
  _kthread_create() thus avoiding some duplicated code.
- Set TDF_VERBOSE on threads only under bootverbose.

Makefile.inc1: Remove a no longer used variable.

Remove the old <sys/ata.h> header and make it a link of <sys/nata.h>.

chkey, chpass, enigma, lock, newgrp, pw - Handle NULL return from crypt(3)

Fix some typos.

dsched(4): Some miscellaneous cleanup.

* Rename the bfq manpage to dsched_bfq(4), so that we don't run into
  name conflicts in the future. If someone wrote a manpage for
  dsched_as, it would have resulted in an as(4) manpage.

* Add options DSCHED_AS and DSCHED_BFQ to LINT*.

* Also, remove an unneeded check in dsched_as.

kern build: Update ldscripts

All for ldscripts (includes two virtual kernel scripts) have been
synchronized with binutils 2.22.  The previous sync was with FreeBSD
which is still using binutils 2.17.50.

A notable update is the usage of "-z max-page-size".  This is required
because the gold linker has a standard maximum page size of 0x1000 bytes
compared to 0x200000 bytes for the gnu ld linker.  It's an option to
change the default, but the gold default of 4KB has advantages.  Or in
other words, using a default maximum page size of 2MB has impacts to
library size and available memory that can be avoided.

Another thing to note is the vkernel64 has now been changed to load at
0x200000 like it's pc64 counterpart.

x86_64 getmemsize: Recover 0x100000 bytes

When binutils 2.20 was brought in, the x86_64 kernel built with it loaded
at 0x200000 instead of 0x100000 as it was previously.  The getmemsize()
function was never updated with the new address so the physical memory
between 0x100000 and 0x200000 has been lost since then.

The hardcoded value has been updated.  In the future, it may be a good
idea to replace with a variable as FreeBSD has done.

Merge remote-tracking branch 'crater/master'

tmpfs.5: Add note that DragonFly NFS client needs to disable ReaddirPlus

VFS accounting: optimize vop_write() performance

* Avoid a mount list scan if accounting is globally disabled

VFS accounting: check if nullfs mp* really exist

* Nullfs are a clever hack, they forget their mp after mount and let the
  non-nullfs underlying mount point do all the work

* Nevertheless, we need to get the real struct mount associated to a mount
  point to count the space used by PFSes. We cache it in the vnode.

* But since the vnode we use really belongs to the lowest underlying
  mount point, the upper-level mp may already have been freed.

* We need to first check if it still valid; a new function,
  mountlist_exists() now exists for that purpose.

* Should fix issue #2266

rtld: add carriage return to die()

Add missing EOL character to the die() message.  This was lost when rtld_fdputstr() was
brought into rtld.

origin:
FreeBSD PR bin/165075
FreeBSD SVN 231582 (13 Feb 2012)

hammer2 - Add indirect block creation

* hammer2_chain_create_indirect() is now called by hammer2_chain_create()
  when the current parent is full and an indirect block is needed to
  open up new slots.

  This function scans the key/keybits for all the entries in the parent and
  calculates the key/keybits representing the range, inclusive of the
  key/keybits we were trying to insert when we ran out of room.

  The range is then bisected and the low or high side is selected for
  indirect block replacement.  The indirect block is created and the low
  or high side elements are moved into the indirect block.  The function
  then returns and hammer2_chain_create() retries.

* Implement the HAMMER2_CHAIN_MOVED flag.  This flag is set in a chain
  element that has been moved into an indirect block, allowing flushes
  to detect the condition and update the element in the indirect block
  during the flush operation.

  We also subtley use NOLOCK in a few places since there is no need to
  actually load the contents of the entries being moved.

* Correct issues related to iterating through indirect blocks that came
  up in testing.

* Tested with mkdir > 8 entries.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

hier.7: Add back a .Bl that was removed with the binutils 2.20 removal.

kernel/pf: In the ioctl code, make sure NPFLOG is actually defined.

The inclusion of if_pflog.h was conditionalized on NPFLOG but it is
if_pflog.h itself that actually defines NPFLOG (because it includes
use_pflog.h).

So if_pflog.h was never included and some initialization code in
the ioctls for adding and changing rules was not executed.

hammer2 - core file read and write paths

* Get the core file create, read, and write paths working and tested for
  up to 8 blocks (we still don't have indirect blocks yet).

* Add a flags field to the hammer2_chain_lookup() and hammer2_chain_next()
  to retrieve the element with a ref but without a lock, avoiding any I/O
  (used to obtain the physical block address in the strategy_read code).

* Fix bugs in previously untested code paths related to reading and writing.
  Fixed a double allocation, improper handling of a degenerate case when
  creating a new record, missing b[q]relse()'s or bdwrite()'s, etc.

* Fix a ripout in the hammer2_chain_flush()'s SPLAY_FOREACH() loop that
  led to a crash.

* Add hammer2_vop_close()
* Add hammer2_vop_ncreate()

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

kernel: Remove unused attributes from stuff that is, in fact, used.

puc(4): Enable it for x86_64, too.

I have no idea if it works, but it is not in our GENERIC kernels so it
looks safe to just lurk for someone adding it to their config and
reporting breakage.

puc.4: Fix path.

kernel/i386: Remove a no longer needed include, too.

kernel: Remove the unused is_physical_memory() function.

It used to be used in dumping functions of raid and disk drivers but
updates and alexh's dumping upgrades (b24cd69c3515fbc52) removed all
usage more than two years ago.

Merge branch 'master' into hammer2

kernel: mfs -- Fix unmount panic for MFS filesystems.

mfs_start() is active for the life of an MFS mount, handling copyin/out
requests. It is directed to exit when an MFS filesystem is unmounted.
The VFS accounting code and VFS MPLOCK code assumed that the mountpoint
structure was stable on return of mfs_start, which was not the case.

To work around that, don't call acinit if the vfs_start vfsop returns
EMOUNTEXIT, a kernel-specific pseudo-errno. Also allow marking vfs_start
MPSAFE and mark mfs vfs_start MPSAFE, to avoid accessing a per-mount
token field. A future commit will rework MFS's locking so that critical
sections are not used to protect the MFS bioq.

This is a hack for MFS; future work should either rework the filesystem
or replace it outright with tmpfs.

Closes: Bug 2276

kernel: mfs -- Fix unmount panic for MFS filesystems.

mfs_start() is active for the life of an MFS mount, handling copyin/out
requests. It is directed to exit when an MFS filesystem is unmounted.
The VFS accounting code and VFS MPLOCK code assumed that the mountpoint
structure was stable on return of mfs_start, which was not the case.

To work around that, don't call acinit if the vfs_start vfsop returns
EMOUNTEXIT, a kernel-specific pseudo-errno. Also allow marking vfs_start
MPSAFE and mark mfs vfs_start MPSAFE, to avoid accessing a per-mount
token field. A future commit will rework MFS's locking so that critical
sections are not used to protect the MFS bioq.

This is a hack for MFS; future work should either rework the filesystem
or replace it outright with tmpfs.

Closes: Bug 2276

isp(4): Fix wrong sizeof().

proplib manpages: Add missing .Nd

objformat.1: Fix date.

kernel: Include <sys/ioccom.h> where ioctls are defined (part 2).

Some cases that I previously missed.

kernel: Include <sys/ioccom.h> where ioctls are defined.

Not where they are used.

See http://bugs.dragonflybsd.org/issues/1334

kernel: Remove opt_bus.h references where they are not needed.

It only defines BUS_DEBUG (if set) and BUS_DEBUG is only used in
subr_bus.c, so it doesn't need to be included anywhere else.

Merge remote-tracking branch 'crater/master'

Revert "libstand.3: remove .Xo/.Xc"

.Xo/.Xc support has been added to mandoc(1).

This reverts commit 7ad109144437549598e004ac327522a3106f57f9.

mfiutil(8): Fix typo.

kernel/pci: Implement the PCIOCATTACHED ioctl.

This fixes pciconf -a

Taken-from: FreeBSD

LINT/LINT64: Remove obsolete comment.

hammer2 - clean-up the chain code, first cut at the read/write/strategy code

* Do a major cleanup of the hammer2_chain handling code.

  We no longer kmalloc() a local copy when a chain element is modified.

  Instead we differentiate elements whos data is embedded (volume header,
  inodes) vs elements whos data is mapped to a buffer cache buffer (indirect
  blocks and data).

  Elements with embedded data simply leave the data pointer pointing at the
  embedded data as before.

  Elements without embedded data instantiate the newly allocated
  copy-on-write buffer cache buffer and bcopy() the data from the old
  buffer to the new buffer, replacing chain->bp and the chain->data pointer.
  The new bp is dirtied.

  The modified data no longer needs to be retained when the chain elmeent
  is released, we bdwrite() the bp and thus can reinstantiate the modified
  data at any time in the future.  This also allows the system to flush
  the modified data out.

* Implement hammer2_vop_read(), hammer2_vop_write(), and
  hammer2_vop_strategy().

  Currently untested (files cannot be created yet), but fairly
  straight-forward.  Definitely also not optimized yet.

hammer2 - correct saveoff in hammer2_vop_readdir()

* When terminating a search early read the next entry and set save_off
  to that, instead of setting it to the last returned entry's key + 1.

  This ensures an exact match when the search resume.  This could create
  problems in the future but for now its a quick way to track the
  directory scan due to the fully-associative nature of the on-media
  blockref arrays.

  (In the future we may have to sort the fully associative array on-media
  to really solve the issue).

* This corrects repeated entries in 'ls' output.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

Remove an obsolete header file specific to labpc(4) (which was removed).

world: Add missing DPADDs in some Makefiles.

Fix some typos.

hammer2 - Initial media flush implementation

* Implement hammer2_chain_flush(), hammer2_vfs_sync(), and hammer2_vop_fsync().
  The flush code currently handles inodes but not data.

* hammer2_chain_flush() recursively flushes a chain structure, handing the
  parent the updated blockref.  When flushing downward pending chain elements
  will allocate new blocks for copy-on-write.

* Survives mount/mkdir/umount/mount

NOTES: fsync currently stops at the inode and does not currently flush
       through to the volume root.  We need to implement a short-cut for
       fsync using currently reserved volume header fields to avoid having
       to flush out the entire chain.

       We haven't implemented data blocks yet.

hammer2 - initial mkdir skeleton

* Code up VOP_NMKDIR() to test the chain creation code and VOP_READDIR.

* Code up VOP_NLOOKUPDOTDOT.

* Adjust newfs_hammer2 to set alloc_tid to 16, so we can reserve some
  inode numbers for the super-root and root.

* Add another field to the media inode_data for inode allocation within
  a PFS.

Note: These are mostly skeletons.  We don't flush modified chain elements
      back to the disk yet and the chain create path can't create indirect
      blocks yet.

hammer2 - flesh out getattr

* Load vap field from the inode media structure, setup remaining fields.
  ls -la /mnt can display '.' and '..' now.

* Pull in some helper procedures from HAMMER1 to help out.

hammer2 - Adjust chain lookup/iteration API, add readdir

* Adjust the chain lookup/iteration API to take a key range key_beg to key_end
  (inclusive), instead of a key/mask pair.

* Add and initialize a parent inode pointer in hammer2_inode{}.

* Adjust the directory key hash to always OR with 0x8000U in order to
  guarantee that some low valued codes remain unused so we can use them
  for pseudo directory cookies (for '.' and '..').

  newfs2_hammer is required on the test volume with this change.

* Implement hammer2_vop_readdir().