Bring in ISCSI initiator support.

* Port ISCSI initiator support from FreeBSD.

* Additional work to help stabilize it.

Submitted-by: Antonio Huete Jimenez <tuxillo@quantumachine.net>
Taken-from: FreeBSD

Rename msleep() to ssleep().

* msleep() was taking a spinlock.  Rename to ssleep() as per old request
  from hsu.

* Our mtx functions currently use mtxsleep().  Leave msleep() unassigned
  to make porting easier.

Rename serialize_sleep() to zsleep()

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

fsync - Add sysctl to relax fsync requirements.

* sysctl vfs.hammer.fsync_mode (defaults to 0 == full fsync semantics).

0 - full fsync semantics
1 - asynchronous
2 - synchronous fsync on close if fsync called prior to close
3 - asynchronous fsync on close if fsync called prior to close
4 - ignore fsync (30-second system sync takes care of it)

* This is likely a temporary measure until HAMMER gets a REDO log.
  It is mainly to facilitate testing and to reduce the pounding
  disks take from pkgsrc bulk builds (pkg_add seems to insist on
  calling fsync() a lot for no reason).

Add a flags argument to VOP_FSYNC()

* So filesystem code knows whether it is being called from userland or not.

brgphy: Add support for BCM5722

miibus: miidevs.h regen

miibus: Add PHY id for BCM5722

remove more kerberos/heimdal

nfs: init real/saved uid/gid in server-side credentials

When unmarshalling a request, the server constructs a ucred
structure (nfsrv_descript.nd_cr) from the credential data in the
RPC.  It initializes only the effective uid and gid and leaves
the real and saved uid/gid unitialized.  This effectively sets
the real/effective ids to root because nd_cr is first
bzero()'ed.

As a consequence, now that accept(2) checks real uid/gid, all
accept calls to NFS files incorrectly succeed.

Fix this by initializing the real and saved uid/gid in nd_cr to
the same values as the real uid/gid (only the real uid/gid are
RPC'ed to the server).

NOTE: accept(2) and faccessat(2) to NFS files are still broken
in part because the client sends the effective uid/gid to the
server.  I'll fix this once I've groked the uid magic in the NFS
code.

remove kerberos/heimdal

remove gcc34

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

PF - Must set FW_MBUF_REDISPATCH when translating input packets

* If a TCP or UDP input packet is translated and happens to be
  destined to the local host, FW_MBUF_REDISPATCH must be set
  or it may end up on the wrong protocol stack and generate a
  (e.g.) TCP RST.

* This fixes 'nat' rulesets, and probably others.

Network - redispatch was not properly adjust ip->ip_len

* ip->ip_len is adjusted down by hlen.  If a redispatch occurs it must
  be corrected back up in order to do the ip_mport() function.  Otherwise
  the function may fail in its length check code.

ciss(4): Use a more proper fix to silence the ciss_print0() warning.

The real problem was that -DCISS_DEBUG=0 in the Makefile still defined
CISS_DEBUG which isn't supposed to be defined by default.

add faccessat(2) syscall

Also add its libc_r wrapper and man page.

vfs: add support for incoming faccessat(2) syscall

Add flags argument to vop_access and change vop_helper_access()
to check access against real or effective uid/gid depending on
AT_EACCESS presence in flags.

NOTE: nfs_access() may need to be changed too but I haven't yet
managed to figure out whether if should use real or effective uid
depending on AT_EACCESS.

Approved-by: dillon@, corecode@

access(2): fix confusion between real and effective uid/gid

Posix states that access() shall check permissions against
real uid and gid but our implementation was using effective
uid and gid instead.

Change vop_helper_access accordingly.

NOTE: This code will change soon when faccessat(2) is implemented
but I'd rather not mix the bug fix with a new feature in a single
commit.

NOTE: nfs_access() may need to be fixed too but I haven't
managed yet to figure out whether it should use real or
effective uid.

Fix-suggested-by: Alex Hornung <ahornung@gmail.com>
Approved-by: dillon@

nwfs: refactor nwfs_access to use vop_helper_access

smbfs: refactor smbfs_access to use vop_helper_access

nfs: refactor nfs_laccess to use vop_helper_access

procfs: refactor vop_access to use vop_helper_access

ufs: refactor vop_access to use vop_helper_access

udf: refactor vop_access to use vop_helper_access

msdosfs: refactor vop_access to use vop_helper_access

isofs: refactor vop_access to use vop_helper_access

hpfs: refactor vop_access to use vop_helper_access

ext2: refactor vop_access to use vop_helper_access

remove #ifdef'ed out quota code from vop_helper_access

Callers can perform quota-specific checks if needed before
calling vop_helper_access.

'at' syscalls: remove unneeded _AT_SYMLINK_MASK constant

AMD64 - Fix unsigned promotion that was meant to be a signed promotion

* When casting the result if a TCP sequence space difference to a long
  we must first cast to tcp_seq_diff_t or the promotion will not
  sign-extend the result.

AMD64 - Fix just enough of the missing prototypes to help vi not crash

Reported-by: tuxillo

Change TCP_MIN_WINSHIFT from 6 to 5 to accomodate broken firewalls.

* The warning was documented in the FreeBSD syncache code.  Larger window
  scalings will be negotiated if the receive buffer is larger then 2MB.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

TCP - Fix problems with dynamic receiver and sender buffer scaling

* The receive buffer dynamic scaling ran afoul of our
  avoid_pure_win_update feature.  Correct the calculation so this
  feature properly works when the maximum receive window is smaller
  the maximum sockbuf size.

* Both the send and receive buffer dynamic scaling were limited
  to a maximum TCP window based on the initial window scaling negotiation,
  which in turn is based on the initial size of the receive or send
  sockbuf.

  Negotiate a minimum window scaling of 6 (x64).  This currently limits
  automatic sockbuf expansion to 4MB.  Further refinement is possible
  as long as (1 << scaling) does not exceed 1/4 of the initial sockbuf
  size.

* Reduce the maximum size of sockbuf can be dynamically scaled to from
  16MB to 2MB.  If someone wants more they can sysctl it up higher.

* Disable further scaling once the sockbuf size has exceeded the
  originally negotiated window scale parameters.  There's no gain in
  doing it past that.

sys/boot: Fix warnings in sys/boot and raise WARNS to 1.

This also fixes an error when building with clang.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AMD64 - Fix SIZE_MAX test from previous commit

* SIZE_MAX cast to off_t winds up being -1.  Oops.

Merge branch 'master' of git://chlamydia.fs.ei.tum.de/dragonfly

Fix typo in development(7)

AMD64 - Fix compiler warnings.

AMD64 - Refactor the 'top' program.

* Ansify pretty much the whole thing.  The 64-bit build simply will break
  and break and break with K&R style declarations.

* Fix misc other issues with curses.

AMD64 - Fix compiler warning.

AMD64 - AUDIT RUN - Fix format strings, size_t, and other issues

AMD64 - yp functions take pointers to int, not pointers to size_t.

* yp functions were inconsistent.  Fix numerous compiler warnings.
  Note: FreeBSD made the same changes.

AMD64 - Fix compiler warnings

* Also change i_size, which is used with pointer arithmatic, mmap(), and
  munmap(), from off_t to size_t.

Fix mplock mismatch.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AMD64 - Get buildworld working again.

acpidump: fix interaction with iasl

Seems the new iasl puts the disassembly at a different place, so adjust
the way we access its output.

Obtained-from: FreeBSD

printf(1): don't use getopt, second take

printf must not use getopt, since any passed string is
valid, also strings starting with -, i.e.
printf -f%s oo
has to print "-foo" and not error out with
"illegal option".

However, if printf is passed "--" as an argument separator, we have to
discard it and may not print it.

Fix numerous compiler warnings and format conversion specifiers.

INET6 - Fix broken call to ip6_notify_pmtu()

VKERNEL - fix procedure argument to match prototype.

Revert "printf(1): don't use getopt"

This reverts commit 8a65ba3d8f8a805773a99458f6f18f034ad84d57.

printf.c is included by /bin/sh, and the internalized version is
used by apropos which passes it '-- fmt ...'.  FreeBSD and NetBSD
and probably others use getopt().  We have to too or we break --
use.

distrib-dirs: replace symlink if it is dangling

The previous version wouldn't work right if a sys symlink existed, but
its target wouldn't.

libc: fix declaration: use size_t instead of vm_size_t

Finish revert "size_t/ssize_t - change to [unsigned] long"

- use __uint64_t instead of unsigned long in amd64 for symmetry with i386
- revert ptrdiff_t as well to int, that's what the rest of the world uses

rc.d/mixer: save state for all /dev/mixer*

Recent devfs changes created numbered mixers in /dev.  This commit
allows to save the state of all mixers and also restores them correctly.

xargs: error out if argument to -L is no valid number

printf(1): don't use getopt

printf must not use getopt, since any passed string is valid, also
strings starting with -, i.e.
printf -f%s oo
has to print "-foo" and not error out with "illegal option".

Revert size_t/ssize_t 1e8087d481c6bfecf14ce6eddc5c722031742332

Ok, too many issues for i386, we'll go back to using an unsigned int and int
equivalent.

HAMMER - Massively improve performance

* Now that write pipelining is controlled by ip->rsv_recs and now
  that we have write bursting in the BIOQ subsystem, we do not
  actually want to use bawrite() or cluster_write() because the bio
  could end up waiting for the disk for a long time, and it is locked
  for that entire period.  So go back to using bdwrite().

  This seriously improves HAMMER's ability to access files that were
  just written without having to wait for I/O to complete.

* Reclaim (destroy) buffer cache buffers related to UNDO data, except
  for the UNDO block we will be needing again for the next flush.  We
  don't need to keep old undo buffers in the cache!  This improves
  HAMMER's memory footprint.

BIOQ - Create a more sophisticated bursting mechanic for writes.

* Add sysctls:

  vfs.bioq_reorder_minor_interval
  vfs.bioq_reorder_minor_bytes

  vfs.bioq_reorder_burst_interval
  vfs.bioq_reorder_burst_bytes

* Reads are prioritized over writes.  Every N (minor_interval) reads
  up to (minor_bytes) worth of writes are allowed in order to avoid
  complete write starvation (which is just as bad as complete read
  starvation).

* If a large amount of write data is queued to devices the related
  buffer cache buffers will be locked.  This is not a good place to
  be as any readers trying to access those buffers will then also
  block.

  When the amount of data is excessive the (burst_interval) and
  (burst_bytes) comes into play.  This primarily helps HAMMER
  flush cycles.

* Try to keep vfs.hirunningspace reasonably bounded.  We do not want
  too large a value because of the above buffer locking issue.  On
  the flip side, we can have large numbers of delayed-write dirty buffers
  sitting around because they aren't locked.

* When the buffer cache is hitting hidirtybufspace the buffer daemons
  now try to keep the vfs.runningbufspace at hirunningspace levels
  instead of lorunningspace levels in order to trigger the bioq's
  bursting mode.

disklabel64 - Fix DIOCSDINFO64, DIOCWDINFO64 bugs

* A loop iterator was using the wrong variable, causing the disklabel
  operation to fail and potentially also (on 64-bit boxes) crashing the
  box.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

NATA - Convert sysctls to globals to make NATA compile ok

newvers.sh: shorten version string

The inclusion of the git revision made the version string exceed a
single line, and also mostly duplicated the output.  If we have a git
revision available, use it instead of the standard version string.

Requested-by: dillon@

gitrev.sh: disable dirty-tree check

The dirty tree check takes quite long on non-local systems, so disable
it until somebody comes up with a nice solution.

Requested-by: dillon@

Remove dev_ops_release() and two more stale prototypes.

Discussed-with: alexh

NATA - Replace the queuing algorithm with the one used by bioq.

* NATA doesn't use bioq yet, but I replicated the algorithm to fix the
  read starvation issue.

* Interesting note: Because NATA does not have NCQ reads appear to be
  prioritized even more then they are on AHCI.

bioqdisksort - refactor I/O queueing to fix read starvation issues.

It is possible to queue several hundred megabytes worth of write I/O's
all at once.  When this occurs, whether we sort the queue or not, reads
wind up getting seriously starved.

Refactor bioqdisksort() to prioritize reads over writes and to also allow
writes to 'leak' into the read space every so often to prevent write
starvation.  The new code is designed to make best use of drive zone caches.

HAMMER - Rework write pipelining

* Rework write pipelining so it is based on pending direct writes on an
  inode-by-inode basis.  ip->rsv_recs and hmp->rsv_recs are now
  decremented after the direct has completed rather then when the sync
  code has processed the record.

  This fixes serious buffer cache overloading when doing linear writes.

* Implement write clustering or bawrite() calls based on a filesystem
  block getting filled up instead of relying on the buffer cache's bdwrite()
  to keep ahead of the mark.

* vfs.hammer.cluster_enable now effects both read and write clustering.

Merge branch 'master' of git://chlamydia.fs.ei.tum.de/dragonfly

pkg_search: Change URLs and honor possible mirror settings

- Change the version variable to match latest changes on avalon (2.2 ->
  2.2.0)
- If the user uses $BINPKG_SITES or /etc/settings.conf (like with
  pkg_radd) try to download the summary file from a mirror first.  If
  that fails, fall back to default aka avalon

NOTE: If someone changes the directory layout on avalon, please update
the pkg_* tools in base as well.

AHCI - Fix interrupt enablement sequencing

* Interrupt enablement could race port initialization, causing the AHCI
  probe to fail and/or assert.

  Wait for basic port hardware initialization to complete (which is done by
  the port helper threads) before enabling interrupt processing on the chip.

Testing-by: Alexander Polakov <polachok@gmail.com>

HAMMER Util - Refactor mount list scan and other fixes

    * MOUNTCTL - Fix a problem with user mount flags parsing in HAMMER.

    * User mount flags for HAMMER FS was not properly handled. Now
      function vfs_flagstostr() is able to append to the passed buf.

    * Refactor the mountlist scan for info / cleanup commands.

Submitted-by: Antonio Huete Jimenez <tuxillo@quantumachine.net>

HAMMER rebalance - Fix propogation race.

* It is possible for the mirror_tid in the b-tree node to not be entirely
  updated at the point where a rebalance operation acquires the locks.

HAMMER mirroring - Multiple adjustments to support better incremental ops

* Read side - Ignore records created after the end point, reducing
  network bandwidth for incremental operations.

* Read side - Generate PASS for records created prior to tid_beg, instead
  of pushing the whole record, reducting network bandwidth for incremental
  operations.

* Write side - Ensure that deletions are end-exclusive.

* Write side - Do not delete records created >= end point, supporting
  incremental operations.

ahci.4: Fix tunable name (reported by hasso).

Fix some WARNS fallout from the recent (s)size_t changes.

sound: add cloning with devfs

sys/sys/conf.h - Add GID_TTY #define

* Add GID_TTY #define to be able to use GID_TTY comfortably where needed

DEVFS - avoid ENOENT on fstat of open vnode; cleanup warning

* cleanup warning related to unused variable

* remove accessibility check from getattr() so fstat doesn't
  return ENOENT.

distrib-dirs: invert logic

If test ! -e sys fails, no ln will be called, but also the return value
of the whole command will be non-zero.  In this make will abort.  Fix
this by inverting the logic, either returning zero from the successful
test -e sys, or returning the return value of the ln -s.

Kernel - Check cd8/cd9 for root mount (USB)

* USB attached CD or DVD drives will attach starting at cd8.  Add cd8 and
  cd9 to the root mount checks when booting -C (which is how CD's boot
  the kernel).

AHCI - Fix bricking issue with older chipsets on boot.

* It looks like the use of AHCI_PREG_SCTL_DET_DISABLE, which turns off
  the phy on port, can brick the AHCI chip and even take out the entire
  machine.  This seems to effect Intel chips the most.

  Stop using it entirely.

Reports-from: Rumko, Alexander Polakov

DEVFS - Avoid clearing of hides that don't come from rules

* Avoid clearing hides that didn't come from rules by introducing a
  new node flag, DEVFS_RULE_HIDDEN.

* Reactivate hiding of ptm/ and all its contents for cleaner unix98
  ptys.

DEVFS - fix possible panic on devfs_release_ops

* under certain conditions on unloading a module it could happen that
  the memory containing the dev_ops was released before devfs_release_
  ops could happen due to the asynchronous nature of destroy_dev.
  Fix this saving only a pointer to the ops and not using it to store
  anything but rather use a local tailq for reference counting the
  dev_ops.

AMD64 - Pipes now support 64 bit size_t for uio_resid.

* Fix bugs on 64-bit kernels related to reads and writes on pipes
  which specify IO sizes in excess of 2G.

* Add a signal check and break in the loop for any pipe read or write
  greater then 10MB.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - break atomicy for huge reads and writes.

* Allow reads or writes in excess of 100MB to be interrupted.  Otherwise
  it is a simple matter to DOS the machine into oblivion.

  And if you think it could be bad on a 32 bit machine, just think what
  can happen on a 64-bit machine with a multi-terrabyte address space!

AMD64 - Refactor uio_resid and size_t assumptions.

* uio_resid changed from int to size_t (size_t == unsigned long equivalent).

* size_t assumptions in most kernel code has been refactored to operate in a
  64 bit environment.

* In addition, the 2G limitation for VM related system calls such as mmap()
  has been removed in 32 bit environments.  Note however that because
  read() and write() return ssize_t, these functions are still limited
  to a 2G byte count in 32 bit environments.

Change typedefs for vm_offset_t, vm_size_t, and vm_pindex_t, add szmin/sz/max

* Generally change these types from unsigned int to unsigned long in
  order to better catch int/long issues on both 32 and 64 bit builds.

* Add szmin() and szmax() inlines which take and return size_t.

Fix miscellanious size_t related compiler warnings.

size_t/ssize_t - change to [unsigned] long

* change size_t from unsigned int to unsigned long, and change ssize_t
  from int to long for both 32 and 64 bit builds.

  NOTE: This may not last for 32 bit builds, depending on what it breaks
  in pkgsrc land, but the change makes it easier to detect 32/64 bit
  issues with size_t, sizeof, and pointer arithmatic on 32 bit machines.

test/amd64: increase qemu opcode buffer limits

qemu 0.10.6 segfaults with the standard opcode buffer limits, so we have
to increase them a bit to make it work.

test/amd64: update to qemu-0.10.6