Merge branch 'vendor/FILE'

Merge branch 'vendor/FILE' (early part)

Move file-4/ to file/.  We don't need a versioned directory.

Remove old versions of file.

Merge branch 'vendor/OPENSSH'

Upgrade to OpenSSH-5.2p1.

Security:

 * This release changes the default cipher order to prefer the AES CTR
   modes and the revised "arcfour256" mode to CBC mode ciphers that are
   susceptible to CPNI-957037 "Plaintext Recovery Attack Against SSH".

 * This release also adds countermeasures to mitigate CPNI-957037-style
   attacks against the SSH protocol's use of CBC-mode ciphers. Upon
   detection of an invalid packet length or Message Authentication
   Code, ssh/sshd will continue reading up to the maximum supported
   packet length rather than immediately terminating the connection.
   This eliminates most of the known differences in behaviour that
   leaked information about the plaintext of injected data which formed
   the basis of this attack. We believe that these attacks are rendered
   infeasible by these changes.

New features:

 * Added a -y option to ssh(1) to force logging to syslog rather than
   stderr, which is useful when running daemonised (ssh -f)

 * The sshd_config(5) ForceCommand directive now accepts commandline
   arguments for the internal-sftp server.

 * The ssh(1) ~C escape commandline now support runtime creation of
   dynamic (-D) port forwards.

 * Support the SOCKS4A protocol in ssh(1) dynamic (-D) forwards.
   (bz#1482)

 * Support remote port forwarding with a listen port of '0'. This
   informs the server that it should dynamically allocate a listen
   port and report it back to the client. (bz#1003)

 * sshd(8) now supports setting PermitEmptyPasswords and
   AllowAgentForwarding in Match blocks

Bug and documentation fixes

 * Repair a ssh(1) crash introduced in openssh-5.1 when the client is
   sent a zero-length banner (bz#1496)

 * Due to interoperability problems with certain
   broken SSH implementations, the eow@openssh.com and
   no-more-sessions@openssh.com protocol extensions are now only sent
   to peers that identify themselves as OpenSSH.

 * Make ssh(1) send the correct channel number for
   SSH2_MSG_CHANNEL_SUCCESS and SSH2_MSG_CHANNEL_FAILURE messages to
   avoid triggering 'Non-public channel' error messages on sshd(8) in
   openssh-5.1.

 * Avoid printing 'Non-public channel' warnings in sshd(8), since the
   ssh(1) has sent incorrect channel numbers since ~2004 (this reverts
   a behaviour introduced in openssh-5.1).

 * Avoid double-free in ssh(1) ~C escape -L handler (bz#1539)

 * Correct fail-on-error behaviour in sftp(1) batchmode for remote
   stat operations. (bz#1541)

 * Disable nonfunctional ssh(1) ~C escape handler in multiplex slave
   connections. (bz#1543)

 * Avoid hang in ssh(1) when attempting to connect to a server that
   has MaxSessions=0 set.

 * Multiple fixes to sshd(8) configuration test (-T) mode

 * Several core and portable OpenSSH bugs fixed: 1380, 1412, 1418,
   1419, 1421, 1490, 1491, 1492, 1514, 1515, 1518, 1520, 1538, 1540

 * Many manual page improvements.

Add README.DELETED to the OpenSSH's vendor branch.

Merge branch 'vendor/OPENSSH'

Merge branch 'vendor/OPENSSH' (early part)

Move openssh-5/ to openssh/.  We don't need a versioned directory.

Remove old versions of OpenSSH.

libmd: Raise WARNS to 2 and fix a warning.

Raise WARNS level of several libraries.

Add sys/boot/pc32/boot0sio to the build.

Also mention it in boot0cfg.8 (taken from FreeBSD).

While here, also do some minor cleanup of the manual page.

HAMMER (and kernel) - Fix cpu-bound kernel thread issue.

* HAMMER now calls a new kernel function, lwkt_user_yield(), in its
  ioctl-based loops (such as the reblocker).

* Add a new LWKT function called lwkt_user_yield().  This function
  causes a kernel thread to yield at user priority (instead of kernel
  priority).

  This function also deals with a nasty issue related to the MP lock.
  A cpu-bound kernel thread holding the MP lock can prevent other
  cpus from serving interrupt threads which also need the MP lock.
  Detect the condition and release the MP lock for 10uS to give the
  other cpus a chance to pick it up.  This is a bad hack but it
  actually does work.

* Move passive_release() from MD code to kern/lwkt_thread.c and add
  an inline for the passive release recovery function.  Adjust all
  platforms to use the new API instead of rolling the same code for
  each platform.

Reported-by: Many, but especially Hasso Tepper <hasso@estpak.ee>

HAMMER UTIL - Add -C cachesize option to improve the 'show' command.

* Allows the default in-memory cache size of 16m to be changed.

HAMMER UTIL - Add minor verboseness to "show"

AHCI - Correct prdbc warning.

* This field is only updated by hardware for non-NCQ packets, don't
  spew warnings if it is zero for NCQ packets.

Reported-by: Sepherosa Ziehau <sepherosa@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

SILI - Minor fixes and adjustments.

* Aligned scratch space for READ LOG

* Better exclusivity code.  Minor fix to only copy-back the rfis
  if the CCB was on-chip, instead of unconditionally.

* Probe all ports reported by the PM, we'll have to adjust for
  'fake' disks at the end of the PM port chain more specifically.

AHCI - Intel fixes, error processing fixes.

* Allocate separate scratch space to enforce a reasonable alignment
  for the READ LOG page.

* Fix numerous issues with READ LOG / NCQ error processing.  READ LOG
  wasn't working at all before.

* Intel fixes.  Move the SDBE interrupt from the AsyncNotify-only
  code to the general code.  Intel parts seem to use this interrupt
  (and not DPE) to signal completion for NCQ commands, so we get
  timeouts if we don't use it generally.

* Rearrange a great deal of code in a manner similar to how the
  Sili driver was arranged.  Primarily: ATA_F_AUTOSENSE to
  acquire D2H rfis's more reliably, and ATA_F_EXCLUSIVE.  More work
  needs to be done.  Also move the PM probe code to the PM source
  module.

* Add code to deal with D2H ERR fises.  These generate a DHRS
  interrupt but only those which post an ERR in the task file
  stop command processing.  This is not well documented in the
  AHCI specs.

Sync zoneinfo database with tzdata2009j from elsie.

asia:           8.34 -> 8.35

As Bangladesh's start of DST on June 19 is now official, simplify the
last change.

Remove trailing whitespace.

priv: Narrow down privileges

priv: Narrow down privileges

Leave PRISON_ROOT for now despite having a separate privilege for
the prison case. PRISON_ROOT will be removed in a later step, once
all jail privileges have been determined.

priv: Narrow down privileges

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

SILI - Fix port re-insertion probe problems when coming out of DET_INIT

* When a port is pulled we enter into a listen state where we program
  SCTL to the DET_INIT state to send a continuous stream of COMRESETs.

  When a port is plugged back in we clear the DET_INIT state.  However,
  we were not waiting nearly long enough for the PHY to renegotiate!
  It can take up to 4 seconds!

  Add a polling loop to wait for the PHY to renegotiate before we start
  the DEVRESET sequence.  If we start the sequence too early the PHY
  will still be unstable and the DEVRESET sequence or something following
  it will likely fail with a fatal error interrupt (usually error code 4).

* Reduce the physical port insertion delay to 7 seconds.  Leave the
  PM port insertion delay at 10 seconds.

Build the packages for our our LiveCD/DVD with options "dri" & "inet6".

Recommended-by: hasso

SILI - Reorganize the probe code, fix CAM startup issues, remove debugging

* Do a major reorganization of the probe code.  It is MUCH faster now and
  should reliably detect PMs and direct-attached disks.

* Fix an issue in the CAM code.

* Remove a lot of the debugging kprintfs.

SILI - Get read log page 10 working, improve error handling.

* Finish up implementing the NCQ log page handling code.

* The recursion check for sili_port_reinit() was insufficient, fix it.

Fix amd64 compile issue: I386_BUS_SPACE_IO -> AMD64_BUS_SPACE_IO.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix typo

CCD - Allow ccd to be kldunload'd.

disk subsystem - Fixup dev->si_* fields for XXXs0, e.g. da0s0

The si_* fields for rawdev are not set until after the disk_create()
call, so someone using the cooked version of the raw device (i.e. da0s0)
will not get the right si_iosize_max unless we fix it up here.

priv: Narrow down privileges

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

priv: Narrow down privileges; new PRIV_JAIL_CREATE

priv: Narrow down privileges

SILI - Work around hardware LRAM bugs part 2/2.

* Add ATA_F_AUTOSENSE and ATA_F_EXCLUSIVE to deal with accessing the
  D2H RFIS.

  ATA_F_AUTOSENSE tells sili.c that the caller wants to access the rfis.
  The sili core is then responsible for copying the rfis out of the LRAM
  and into host-memory.

  ATA_F_EXCLUSIVE tells sili.c that the caller wants to be the only
  command queued to the chip for that particular command.

* Currently ATA_F_AUTOSENSE implies ATA_F_EXCLUSIVE, but ultimately we will
  want to do the auto-sense as a separate step so things like ATAPI farms
  can run commands in parallel.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

PCIDEVS - Add vendors

* Add PCI_VENDOR_SII (0x1095)
* Add PCI_PRODUCT_SII_3132 (0x3132)

DEVS - Clean up some reference counting issues

* Add dev_ops_remove_override() as the counterpart to dev_ops_add_override().

* Do not complain if ops->head.refs is non-zero when deleting ops,
  as the ops structure might be used with other unit numbers.

* Fix a bad assertion that was leading to incorrect panics when selectively
  removing dev_ops.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

priv: Introduce PRIV_VM_RESIDENT and use it

priv: Narrow down privileges

SILI - Work around hardware LRAM bugs part 1/2.

After tearing my hair out a bit and wondering why the Sili chip couldn't
have more then one command pending on a port at a time when talking to a PM,
I found an issue reported in the Linux sili device driver related to its
LRAM.  Basically, reading from the Sili chip's LRAM while commands are active
will corrupt it.

The solution is to use a completely external PRB rather then the PRB in
the LRAM, and use the command activation register to start the command
instead of the command FIFO (which only works for the fixed PRBs in the LRAM).

This commit fixes basic command dispatch but does not yet handle situations
where the RFIS must be read from the LRAM... for example, when reading data
from a PM SCA register or reading sense data from an ATAPI command.  With
this commit I can dd from 5 drives behind a PM in parallel.

Fix kernel compile error in last commit due to lack of types.h in some sources

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

BUSDMA - Add bus_space_kva()

* Add bus_space_kva(), a function which returns a real pointer to access
  things like mapped shared memory (used by SILI).

-Matt

sh(1): Reset getopt(3) before executing built-in commands.

Before patch:
$ printf "test\n"
test
$ jobs -l
$ printf "test\n"
usage: printf format [arg ...]
$

After patch:
$ printf "test\n"
test
$ jobs -l
$ printf "test\n"
test
$

The bug isn't tight to jobs(1) or printf(1). Every use of getopt(3) would
advance `optind' and make the next built-in command think that it wasn't
supplied with enough arguments. NetBSD is doing as we do. FreeBSD doesn't
have printf(1) as built-in so it is not affected. The patch has survived
a build{world, kernel}.

AHCI - Remove DIAGNOSTICs

They don't compile anyway.

Reported-by: Sascha Wildner <saw@online.de>

AHCI - Bring fixes in from SILI.

* Use ahci_os_softsleep() more

* Clean out active and pending CCBs when a port is disconnected, fixing
  hangs of programs that were accessing the disks at the time.

* Clear ap_expired bitmap when completing a CCB.

* Fix max_target specification so CAM bus scans only run through 15.

* Lock port around ATAPI command

SILI - Silicon Image 3132 driver, initial commit

This driver was derived from the AHCI driver and retooled extensively
for the Silicon Image chipset.  It retains all the cool features from the
AHCI driver including port multiplier (PM) support, NCQ, and hot-plug for
both direct-attached and PM-attached targets.

This initial commit is very alpha and the driver has significant PM-related
bugs.  It is not yet ready for prime time.

CAM - Change XPORT_AHCI to XPORT_SATA.

Noticed-by: corecode

AHCI - separate pmreg.h out, always zero the FIS in ahci_ata_get_xfer()

* Separate the register defs for PMs out into pmreg.h, as they are not
  AHCI-specific.

* Always zero the FIS returned by ahic_ata_get_xfer().  Don't let any cruft
  accumulate.

AHCI - augment ahci_pm_check_good() to handle targets larger then pmcount.

AHCI - go back to reading the EINFO register, check for unexpected EINFO bits

* Go back to reading the EINFO register.  We still have some issues with
  the PM not generating an interrupt for target port change events, this
  may clear it up.

* Report unexpected EINFO bits set beyond the number of supported targets.

AHCI - add new kenv "hint.ahci.nofeatures"

set hint.ahci.nofeatures in /boot/loader.conf or at the boot loader command
line to tell the AHCI driver not to attempt to set the security freeze on
a device.  Some devices will stop operating.

AHCI - Add additional information in the CMD TIMEOUT message.

* Also dump the STS state when printing the CMD TIMEOUT messeage.

Set tty ownership on pty open (temporary until devfs is integrated)

Fix a very long standing issue when opening new pty's as non-root.  The
related tty could not be chowned/chmoded in that case, giving any user
in the system access to the pty.

This would not effect programs like sshd which set up the pty as root, but
it did effect programs like xterm which do not run suid-root.

This is strictly a temporary fix until devfs can be integrated into the
system.  Basically we allow the uid stored in the cdev_t structure to
override the uid returned by VOP_GETATTR for VCHR devices, and the chmod
helper function checks the uid stored in the cdev_t structure for
compatibility.

Reported-by: Hasso Tepper <hasso@estpak.ee>, Numerous others

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AHCI - Add hint.ahci.force150.  Force negotiation at 1.5GBits.

* Add a feature which forces the AHCI controller to negotiate at 1.5 GBits
  instead of 3 GBits.

ahci.4: Fix typo.

Add an ahci(4) manual page from OpenBSD (with some adaptation).

Adjust the LiveDVD's beastie.4th too for the AHCI option.

GENERIC kernel build - build-in the AHCI driver.

* The ahci driver is now part of the GENERIC kernel build.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AHCI - Add kenv "boot.hint.ahci_disabled", and add a boot menu option for it

* Setting the variable "boot.hint.ahci_disabled" in the boot loader will
  disable the AHCI driver's probe, causing AHCI devices to fall back to
  the NATA driver.

* The boot menu now has an option to boot with the AHCI driver disabled.

sbin/hammer/cmd_mirror.c: Stick with style(9) bracing style.

AHCI - Minor console output spew cleanup

Simplify logical expression

Implement -y "force yes" option for hammer utility.

This fixes a problem with terminals when operating remotely via ssh while
using the auto-PFS creation feature of hammer mirror-stream or
hammer mirror-copy.

For more information see the following thread (off-box mirror-stream and
friends):

http://leaf.dragonflybsd.org/mailarchive/users/2009-02/msg00017.html

test

MADT MP probe: Rework cpuid mapping, and cpuid to apicid mapping

- Don't use the ACPI ProcessorID as our cpuid, some BIOSes count ProcessorID
  from 1, and ACPI standards actually allow that.  Instead, except for BSP,
  we set the processor's cpuid in the order that we found the MADT LAPIC
  entry.
- Since MADT does not provide a way to identify the BSP, we will have to do
  it ourselves:

  Split the madt_parse() into three parts:
  o  madt_check(), preliminary length and revision check.
  o  madt_pass1(), locate the LAPIC address.
  o  madt_pass2(), set mp_naps and map cpuid to apicid.

  After madt_pass1(), the lapic is mapped, so we could get the current CPU's
  apic id.  Since the current CPU is BSP, we have the BSP's apic id.
  In madt_pass2(), we match the MADT LAPIC entry's apic_id field against the
  the value read from the current CPU's lapic id field.  Any matching means
  that entry contains information concerning BSP.

Reported-by: tuxillo on EFnet #dragonflybsd

AHCI - Bug fixes - primary port probe and TFD flushing.

* The primary port probe was skipping the software reset step.

* ahci_flush_tfd() was looping on the SERR.DIAG.X bit with a 10ms delay,
  but on some parts this bit gets re-set very quickly if the port is
  in a COMRESET state.  Remove the loop, just use an if() instead.

Reported-by: Sepherosa Ziehau

AHCI - Implement better timeout semantics, fix bug in error handling, softreset

* Stopping a port with ahci_port_stop() is problematic if the port has not
  already been stopped by the command processor (CR is inactive), because
  command completions can race our saved CI register, leading to
  double-issues.  This creates issues with both NCQ and FBSS support.

  Change the timeout code to idle the port by allowing commands to
  complete normally until the only commands remaining are expired.
  Then the port can be safely stopped.

  The timeout code also no longer performs a softreset.  It used to under
  certain conditions.

* With the changes to the timeout code softreset is no longer being called
  from the timeout code, remove hacks from the softreset code that attempted
  to restore the command processing state on failure.

* The CAM code was not properly generating dummy SENSE data for command
  timeouts, leading the kernel to believe that the command succeeded
  when it in fact failed.

AHCI - Port Multiplier bug fixes

* The error ccb must be used in ahci_pm_softreset() to collect a reliable
  signature from the device.

* Release the error ccb before performing any ahci_pm_*() functions (which
  have to issue their own commands).

* Probe the CAM bus asynchronously.

* Proactively assert that the error ccb is not used in a reentrant fashion.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AHCI - fix minor bug in last commit.

* Fix a broken KKASSERT()

AHCI - Fix PM probing issues, wait 10 seconds on physical port insertion

* The spec is not completely clear on the point but CCB[1] *MUST* be used
  as the second CCB in a softreset sequence.  If it isn't, the wrong
  signature may be loaded into the signature register.

* Wait 10 seconds on insertion of a physical port (we already wait 10 seconds
  on the insertion of a target behind a PM).

* Do not cycle the PHY when doing a hard reset, it seems to create
  detection problems.

Fallback to ACPI MADT CPU enumeration, if BIOS does not provide MP table.

APIC_IO does not work with ACPI MADT CPU enumeration yet.

Add mp_set_cpuids(), which links CPU's logical id to its apic id

sed(1): Remove the old regression tests.

FreeBSD's tests in tools/regression/usr.bin/sed are more comprehensive.

sed(1): Sync with FreeBSD.

* Add workaround for a back reference when no corresponding parenthesized
  subexpression is defined. For example, the following command line caused
  unexpected behavior like segmentation fault:

  % echo test | sed -e 's/test/\1/'

* Fix the code to conform to the "or more" part of the following POSIX
  specification.

  "A function can be preceded by one or more '!' characters, in which
  case the function shall be applied if the addresses do not select
  the pattern space."

* Implement "addr1,+N" ranges - not dissimilar to grep's -A switch.

Fix several 'cound' typos.

Implement ACPI MADT parsing

This will be used to enumerate CPUs if BIOS does not provide MP table

AHCI - fixes to ahci_port_init()

* ahci_port_init() had some coding errors related to physical ports verses
  targets behind a port multiplier.  Correct the errors.

* Increase the post-boot insertion delay to 10 seconds.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AHCI - Port multiplier plug/unplug work, tuning, cleanup, bug fixes.

* Clean up the command dispatch and polling code, including fixing a
  deadlock between the timeout code and the polling code.  The polling
  code now checks for timed-out CCBs.

* Test some of the delay intervals in the hard and softreset code to
  reduce protocol problems.

* Add an exclusive-access abstraction for dealing with device insertions
  and removals.  This isn't working perfectly yet, there are still some
  communications issues due to the newly inserted device interfering with
  devices already in the enclosure.

* Greatly reduce probe times.

ACPI P-State probing: Put _PCT evaluation error logging under bootverbose.

MP table related static function renaming

Get rid of global variable 'boot_cpu_id'

Correct mptable_pass[12]() function comment

AHCI - Fix a bug in ahci_port_intr() when blockable == 0.

* The IS register was not being properly masked for the fall-through.

AHCI - Implement parallel port scan and thread each port interrupt.

* Implement a thread helper for each port.  The master interrupt will perform
  all actions which can be done without blocking and will delegate any
  remaining actions (typically error and timeout handling) to the
  port's thread helper.

* The thread helper is responsible for the initial probe.  Thus ALL AHCI
  SATA PORTS WILL NOW PROBE IN PARALLEL!  Instead of 6 ports each taking
  2 seconds to probe we now have 6 ports probing in a total of 2 seconds.

* Multiple port multipliers will probe in parallel, but targets on each
  one have to be iterated.

* The attach code waits for all ports to fully probe and then runs CAM
  attachments serially.  This step goes very quickly since the ports
  have already probed.

* Stalls on one physical port will no longer stall the rest of the ports.
  So, for example, stalls on the port connected to your port multiplier
  will not effect operations on, say, your internal SATA ports.

CAM - Add missing protocol for xpt_action_async()

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AHCI - follow fixes to CAM

* Forgot to commit the CAM changes to use xpt_action_async().