AHCI - Hot Plug support, ATAPI IDENTIFY, CAM bus scan issues, etc

* Split some code out of ahci_port_alloc() into its own procedure,
  ahci_port_init().  This procedure will be used to init/reinit a
  port for Hot-Plug.

* Do not free ports which have device problems, hot-plug can still
  operate on such ports.

* Re-detect ap_type when resetting a port.  Create a helper routine
  called ahci_port_signature_detect() to reduce code duplication.

* Augment ahci_cam_changed() so hot-plug can tell it whether a device
  is being added or removed.

* Scan the CAM bus asynchronously to fix reentrancy issues.

* Consolidate most of the ATAPI and DISK probe code back into one routine.

  Use ATA_C_ATAPI_IDENTIFY when probing an ATAPI device and also probe
  for NCQ on ATAPI devices (though nobody knows if it would actually work
  if an ATAPI device said it could do it).

* Do not try to set the security freeze-lock if the identify info
  indicates that the freeze-lock is already active.  This fixes a
  command timeout that occurs when re-plugging devices whos freeze-lock
  remains intact from a previous use.

* Add defines for ATA_C_ATAPI_IDENTIFY and ATA_SECURE_* identify bits.

AHCI - Normalize console reporting of the port scan to make it easier to read.

AHCI - Add conditional logic for wcache and rahead, enhanced reporting, fixes

* Do not enable the write cache if the ident info says it is already enabled.

* Do not enable read-ahead if the ident info says it is already enabled.

* Do not try to set the freeze lock if the security feature is not supported.

* Enhanced error reporting.

* Report wcache and rahead state in the Ident.

NOTE: "WD My Book" ESATA consumer devices generate a fatal interface error
      when presented with ATA_C_SET_FEATURES.  The above code will quietly
      work around the problem.  The bug is likely in the My Book daughter
      board.

AHCI - Add conditional logic for wcache and rahead, enhanced reporting, fixes

* Do not enable the write cache if the ident info says it is already enabled.

* Do not enable read-ahead if the ident info says it is already enabled.

* Enhanced error reporting.

* Report wcache and rahead state in the Ident.

NOTE: "WD My Book" ESATA consumer devices generate a fatal interface error
      when presented with ATA_C_SET_FEATURES.  The above code will quietly
      work around the problem.  The bug is likely in the My Book daughter
      board.

AHCI - Hook up sense information from rfis for ATAPI commands

Hook-in the sense data returned from the rfis by translating it to
the autosense data structure in CAM CCB.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix amd64 build and UP build issues with recent commit.

Fix some build issues and sync amd64 with i386.

Reported-by: Jordan Gordeev <jgordeev@dir.bg>

kdump(1): Fix add hoc translation for setpriority.

kdump was translating the wrong argument (third instead of first).

Before patch:  CALL  setpriority(0,0x2bc3,<invalid=10>)
After  patch:  CALL  setpriority(PRIO_PROCESS,0x2bc3,0xa)

scsi_read_capacity_data_long -> scsi_read_capacity_data_16

Reported-by: "Simon 'corecode' Schubert" <corecode@fs.ei.tum.de>

AHCI Driver - add initial ATAPI support, suppy fake SENSE for DISK support.

Implement basic ATAPI probe and SCSI pass-through.  ATAPI differs from DISK
in that all commands are packetized and follow the SCSI standard for the most
part.

ATAPI does not follow the SCSI standard precisely.  Many ATAPI implementations
just can't handle READ_6, WRITE_6, or modern INQUIRY commands.  To deal with
this the following conversions are done by the layer:

READ_6 -> READ_10

WRITE_6 -> WRITE_10

INQUIRY -> truncate length field to SHORT_INQUIRY_LENGTH and
   clear the SI_EVPD bit in the byte2 field if the
   page_code being requested is 0 (basic inquiry).

Continue to work on the DISK support.  If an error occurs fake AUTOSENSE
data is constructed (is there a way to obtain real sense data?).

AHCI Driver port from OpenBSD to DragonFly - Initial commit

This is the initial work synchronization commit for the AHCI driver port.
About 85% of the logic is now working.

This also includes initial wiring of interrupt bits and status tests for
hot-plug support.

Add prototype for bus_dma_tag_getmaxsize().

Add definition for ATAPI_READ_CAPACITY_16 (same as ATAPI_SERVICE_ACTION_IN)

bus_dma_tag fixes and enhancements.

* Protect the cached segment list in the bus_dma_tag structure
  with a spinlock.

* Cache up to 8 segments on the stack when applicable (needs more work).

* Add function call bus_dma_tag_getmaxsize() to access the maxsize field
  in the tag.

* Fix a bug in bus_dmamap_load_uio() which did not properly append segments
  when the uio has more then one iov.  (untested).

Minor string description changes to match READ_CAPACITY_16

Add typedefs for pci register integral types, taken from OpenBSD.

Add entries to pcidevs for AHCI products and regenerate.

CAM Enhancements for AHCI driver work, import some structures from OpenBSD.

Add a CAM bit in the ccb to indicate that a polled operation is being
requested.  This is easier for the driver to find then putting it in
the periph structure.

Rename the scsi_read_capacity_data_long structure to
scsi_read_capacity_data_16 to match OpenBSD, and add a
command code for READ_CAPACITY_16 to match OpenBSD and reduce
confusion.  Also add missing fields to scsi_read_capacity_data_16.

Add SCSI_REV_SPC3.  Taken from OpenBSD.

Add a page description structure for UNIT_DEVID (page 0x83), taken from
OpenBSD.

Add unions for SCSI CDB command structures and response fields to improve
code readability.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

ACPI P-State support step 1.5/2: Add CPU driver for AMD 10h family processors

CAM fixes - queue empty tests, sim refcount, add XPORT_AHCI enum.

* CAMQ_GET_HEAD assumes the head entry in the devq array is NULL to
  indicate an empty queue.  Fix allocations and removal code to ensure
  that no bogus pointers are left in the array, cleaning it up and fixing
  a bug where CAMQ_GET_HEAD() could return non-NULL even when the queue
  was empty.

  This fixes numerous reports on detachment of non-empty device queues
  that are, in fact, empty, and also fixes a memory leak.

* xpt_bus_register() bumps the sim's refcount, but xpt_bus_deregister()
  did not properly release it.  This fixes a memory leak.

* Add XPORT_AHCI to the cam_xport enum for AHCI attachments.

Remove remaining host.conf(5) traces.

ugensa(4): Fix handling of Huawei modems.

Basically move the calling of the reattach code to get the Huawei
modem out of mass storage mode into the _match() routine and
simplify the logic behind when calling it and when not.

Now it is called for any Huawei modem if it has only one interface,
probably only a mass storage interface. Normally this mass-storage
interface is used under windows as it carries the windows-drivers
for the device. As we don't need it, we just tell the box that we
want the modem interface and not mass storage.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1324>
Submitted-by: Alex Hornung <ahornung@gmail.com>
Tested-by: Brendan Kosowski <bmk@bmk.com.au>
Approved-by: hasso

Remove symbols not in libpthread (libc_r).

Pthread stubs must not have symbols which are not in the libpthread.
Unbreaks a hell of lot things in the pkgsrc.

ath(4): Really unbreak MODULES_WITH_WORLD building.

ACPI P-State support step 1/2: Extract information from ACPI objects

acpi_cpu: Let cpu driver install ACPI-CA notify handler; C-State driver
registers its handler to cpu driver (its parent)

acpi_cpu: Override resource alloc/release methods.

Tested-by: hasso@

acpi_cpu: Split C-State support out of cpu driver.

New cpu driver only contains minimum code to detect processor object,
and create necessary cpu sysctl nodes; this paves the way for the
P-State support.

Noticable changes to the userland:
- hw.cpuX sysctl trees are move to hw.acpi.cpuX
- C-State support could be disabled individually by "cpu_cst"
- The device tree is now acpi0.cpuX.cpu_cstX, instead of acpi0.cpuX

ifpoll: Let callers of {st,io}poll_clock() hold critical section.

ifpoll: Adjust status polling's cached pollhz iff we are on CPU0

drm: add support for Intel G41

Submitted-by: hasso@

drm: adapt and use drm_close

While importing the last drm code, drm_close was not properly ported and
integrated.  Thus, opens only incremented the reference count, but code
for closes and decrementing the reference count never was executed.

As a result, Xorg drivers, which during probing drm open and close the
device several times, would not be able to perform certain operations
due to a wrong reference count.

ifpoll: Add sysctl nodes for TX and status polling fraction.

ifpoll: Move status sysctl tree to net.ifpoll.0

ifpoll: Rework systimer related bits after lapic timer could be used.

Percpu systimers were commented out before lapic timer code was ready,
mainly to avoid high frequency timers staggering cross CPUs, which
may double the timer frequency and timer ipi rate.  After the lapic
timer is ready, we no longer need to worry cross CPUs timer frequency
staggering and timer ipi boardcasting, so percpu systimer could be
safely enabled at almost no cost.

However, care must be taken to avoid CPU-local lapic timer frequency
staggering, since TX, RX and status polling could use different
frequency; the current implementation let RX systimer give TX and status
polling a piggyback to avoid this kind of timer frequency staggering.

libc: consolidate pthread stub functions

To Hasso's and my surprise we are maintaining two sets of stub functions
for pthread.  These stubs are present so that consumers that are thread
aware, but don't require pthreads, will successfully link even without
-lpthread.

pthread_fake.c was introduced for external consumers, I believe Xorg.
It provided externally visible weak symbols for pthread_* functions that
all returned an error.

_pthread_stubs.c was introduced later so that libc could be made pthread
aware.  It provided only stub functions that are used by libc itself,
provided by weak symbols for _pthread_* (notice leading underscore).
These functions returned always success, so that libc could operate
properly.

This consolidation now provides weak symbols for both pthread_* and
_pthread_* for all functions defined by libpthread, except for
pthread_create.  These functions return success and/or behave properly.

undo: don't double free path

gcc34: fix spello in comment

Sync zoneinfo database with tzdata2009h from elsie.

README:         8.2  -> 8.3
Theory:         8.2  -> 8.3
africa:         8.19 -> 8.21
antarctica:     8.4  -> 8.5
asia:           8.30 -> 8.32
australasia:    8.9  -> 8.11
backward:       8.7  -> 8.8
etcetera:       8.1  -> 8.2
europe:         8.20 -> 8.21
factory:        8.1  -> 8.2
iso3166.tab:    8.5  -> 8.6
leapseconds:    8.7  -> 8.8
northamerica:   8.27 -> 8.28
southamerica:   8.34 -> 8.36
systemv:        8.1  -> 8.2
zone.tab:       8.26 -> 8.28

From Arthur David Olson's comments:

* "Public domain" statements are added to a number of files.

* Instances of "=3D" are changed to "=" in the "africa"
  and "southamerica" files.

* The start of DST in Jordan from 2002 forward is changed from
  0:00 on the last Friday of the month to 24:00 on the last Thursday.

* Four sets of latitute/longitude are corrected in the "zone.tab" file
  (with thanks to Marc Wick).

* Commentary is added to the "australasia" file regarding DST in
  South Australia (no changes to the rules).

libthread_xu: disable use of version script

Due to a bug(?) in the gcc driver, the version script has not been used
previously.  Since we pass it directly to the linker, threaded
applications have been crashing erratically.  Correctly disable the
version script until this issue is resolved.

Tracked-down-by: hasso@

stdint.h: rearrange declarations into separate files

The current machine/stdint.h situation is a mess.  It declares only the
__versions of stdint integers, but also defines limit and constant
macros.  Furthermore it also declares non-integer types.

Break out integer limit and constant macros into their own machine/
headers and include all of these headers from <stdint.h>, but not from
machine/stdint.h.  The declaration of integer_t types still happens in
main stdint.h.

This is slightly based on NetBSD's way of doing it.

nlookup.9: Remove references to namei() which we don't have.

Reported-by: Jordan Gordeev <jgordeev@dir.bg>
Reviewed-by: Sascha Wildner <swildner@dragonflybsd.org>

systat(1): vmmeter -> pvmmeter

Complained-by: many

tap(4): More fixes to tapuponopen.

If tap(4) is cloned, we bring down the interface during closing only
if the interface was brought up during opening.

tap(4): Correct reversed logic

tap(4): Add ifclone support

Submitted-by: Naoya Sugioka <naoya.sugioka@gmail.com> w/ following changes:
- Moniro style changes
- Comment out destroy upon closing, mainly to keep old tap(4) behaviour
- Poll interface should return 0 instead of nevent
- Use SLITS_FOREACH_MUTABLE() when destroying tap interfaces
- Pass tap_softc to tapdestroy()
- tap_entries -> tap_link
- Cloners handle their own attach/detach events
- Correct tapuponopen support

Add syscall.9 adapted from OpenBSD.

Reviewed-by: swildner@

vkernel - more crit section work to avoid pthread reentrancy.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Miscellanious protection around pthread calls to avoid signal reentrancy.

Use pread/pwrite instead of read/write in a few cases.  Cases that still
use read/write now protect the calls with a crit_enter()/crit_exit().

Protect usleep() calls with a critical section.

Protect pthread_*() calls with a critical section where applicable.  Note
that calls made from cothreads do not need to be protected because the
cothreads do not take signals and are not operated as virtual cpus so they
can't preempt themselves either.

Reported-by: Trevor Kendall

amd64 - Fix compiler warning.

hammer.8: Fix typo.

libthread_xu: Use -Wl,... for passing linker options.

Fixes building with clang which doesn't support --version-script.

Submitted-by: Alex Hornung <ahornung@gmail.com>

tcp timer: Don't try stopping timers if timer message is not created.

DragonFly-bug: <http://bugs.dragonflybsd.org/issue1380>

libkvm: Raise WARNS to 2 and fix warnings.

Includes adding a prototype for dev2udev() to kern_kinfo.c if compiled
for userland.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Supporting amd64 /dev/kmem requires allowing apparently negative lseek offsets.

libkvm - use the proper format %lx for kva, which is an unsigned long.

objformat(1): Fix comment typo and trailing newline.

Adjust objformat.1 and getobjformat.3 to the current state of affairs.

Document hw.irq.X.dest in loader(8) manpage

Reminded-by: dillon@

libc_r: map initial stack red zone with MAP_TRYFIXED

This is analogous to 9b505694017eeaf48fff9273f503160064583c14 and
2035b67992ac162a5968a22584ef29d2f53f93e2.

With-help-from: smtms, dillon

Remove .sh suffix from the last 3 rc scripts that had it.

ioapic: Allow user to specify irq's destination CPU

hw.irq.X.dest is checked when programming ioapic and the corresponding
ithread will be created on the same CPU as the irq's destination CPU.

ioapic: Fix destination setting.

Since the "destination mode" is physical, the "destination" should be
APIC ID instead of mask (set of processors).  Currently all interrupts
are delivered to CPU0 (BSP).

vknet.8: Fix typo.

vknetd.8: Document Matt's recent changes to vknetd(8).

vknetd.8: Start sentences on new lines.

ath_hal.4: Update a bit for the recent HAL update (taken from FreeBSD).

etc/rc.d/sendmail: Actually execute sendmail_precmd().

This will cause the sendmail rc script to care about running
newaliases(1) itself if necessary (database doesn't exist or
/etc/mail/aliases is newer than /etc/mail/aliases.db).

Also add a new rc.conf variable 'sendmail_rebuild_aliases' to
turn off this behavior which is on by default.

This means we don't need to run newaliases(1) ourselves in a
couple of places (such as when building the LiveCD), so remove
those.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue52>

undo: free temporary filename

undo: always collect history of the file

Commit b9a33d3fb1235626615b96b4b586ce7a7b8386fd added file histories based
on the history of the parent directory, in order to list history fragments
even when the inode changed.  However it failed to collect the history for
the most recent version of the file.  As a result, if all versions of the
parent directory happened to preceed the oldest version of the file, undo
would not collect any history for the file and fail with error 0.

Unconditionally include the history of the file to fix this problem.

aac(4): Functions called on the interrupt processing code path is not MPSAFE
yet, so don't mark its interrupt handler MPSAFE.

Reported-and-tested-by: Archimedes Gaviola <archimedes.gaviola@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Save creds on nfs_open() for later read/write/etc.

Recent commits removed an unnecessary access() call in the open path.
However, this broke NFS's saving of creds for future use.  Replicate
the cred code in nfs_open().

Reported-by: Thomas Nikolajsen <thomas.nikolajsen@mail.dk>

newvers.sh: Take the src/ dir as an argument instead of hard coding it.

This fixes the issue where the last number in our version was included
only if /usr/src was present at build time, which resulted in different
output of uname -r, sysctl kern.{osrelease,version}, etc. across
different systems (e.g. "2.3.1-DEVELOPMENT" vs. "2.3-DEVELOPMENT").

This commit also removes the passing of ${KERN_IDENT} and ${IDENT} to
newvers.sh (both of which are not used by it) and performs some
additional cleanup.

Brought-to-my-attention-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>
Reviewed-by: dillon

ath(4) HAL: Set AH_SUPPORT_AR5416 to 1 for now (unbreaks buildkernel).

- Staticize cpu_initclocks()
- Correct vktimer_intr_initclock() prototype

amd64: Sync isa/clock.c with i386's

Revert "More clock cleanup:"

This reverts commit 50b53814fb840b70162a846420b75c5bb9432931.

Reordering RTC and i8254 initialization does not work on some boxes

Reported-by: Johannes Hofmann <johannes.hofmann@gmx.de>

ath(4) HAL: Adjust/fix a few build related things.

* Fix building with MODULES_WITH_WORLD.

* Add AH_SUPPORT_AR5416 option to the options file.

* Remove unneeded opt_ah.h file which gets generated.

systat(1): Display external interrupts (non-ipi, non-lapic timer interrupt)

aac(4): Break out of the loop, if the command could not be sent.

vkernel, not qemu

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

aacvar.h: Fix typo in AAC_ON_AACQ_MASK.

ncal: always generate all lines for a month in cal mode

If a month did not span 6 lines, but less, the lines up to line #6 would
not be padded with spaces.  In the year view, if a month on a column to
the left exhibited this state, and a month to the right would span 6
lines, the days in the 6th line of the right month would appear warped and
not aligned under the month they belong to.  Fix this by always generating
6 lines.

Reported-by: swildner@

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Make it possible to build ath(4) hal into the kernel.

Also fixes a LINT build.

Duplicate platform/pc32/isa/clock.c to platform/pc64/isa/clock.c

Unbreak buildworld

More clock cleanup:

- Move rtc initialization to SI_BOOT2_CLOCKREG, SI_ORDER_FIRST
- Staticize cpu_initclocks()

Add interrupt cputimer interface.

- Better abstraction
- Easier to extend, e.g. add another interrupt cputimer
- No lapic timer pollution in isa/clock.c

tcp timer: Remember tcpcb owner thread's msgport, so timer message could
be delivered to the correct msgport.

While I am here, move tcp timer message creation for TCP IPv6 socket from
tcp_newtcpcb() to tcp6_connect().

Preliminary IPv6 test done by hasso@

Dragonfly-issue: http://bugs.dragonflybsd.org/issue1361

gzip(1): Fix amd64 warning.

pkill(1): Silence amd64 warning.

undo(1): Fix amd64 warnings.

atmarpd(8)/scspd(8): Fix amd64 warnings.

makewhatis(8): Fix amd64 warning.