sys/dev/disk/nata/atapi-cam.c

   1 /*-
   2  * Copyright (c) 2001-2003 Thomas Quinot <thomas@cuivre.fr.eu.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer,
  10  *    without modification, immediately at the beginning of the file.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  * 3. The name of the author may not be used to endorse or promote products
  15  *    derived from this software without specific prior written permission.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27  *
  28  * $FreeBSD: src/sys/dev/ata/atapi-cam.c,v 1.44 2006/03/31 08:09:05 sos Exp $
  29  */
  30
  31 #include "opt_ata.h"
  32 #include "opt_scsi.h"
  33
  34 #include <sys/param.h>
  35 #include <sys/bus.h>
  36 #include <sys/libkern.h>
  37 #include <sys/lock.h>           /* for {get,rel}_mplock() */
  38 #include <sys/malloc.h>
  39 #include <sys/module.h>
  40 #include <sys/nata.h>
  41 #include <sys/spinlock.h>
  42 #include <sys/queue.h>
  43 #include <sys/systm.h>
  44
  45 #include <sys/thread2.h>
  46 #include <sys/spinlock2.h>
  47 #include <sys/mplock2.h>
  48
  49 #include <bus/cam/cam.h>
  50 #include <bus/cam/cam_ccb.h>
  51 #include <bus/cam/cam_periph.h>
  52 #include <bus/cam/cam_sim.h>
  53 #include <bus/cam/cam_xpt_sim.h>
  54 #include <bus/cam/cam_debug.h>
  55 #include <bus/cam/scsi/scsi_all.h>
  56
  57 #include "ata-all.h"
  58 #include "ata_if.h"
  59
  60 /* private data associated with an ATA bus */
  61 struct atapi_xpt_softc {
  62     struct ata_device   atapi_cam_dev;  /* must be first */
  63     device_t            dev;
  64     device_t            parent;
  65     struct ata_channel  *ata_ch;
  66     struct cam_path     *path;
  67     struct cam_sim      *sim;
  68     int                 flags;
  69 #define BUS_REGISTERED          0x01
  70 #define RESOURCE_SHORTAGE       0x02
  71 #define DETACHING               0x04
  72
  73     TAILQ_HEAD(,atapi_hcb) pending_hcbs;
  74     struct ata_device   *atadev[2];
  75     struct spinlock     state_lock;
  76 };
  77
  78 /* hardware command descriptor block */
  79 struct atapi_hcb {
  80     struct atapi_xpt_softc *softc;
  81     int                 unit;
  82     int                 bus;
  83     int                 target;
  84     int                 lun;
  85     union ccb           *ccb;
  86     int                 flags;
  87 #define QUEUED          0x0001
  88 #define AUTOSENSE       0x0002
  89     char                *dxfer_alloc;
  90     TAILQ_ENTRY(atapi_hcb) chain;
  91 };
  92
  93 enum reinit_reason { ATTACH, RESET };
  94
  95 /* Device methods */
  96 static void atapi_cam_identify(device_t *dev, device_t parent);
  97 static int atapi_cam_probe(device_t dev);
  98 static int atapi_cam_attach(device_t dev);
  99 static int atapi_cam_detach(device_t dev);
 100 static int atapi_cam_reinit(device_t dev);
 101
 102 /* CAM XPT methods */
 103 static void atapi_action(struct cam_sim *, union ccb *);
 104 static void atapi_poll(struct cam_sim *);
 105 static void atapi_async(void *, u_int32_t, struct cam_path *, void *);
 106 static void atapi_cb(struct ata_request *);
 107
 108 /* Module methods */
 109 static int atapi_cam_event_handler(module_t mod, int what, void *arg);
 110
 111 /* internal functions */
 112 static void reinit_bus(struct atapi_xpt_softc *scp, enum reinit_reason reason);
 113 static void setup_async_cb(struct atapi_xpt_softc *, uint32_t);
 114 static void cam_rescan_callback(struct cam_periph *, union ccb *);
 115 static void cam_rescan(struct cam_sim *);
 116 static void free_hcb_and_ccb_done(struct atapi_hcb *, u_int32_t);
 117 static struct atapi_hcb *allocate_hcb(struct atapi_xpt_softc *, int, int, union ccb *);
 118 static void free_hcb(struct atapi_hcb *hcb);
 119 static void free_softc(struct atapi_xpt_softc *scp);
 120
 121 static MALLOC_DEFINE(M_ATACAM, "ata_cam", "ATA driver CAM-XPT layer");
 122
 123 static device_method_t atapi_cam_methods[] = {
 124         DEVMETHOD(device_identify,      atapi_cam_identify),
 125         DEVMETHOD(device_probe,         atapi_cam_probe),
 126         DEVMETHOD(device_attach,        atapi_cam_attach),
 127         DEVMETHOD(device_detach,        atapi_cam_detach),
 128         DEVMETHOD(ata_reinit,           atapi_cam_reinit),
 129         DEVMETHOD_END
 130 };
 131
 132 static driver_t atapi_cam_driver = {
 133         "atapicam",
 134         atapi_cam_methods,
 135         sizeof(struct atapi_xpt_softc)
 136 };
 137
 138 static devclass_t       atapi_cam_devclass;
 139 DRIVER_MODULE(atapicam, ata,
 140         atapi_cam_driver,
 141         atapi_cam_devclass,
 142         atapi_cam_event_handler,
 143         /*arg*/NULL);
 144 MODULE_VERSION(atapicam, 1);
 145 MODULE_DEPEND(atapicam, ata, 1, 1, 1);
 146 MODULE_DEPEND(atapicam, cam, 1, 1, 1);
 147
 148 static void
 149 atapi_cam_identify(device_t *dev, device_t parent)
 150 {
 151         struct atapi_xpt_softc *scp =
 152             kmalloc(sizeof(struct atapi_xpt_softc), M_ATACAM, M_INTWAIT|M_ZERO);
 153         device_t child;
 154
 155         /* Assume one atapicam instance per parent channel instance. */
 156         child = device_add_child(parent, "atapicam", -1);
 157         if (child == NULL) {
 158                 /* XXX TGEN Use device_printf()? */
 159                 kprintf("atapi_cam_identify: out of memory, can't add child");
 160                 kfree(scp, M_ATACAM);
 161                 return;
 162         }
 163         scp->atapi_cam_dev.unit = -1;
 164         scp->atapi_cam_dev.dev = child;
 165         device_quiet(child);
 166         device_set_softc(child, scp);
 167 }
 168
 169 static int
 170 atapi_cam_probe(device_t dev)
 171 {
 172         struct ata_device *atadev = device_get_softc (dev);
 173
 174         KASSERT(atadev != NULL, ("expect valid struct ata_device"));
 175         if (atadev->unit < 0) {
 176                 device_set_desc(dev, "ATAPI CAM Attachment");
 177                 return(0);
 178         } else {
 179                 return ENXIO;
 180         }
 181 }
 182
 183 static int
 184 atapi_cam_attach(device_t dev)
 185 {
 186     struct atapi_xpt_softc *scp = NULL;
 187     struct cam_devq *devq = NULL;
 188     struct cam_sim *sim = NULL;
 189     struct cam_path *path = NULL;
 190     int unit, error;
 191
 192     scp = (struct atapi_xpt_softc *)device_get_softc(dev);
 193     if (scp == NULL) {
 194         device_printf(dev, "Cannot get softc\n");
 195         return ENOMEM;
 196     }
 197
 198     spin_init(&scp->state_lock, "atapicamattach");
 199
 200     scp->dev = dev;
 201     scp->parent = device_get_parent(dev);
 202     scp->ata_ch = device_get_softc(scp->parent);
 203     TAILQ_INIT(&scp->pending_hcbs);
 204     unit = device_get_unit(dev);
 205
 206     if ((devq = cam_simq_alloc(16)) == NULL) {
 207         error = ENOMEM;
 208         goto out;
 209     }
 210
 211     if ((sim = cam_sim_alloc(atapi_action, atapi_poll, "ata",
 212                  (void *)scp, unit, &sim_mplock, 1, 1, devq)) == NULL) {
 213         error = ENOMEM;
 214         goto out;
 215     }
 216     scp->sim = sim;
 217
 218     if (xpt_bus_register(sim, 0) != CAM_SUCCESS) {
 219         error = EINVAL;
 220         goto out;
 221     }
 222     scp->flags |= BUS_REGISTERED;
 223
 224     if (xpt_create_path(&path, /*periph*/ NULL,
 225                 cam_sim_path(sim), CAM_TARGET_WILDCARD,
 226                 CAM_LUN_WILDCARD) != CAM_REQ_CMP) {
 227         error = ENOMEM;
 228         goto out;
 229     }
 230     scp->path = path;
 231
 232     CAM_DEBUG(path, CAM_DEBUG_TRACE, ("Registered SIM for ata%d\n", unit));
 233
 234     setup_async_cb(scp, AC_LOST_DEVICE);
 235     reinit_bus(scp, ATTACH);
 236     error = 0;
 237
 238 out:
 239     if (error != 0)
 240         free_softc(scp);
 241
 242     return(error);
 243 }
 244
 245 static int
 246 atapi_cam_detach(device_t dev)
 247 {
 248     struct atapi_xpt_softc *scp = device_get_softc(dev);
 249
 250     get_mplock();
 251     xpt_freeze_simq(scp->sim, 1 /*count*/);
 252     rel_mplock();
 253     spin_lock(&scp->state_lock);
 254     scp->flags |= DETACHING;
 255     spin_unlock(&scp->state_lock);
 256     free_softc(scp);
 257     return (0);
 258 }
 259
 260 static int
 261 atapi_cam_reinit(device_t dev) {
 262     struct atapi_xpt_softc *scp = device_get_softc(dev);
 263
 264     /*
 265      * scp might be null if the bus is being reinitialised during
 266      * the boot-up sequence, before the ATAPI bus is registered.
 267      */
 268
 269     if (scp != NULL) {
 270         reinit_bus(scp, RESET);
 271     }
 272     return 0;
 273 }
 274
 275 static void
 276 reinit_bus(struct atapi_xpt_softc *scp, enum reinit_reason reason) {
 277     struct ata_device *old_atadev[2], *atadev;
 278     device_t *children;
 279     int nchildren, i, dev_changed;
 280
 281     if (device_get_children(scp->parent, &children, &nchildren) != 0) {
 282         return;
 283     }
 284
 285     spin_lock(&scp->state_lock);
 286     old_atadev[0] = scp->atadev[0];
 287     old_atadev[1] = scp->atadev[1];
 288     scp->atadev[0] = NULL;
 289     scp->atadev[1] = NULL;
 290
 291     for (i = 0; i < nchildren; i++) {
 292         /* XXX Does the child need to actually be attached yet? */
 293         if (children[i] != NULL) {
 294             atadev = device_get_softc(children[i]);
 295             if ((atadev->unit == ATA_MASTER) &&
 296                 (scp->ata_ch->devices & ATA_ATAPI_MASTER) != 0)
 297                 scp->atadev[0] = atadev;
 298             if ((atadev->unit == ATA_SLAVE) &&
 299                 (scp->ata_ch->devices & ATA_ATAPI_SLAVE) != 0)
 300                 scp->atadev[1] = atadev;
 301         }
 302     }
 303     dev_changed = (old_atadev[0] != scp->atadev[0])
 304             || (old_atadev[1] != scp->atadev[1]);
 305     spin_unlock(&scp->state_lock);
 306     kfree(children, M_TEMP);
 307
 308     switch (reason) {
 309         case RESET:
 310             xpt_async(AC_BUS_RESET, scp->path, NULL);
 311
 312             if (!dev_changed)
 313                     break;
 314
 315             /*FALLTHROUGH*/
 316         case ATTACH:
 317             cam_rescan(scp->sim);
 318             break;
 319     }
 320 }
 321
 322 static void
 323 setup_async_cb(struct atapi_xpt_softc *scp, uint32_t events)
 324 {
 325     struct ccb_setasync csa;
 326
 327     get_mplock();
 328     xpt_setup_ccb(&csa.ccb_h, scp->path, /*priority*/ 5);
 329     csa.ccb_h.func_code = XPT_SASYNC_CB;
 330     csa.event_enable = events;
 331     csa.callback = &atapi_async;
 332     csa.callback_arg = scp->sim;
 333     xpt_action((union ccb *) &csa);
 334     rel_mplock();
 335 }
 336
 337 static void
 338 atapi_action(struct cam_sim *sim, union ccb *ccb)
 339 {
 340     struct atapi_xpt_softc *softc = (struct atapi_xpt_softc*)cam_sim_softc(sim);
 341     struct ccb_hdr *ccb_h = &ccb->ccb_h;
 342     struct atapi_hcb *hcb = NULL;
 343     struct ata_request *request = NULL;
 344     int unit = cam_sim_unit(sim);
 345     int bus = cam_sim_bus(sim);
 346     int len;
 347     char *buf;
 348
 349     switch (ccb_h->func_code) {
 350     case XPT_PATH_INQ: {
 351         struct ccb_pathinq *cpi = &ccb->cpi;
 352         int tid = ccb_h->target_id;
 353
 354         cpi->version_num = 1;
 355         cpi->hba_inquiry = 0;
 356         cpi->target_sprt = 0;
 357         cpi->hba_misc = PIM_NO_6_BYTE;
 358         cpi->hba_eng_cnt = 0;
 359         bzero(cpi->vuhba_flags, sizeof(cpi->vuhba_flags));
 360         cpi->max_target = 1;
 361         cpi->max_lun = 0;
 362         cpi->async_flags = 0;
 363         cpi->hpath_id = 0;
 364         cpi->initiator_id = 7;
 365         strncpy(cpi->sim_vid, "FreeBSD", sizeof(cpi->sim_vid));
 366         strncpy(cpi->hba_vid, "ATAPI", sizeof(cpi->hba_vid));
 367         strncpy(cpi->dev_name, cam_sim_name(sim), sizeof cpi->dev_name);
 368         cpi->unit_number = cam_sim_unit(sim);
 369         cpi->bus_id = cam_sim_bus(sim);
 370         cpi->base_transfer_speed = 3300;
 371         cpi->transport = XPORT_ATA;
 372         cpi->transport_version = 2;
 373         cpi->protocol = PROTO_SCSI;
 374         cpi->protocol_version = SCSI_REV_2;
 375
 376         if (softc->ata_ch && tid != CAM_TARGET_WILDCARD) {
 377             spin_lock(&softc->state_lock);
 378             if (softc->atadev[tid] == NULL) {
 379                 ccb->ccb_h.status = CAM_DEV_NOT_THERE;
 380                 xpt_done(ccb);
 381                 spin_unlock(&softc->state_lock);
 382                 return;
 383             }
 384             switch (softc->atadev[ccb_h->target_id]->mode) {
 385             case ATA_PIO1:
 386                 cpi->base_transfer_speed = 5200;
 387                 break;
 388             case ATA_PIO2:
 389                 cpi->base_transfer_speed = 7000;
 390                 break;
 391             case ATA_PIO3:
 392                 cpi->base_transfer_speed = 11000;
 393                 break;
 394             case ATA_PIO4:
 395             case ATA_DMA:
 396             case ATA_WDMA2:
 397                 cpi->base_transfer_speed = 16000;
 398                 break;
 399             case ATA_UDMA2:
 400                 cpi->base_transfer_speed = 33000;
 401                 break;
 402             case ATA_UDMA4:
 403                 cpi->base_transfer_speed = 66000;
 404                 break;
 405             case ATA_UDMA5:
 406                 cpi->base_transfer_speed = 100000;
 407                 break;
 408             case ATA_UDMA6:
 409                 cpi->base_transfer_speed = 133000;
 410                 break;
 411             default:
 412                 break;
 413             }
 414             spin_unlock(&softc->state_lock);
 415         }
 416         ccb->ccb_h.status = CAM_REQ_CMP;
 417         xpt_done(ccb);
 418         return;
 419     }
 420
 421     case XPT_RESET_DEV: {
 422         int tid = ccb_h->target_id;
 423
 424         CAM_DEBUG(ccb->ccb_h.path, CAM_DEBUG_SUBTRACE, ("dev reset\n"));
 425         ata_controlcmd(softc->atadev[tid]->dev, ATA_DEVICE_RESET, 0, 0, 0);
 426         ccb->ccb_h.status = CAM_REQ_CMP;
 427         xpt_done(ccb);
 428         return;
 429     }
 430
 431     case XPT_RESET_BUS:
 432         CAM_DEBUG(ccb->ccb_h.path, CAM_DEBUG_SUBTRACE, ("bus reset\n"));
 433         ata_reinit(softc->parent);
 434         ccb->ccb_h.status = CAM_REQ_CMP;
 435         xpt_done(ccb);
 436         return;
 437
 438     case XPT_SET_TRAN_SETTINGS:
 439         /* ignore these, we're not doing SCSI here */
 440         CAM_DEBUG(ccb->ccb_h.path, CAM_DEBUG_SUBTRACE,
 441                   ("SET_TRAN_SETTINGS not supported\n"));
 442         ccb->ccb_h.status = CAM_FUNC_NOTAVAIL;
 443         xpt_done(ccb);
 444         return;
 445
 446     case XPT_GET_TRAN_SETTINGS: {
 447         struct ccb_trans_settings *cts = &ccb->cts;
 448         cts->protocol = PROTO_SCSI;
 449         cts->protocol_version = SCSI_REV_2;
 450         cts->transport = XPORT_ATA;
 451         cts->transport_version = XPORT_VERSION_UNSPECIFIED;
 452         cts->proto_specific.valid = 0;
 453         cts->xport_specific.valid = 0;
 454         /* nothing more to do */
 455         ccb->ccb_h.status = CAM_REQ_CMP;
 456         CAM_DEBUG(ccb->ccb_h.path, CAM_DEBUG_SUBTRACE, ("GET_TRAN_SETTINGS\n"));
 457         xpt_done(ccb);
 458         return;
 459     }
 460
 461     case XPT_CALC_GEOMETRY: {
 462         CAM_DEBUG(ccb->ccb_h.path, CAM_DEBUG_SUBTRACE, ("CALC_GEOMETRY\n"));
 463         cam_calc_geometry(&ccb->ccg, /*extended*/1);
 464         xpt_done(ccb);
 465         return;
 466     }
 467
 468     case XPT_SCSI_IO: {
 469         struct ccb_scsiio *csio = &ccb->csio;
 470         int tid = ccb_h->target_id, lid = ccb_h->target_lun;
 471         int request_flags = ATA_R_QUIET | ATA_R_ATAPI;
 472
 473         CAM_DEBUG(ccb_h->path, CAM_DEBUG_SUBTRACE, ("XPT_SCSI_IO\n"));
 474
 475         spin_lock(&softc->state_lock);
 476         if (softc->flags & DETACHING) {
 477             ccb->ccb_h.status = CAM_REQ_ABORTED;
 478             xpt_done(ccb);
 479             spin_unlock(&softc->state_lock);
 480             return;
 481         }
 482
 483         if (softc->atadev[tid] == NULL) {
 484             ccb->ccb_h.status = CAM_DEV_NOT_THERE;
 485             xpt_done(ccb);
 486             spin_unlock(&softc->state_lock);
 487             return;
 488         }
 489
 490         /* check that this request was not aborted already */
 491         if ((ccb_h->status & CAM_STATUS_MASK) != CAM_REQ_INPROG) {
 492             kprintf("XPT_SCSI_IO received but already in progress?\n");
 493             xpt_done(ccb);
 494             spin_unlock(&softc->state_lock);
 495             return;
 496         }
 497         if (lid > 0) {
 498             CAM_DEBUG(ccb_h->path, CAM_DEBUG_SUBTRACE,
 499                       ("SCSI IO received for invalid lun %d\n", lid));
 500             goto action_invalid;
 501         }
 502         if (csio->cdb_len > sizeof request->u.atapi.ccb) {
 503             CAM_DEBUG(ccb_h->path, CAM_DEBUG_SUBTRACE,
 504                 ("CAM CCB too long for ATAPI"));
 505             goto action_invalid;
 506         }
 507         if ((ccb_h->flags & CAM_SCATTER_VALID)) {
 508             /* scatter-gather not supported */
 509             xpt_print_path(ccb_h->path);
 510             kprintf("ATAPI/CAM does not support scatter-gather yet!\n");
 511             goto action_invalid;
 512         }
 513
 514         switch (ccb_h->flags & CAM_DIR_MASK) {
 515         case CAM_DIR_IN:
 516              request_flags |= ATA_R_READ;
 517              break;
 518         case CAM_DIR_OUT:
 519              request_flags |= ATA_R_WRITE;
 520              break;
 521         case CAM_DIR_NONE:
 522              /* No flags need to be set */
 523              break;
 524         default:
 525              device_printf(softc->dev, "unknown IO operation\n");
 526              goto action_invalid;
 527         }
 528
 529         if ((hcb = allocate_hcb(softc, unit, bus, ccb)) == NULL) {
 530             kprintf("cannot allocate ATAPI/CAM hcb\n");
 531             goto action_oom;
 532         }
 533         if ((request = ata_alloc_request()) == NULL) {
 534             kprintf("cannot allocate ATAPI/CAM request\n");
 535             goto action_oom;
 536         }
 537
 538         bcopy((ccb_h->flags & CAM_CDB_POINTER) ?
 539               csio->cdb_io.cdb_ptr : csio->cdb_io.cdb_bytes,
 540               request->u.atapi.ccb, csio->cdb_len);
 541 #ifdef CAMDEBUG
 542         if (CAM_DEBUGGED(ccb_h->path, CAM_DEBUG_CDB)) {
 543                 char cdb_str[(SCSI_MAX_CDBLEN * 3) + 1];
 544
 545                 kprintf("atapi_action: hcb@%p: %s\n", hcb,
 546                        scsi_cdb_string(request->u.atapi.ccb, cdb_str, sizeof(cdb_str)));
 547         }
 548         if (CAM_DEBUGGED(ccb_h->path, CAM_DEBUG_SUBTRACE)) {
 549                 request_flags |= ATA_R_DEBUG;
 550         }
 551 #endif
 552
 553         len = csio->dxfer_len;
 554         buf = csio->data_ptr;
 555
 556         /* some SCSI commands require special processing */
 557         switch (request->u.atapi.ccb[0]) {
 558         case INQUIRY: {
 559             /*
 560              * many ATAPI devices seem to report more than
 561              * SHORT_INQUIRY_LENGTH bytes of available INQUIRY
 562              * information, but respond with some incorrect condition
 563              * when actually asked for it, so we are going to pretend
 564              * that only SHORT_INQUIRY_LENGTH are expected, anyway.
 565              */
 566             struct scsi_inquiry *inq = (struct scsi_inquiry *) &request->u.atapi.ccb[0];
 567
 568             if (inq->byte2 == 0 && inq->page_code == 0 &&
 569                 inq->length > SHORT_INQUIRY_LENGTH) {
 570                 bzero(buf, len);
 571                 len = inq->length = SHORT_INQUIRY_LENGTH;
 572             }
 573             break;
 574         }
 575         case READ_6:
 576             /* FALLTHROUGH */
 577
 578         case WRITE_6:
 579             CAM_DEBUG(ccb_h->path, CAM_DEBUG_SUBTRACE,
 580                       ("Translating %s into _10 equivalent\n",
 581                       (request->u.atapi.ccb[0] == READ_6) ? "READ_6" : "WRITE_6"));
 582             request->u.atapi.ccb[0] |= 0x20;
 583             request->u.atapi.ccb[9] = request->u.atapi.ccb[5];
 584             request->u.atapi.ccb[8] = request->u.atapi.ccb[4];
 585             request->u.atapi.ccb[7] = 0;
 586             request->u.atapi.ccb[6] = 0;
 587             request->u.atapi.ccb[5] = request->u.atapi.ccb[3];
 588             request->u.atapi.ccb[4] = request->u.atapi.ccb[2];
 589             request->u.atapi.ccb[3] = request->u.atapi.ccb[1] & 0x1f;
 590             request->u.atapi.ccb[2] = 0;
 591             request->u.atapi.ccb[1] = 0;
 592             break;
 593         }
 594
 595         if ((ccb_h->flags & CAM_DIR_MASK) == CAM_DIR_IN && (len & 1)) {
 596             /* ATA always transfers an even number of bytes */
 597             buf = hcb->dxfer_alloc =
 598                 kmalloc(++len, M_ATACAM, M_INTWAIT | M_ZERO);
 599         }
 600
 601         /*
 602          * Don't allow DMA for requests with length not multiple of 16 bytes.
 603          * Some ATAPI devices don't like it.
 604          */
 605         if ((softc->atadev[tid]->mode >= ATA_DMA) && len > 0 && !(len & 15))
 606                 request_flags |= ATA_R_DMA;
 607
 608         request->dev = softc->atadev[tid]->dev;
 609         request->driver = hcb;
 610         request->data = buf;
 611         request->bytecount = len;
 612         request->transfersize = min(request->bytecount,
 613                                 min(softc->ata_ch->dma->max_iosize, 65534));
 614         request->timeout = ccb_h->timeout / 1000; /* XXX lost granularity */
 615         request->callback = &atapi_cb;
 616         request->flags = request_flags;
 617
 618         /*
 619          * no retries are to be performed at the ATA level; any retries
 620          * will be done by CAM .
 621          */
 622         request->retries = 0;
 623
 624         TAILQ_INSERT_TAIL(&softc->pending_hcbs, hcb, chain);
 625         hcb->flags |= QUEUED;
 626         ccb_h->status |= CAM_SIM_QUEUED;
 627         spin_unlock(&softc->state_lock);
 628
 629         ata_queue_request(request);
 630         return;
 631     }
 632
 633     default:
 634         CAM_DEBUG(ccb_h->path, CAM_DEBUG_SUBTRACE,
 635                   ("unsupported function code 0x%02x\n", ccb_h->func_code));
 636         goto action_invalid;
 637     }
 638
 639     /* NOTREACHED */
 640
 641 action_oom:
 642     if (request != NULL)
 643         ata_free_request(request);
 644     if (hcb != NULL)
 645         free_hcb(hcb);
 646     spin_unlock(&softc->state_lock);
 647     get_mplock();
 648     xpt_print_path(ccb_h->path);
 649     kprintf("out of memory, freezing queue.\n");
 650     softc->flags |= RESOURCE_SHORTAGE;
 651     xpt_freeze_simq(sim, /*count*/ 1);
 652     rel_mplock();
 653     ccb_h->status = CAM_REQUEUE_REQ;
 654     xpt_done(ccb);
 655     return;
 656
 657 action_invalid:
 658     spin_unlock(&softc->state_lock);
 659     ccb_h->status = CAM_REQ_INVALID;
 660     xpt_done(ccb);
 661     return;
 662 }
 663
 664 static void
 665 atapi_poll(struct cam_sim *sim)
 666 {
 667     /* do nothing - we do not actually service any interrupts */
 668     kprintf("atapi_poll called!\n");
 669 }
 670
 671 static void
 672 atapi_cb(struct ata_request *request)
 673 {
 674     struct atapi_xpt_softc *scp;
 675     struct atapi_hcb *hcb;
 676     struct ccb_scsiio *csio;
 677     u_int32_t rc;
 678
 679     hcb = (struct atapi_hcb *)request->driver;
 680     scp = hcb->softc;
 681     csio = &hcb->ccb->csio;
 682
 683 #ifdef CAMDEBUG
 684 # define err (request->u.atapi.sense.key)
 685     if (CAM_DEBUGGED(csio->ccb_h.path, CAM_DEBUG_CDB)) {
 686         kprintf("atapi_cb: hcb@%p sense = %02x: sk = %01x%s%s%s\n",
 687                 hcb, err, err & 0x0f,
 688                 (err & 0x80) ? ", Filemark" : "",
 689                 (err & 0x40) ? ", EOM" : "",
 690                 (err & 0x20) ? ", ILI" : "");
 691         device_printf(request->dev,
 692             "cmd %s status %02x result %02x error %02x\n",
 693             ata_cmd2str(request),
 694             request->status, request->result, request->error);
 695     }
 696 #endif
 697
 698     if ((hcb->flags & AUTOSENSE) != 0) {
 699         rc = CAM_SCSI_STATUS_ERROR;
 700         if (request->result == 0) {
 701             csio->ccb_h.status |= CAM_AUTOSNS_VALID;
 702         }
 703     } else if (request->result != 0) {
 704         if ((request->flags & ATA_R_TIMEOUT) != 0) {
 705             rc = CAM_CMD_TIMEOUT;
 706         } else {
 707             rc = CAM_SCSI_STATUS_ERROR;
 708             csio->scsi_status = SCSI_STATUS_CHECK_COND;
 709
 710             if ((csio->ccb_h.flags & CAM_DIS_AUTOSENSE) == 0) {
 711 #if 0
 712                 static const int8_t ccb[16] = { ATAPI_REQUEST_SENSE, 0, 0, 0,
 713                     sizeof(struct atapi_sense), 0, 0, 0, 0, 0, 0,
 714                     0, 0, 0, 0, 0 };
 715
 716                 bcopy (ccb, request->u.atapi.ccb, sizeof ccb);
 717                 request->data = (caddr_t)&csio->sense_data;
 718                 request->bytecount = sizeof(struct atapi_sense);
 719                 request->transfersize = min(request->bytecount, 65534);
 720                 request->timeout = csio->ccb_h.timeout / 1000;
 721                 request->retries = 2;
 722                 request->flags = ATA_R_QUIET|ATA_R_ATAPI|ATA_R_IMMEDIATE;
 723                 hcb->flags |= AUTOSENSE;
 724
 725                 ata_queue_request(request);
 726                 return;
 727 #else
 728                 /*
 729                  * Use auto-sense data from the ATA layer, if it has
 730                  * issued a REQUEST SENSE automatically and that operation
 731                  * returned without error.
 732                  */
 733                 if (request->u.atapi.sense.key != 0 && request->error == 0) {
 734                     bcopy (&request->u.atapi.sense, &csio->sense_data, sizeof(struct atapi_sense));
 735                     csio->ccb_h.status |= CAM_AUTOSNS_VALID;
 736                 }
 737             }
 738 #endif
 739         }
 740     } else {
 741         rc = CAM_REQ_CMP;
 742         csio->scsi_status = SCSI_STATUS_OK;
 743         if (((csio->ccb_h.flags & CAM_DIR_MASK) == CAM_DIR_IN) &&
 744             hcb->dxfer_alloc != NULL)
 745         {
 746             bcopy(hcb->dxfer_alloc, csio->data_ptr, csio->dxfer_len);
 747         }
 748     }
 749
 750     spin_lock(&scp->state_lock);
 751     free_hcb_and_ccb_done(hcb, rc);
 752     spin_unlock(&scp->state_lock);
 753
 754     ata_free_request(request);
 755 }
 756
 757 static void
 758 free_hcb_and_ccb_done(struct atapi_hcb *hcb, u_int32_t status)
 759 {
 760     struct atapi_xpt_softc *softc;
 761     union ccb *ccb;
 762
 763     if (hcb == NULL)
 764         return;
 765
 766     softc = hcb->softc;
 767     ccb = hcb->ccb;
 768
 769     /* we're about to free a hcb, so the shortage has ended */
 770     if (softc->flags & RESOURCE_SHORTAGE) {
 771         softc->flags &= ~RESOURCE_SHORTAGE;
 772         status |= CAM_RELEASE_SIMQ;
 773     }
 774     free_hcb(hcb);
 775     ccb->ccb_h.status =
 776         status | (ccb->ccb_h.status & ~(CAM_STATUS_MASK | CAM_SIM_QUEUED));
 777     xpt_done(ccb);
 778 }
 779
 780 static void
 781 atapi_async(void *callback_arg, u_int32_t code,
 782              struct cam_path* path, void *arg)
 783 {
 784     int targ;
 785
 786     crit_enter();
 787
 788     switch (code) {
 789     case AC_LOST_DEVICE:
 790         targ = xpt_path_target_id(path);
 791         xpt_print_path(path);
 792         if (targ == -1)
 793                 kprintf("Lost host adapter\n");
 794         else
 795                 kprintf("Lost target %d???\n", targ);
 796         break;
 797
 798     default:
 799         break;
 800     }
 801
 802     crit_exit();
 803 }
 804
 805 static void
 806 cam_rescan_callback(struct cam_periph *periph, union ccb *ccb)
 807 {
 808         if (ccb->ccb_h.status != CAM_REQ_CMP) {
 809             CAM_DEBUG(ccb->ccb_h.path, CAM_DEBUG_TRACE,
 810                       ("Rescan failed, 0x%04x\n", ccb->ccb_h.status));
 811         } else {
 812             CAM_DEBUG(ccb->ccb_h.path, CAM_DEBUG_TRACE,
 813                       ("Rescan succeeded\n"));
 814         }
 815         xpt_free_path(ccb->ccb_h.path);
 816         kfree(ccb, M_ATACAM);
 817 }
 818
 819 static void
 820 cam_rescan(struct cam_sim *sim)
 821 {
 822     struct cam_path *path;
 823     union ccb *ccb = kmalloc(sizeof(union ccb), M_ATACAM, M_WAITOK | M_ZERO);
 824
 825     get_mplock();
 826     if (xpt_create_path(&path, xpt_periph, cam_sim_path(sim),
 827                         CAM_TARGET_WILDCARD, CAM_LUN_WILDCARD) != CAM_REQ_CMP) {
 828         rel_mplock();
 829         kfree(ccb, M_ATACAM);
 830         return;
 831     }
 832
 833     CAM_DEBUG(path, CAM_DEBUG_TRACE, ("Rescanning ATAPI bus.\n"));
 834     xpt_setup_ccb(&ccb->ccb_h, path, 5/*priority (low)*/);
 835     ccb->ccb_h.func_code = XPT_SCAN_BUS;
 836     ccb->ccb_h.cbfcnp = cam_rescan_callback;
 837     ccb->crcn.flags = CAM_FLAG_NONE;
 838     xpt_action(ccb);
 839     /* scan is in progress now */
 840     rel_mplock();
 841 }
 842
 843 static struct atapi_hcb *
 844 allocate_hcb(struct atapi_xpt_softc *softc, int unit, int bus, union ccb *ccb)
 845 {
 846     struct atapi_hcb *hcb = (struct atapi_hcb *)
 847         kmalloc(sizeof(struct atapi_hcb), M_ATACAM, M_INTWAIT | M_ZERO);
 848
 849     hcb->softc = softc;
 850     hcb->unit = unit;
 851     hcb->bus = bus;
 852     hcb->ccb = ccb;
 853     return hcb;
 854 }
 855
 856 static void
 857 free_hcb(struct atapi_hcb *hcb)
 858 {
 859     if ((hcb->flags & QUEUED) != 0)
 860         TAILQ_REMOVE(&hcb->softc->pending_hcbs, hcb, chain);
 861     if (hcb->dxfer_alloc != NULL)
 862         kfree(hcb->dxfer_alloc, M_ATACAM);
 863     kfree(hcb, M_ATACAM);
 864 }
 865
 866 static void
 867 free_softc(struct atapi_xpt_softc *scp)
 868 {
 869     struct atapi_hcb *hcb;
 870
 871     if (scp != NULL) {
 872         spin_lock(&scp->state_lock);
 873         TAILQ_FOREACH(hcb, &scp->pending_hcbs, chain) {
 874             free_hcb_and_ccb_done(hcb, CAM_UNREC_HBA_ERROR);
 875         }
 876         spin_unlock(&scp->state_lock);
 877         get_mplock();
 878         if (scp->path != NULL) {
 879             setup_async_cb(scp, 0);
 880             xpt_free_path(scp->path);
 881         }
 882         if ((scp->flags & BUS_REGISTERED) != 0) {
 883             if (xpt_bus_deregister(cam_sim_path(scp->sim)) == CAM_REQ_CMP)
 884                 scp->flags &= ~BUS_REGISTERED;
 885         }
 886         if (scp->sim != NULL) {
 887             if ((scp->flags & BUS_REGISTERED) == 0)
 888                 cam_sim_free(scp->sim);
 889             else
 890                 kprintf("Can't free %s SIM (still registered)\n",
 891                        cam_sim_name(scp->sim));
 892         }
 893         rel_mplock();
 894         spin_uninit(&scp->state_lock);
 895     }
 896 }
 897
 898 static int
 899 atapi_cam_event_handler(module_t mod, int what, void *arg) {
 900     device_t *devlist;
 901     int devcount;
 902
 903     switch (what) {
 904         case MOD_UNLOAD:
 905             if (devclass_get_devices(atapi_cam_devclass, &devlist, &devcount)
 906                   != 0)
 907                 return ENXIO;
 908             if (devlist != NULL) {
 909                 while (devlist != NULL && devcount > 0) {
 910                     device_t child = devlist[--devcount];
 911                     struct atapi_xpt_softc *scp = device_get_softc(child);
 912
 913                     device_delete_child(device_get_parent(child),child);
 914                     if (scp != NULL)
 915                         kfree(scp, M_ATACAM);
 916                 }
 917                 kfree(devlist, M_TEMP);
 918             }
 919             break;
 920
 921         default:
 922             break;
 923     }
 924     return 0;
 925 }