sys/dev/raid/iir/iir.c

   1 /* $FreeBSD: src/sys/dev/iir/iir.c,v 1.24 2010/01/08 15:47:23 trasz Exp $ */
   2 /*-
   3  *       Copyright (c) 2000-04 ICP vortex GmbH
   4  *       Copyright (c) 2002-04 Intel Corporation
   5  *       Copyright (c) 2003-04 Adaptec Inc.
   6  *       All Rights Reserved
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions, and the following disclaimer,
  13  *    without modification, immediately at the beginning of the file.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  * 3. The name of the author may not be used to endorse or promote products
  18  *    derived from this software without specific prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  23  * ARE DISCLAIMED. IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE FOR
  24  * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  30  * SUCH DAMAGE.
  31  */
  32
  33 /*
  34  * iir.c: SCSI dependant code for the Intel Integrated RAID Controller driver
  35  *
  36  * Written by: Achim Leubner <achim_leubner@adaptec.com>
  37  * Fixes/Additions: Boji Tony Kannanthanam <boji.t.kannanthanam@intel.com>
  38  *
  39  * credits:     Niklas Hallqvist;       OpenBSD driver for the ICP Controllers.
  40  *              Mike Smith;             Some driver source code.
  41  *              FreeBSD.ORG;            Great O/S to work on and for.
  42  *
  43  * $Id: iir.c 1.5 2004/03/30 10:17:53 achim Exp $"
  44  */
  45
  46
  47 #define _IIR_C_
  48
  49 /* #include "opt_iir.h" */
  50 #include <sys/param.h>
  51 #include <sys/systm.h>
  52 #include <sys/types.h>
  53 #include <sys/endian.h>
  54 #include <sys/eventhandler.h>
  55 #include <sys/malloc.h>
  56 #include <sys/kernel.h>
  57 #include <sys/bus.h>
  58 #include <sys/thread2.h>
  59
  60 #include <machine/stdarg.h>
  61
  62 #include <bus/cam/cam.h>
  63 #include <bus/cam/cam_ccb.h>
  64 #include <bus/cam/cam_sim.h>
  65 #include <bus/cam/cam_xpt_sim.h>
  66 #include <bus/cam/cam_debug.h>
  67 #include <bus/cam/scsi/scsi_all.h>
  68 #include <bus/cam/scsi/scsi_message.h>
  69 #include "pcidevs.h"
  70
  71 #include <dev/raid/iir/iir.h>
  72
  73 MALLOC_DEFINE(M_GDTBUF, "iirbuf", "iir driver buffer");
  74
  75 struct gdt_softc *gdt_wait_gdt;
  76 int     gdt_wait_index;
  77
  78 #ifdef GDT_DEBUG
  79 int     gdt_debug = GDT_DEBUG;
  80 #ifdef __SERIAL__
  81 #define MAX_SERBUF 160
  82 static void ser_init(void);
  83 static void ser_puts(char *str);
  84 static void ser_putc(int c);
  85 static char strbuf[MAX_SERBUF+1];
  86 #ifdef __COM2__
  87 #define COM_BASE 0x2f8
  88 #else
  89 #define COM_BASE 0x3f8
  90 #endif
  91 static void ser_init()
  92 {
  93     unsigned port=COM_BASE;
  94
  95     outb(port+3, 0x80);
  96     outb(port+1, 0);
  97     /* 19200 Baud, if 9600: outb(12,port) */
  98     outb(port, 6);
  99     outb(port+3, 3);
 100     outb(port+1, 0);
 101 }
 102
 103 static void ser_puts(char *str)
 104 {
 105     char *ptr;
 106
 107     ser_init();
 108     for (ptr=str;*ptr;++ptr)
 109         ser_putc((int)(*ptr));
 110 }
 111
 112 static void ser_putc(int c)
 113 {
 114     unsigned port=COM_BASE;
 115
 116     while ((inb(port+5) & 0x20)==0);
 117     outb(port, c);
 118     if (c==0x0a)
 119     {
 120         while ((inb(port+5) & 0x20)==0);
 121         outb(port, 0x0d);
 122     }
 123 }
 124
 125 int
 126 ser_kprintf(const char *fmt, ...)
 127 {
 128     __va_list args;
 129     int i;
 130
 131     __va_start(args,fmt);
 132     i = kvsprintf(strbuf,fmt,args);
 133     ser_puts(strbuf);
 134     __va_end(args);
 135     return i;
 136 }
 137 #endif
 138 #endif
 139
 140 /* The linked list of softc structures */
 141 struct gdt_softc_list gdt_softcs = TAILQ_HEAD_INITIALIZER(gdt_softcs);
 142 /* controller cnt. */
 143 int gdt_cnt = 0;
 144 /* event buffer */
 145 static gdt_evt_str ebuffer[GDT_MAX_EVENTS];
 146 static int elastidx, eoldidx;
 147 /* statistics */
 148 gdt_statist_t gdt_stat;
 149
 150 /* Definitions for our use of the SIM private CCB area */
 151 #define ccb_sim_ptr     spriv_ptr0
 152 #define ccb_priority    spriv_field1
 153
 154 static void     iir_action(struct cam_sim *sim, union ccb *ccb);
 155 static void     iir_poll(struct cam_sim *sim);
 156 static void     iir_shutdown(void *arg, int howto);
 157 static void     iir_timeout(void *arg);
 158
 159 static void     gdt_eval_mapping(u_int32_t size, int *cyls, int *heads,
 160                                  int *secs);
 161 static int      gdt_internal_cmd(struct gdt_softc *gdt, struct gdt_ccb *gccb,
 162                                  u_int8_t service, u_int16_t opcode,
 163                                  u_int32_t arg1, u_int32_t arg2, u_int32_t arg3);
 164 static int      gdt_wait(struct gdt_softc *gdt, struct gdt_ccb *ccb,
 165                          int timeout);
 166
 167 static struct gdt_ccb *gdt_get_ccb(struct gdt_softc *gdt);
 168
 169 static int      gdt_sync_event(struct gdt_softc *gdt, int service,
 170                                u_int8_t index, struct gdt_ccb *gccb);
 171 static int      gdt_async_event(struct gdt_softc *gdt, int service);
 172 static struct gdt_ccb *gdt_raw_cmd(struct gdt_softc *gdt,  union ccb *ccb);
 173 static struct gdt_ccb *gdt_cache_cmd(struct gdt_softc *gdt, union ccb *ccb);
 174 static struct gdt_ccb *gdt_ioctl_cmd(struct gdt_softc *gdt, gdt_ucmd_t *ucmd);
 175 static void     gdt_internal_cache_cmd(struct gdt_softc *gdt,union ccb *ccb);
 176
 177 static void     gdtmapmem(void *arg, bus_dma_segment_t *dm_segs,
 178                           int nseg, int error);
 179 static void     gdtexecuteccb(void *arg, bus_dma_segment_t *dm_segs,
 180                               int nseg, int error);
 181
 182 int
 183 iir_init(struct gdt_softc *gdt)
 184 {
 185     u_int16_t cdev_cnt;
 186     int i, id, drv_cyls, drv_hds, drv_secs;
 187     struct gdt_ccb *gccb;
 188
 189     GDT_DPRINTF(GDT_D_DEBUG, ("iir_init()\n"));
 190
 191     gdt->sc_state = GDT_POLLING;
 192     gdt_clear_events();
 193     bzero(&gdt_stat, sizeof(gdt_statist_t));
 194
 195     SLIST_INIT(&gdt->sc_free_gccb);
 196     SLIST_INIT(&gdt->sc_pending_gccb);
 197     TAILQ_INIT(&gdt->sc_ccb_queue);
 198     TAILQ_INIT(&gdt->sc_ucmd_queue);
 199     TAILQ_INSERT_TAIL(&gdt_softcs, gdt, links);
 200
 201     /* DMA tag for mapping buffers into device visible space. */
 202     if (bus_dma_tag_create(gdt->sc_parent_dmat, /*alignment*/1, /*boundary*/0,
 203                            /*lowaddr*/BUS_SPACE_MAXADDR_32BIT,
 204                            /*highaddr*/BUS_SPACE_MAXADDR,
 205                            /*filter*/NULL, /*filterarg*/NULL,
 206                            /*maxsize*/MAXBSIZE, /*nsegments*/GDT_MAXSG,
 207                            /*maxsegsz*/BUS_SPACE_MAXSIZE_32BIT,
 208                            /*flags*/BUS_DMA_ALLOCNOW,
 209                            &gdt->sc_buffer_dmat) != 0) {
 210         kprintf("iir%d: bus_dma_tag_create(...,gdt->sc_buffer_dmat) failed\n",
 211                gdt->sc_hanum);
 212         return (1);
 213     }
 214     gdt->sc_init_level++;
 215
 216     /* DMA tag for our ccb structures */
 217     if (bus_dma_tag_create(gdt->sc_parent_dmat,
 218                            /*alignment*/1,
 219                            /*boundary*/0,
 220                            /*lowaddr*/BUS_SPACE_MAXADDR_32BIT,
 221                            /*highaddr*/BUS_SPACE_MAXADDR,
 222                            /*filter*/NULL,
 223                            /*filterarg*/NULL,
 224                            GDT_MAXCMDS * GDT_SCRATCH_SZ, /* maxsize */
 225                            /*nsegments*/1,
 226                            /*maxsegsz*/BUS_SPACE_MAXSIZE_32BIT,
 227                            /*flags*/0, &gdt->sc_gcscratch_dmat) != 0) {
 228         kprintf("iir%d: bus_dma_tag_create(...,gdt->sc_gcscratch_dmat) failed\n",
 229                gdt->sc_hanum);
 230         return (1);
 231     }
 232     gdt->sc_init_level++;
 233
 234     /* Allocation for our ccb scratch area */
 235     if (bus_dmamem_alloc(gdt->sc_gcscratch_dmat, (void *)&gdt->sc_gcscratch,
 236                          BUS_DMA_NOWAIT, &gdt->sc_gcscratch_dmamap) != 0) {
 237         kprintf("iir%d: bus_dmamem_alloc(...,&gdt->sc_gcscratch,...) failed\n",
 238                gdt->sc_hanum);
 239         return (1);
 240     }
 241     gdt->sc_init_level++;
 242
 243     /* And permanently map them */
 244     bus_dmamap_load(gdt->sc_gcscratch_dmat, gdt->sc_gcscratch_dmamap,
 245                     gdt->sc_gcscratch, GDT_MAXCMDS * GDT_SCRATCH_SZ,
 246                     gdtmapmem, &gdt->sc_gcscratch_busbase, /*flags*/0);
 247     gdt->sc_init_level++;
 248
 249     /* Clear them out. */
 250     bzero(gdt->sc_gcscratch, GDT_MAXCMDS * GDT_SCRATCH_SZ);
 251
 252     /* Initialize the ccbs */
 253     gdt->sc_gccbs = kmalloc(sizeof(struct gdt_ccb) * GDT_MAXCMDS, M_GDTBUF,
 254         M_INTWAIT | M_ZERO);
 255     if (gdt->sc_gccbs == NULL) {
 256         kprintf("iir%d: no memory for gccbs.\n", gdt->sc_hanum);
 257         return (1);
 258     }
 259     for (i = GDT_MAXCMDS-1; i >= 0; i--) {
 260         gccb = &gdt->sc_gccbs[i];
 261         gccb->gc_cmd_index = i + 2;
 262         gccb->gc_flags = GDT_GCF_UNUSED;
 263         gccb->gc_map_flag = FALSE;
 264         if (bus_dmamap_create(gdt->sc_buffer_dmat, /*flags*/0,
 265                               &gccb->gc_dmamap) != 0)
 266             return(1);
 267         gccb->gc_map_flag = TRUE;
 268         gccb->gc_scratch = &gdt->sc_gcscratch[GDT_SCRATCH_SZ * i];
 269         gccb->gc_scratch_busbase = gdt->sc_gcscratch_busbase + GDT_SCRATCH_SZ * i;
 270         SLIST_INSERT_HEAD(&gdt->sc_free_gccb, gccb, sle);
 271     }
 272     gdt->sc_init_level++;
 273
 274     /* create the control device */
 275     gdt->sc_dev = gdt_make_dev(gdt->sc_hanum);
 276
 277     /* allocate ccb for gdt_internal_cmd() */
 278     gccb = gdt_get_ccb(gdt);
 279     if (gccb == NULL) {
 280         kprintf("iir%d: No free command index found\n",
 281                gdt->sc_hanum);
 282         return (1);
 283     }
 284     bzero(gccb->gc_cmd, GDT_CMD_SZ);
 285
 286     if (!gdt_internal_cmd(gdt, gccb, GDT_SCREENSERVICE, GDT_INIT,
 287                           0, 0, 0)) {
 288         kprintf("iir%d: Screen service initialization error %d\n",
 289                gdt->sc_hanum, gdt->sc_status);
 290         gdt_free_ccb(gdt, gccb);
 291         return (1);
 292     }
 293
 294     gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_UNFREEZE_IO,
 295                      0, 0, 0);
 296
 297     if (!gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_INIT,
 298                           GDT_LINUX_OS, 0, 0)) {
 299         kprintf("iir%d: Cache service initialization error %d\n",
 300                gdt->sc_hanum, gdt->sc_status);
 301         gdt_free_ccb(gdt, gccb);
 302         return (1);
 303     }
 304     cdev_cnt = (u_int16_t)gdt->sc_info;
 305     gdt->sc_fw_vers = gdt->sc_service;
 306
 307     /* Detect number of buses */
 308     gdt_enc32(gccb->gc_scratch + GDT_IOC_VERSION, GDT_IOC_NEWEST);
 309     gccb->gc_scratch[GDT_IOC_LIST_ENTRIES] = GDT_MAXBUS;
 310     gccb->gc_scratch[GDT_IOC_FIRST_CHAN] = 0;
 311     gccb->gc_scratch[GDT_IOC_LAST_CHAN] = GDT_MAXBUS - 1;
 312     gdt_enc32(gccb->gc_scratch + GDT_IOC_LIST_OFFSET, GDT_IOC_HDR_SZ);
 313     if (gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_IOCTL,
 314                          GDT_IOCHAN_RAW_DESC, GDT_INVALID_CHANNEL,
 315                          GDT_IOC_HDR_SZ + GDT_MAXBUS * GDT_RAWIOC_SZ)) {
 316         gdt->sc_bus_cnt = gccb->gc_scratch[GDT_IOC_CHAN_COUNT];
 317         for (i = 0; i < gdt->sc_bus_cnt; i++) {
 318             id = gccb->gc_scratch[GDT_IOC_HDR_SZ +
 319                                  i * GDT_RAWIOC_SZ + GDT_RAWIOC_PROC_ID];
 320             gdt->sc_bus_id[i] = id < GDT_MAXID_FC ? id : 0xff;
 321         }
 322     } else {
 323         /* New method failed, use fallback. */
 324         for (i = 0; i < GDT_MAXBUS; i++) {
 325             gdt_enc32(gccb->gc_scratch + GDT_GETCH_CHANNEL_NO, i);
 326             if (!gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_IOCTL,
 327                                   GDT_SCSI_CHAN_CNT | GDT_L_CTRL_PATTERN,
 328                                   GDT_IO_CHANNEL | GDT_INVALID_CHANNEL,
 329                                   GDT_GETCH_SZ)) {
 330                 if (i == 0) {
 331                     kprintf("iir%d: Cannot get channel count, "
 332                            "error %d\n", gdt->sc_hanum, gdt->sc_status);
 333                     gdt_free_ccb(gdt, gccb);
 334                     return (1);
 335                 }
 336                 break;
 337             }
 338             gdt->sc_bus_id[i] =
 339                 (gccb->gc_scratch[GDT_GETCH_SIOP_ID] < GDT_MAXID_FC) ?
 340                 gccb->gc_scratch[GDT_GETCH_SIOP_ID] : 0xff;
 341         }
 342         gdt->sc_bus_cnt = i;
 343     }
 344     /* add one "virtual" channel for the host drives */
 345     gdt->sc_virt_bus = gdt->sc_bus_cnt;
 346     gdt->sc_bus_cnt++;
 347
 348     if (!gdt_internal_cmd(gdt, gccb, GDT_SCSIRAWSERVICE, GDT_INIT,
 349                           0, 0, 0)) {
 350             kprintf("iir%d: Raw service initialization error %d\n",
 351                    gdt->sc_hanum, gdt->sc_status);
 352             gdt_free_ccb(gdt, gccb);
 353             return (1);
 354     }
 355
 356     /* Set/get features raw service (scatter/gather) */
 357     gdt->sc_raw_feat = 0;
 358     if (gdt_internal_cmd(gdt, gccb, GDT_SCSIRAWSERVICE, GDT_SET_FEAT,
 359                          GDT_SCATTER_GATHER, 0, 0)) {
 360         if (gdt_internal_cmd(gdt, gccb, GDT_SCSIRAWSERVICE, GDT_GET_FEAT,
 361                              0, 0, 0)) {
 362             gdt->sc_raw_feat = gdt->sc_info;
 363             if (!(gdt->sc_info & GDT_SCATTER_GATHER)) {
 364                 panic("iir%d: Scatter/Gather Raw Service "
 365                       "required but not supported!\n", gdt->sc_hanum);
 366                 gdt_free_ccb(gdt, gccb);
 367                 return (1);
 368             }
 369         }
 370     }
 371
 372     /* Set/get features cache service (scatter/gather) */
 373     gdt->sc_cache_feat = 0;
 374     if (gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_SET_FEAT,
 375                          0, GDT_SCATTER_GATHER, 0)) {
 376         if (gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_GET_FEAT,
 377                              0, 0, 0)) {
 378             gdt->sc_cache_feat = gdt->sc_info;
 379             if (!(gdt->sc_info & GDT_SCATTER_GATHER)) {
 380                 panic("iir%d: Scatter/Gather Cache Service "
 381                   "required but not supported!\n", gdt->sc_hanum);
 382                 gdt_free_ccb(gdt, gccb);
 383                 return (1);
 384             }
 385         }
 386     }
 387
 388     /* OEM */
 389     gdt_enc32(gccb->gc_scratch + GDT_OEM_VERSION, 0x01);
 390     gdt_enc32(gccb->gc_scratch + GDT_OEM_BUFSIZE, sizeof(gdt_oem_record_t));
 391     if (gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_IOCTL,
 392                          GDT_OEM_STR_RECORD, GDT_INVALID_CHANNEL,
 393                          sizeof(gdt_oem_str_record_t))) {
 394             strncpy(gdt->oem_name, ((gdt_oem_str_record_t *)
 395             gccb->gc_scratch)->text.scsi_host_drive_inquiry_vendor_id, 7);
 396                 gdt->oem_name[7]='\0';
 397         } else {
 398                 /* Old method, based on PCI ID */
 399                 if (gdt->sc_vendor == PCI_VENDOR_INTEL)
 400             strcpy(gdt->oem_name,"Intel  ");
 401         else
 402             strcpy(gdt->oem_name,"ICP    ");
 403     }
 404
 405     /* Scan for cache devices */
 406     for (i = 0; i < cdev_cnt && i < GDT_MAX_HDRIVES; i++) {
 407         if (gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE, GDT_INFO,
 408                              i, 0, 0)) {
 409             gdt->sc_hdr[i].hd_present = 1;
 410             gdt->sc_hdr[i].hd_size = gdt->sc_info;
 411
 412             /*
 413              * Evaluate mapping (sectors per head, heads per cyl)
 414              */
 415             gdt->sc_hdr[i].hd_size &= ~GDT_SECS32;
 416             if (gdt->sc_info2 == 0)
 417                 gdt_eval_mapping(gdt->sc_hdr[i].hd_size,
 418                                  &drv_cyls, &drv_hds, &drv_secs);
 419             else {
 420                 drv_hds = gdt->sc_info2 & 0xff;
 421                 drv_secs = (gdt->sc_info2 >> 8) & 0xff;
 422                 drv_cyls = gdt->sc_hdr[i].hd_size / drv_hds /
 423                     drv_secs;
 424             }
 425             gdt->sc_hdr[i].hd_heads = drv_hds;
 426             gdt->sc_hdr[i].hd_secs = drv_secs;
 427             /* Round the size */
 428             gdt->sc_hdr[i].hd_size = drv_cyls * drv_hds * drv_secs;
 429
 430             if (gdt_internal_cmd(gdt, gccb, GDT_CACHESERVICE,
 431                                  GDT_DEVTYPE, i, 0, 0))
 432                 gdt->sc_hdr[i].hd_devtype = gdt->sc_info;
 433         }
 434     }
 435
 436     GDT_DPRINTF(GDT_D_INIT, ("dpmem %x %d-bus %d cache device%s\n",
 437                              gdt->sc_dpmembase,
 438                              gdt->sc_bus_cnt, cdev_cnt,
 439                              cdev_cnt == 1 ? "" : "s"));
 440     gdt_free_ccb(gdt, gccb);
 441
 442     gdt_cnt++;
 443     return (0);
 444 }
 445
 446 void
 447 iir_free(struct gdt_softc *gdt)
 448 {
 449     int i;
 450
 451     GDT_DPRINTF(GDT_D_INIT, ("iir_free()\n"));
 452
 453     switch (gdt->sc_init_level) {
 454       default:
 455         gdt_destroy_dev(gdt->sc_dev);
 456       case 5:
 457         for (i = GDT_MAXCMDS-1; i >= 0; i--)
 458             if (gdt->sc_gccbs[i].gc_map_flag)
 459                 bus_dmamap_destroy(gdt->sc_buffer_dmat,
 460                                    gdt->sc_gccbs[i].gc_dmamap);
 461         bus_dmamap_unload(gdt->sc_gcscratch_dmat, gdt->sc_gcscratch_dmamap);
 462         kfree(gdt->sc_gccbs, M_GDTBUF);
 463       case 4:
 464         bus_dmamem_free(gdt->sc_gcscratch_dmat, gdt->sc_gcscratch, gdt->sc_gcscratch_dmamap);
 465       case 3:
 466         bus_dma_tag_destroy(gdt->sc_gcscratch_dmat);
 467       case 2:
 468         bus_dma_tag_destroy(gdt->sc_buffer_dmat);
 469       case 1:
 470         bus_dma_tag_destroy(gdt->sc_parent_dmat);
 471       case 0:
 472         break;
 473     }
 474     TAILQ_REMOVE(&gdt_softcs, gdt, links);
 475 }
 476
 477 void
 478 iir_attach(struct gdt_softc *gdt)
 479 {
 480     struct cam_devq *devq;
 481     int i;
 482
 483     GDT_DPRINTF(GDT_D_INIT, ("iir_attach()\n"));
 484
 485     /*
 486      * Create the device queue for our SIM.
 487      * XXX Throttle this down since the card has problems under load.
 488      */
 489     devq = cam_simq_alloc(32);
 490     if (devq == NULL)
 491         return;
 492
 493     for (i = 0; i < gdt->sc_bus_cnt; i++) {
 494         /*
 495          * Construct our SIM entry
 496          */
 497         gdt->sims[i] = cam_sim_alloc(iir_action, iir_poll, "iir",
 498                                      gdt, gdt->sc_hanum, &sim_mplock,
 499                                      /*untagged*/1,
 500                                      /*tagged*/GDT_MAXCMDS, devq);
 501         if (xpt_bus_register(gdt->sims[i], i) != CAM_SUCCESS) {
 502             cam_sim_free(gdt->sims[i]);
 503             break;
 504         }
 505
 506         if (xpt_create_path(&gdt->paths[i], /*periph*/NULL,
 507                             cam_sim_path(gdt->sims[i]),
 508                             CAM_TARGET_WILDCARD,
 509                             CAM_LUN_WILDCARD) != CAM_REQ_CMP) {
 510             xpt_bus_deregister(cam_sim_path(gdt->sims[i]));
 511             cam_sim_free(gdt->sims[i]);
 512             break;
 513         }
 514     }
 515     cam_simq_release(devq);
 516     if (i > 0)
 517         EVENTHANDLER_REGISTER(shutdown_post_sync, iir_shutdown,
 518                               gdt, SHUTDOWN_PRI_DRIVER);
 519     gdt->sc_state = GDT_NORMAL;
 520 }
 521
 522 static void
 523 gdt_eval_mapping(u_int32_t size, int *cyls, int *heads, int *secs)
 524 {
 525     *cyls = size / GDT_HEADS / GDT_SECS;
 526     if (*cyls < GDT_MAXCYLS) {
 527         *heads = GDT_HEADS;
 528         *secs = GDT_SECS;
 529     } else {
 530         /* Too high for 64 * 32 */
 531         *cyls = size / GDT_MEDHEADS / GDT_MEDSECS;
 532         if (*cyls < GDT_MAXCYLS) {
 533             *heads = GDT_MEDHEADS;
 534             *secs = GDT_MEDSECS;
 535         } else {
 536             /* Too high for 127 * 63 */
 537             *cyls = size / GDT_BIGHEADS / GDT_BIGSECS;
 538             *heads = GDT_BIGHEADS;
 539             *secs = GDT_BIGSECS;
 540         }
 541     }
 542 }
 543
 544 static int
 545 gdt_wait(struct gdt_softc *gdt, struct gdt_ccb *gccb,
 546          int timeout)
 547 {
 548     int rv = 0;
 549
 550     GDT_DPRINTF(GDT_D_INIT,
 551                 ("gdt_wait(%p, %p, %d)\n", gdt, gccb, timeout));
 552
 553     gdt->sc_state |= GDT_POLL_WAIT;
 554     do {
 555         iir_intr(gdt);
 556         if (gdt == gdt_wait_gdt &&
 557             gccb->gc_cmd_index == gdt_wait_index) {
 558             rv = 1;
 559             break;
 560         }
 561         DELAY(1);
 562     } while (--timeout);
 563     gdt->sc_state &= ~GDT_POLL_WAIT;
 564
 565     while (gdt->sc_test_busy(gdt))
 566         DELAY(1);               /* XXX correct? */
 567
 568     return (rv);
 569 }
 570
 571 static int
 572 gdt_internal_cmd(struct gdt_softc *gdt, struct gdt_ccb *gccb,
 573                  u_int8_t service, u_int16_t opcode,
 574                  u_int32_t arg1, u_int32_t arg2, u_int32_t arg3)
 575 {
 576     int retries;
 577
 578     GDT_DPRINTF(GDT_D_CMD, ("gdt_internal_cmd(%p, %d, %d, %d, %d, %d)\n",
 579                             gdt, service, opcode, arg1, arg2, arg3));
 580
 581     bzero(gccb->gc_cmd, GDT_CMD_SZ);
 582
 583     for (retries = GDT_RETRIES; ; ) {
 584         gccb->gc_service = service;
 585         gccb->gc_flags = GDT_GCF_INTERNAL;
 586
 587         gdt_enc32(gccb->gc_cmd + GDT_CMD_COMMANDINDEX,
 588                   gccb->gc_cmd_index);
 589         gdt_enc16(gccb->gc_cmd + GDT_CMD_OPCODE, opcode);
 590
 591         switch (service) {
 592           case GDT_CACHESERVICE:
 593             if (opcode == GDT_IOCTL) {
 594                 gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION +
 595                           GDT_IOCTL_SUBFUNC, arg1);
 596                 gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION +
 597                           GDT_IOCTL_CHANNEL, arg2);
 598                 gdt_enc16(gccb->gc_cmd + GDT_CMD_UNION +
 599                           GDT_IOCTL_PARAM_SIZE, (u_int16_t)arg3);
 600                 gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_IOCTL_P_PARAM,
 601                           gccb->gc_scratch_busbase);
 602             } else {
 603                 gdt_enc16(gccb->gc_cmd + GDT_CMD_UNION +
 604                           GDT_CACHE_DEVICENO, (u_int16_t)arg1);
 605                 gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION +
 606                           GDT_CACHE_BLOCKNO, arg2);
 607             }
 608             break;
 609
 610           case GDT_SCSIRAWSERVICE:
 611             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION +
 612                       GDT_RAW_DIRECTION, arg1);
 613             gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_BUS] =
 614                 (u_int8_t)arg2;
 615             gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_TARGET] =
 616                 (u_int8_t)arg3;
 617             gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_LUN] =
 618                 (u_int8_t)(arg3 >> 8);
 619         }
 620
 621         gdt->sc_set_sema0(gdt);
 622         gccb->gc_cmd_len = GDT_CMD_SZ;
 623         gdt->sc_cmd_off = 0;
 624         gdt->sc_cmd_cnt = 0;
 625         gdt->sc_copy_cmd(gdt, gccb);
 626         gdt->sc_release_event(gdt);
 627         DELAY(20);
 628         if (!gdt_wait(gdt, gccb, GDT_POLL_TIMEOUT))
 629             return (0);
 630         if (gdt->sc_status != GDT_S_BSY || --retries == 0)
 631             break;
 632         DELAY(1);
 633     }
 634     return (gdt->sc_status == GDT_S_OK);
 635 }
 636
 637 static struct gdt_ccb *
 638 gdt_get_ccb(struct gdt_softc *gdt)
 639 {
 640     struct gdt_ccb *gccb;
 641
 642     GDT_DPRINTF(GDT_D_QUEUE, ("gdt_get_ccb(%p)\n", gdt));
 643
 644     crit_enter();
 645     gccb = SLIST_FIRST(&gdt->sc_free_gccb);
 646     if (gccb != NULL) {
 647         SLIST_REMOVE_HEAD(&gdt->sc_free_gccb, sle);
 648         SLIST_INSERT_HEAD(&gdt->sc_pending_gccb, gccb, sle);
 649         ++gdt_stat.cmd_index_act;
 650         if (gdt_stat.cmd_index_act > gdt_stat.cmd_index_max)
 651             gdt_stat.cmd_index_max = gdt_stat.cmd_index_act;
 652     }
 653     crit_exit();
 654     return (gccb);
 655 }
 656
 657 void
 658 gdt_free_ccb(struct gdt_softc *gdt, struct gdt_ccb *gccb)
 659 {
 660     GDT_DPRINTF(GDT_D_QUEUE, ("gdt_free_ccb(%p, %p)\n", gdt, gccb));
 661
 662     crit_enter();
 663     gccb->gc_flags = GDT_GCF_UNUSED;
 664     SLIST_REMOVE(&gdt->sc_pending_gccb, gccb, gdt_ccb, sle);
 665     SLIST_INSERT_HEAD(&gdt->sc_free_gccb, gccb, sle);
 666     --gdt_stat.cmd_index_act;
 667     crit_exit();
 668     if (gdt->sc_state & GDT_SHUTDOWN)
 669         wakeup(gccb);
 670 }
 671
 672 void
 673 gdt_next(struct gdt_softc *gdt)
 674 {
 675     union ccb *ccb;
 676     gdt_ucmd_t *ucmd;
 677     struct cam_sim *sim;
 678     int bus, target, lun;
 679     int next_cmd;
 680
 681     struct ccb_scsiio *csio;
 682     struct ccb_hdr *ccbh;
 683     struct gdt_ccb *gccb = NULL;
 684     u_int8_t cmd;
 685
 686     GDT_DPRINTF(GDT_D_QUEUE, ("gdt_next(%p)\n", gdt));
 687
 688     crit_enter();
 689     if (gdt->sc_test_busy(gdt)) {
 690         if (!(gdt->sc_state & GDT_POLLING)) {
 691             crit_exit();
 692             return;
 693         }
 694         while (gdt->sc_test_busy(gdt))
 695             DELAY(1);
 696     }
 697
 698     gdt->sc_cmd_cnt = gdt->sc_cmd_off = 0;
 699     next_cmd = TRUE;
 700     for (;;) {
 701         /* I/Os in queue? controller ready? */
 702         if (!TAILQ_FIRST(&gdt->sc_ucmd_queue) &&
 703             !TAILQ_FIRST(&gdt->sc_ccb_queue))
 704             break;
 705
 706         /* 1.: I/Os without ccb (IOCTLs) */
 707         ucmd = TAILQ_FIRST(&gdt->sc_ucmd_queue);
 708         if (ucmd != NULL) {
 709             TAILQ_REMOVE(&gdt->sc_ucmd_queue, ucmd, links);
 710             if ((gccb = gdt_ioctl_cmd(gdt, ucmd)) == NULL) {
 711                 TAILQ_INSERT_HEAD(&gdt->sc_ucmd_queue, ucmd, links);
 712                 break;
 713             }
 714             break;
 715             /* wenn mehrere Kdos. zulassen: if (!gdt_polling) continue; */
 716         }
 717
 718         /* 2.: I/Os with ccb */
 719         ccb = (union ccb *)TAILQ_FIRST(&gdt->sc_ccb_queue);
 720         /* ist dann immer != NULL, da oben getestet */
 721         sim = (struct cam_sim *)ccb->ccb_h.ccb_sim_ptr;
 722         bus = cam_sim_bus(sim);
 723         target = ccb->ccb_h.target_id;
 724         lun = ccb->ccb_h.target_lun;
 725
 726         TAILQ_REMOVE(&gdt->sc_ccb_queue, &ccb->ccb_h, sim_links.tqe);
 727         --gdt_stat.req_queue_act;
 728         /* ccb->ccb_h.func_code is XPT_SCSI_IO */
 729         GDT_DPRINTF(GDT_D_QUEUE, ("XPT_SCSI_IO flags 0x%x)\n",
 730                                   ccb->ccb_h.flags));
 731         csio = &ccb->csio;
 732         ccbh = &ccb->ccb_h;
 733         cmd  = csio->cdb_io.cdb_bytes[0];
 734         /* Max CDB length is 12 bytes */
 735         if (csio->cdb_len > 12) {
 736             ccbh->status = CAM_REQ_INVALID;
 737             --gdt_stat.io_count_act;
 738             xpt_done(ccb);
 739         } else if (bus != gdt->sc_virt_bus) {
 740             /* raw service command */
 741             if ((gccb = gdt_raw_cmd(gdt, ccb)) == NULL) {
 742                 TAILQ_INSERT_HEAD(&gdt->sc_ccb_queue, &ccb->ccb_h,
 743                                   sim_links.tqe);
 744                 ++gdt_stat.req_queue_act;
 745                 if (gdt_stat.req_queue_act > gdt_stat.req_queue_max)
 746                     gdt_stat.req_queue_max = gdt_stat.req_queue_act;
 747                 next_cmd = FALSE;
 748             }
 749         } else if (target >= GDT_MAX_HDRIVES ||
 750                    !gdt->sc_hdr[target].hd_present || lun != 0) {
 751             ccbh->status = CAM_DEV_NOT_THERE;
 752             --gdt_stat.io_count_act;
 753             xpt_done(ccb);
 754         } else {
 755             /* cache service command */
 756             if (cmd == READ_6  || cmd == WRITE_6 ||
 757                 cmd == READ_10 || cmd == WRITE_10) {
 758                 if ((gccb = gdt_cache_cmd(gdt, ccb)) == NULL) {
 759                     TAILQ_INSERT_HEAD(&gdt->sc_ccb_queue, &ccb->ccb_h,
 760                                       sim_links.tqe);
 761                     ++gdt_stat.req_queue_act;
 762                     if (gdt_stat.req_queue_act > gdt_stat.req_queue_max)
 763                         gdt_stat.req_queue_max = gdt_stat.req_queue_act;
 764                     next_cmd = FALSE;
 765                 }
 766             } else {
 767                 crit_exit();
 768                 gdt_internal_cache_cmd(gdt, ccb);
 769                 crit_enter();
 770             }
 771         }
 772         if ((gdt->sc_state & GDT_POLLING) || !next_cmd)
 773             break;
 774     }
 775     if (gdt->sc_cmd_cnt > 0)
 776         gdt->sc_release_event(gdt);
 777
 778     crit_exit();
 779
 780     if ((gdt->sc_state & GDT_POLLING) && gdt->sc_cmd_cnt > 0) {
 781         gdt_wait(gdt, gccb, GDT_POLL_TIMEOUT);
 782     }
 783 }
 784
 785 static struct gdt_ccb *
 786 gdt_raw_cmd(struct gdt_softc *gdt, union ccb *ccb)
 787 {
 788     struct gdt_ccb *gccb;
 789     struct cam_sim *sim;
 790
 791     GDT_DPRINTF(GDT_D_CMD, ("gdt_raw_cmd(%p, %p)\n", gdt, ccb));
 792
 793     if (roundup(GDT_CMD_UNION + GDT_RAW_SZ, sizeof(u_int32_t)) +
 794         gdt->sc_cmd_off + GDT_DPMEM_COMMAND_OFFSET >
 795         gdt->sc_ic_all_size) {
 796         GDT_DPRINTF(GDT_D_INVALID, ("iir%d: gdt_raw_cmd(): DPMEM overflow\n",
 797                                     gdt->sc_hanum));
 798         return (NULL);
 799     }
 800
 801     gccb = gdt_get_ccb(gdt);
 802     if (gccb == NULL) {
 803         GDT_DPRINTF(GDT_D_INVALID, ("iir%d: No free command index found\n",
 804                                     gdt->sc_hanum));
 805         return (gccb);
 806     }
 807     bzero(gccb->gc_cmd, GDT_CMD_SZ);
 808     sim = (struct cam_sim *)ccb->ccb_h.ccb_sim_ptr;
 809     gccb->gc_ccb = ccb;
 810     gccb->gc_service = GDT_SCSIRAWSERVICE;
 811     gccb->gc_flags = GDT_GCF_SCSI;
 812
 813     if (gdt->sc_cmd_cnt == 0)
 814         gdt->sc_set_sema0(gdt);
 815     crit_exit();
 816     gdt_enc32(gccb->gc_cmd + GDT_CMD_COMMANDINDEX,
 817               gccb->gc_cmd_index);
 818     gdt_enc16(gccb->gc_cmd + GDT_CMD_OPCODE, GDT_WRITE);
 819
 820     gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_DIRECTION,
 821               (ccb->ccb_h.flags & CAM_DIR_MASK) == CAM_DIR_IN ?
 822               GDT_DATA_IN : GDT_DATA_OUT);
 823     gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SDLEN,
 824               ccb->csio.dxfer_len);
 825     gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_CLEN,
 826               ccb->csio.cdb_len);
 827     bcopy(ccb->csio.cdb_io.cdb_bytes, gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_CMD,
 828           ccb->csio.cdb_len);
 829     gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_TARGET] =
 830         ccb->ccb_h.target_id;
 831     gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_LUN] =
 832         ccb->ccb_h.target_lun;
 833     gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_BUS] =
 834         cam_sim_bus(sim);
 835     gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SENSE_LEN,
 836               sizeof(struct scsi_sense_data));
 837     gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SENSE_DATA,
 838               gccb->gc_scratch_busbase);
 839
 840     /*
 841      * If we have any data to send with this command,
 842      * map it into bus space.
 843      */
 844     /* Only use S/G if there is a transfer */
 845     if ((ccb->ccb_h.flags & CAM_DIR_MASK) != CAM_DIR_NONE) {
 846         if ((ccb->ccb_h.flags & CAM_SCATTER_VALID) == 0) {
 847             if ((ccb->ccb_h.flags & CAM_DATA_PHYS) == 0) {
 848                 int error;
 849
 850                 /* vorher unlock von splcam() ??? */
 851                 crit_enter();
 852                 error =
 853                     bus_dmamap_load(gdt->sc_buffer_dmat,
 854                                     gccb->gc_dmamap,
 855                                     ccb->csio.data_ptr,
 856                                     ccb->csio.dxfer_len,
 857                                     gdtexecuteccb,
 858                                     gccb, /*flags*/0);
 859                 if (error == EINPROGRESS) {
 860                     xpt_freeze_simq(sim, 1);
 861                     gccb->gc_ccb->ccb_h.status |= CAM_RELEASE_SIMQ;
 862                 }
 863                 crit_exit();
 864             } else {
 865                 panic("iir: CAM_DATA_PHYS not supported");
 866             }
 867         } else {
 868             struct bus_dma_segment *segs;
 869
 870             if ((ccb->ccb_h.flags & CAM_DATA_PHYS) != 0)
 871                 panic("iir%d: iir_action - Physical "
 872                       "segment pointers unsupported", gdt->sc_hanum);
 873
 874             if ((ccb->ccb_h.flags & CAM_SG_LIST_PHYS)==0)
 875                 panic("iir%d: iir_action - Virtual "
 876                       "segment addresses unsupported", gdt->sc_hanum);
 877
 878             /* Just use the segments provided */
 879             segs = (struct bus_dma_segment *)ccb->csio.data_ptr;
 880             gdtexecuteccb(gccb, segs, ccb->csio.sglist_cnt, 0);
 881         }
 882     } else {
 883         gdtexecuteccb(gccb, NULL, 0, 0);
 884     }
 885
 886     crit_enter();
 887     return (gccb);
 888 }
 889
 890 static struct gdt_ccb *
 891 gdt_cache_cmd(struct gdt_softc *gdt, union ccb *ccb)
 892 {
 893     struct gdt_ccb *gccb;
 894     struct cam_sim *sim;
 895     u_int8_t *cmdp;
 896     u_int16_t opcode;
 897     u_int32_t blockno, blockcnt;
 898
 899     GDT_DPRINTF(GDT_D_CMD, ("gdt_cache_cmd(%p, %p)\n", gdt, ccb));
 900
 901     if (roundup(GDT_CMD_UNION + GDT_CACHE_SZ, sizeof(u_int32_t)) +
 902         gdt->sc_cmd_off + GDT_DPMEM_COMMAND_OFFSET >
 903         gdt->sc_ic_all_size) {
 904         GDT_DPRINTF(GDT_D_INVALID, ("iir%d: gdt_cache_cmd(): DPMEM overflow\n",
 905                                     gdt->sc_hanum));
 906         return (NULL);
 907     }
 908
 909     gccb = gdt_get_ccb(gdt);
 910     if (gccb == NULL) {
 911         GDT_DPRINTF(GDT_D_DEBUG, ("iir%d: No free command index found\n",
 912                                   gdt->sc_hanum));
 913         return (gccb);
 914     }
 915     bzero(gccb->gc_cmd, GDT_CMD_SZ);
 916     sim = (struct cam_sim *)ccb->ccb_h.ccb_sim_ptr;
 917     gccb->gc_ccb = ccb;
 918     gccb->gc_service = GDT_CACHESERVICE;
 919     gccb->gc_flags = GDT_GCF_SCSI;
 920
 921     if (gdt->sc_cmd_cnt == 0)
 922         gdt->sc_set_sema0(gdt);
 923     crit_exit();
 924     gdt_enc32(gccb->gc_cmd + GDT_CMD_COMMANDINDEX,
 925               gccb->gc_cmd_index);
 926     cmdp = ccb->csio.cdb_io.cdb_bytes;
 927     opcode = (*cmdp == WRITE_6 || *cmdp == WRITE_10) ? GDT_WRITE : GDT_READ;
 928     if ((gdt->sc_state & GDT_SHUTDOWN) && opcode == GDT_WRITE)
 929         opcode = GDT_WRITE_THR;
 930     gdt_enc16(gccb->gc_cmd + GDT_CMD_OPCODE, opcode);
 931
 932     gdt_enc16(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_DEVICENO,
 933               ccb->ccb_h.target_id);
 934     if (ccb->csio.cdb_len == 6) {
 935         struct scsi_rw_6 *rw = (struct scsi_rw_6 *)cmdp;
 936         blockno = scsi_3btoul(rw->addr) & ((SRW_TOPADDR<<16) | 0xffff);
 937         blockcnt = rw->length ? rw->length : 0x100;
 938     } else {
 939         struct scsi_rw_10 *rw = (struct scsi_rw_10 *)cmdp;
 940         blockno = scsi_4btoul(rw->addr);
 941         blockcnt = scsi_2btoul(rw->length);
 942     }
 943     gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_BLOCKNO,
 944               blockno);
 945     gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_BLOCKCNT,
 946               blockcnt);
 947
 948     /*
 949      * If we have any data to send with this command,
 950      * map it into bus space.
 951      */
 952     /* Only use S/G if there is a transfer */
 953     if ((ccb->ccb_h.flags & CAM_SCATTER_VALID) == 0) {
 954         if ((ccb->ccb_h.flags & CAM_DATA_PHYS) == 0) {
 955             int error;
 956
 957             /* vorher unlock von splcam() ??? */
 958             crit_enter();
 959             error =
 960                 bus_dmamap_load(gdt->sc_buffer_dmat,
 961                                 gccb->gc_dmamap,
 962                                 ccb->csio.data_ptr,
 963                                 ccb->csio.dxfer_len,
 964                                 gdtexecuteccb,
 965                                 gccb, /*flags*/0);
 966             if (error == EINPROGRESS) {
 967                 xpt_freeze_simq(sim, 1);
 968                 gccb->gc_ccb->ccb_h.status |= CAM_RELEASE_SIMQ;
 969             }
 970             crit_exit();
 971         } else {
 972             panic("iir: CAM_DATA_PHYS not supported");
 973         }
 974     } else {
 975         struct bus_dma_segment *segs;
 976
 977         if ((ccb->ccb_h.flags & CAM_DATA_PHYS) != 0)
 978             panic("iir%d: iir_action - Physical "
 979                   "segment pointers unsupported", gdt->sc_hanum);
 980
 981         if ((ccb->ccb_h.flags & CAM_SG_LIST_PHYS)==0)
 982             panic("iir%d: iir_action - Virtual "
 983                   "segment addresses unsupported", gdt->sc_hanum);
 984
 985         /* Just use the segments provided */
 986         segs = (struct bus_dma_segment *)ccb->csio.data_ptr;
 987         gdtexecuteccb(gccb, segs, ccb->csio.sglist_cnt, 0);
 988     }
 989
 990     crit_enter();
 991     return (gccb);
 992 }
 993
 994 static struct gdt_ccb *
 995 gdt_ioctl_cmd(struct gdt_softc *gdt, gdt_ucmd_t *ucmd)
 996 {
 997     struct gdt_ccb *gccb;
 998     u_int32_t cnt;
 999
1000     GDT_DPRINTF(GDT_D_DEBUG, ("gdt_ioctl_cmd(%p, %p)\n", gdt, ucmd));
1001
1002     gccb = gdt_get_ccb(gdt);
1003     if (gccb == NULL) {
1004         GDT_DPRINTF(GDT_D_DEBUG, ("iir%d: No free command index found\n",
1005                                   gdt->sc_hanum));
1006         return (gccb);
1007     }
1008     bzero(gccb->gc_cmd, GDT_CMD_SZ);
1009     gccb->gc_ucmd = ucmd;
1010     gccb->gc_service = ucmd->service;
1011     gccb->gc_flags = GDT_GCF_IOCTL;
1012
1013     /* check DPMEM space, copy data buffer from user space */
1014     if (ucmd->service == GDT_CACHESERVICE) {
1015         if (ucmd->OpCode == GDT_IOCTL) {
1016             gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_IOCTL_SZ,
1017                                       sizeof(u_int32_t));
1018             cnt = ucmd->u.ioctl.param_size;
1019             if (cnt > GDT_SCRATCH_SZ) {
1020                 kprintf("iir%d: Scratch buffer too small (%d/%d)\n",
1021                        gdt->sc_hanum, GDT_SCRATCH_SZ, cnt);
1022                 gdt_free_ccb(gdt, gccb);
1023                 return (NULL);
1024             }
1025         } else {
1026             gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_CACHE_SG_LST +
1027                                       GDT_SG_SZ, sizeof(u_int32_t));
1028             cnt = ucmd->u.cache.BlockCnt * GDT_SECTOR_SIZE;
1029             if (cnt > GDT_SCRATCH_SZ) {
1030                 kprintf("iir%d: Scratch buffer too small (%d/%d)\n",
1031                        gdt->sc_hanum, GDT_SCRATCH_SZ, cnt);
1032                 gdt_free_ccb(gdt, gccb);
1033                 return (NULL);
1034             }
1035         }
1036     } else {
1037         gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_RAW_SG_LST +
1038                                   GDT_SG_SZ, sizeof(u_int32_t));
1039         cnt = ucmd->u.raw.sdlen;
1040         if (cnt + ucmd->u.raw.sense_len > GDT_SCRATCH_SZ) {
1041             kprintf("iir%d: Scratch buffer too small (%d/%d)\n",
1042                    gdt->sc_hanum, GDT_SCRATCH_SZ, cnt + ucmd->u.raw.sense_len);
1043             gdt_free_ccb(gdt, gccb);
1044             return (NULL);
1045         }
1046     }
1047     if (cnt != 0)
1048         bcopy(ucmd->data, gccb->gc_scratch, cnt);
1049
1050     if (gdt->sc_cmd_off + gccb->gc_cmd_len + GDT_DPMEM_COMMAND_OFFSET >
1051         gdt->sc_ic_all_size) {
1052         GDT_DPRINTF(GDT_D_INVALID, ("iir%d: gdt_ioctl_cmd(): DPMEM overflow\n",
1053                                     gdt->sc_hanum));
1054         gdt_free_ccb(gdt, gccb);
1055         return (NULL);
1056     }
1057
1058     if (gdt->sc_cmd_cnt == 0)
1059         gdt->sc_set_sema0(gdt);
1060     crit_exit();
1061
1062     /* fill cmd structure */
1063     gdt_enc32(gccb->gc_cmd + GDT_CMD_COMMANDINDEX,
1064               gccb->gc_cmd_index);
1065     gdt_enc16(gccb->gc_cmd + GDT_CMD_OPCODE,
1066               ucmd->OpCode);
1067
1068     if (ucmd->service == GDT_CACHESERVICE) {
1069         if (ucmd->OpCode == GDT_IOCTL) {
1070             /* IOCTL */
1071             gdt_enc16(gccb->gc_cmd + GDT_CMD_UNION + GDT_IOCTL_PARAM_SIZE,
1072                       ucmd->u.ioctl.param_size);
1073             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_IOCTL_SUBFUNC,
1074                       ucmd->u.ioctl.subfunc);
1075             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_IOCTL_CHANNEL,
1076                       ucmd->u.ioctl.channel);
1077             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_IOCTL_P_PARAM,
1078                       gccb->gc_scratch_busbase);
1079         } else {
1080             /* cache service command */
1081             gdt_enc16(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_DEVICENO,
1082                       ucmd->u.cache.DeviceNo);
1083             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_BLOCKNO,
1084                       ucmd->u.cache.BlockNo);
1085             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_BLOCKCNT,
1086                       ucmd->u.cache.BlockCnt);
1087             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_DESTADDR,
1088                       0xffffffffUL);
1089             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_SG_CANZ,
1090                       1);
1091             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_SG_LST +
1092                       GDT_SG_PTR, gccb->gc_scratch_busbase);
1093             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_SG_LST +
1094                       GDT_SG_LEN, ucmd->u.cache.BlockCnt * GDT_SECTOR_SIZE);
1095         }
1096     } else {
1097         /* raw service command */
1098         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_DIRECTION,
1099                   ucmd->u.raw.direction);
1100         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SDATA,
1101                   0xffffffffUL);
1102         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SDLEN,
1103                   ucmd->u.raw.sdlen);
1104         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_CLEN,
1105                   ucmd->u.raw.clen);
1106         bcopy(ucmd->u.raw.cmd, gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_CMD,
1107               12);
1108         gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_TARGET] =
1109             ucmd->u.raw.target;
1110         gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_LUN] =
1111             ucmd->u.raw.lun;
1112         gccb->gc_cmd[GDT_CMD_UNION + GDT_RAW_BUS] =
1113             ucmd->u.raw.bus;
1114         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SENSE_LEN,
1115                   ucmd->u.raw.sense_len);
1116         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SENSE_DATA,
1117                   gccb->gc_scratch_busbase + ucmd->u.raw.sdlen);
1118         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SG_RANZ,
1119                   1);
1120         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SG_LST +
1121                   GDT_SG_PTR, gccb->gc_scratch_busbase);
1122         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SG_LST +
1123                   GDT_SG_LEN, ucmd->u.raw.sdlen);
1124     }
1125
1126     crit_enter();
1127     gdt_stat.sg_count_act = 1;
1128     gdt->sc_copy_cmd(gdt, gccb);
1129     return (gccb);
1130 }
1131
1132 static void
1133 gdt_internal_cache_cmd(struct gdt_softc *gdt,union ccb *ccb)
1134 {
1135     int t;
1136
1137     t = ccb->ccb_h.target_id;
1138     GDT_DPRINTF(GDT_D_CMD, ("gdt_internal_cache_cmd(%p, %p, 0x%x, %d)\n",
1139         gdt, ccb, ccb->csio.cdb_io.cdb_bytes[0], t));
1140
1141     switch (ccb->csio.cdb_io.cdb_bytes[0]) {
1142       case TEST_UNIT_READY:
1143       case START_STOP:
1144         break;
1145       case REQUEST_SENSE:
1146         GDT_DPRINTF(GDT_D_MISC, ("REQUEST_SENSE\n"));
1147         break;
1148       case INQUIRY:
1149         {
1150             struct scsi_inquiry_data inq;
1151             size_t copylen = MIN(sizeof(inq), ccb->csio.dxfer_len);
1152
1153             bzero(&inq, sizeof(inq));
1154             inq.device = (gdt->sc_hdr[t].hd_devtype & 4) ?
1155                 T_CDROM : T_DIRECT;
1156             inq.dev_qual2 = (gdt->sc_hdr[t].hd_devtype & 1) ? 0x80 : 0;
1157             inq.version = SCSI_REV_2;
1158             inq.response_format = 2;
1159             inq.additional_length = 32;
1160             inq.flags = SID_CmdQue | SID_Sync;
1161             strncpy(inq.vendor, gdt->oem_name, sizeof(inq.vendor));
1162             ksnprintf(inq.product, sizeof(inq.product),
1163                      "Host Drive   #%02d", t);
1164             strncpy(inq.revision, "   ", sizeof(inq.revision));
1165             bcopy(&inq, ccb->csio.data_ptr, copylen );
1166             if( ccb->csio.dxfer_len > copylen )
1167                 bzero( ccb->csio.data_ptr+copylen,
1168                        ccb->csio.dxfer_len - copylen );
1169             break;
1170         }
1171       case MODE_SENSE_6:
1172         {
1173             struct mpd_data {
1174                 struct scsi_mode_hdr_6 hd;
1175                 struct scsi_mode_block_descr bd;
1176                 struct scsi_control_page cp;
1177             } mpd;
1178             size_t copylen = MIN(sizeof(mpd), ccb->csio.dxfer_len);
1179             u_int8_t page;
1180
1181             /*mpd = (struct mpd_data *)ccb->csio.data_ptr;*/
1182             bzero(&mpd, sizeof(mpd));
1183             mpd.hd.datalen = sizeof(struct scsi_mode_hdr_6) +
1184                 sizeof(struct scsi_mode_block_descr);
1185             mpd.hd.dev_specific = (gdt->sc_hdr[t].hd_devtype & 2) ? 0x80 : 0;
1186             mpd.hd.block_descr_len = sizeof(struct scsi_mode_block_descr);
1187             mpd.bd.block_len[0] = (GDT_SECTOR_SIZE & 0x00ff0000) >> 16;
1188             mpd.bd.block_len[1] = (GDT_SECTOR_SIZE & 0x0000ff00) >> 8;
1189             mpd.bd.block_len[2] = (GDT_SECTOR_SIZE & 0x000000ff);
1190
1191             bcopy(&mpd, ccb->csio.data_ptr, copylen );
1192             if( ccb->csio.dxfer_len > copylen )
1193                 bzero( ccb->csio.data_ptr+copylen,
1194                        ccb->csio.dxfer_len - copylen );
1195             page=((struct scsi_mode_sense_6 *)ccb->csio.cdb_io.cdb_bytes)->page;
1196             switch (page) {
1197               default:
1198                 GDT_DPRINTF(GDT_D_MISC, ("MODE_SENSE_6: page 0x%x\n", page));
1199                 break;
1200             }
1201             break;
1202         }
1203       case READ_CAPACITY:
1204         {
1205             struct scsi_read_capacity_data rcd;
1206             size_t copylen = MIN(sizeof(rcd), ccb->csio.dxfer_len);
1207
1208             /*rcd = (struct scsi_read_capacity_data *)ccb->csio.data_ptr;*/
1209             bzero(&rcd, sizeof(rcd));
1210             scsi_ulto4b(gdt->sc_hdr[t].hd_size - 1, rcd.addr);
1211             scsi_ulto4b(GDT_SECTOR_SIZE, rcd.length);
1212             bcopy(&rcd, ccb->csio.data_ptr, copylen );
1213             if( ccb->csio.dxfer_len > copylen )
1214                 bzero( ccb->csio.data_ptr+copylen,
1215                        ccb->csio.dxfer_len - copylen );
1216             break;
1217         }
1218       default:
1219         GDT_DPRINTF(GDT_D_MISC, ("gdt_internal_cache_cmd(%d) unknown\n",
1220                                     ccb->csio.cdb_io.cdb_bytes[0]));
1221         break;
1222     }
1223     ccb->ccb_h.status |= CAM_REQ_CMP;
1224     --gdt_stat.io_count_act;
1225     xpt_done(ccb);
1226 }
1227
1228 static void
1229 gdtmapmem(void *arg, bus_dma_segment_t *dm_segs, int nseg, int error)
1230 {
1231     bus_addr_t *busaddrp;
1232
1233     busaddrp = (bus_addr_t *)arg;
1234     *busaddrp = dm_segs->ds_addr;
1235 }
1236
1237 static void
1238 gdtexecuteccb(void *arg, bus_dma_segment_t *dm_segs, int nseg, int error)
1239 {
1240     struct gdt_ccb *gccb;
1241     union ccb *ccb;
1242     struct gdt_softc *gdt;
1243     int i;
1244
1245     crit_enter();
1246
1247     gccb = (struct gdt_ccb *)arg;
1248     ccb = gccb->gc_ccb;
1249     gdt = cam_sim_softc((struct cam_sim *)ccb->ccb_h.ccb_sim_ptr);
1250
1251     GDT_DPRINTF(GDT_D_CMD, ("gdtexecuteccb(%p, %p, %p, %d, %d)\n",
1252                             gdt, gccb, dm_segs, nseg, error));
1253     gdt_stat.sg_count_act = nseg;
1254     if (nseg > gdt_stat.sg_count_max)
1255         gdt_stat.sg_count_max = nseg;
1256
1257     /* Copy the segments into our SG list */
1258     if (gccb->gc_service == GDT_CACHESERVICE) {
1259         for (i = 0; i < nseg; ++i) {
1260             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_SG_LST +
1261                       i * GDT_SG_SZ + GDT_SG_PTR, dm_segs->ds_addr);
1262             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_SG_LST +
1263                       i * GDT_SG_SZ + GDT_SG_LEN, dm_segs->ds_len);
1264             dm_segs++;
1265         }
1266         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_SG_CANZ,
1267                   nseg);
1268         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_CACHE_DESTADDR,
1269                   0xffffffffUL);
1270
1271         gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_CACHE_SG_LST +
1272                                   nseg * GDT_SG_SZ, sizeof(u_int32_t));
1273     } else {
1274         for (i = 0; i < nseg; ++i) {
1275             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SG_LST +
1276                       i * GDT_SG_SZ + GDT_SG_PTR, dm_segs->ds_addr);
1277             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SG_LST +
1278                       i * GDT_SG_SZ + GDT_SG_LEN, dm_segs->ds_len);
1279             dm_segs++;
1280         }
1281         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SG_RANZ,
1282                   nseg);
1283         gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_RAW_SDATA,
1284                   0xffffffffUL);
1285
1286         gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_RAW_SG_LST +
1287                                   nseg * GDT_SG_SZ, sizeof(u_int32_t));
1288     }
1289
1290     if (nseg != 0) {
1291         bus_dmamap_sync(gdt->sc_buffer_dmat, gccb->gc_dmamap,
1292             (ccb->ccb_h.flags & CAM_DIR_MASK) == CAM_DIR_IN ?
1293             BUS_DMASYNC_PREREAD : BUS_DMASYNC_PREWRITE);
1294     }
1295
1296     /* We must NOT abort the command here if CAM_REQ_INPROG is not set,
1297      * because command semaphore is already set!
1298      */
1299
1300     ccb->ccb_h.status |= CAM_SIM_QUEUED;
1301     /* timeout handling */
1302     callout_reset(&ccb->ccb_h.timeout_ch, (ccb->ccb_h.timeout * hz) / 1000,
1303         iir_timeout, gccb);
1304
1305     gdt->sc_copy_cmd(gdt, gccb);
1306     crit_exit();
1307 }
1308
1309
1310 static void
1311 iir_action( struct cam_sim *sim, union ccb *ccb )
1312 {
1313     struct gdt_softc *gdt;
1314     int bus, target;
1315 #ifdef GDT_DEBUG
1316     int lun;
1317 #endif
1318
1319     gdt = (struct gdt_softc *)cam_sim_softc( sim );
1320     ccb->ccb_h.ccb_sim_ptr = sim;
1321     bus = cam_sim_bus(sim);
1322     target = ccb->ccb_h.target_id;
1323 #ifdef GDT_DEBUG
1324     lun = ccb->ccb_h.target_lun;
1325 #endif
1326     GDT_DPRINTF(GDT_D_CMD,
1327                 ("iir_action(%p) func 0x%x cmd 0x%x bus %d target %d lun %d\n",
1328                  gdt, ccb->ccb_h.func_code, ccb->csio.cdb_io.cdb_bytes[0],
1329                  bus, target, lun));
1330     ++gdt_stat.io_count_act;
1331     if (gdt_stat.io_count_act > gdt_stat.io_count_max)
1332         gdt_stat.io_count_max = gdt_stat.io_count_act;
1333
1334     switch (ccb->ccb_h.func_code) {
1335       case XPT_SCSI_IO:
1336         crit_enter();
1337         TAILQ_INSERT_TAIL(&gdt->sc_ccb_queue, &ccb->ccb_h, sim_links.tqe);
1338         ++gdt_stat.req_queue_act;
1339         if (gdt_stat.req_queue_act > gdt_stat.req_queue_max)
1340             gdt_stat.req_queue_max = gdt_stat.req_queue_act;
1341         crit_exit();
1342         gdt_next(gdt);
1343         break;
1344       case XPT_RESET_DEV:   /* Bus Device Reset the specified SCSI device */
1345       case XPT_ABORT:                       /* Abort the specified CCB */
1346         /* XXX Implement */
1347         ccb->ccb_h.status = CAM_REQ_INVALID;
1348         --gdt_stat.io_count_act;
1349         xpt_done(ccb);
1350         break;
1351       case XPT_SET_TRAN_SETTINGS:
1352         ccb->ccb_h.status = CAM_FUNC_NOTAVAIL;
1353         --gdt_stat.io_count_act;
1354         xpt_done(ccb);
1355         break;
1356       case XPT_GET_TRAN_SETTINGS:
1357         /* Get default/user set transfer settings for the target */
1358           {
1359               struct        ccb_trans_settings *cts = &ccb->cts;
1360               struct ccb_trans_settings_scsi *scsi = &cts->proto_specific.scsi;
1361               struct ccb_trans_settings_spi *spi = &cts->xport_specific.spi;
1362
1363               cts->protocol = PROTO_SCSI;
1364               cts->protocol_version = SCSI_REV_2;
1365               cts->transport = XPORT_SPI;
1366               cts->transport_version = 2;
1367
1368               if (cts->type == CTS_TYPE_USER_SETTINGS) {
1369                   spi->flags = CTS_SPI_FLAGS_DISC_ENB;
1370                   scsi->flags = CTS_SCSI_FLAGS_TAG_ENB;
1371                   spi->bus_width = MSG_EXT_WDTR_BUS_16_BIT;
1372                   spi->sync_period = 25; /* 10MHz */
1373                   if (spi->sync_period != 0)
1374                       spi->sync_offset = 15;
1375
1376                   spi->valid = CTS_SPI_VALID_SYNC_RATE
1377                       | CTS_SPI_VALID_SYNC_OFFSET
1378                       | CTS_SPI_VALID_BUS_WIDTH
1379                       | CTS_SPI_VALID_DISC;
1380                   scsi->valid = CTS_SCSI_VALID_TQ;
1381                   ccb->ccb_h.status = CAM_REQ_CMP;
1382               } else {
1383                   ccb->ccb_h.status = CAM_FUNC_NOTAVAIL;
1384               }
1385               --gdt_stat.io_count_act;
1386               xpt_done(ccb);
1387               break;
1388           }
1389       case XPT_CALC_GEOMETRY:
1390           {
1391               struct ccb_calc_geometry *ccg;
1392               u_int32_t secs_per_cylinder;
1393
1394               ccg = &ccb->ccg;
1395               ccg->heads = gdt->sc_hdr[target].hd_heads;
1396               ccg->secs_per_track = gdt->sc_hdr[target].hd_secs;
1397               secs_per_cylinder = ccg->heads * ccg->secs_per_track;
1398               ccg->cylinders = ccg->volume_size / secs_per_cylinder;
1399               ccb->ccb_h.status = CAM_REQ_CMP;
1400               --gdt_stat.io_count_act;
1401               xpt_done(ccb);
1402               break;
1403           }
1404       case XPT_RESET_BUS:           /* Reset the specified SCSI bus */
1405           {
1406               /* XXX Implement */
1407               ccb->ccb_h.status = CAM_REQ_CMP;
1408               --gdt_stat.io_count_act;
1409               xpt_done(ccb);
1410               break;
1411           }
1412       case XPT_TERM_IO:             /* Terminate the I/O process */
1413         /* XXX Implement */
1414         ccb->ccb_h.status = CAM_REQ_INVALID;
1415         --gdt_stat.io_count_act;
1416         xpt_done(ccb);
1417         break;
1418       case XPT_PATH_INQ:            /* Path routing inquiry */
1419           {
1420               struct ccb_pathinq *cpi = &ccb->cpi;
1421
1422               cpi->version_num = 1;
1423               cpi->hba_inquiry = PI_SDTR_ABLE|PI_TAG_ABLE;
1424               cpi->hba_inquiry |= PI_WIDE_16;
1425               cpi->target_sprt = 1;
1426               cpi->hba_misc = 0;
1427               cpi->hba_eng_cnt = 0;
1428               if (bus == gdt->sc_virt_bus)
1429                   cpi->max_target = GDT_MAX_HDRIVES - 1;
1430               else if (gdt->sc_class & GDT_FC)
1431                   cpi->max_target = GDT_MAXID_FC - 1;
1432               else
1433                   cpi->max_target = GDT_MAXID - 1;
1434               cpi->max_lun = 7;
1435               cpi->unit_number = cam_sim_unit(sim);
1436               cpi->bus_id = bus;
1437               cpi->initiator_id =
1438                   (bus == gdt->sc_virt_bus ? 127 : gdt->sc_bus_id[bus]);
1439               cpi->base_transfer_speed = 3300;
1440               strncpy(cpi->sim_vid, "FreeBSD", SIM_IDLEN);
1441               if (gdt->sc_vendor == PCI_VENDOR_INTEL)
1442                   strncpy(cpi->hba_vid, "Intel Corp.", HBA_IDLEN);
1443               else
1444                   strncpy(cpi->hba_vid, "ICP vortex ", HBA_IDLEN);
1445               strncpy(cpi->dev_name, cam_sim_name(sim), DEV_IDLEN);
1446               cpi->transport = XPORT_SPI;
1447               cpi->transport_version = 2;
1448               cpi->protocol = PROTO_SCSI;
1449               cpi->protocol_version = SCSI_REV_2;
1450               cpi->ccb_h.status = CAM_REQ_CMP;
1451               --gdt_stat.io_count_act;
1452               xpt_done(ccb);
1453               break;
1454           }
1455       default:
1456         GDT_DPRINTF(GDT_D_INVALID, ("gdt_next(%p) cmd 0x%x invalid\n",
1457                                     gdt, ccb->ccb_h.func_code));
1458         ccb->ccb_h.status = CAM_REQ_INVALID;
1459         --gdt_stat.io_count_act;
1460         xpt_done(ccb);
1461         break;
1462     }
1463 }
1464
1465 static void
1466 iir_poll( struct cam_sim *sim )
1467 {
1468     struct gdt_softc *gdt;
1469
1470     gdt = (struct gdt_softc *)cam_sim_softc( sim );
1471     GDT_DPRINTF(GDT_D_CMD, ("iir_poll sim %p gdt %p\n", sim, gdt));
1472     iir_intr(gdt);
1473 }
1474
1475 static void
1476 iir_timeout(void *arg)
1477 {
1478     GDT_DPRINTF(GDT_D_TIMEOUT, ("iir_timeout(%p)\n", gccb));
1479 }
1480
1481 static void
1482 iir_shutdown( void *arg, int howto )
1483 {
1484     struct gdt_softc *gdt;
1485     struct gdt_ccb *gccb;
1486     gdt_ucmd_t *ucmd;
1487     int i;
1488
1489     gdt = (struct gdt_softc *)arg;
1490     GDT_DPRINTF(GDT_D_CMD, ("iir_shutdown(%p, %d)\n", gdt, howto));
1491
1492     kprintf("iir%d: Flushing all Host Drives. Please wait ...  ",
1493            gdt->sc_hanum);
1494
1495     /* allocate ucmd buffer */
1496     ucmd = kmalloc(sizeof(gdt_ucmd_t), M_GDTBUF, M_INTWAIT | M_ZERO);
1497
1498     /* wait for pending IOs */
1499     crit_enter();
1500     gdt->sc_state = GDT_SHUTDOWN;
1501     crit_exit();
1502     if ((gccb = SLIST_FIRST(&gdt->sc_pending_gccb)) != NULL)
1503         (void) tsleep((void *)gccb, PCATCH, "iirshw", 100 * hz);
1504
1505     /* flush */
1506     for (i = 0; i < GDT_MAX_HDRIVES; ++i) {
1507         if (gdt->sc_hdr[i].hd_present) {
1508             ucmd->service = GDT_CACHESERVICE;
1509             ucmd->OpCode = GDT_FLUSH;
1510             ucmd->u.cache.DeviceNo = i;
1511             crit_enter();
1512             TAILQ_INSERT_TAIL(&gdt->sc_ucmd_queue, ucmd, links);
1513             ucmd->complete_flag = FALSE;
1514             crit_exit();
1515             gdt_next(gdt);
1516             if (!ucmd->complete_flag)
1517                 (void) tsleep((void *)ucmd, PCATCH, "iirshw", 10*hz);
1518         }
1519     }
1520
1521     kfree(ucmd, M_DEVBUF);
1522     kprintf("Done.\n");
1523 }
1524
1525 void
1526 iir_intr(void *arg)
1527 {
1528     struct gdt_softc *gdt = arg;
1529     struct gdt_intr_ctx ctx;
1530     struct gdt_ccb *gccb;
1531     gdt_ucmd_t *ucmd;
1532     u_int32_t cnt;
1533
1534     GDT_DPRINTF(GDT_D_INTR, ("gdt_intr(%p)\n", gdt));
1535
1536     /* If polling and we were not called from gdt_wait, just return */
1537     if ((gdt->sc_state & GDT_POLLING) &&
1538         !(gdt->sc_state & GDT_POLL_WAIT))
1539         return;
1540
1541     if (!(gdt->sc_state & GDT_POLLING))
1542         crit_enter();
1543     gdt_wait_index = 0;
1544
1545     ctx.istatus = gdt->sc_get_status(gdt);
1546     if (ctx.istatus == 0x00) {
1547         if (!(gdt->sc_state & GDT_POLLING))
1548             crit_exit();
1549         gdt->sc_status = GDT_S_NO_STATUS;
1550         return;
1551     }
1552
1553     gdt->sc_intr(gdt, &ctx);
1554
1555     gdt->sc_status = ctx.cmd_status;
1556     gdt->sc_service = ctx.service;
1557     gdt->sc_info = ctx.info;
1558     gdt->sc_info2 = ctx.info2;
1559
1560     if (gdt->sc_state & GDT_POLL_WAIT) {
1561         gdt_wait_gdt = gdt;
1562         gdt_wait_index = ctx.istatus;
1563     }
1564
1565     if (ctx.istatus == GDT_ASYNCINDEX) {
1566         gdt_async_event(gdt, ctx.service);
1567         if (!(gdt->sc_state & GDT_POLLING))
1568             crit_exit();
1569         return;
1570     }
1571     if (ctx.istatus == GDT_SPEZINDEX) {
1572         GDT_DPRINTF(GDT_D_INVALID,
1573                     ("iir%d: Service unknown or not initialized!\n",
1574                      gdt->sc_hanum));
1575         gdt->sc_dvr.size = sizeof(gdt->sc_dvr.eu.driver);
1576         gdt->sc_dvr.eu.driver.ionode = gdt->sc_hanum;
1577         gdt_store_event(GDT_ES_DRIVER, 4, &gdt->sc_dvr);
1578         if (!(gdt->sc_state & GDT_POLLING))
1579             crit_exit();
1580         return;
1581     }
1582
1583     gccb = &gdt->sc_gccbs[ctx.istatus - 2];
1584     ctx.service = gccb->gc_service;
1585
1586     switch (gccb->gc_flags) {
1587       case GDT_GCF_UNUSED:
1588         GDT_DPRINTF(GDT_D_INVALID, ("iir%d: Index (%d) to unused command!\n",
1589                     gdt->sc_hanum, ctx.istatus));
1590         gdt->sc_dvr.size = sizeof(gdt->sc_dvr.eu.driver);
1591         gdt->sc_dvr.eu.driver.ionode = gdt->sc_hanum;
1592         gdt->sc_dvr.eu.driver.index = ctx.istatus;
1593         gdt_store_event(GDT_ES_DRIVER, 1, &gdt->sc_dvr);
1594         gdt_free_ccb(gdt, gccb);
1595         /* fallthrough */
1596
1597       case GDT_GCF_INTERNAL:
1598         if (!(gdt->sc_state & GDT_POLLING))
1599             crit_exit();
1600         break;
1601
1602       case GDT_GCF_IOCTL:
1603         ucmd = gccb->gc_ucmd;
1604         if (gdt->sc_status == GDT_S_BSY) {
1605             GDT_DPRINTF(GDT_D_DEBUG, ("iir_intr(%p) ioctl: gccb %p busy\n",
1606                                       gdt, gccb));
1607             TAILQ_INSERT_HEAD(&gdt->sc_ucmd_queue, ucmd, links);
1608             if (!(gdt->sc_state & GDT_POLLING))
1609                 crit_exit();
1610         } else {
1611             ucmd->status = gdt->sc_status;
1612             ucmd->info = gdt->sc_info;
1613             ucmd->complete_flag = TRUE;
1614             if (ucmd->service == GDT_CACHESERVICE) {
1615                 if (ucmd->OpCode == GDT_IOCTL) {
1616                     cnt = ucmd->u.ioctl.param_size;
1617                     if (cnt != 0)
1618                         bcopy(gccb->gc_scratch, ucmd->data, cnt);
1619                 } else {
1620                     cnt = ucmd->u.cache.BlockCnt * GDT_SECTOR_SIZE;
1621                     if (cnt != 0)
1622                         bcopy(gccb->gc_scratch, ucmd->data, cnt);
1623                 }
1624             } else {
1625                 cnt = ucmd->u.raw.sdlen;
1626                 if (cnt != 0)
1627                     bcopy(gccb->gc_scratch, ucmd->data, cnt);
1628                 if (ucmd->u.raw.sense_len != 0)
1629                     bcopy(gccb->gc_scratch, ucmd->data, cnt);
1630             }
1631             gdt_free_ccb(gdt, gccb);
1632             if (!(gdt->sc_state & GDT_POLLING))
1633                 crit_exit();
1634             /* wakeup */
1635             wakeup(ucmd);
1636         }
1637         gdt_next(gdt);
1638         break;
1639
1640       default:
1641         gdt_free_ccb(gdt, gccb);
1642         gdt_sync_event(gdt, ctx.service, ctx.istatus, gccb);
1643         if (!(gdt->sc_state & GDT_POLLING))
1644             crit_exit();
1645         gdt_next(gdt);
1646         break;
1647     }
1648 }
1649
1650 int
1651 gdt_async_event(struct gdt_softc *gdt, int service)
1652 {
1653     struct gdt_ccb *gccb;
1654
1655     GDT_DPRINTF(GDT_D_INTR, ("gdt_async_event(%p, %d)\n", gdt, service));
1656
1657     if (service == GDT_SCREENSERVICE) {
1658         if (gdt->sc_status == GDT_MSG_REQUEST) {
1659             while (gdt->sc_test_busy(gdt))
1660                 DELAY(1);
1661             gccb = gdt_get_ccb(gdt);
1662             if (gccb == NULL) {
1663                 kprintf("iir%d: No free command index found\n",
1664                        gdt->sc_hanum);
1665                 return (1);
1666             }
1667             bzero(gccb->gc_cmd, GDT_CMD_SZ);
1668             gccb->gc_service = service;
1669             gccb->gc_flags = GDT_GCF_SCREEN;
1670             gdt_enc32(gccb->gc_cmd + GDT_CMD_COMMANDINDEX,
1671                       gccb->gc_cmd_index);
1672             gdt_enc16(gccb->gc_cmd + GDT_CMD_OPCODE, GDT_READ);
1673             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_SCREEN_MSG_HANDLE,
1674                       GDT_MSG_INV_HANDLE);
1675             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_SCREEN_MSG_ADDR,
1676                       gccb->gc_scratch_busbase);
1677             gdt->sc_set_sema0(gdt);
1678             gdt->sc_cmd_off = 0;
1679             gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_SCREEN_SZ,
1680                                       sizeof(u_int32_t));
1681             gdt->sc_cmd_cnt = 0;
1682             gdt->sc_copy_cmd(gdt, gccb);
1683             kprintf("iir%d: [PCI %d/%d] ",
1684                 gdt->sc_hanum,gdt->sc_bus,gdt->sc_slot);
1685             gdt->sc_release_event(gdt);
1686         }
1687
1688     } else {
1689         if ((gdt->sc_fw_vers & 0xff) >= 0x1a) {
1690             gdt->sc_dvr.size = 0;
1691             gdt->sc_dvr.eu.async.ionode = gdt->sc_hanum;
1692             gdt->sc_dvr.eu.async.status  = gdt->sc_status;
1693             /* severity and event_string already set! */
1694         } else {
1695             gdt->sc_dvr.size = sizeof(gdt->sc_dvr.eu.async);
1696             gdt->sc_dvr.eu.async.ionode   = gdt->sc_hanum;
1697             gdt->sc_dvr.eu.async.service = service;
1698             gdt->sc_dvr.eu.async.status  = gdt->sc_status;
1699             gdt->sc_dvr.eu.async.info    = gdt->sc_info;
1700             *(u_int32_t *)gdt->sc_dvr.eu.async.scsi_coord  = gdt->sc_info2;
1701         }
1702         gdt_store_event(GDT_ES_ASYNC, service, &gdt->sc_dvr);
1703         kprintf("iir%d: %s\n", gdt->sc_hanum, gdt->sc_dvr.event_string);
1704     }
1705
1706     return (0);
1707 }
1708
1709 int
1710 gdt_sync_event(struct gdt_softc *gdt, int service,
1711                u_int8_t index, struct gdt_ccb *gccb)
1712 {
1713     union ccb *ccb;
1714
1715     GDT_DPRINTF(GDT_D_INTR,
1716                 ("gdt_sync_event(%p, %d, %d, %p)\n", gdt,service,index,gccb));
1717
1718     ccb = gccb->gc_ccb;
1719
1720     if (service == GDT_SCREENSERVICE) {
1721         u_int32_t msg_len;
1722
1723         msg_len = gdt_dec32(gccb->gc_scratch + GDT_SCR_MSG_LEN);
1724         if (msg_len)
1725             if (!(gccb->gc_scratch[GDT_SCR_MSG_ANSWER] &&
1726                   gccb->gc_scratch[GDT_SCR_MSG_EXT])) {
1727                 gccb->gc_scratch[GDT_SCR_MSG_TEXT + msg_len] = '\0';
1728                 kprintf("%s",&gccb->gc_scratch[GDT_SCR_MSG_TEXT]);
1729             }
1730
1731         if (gccb->gc_scratch[GDT_SCR_MSG_EXT] &&
1732             !gccb->gc_scratch[GDT_SCR_MSG_ANSWER]) {
1733             while (gdt->sc_test_busy(gdt))
1734                 DELAY(1);
1735             bzero(gccb->gc_cmd, GDT_CMD_SZ);
1736             gccb = gdt_get_ccb(gdt);
1737             if (gccb == NULL) {
1738                 kprintf("iir%d: No free command index found\n",
1739                        gdt->sc_hanum);
1740                 return (1);
1741             }
1742             gccb->gc_service = service;
1743             gccb->gc_flags = GDT_GCF_SCREEN;
1744             gdt_enc32(gccb->gc_cmd + GDT_CMD_COMMANDINDEX,
1745                       gccb->gc_cmd_index);
1746             gdt_enc16(gccb->gc_cmd + GDT_CMD_OPCODE, GDT_READ);
1747             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_SCREEN_MSG_HANDLE,
1748                       gccb->gc_scratch[GDT_SCR_MSG_HANDLE]);
1749             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_SCREEN_MSG_ADDR,
1750                       gccb->gc_scratch_busbase);
1751             gdt->sc_set_sema0(gdt);
1752             gdt->sc_cmd_off = 0;
1753             gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_SCREEN_SZ,
1754                                       sizeof(u_int32_t));
1755             gdt->sc_cmd_cnt = 0;
1756             gdt->sc_copy_cmd(gdt, gccb);
1757             gdt->sc_release_event(gdt);
1758             return (0);
1759         }
1760
1761         if (gccb->gc_scratch[GDT_SCR_MSG_ANSWER] &&
1762             gdt_dec32(gccb->gc_scratch + GDT_SCR_MSG_ALEN)) {
1763             /* default answers (getchar() not possible) */
1764             if (gdt_dec32(gccb->gc_scratch + GDT_SCR_MSG_ALEN) == 1) {
1765                 gdt_enc32(gccb->gc_scratch + GDT_SCR_MSG_ALEN, 0);
1766                 gdt_enc32(gccb->gc_scratch + GDT_SCR_MSG_LEN, 1);
1767                 gccb->gc_scratch[GDT_SCR_MSG_TEXT] = 0;
1768             } else {
1769                 gdt_enc32(gccb->gc_scratch + GDT_SCR_MSG_ALEN,
1770                           gdt_dec32(gccb->gc_scratch + GDT_SCR_MSG_ALEN) - 2);
1771                 gdt_enc32(gccb->gc_scratch + GDT_SCR_MSG_LEN, 2);
1772                 gccb->gc_scratch[GDT_SCR_MSG_TEXT] = 1;
1773                 gccb->gc_scratch[GDT_SCR_MSG_TEXT + 1] = 0;
1774             }
1775             gccb->gc_scratch[GDT_SCR_MSG_EXT] = 0;
1776             gccb->gc_scratch[GDT_SCR_MSG_ANSWER] = 0;
1777             while (gdt->sc_test_busy(gdt))
1778                 DELAY(1);
1779             bzero(gccb->gc_cmd, GDT_CMD_SZ);
1780             gccb = gdt_get_ccb(gdt);
1781             if (gccb == NULL) {
1782                 kprintf("iir%d: No free command index found\n",
1783                        gdt->sc_hanum);
1784                 return (1);
1785             }
1786             gccb->gc_service = service;
1787             gccb->gc_flags = GDT_GCF_SCREEN;
1788             gdt_enc32(gccb->gc_cmd + GDT_CMD_COMMANDINDEX,
1789                       gccb->gc_cmd_index);
1790             gdt_enc16(gccb->gc_cmd + GDT_CMD_OPCODE, GDT_WRITE);
1791             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_SCREEN_MSG_HANDLE,
1792                       gccb->gc_scratch[GDT_SCR_MSG_HANDLE]);
1793             gdt_enc32(gccb->gc_cmd + GDT_CMD_UNION + GDT_SCREEN_MSG_ADDR,
1794                       gccb->gc_scratch_busbase);
1795             gdt->sc_set_sema0(gdt);
1796             gdt->sc_cmd_off = 0;
1797             gccb->gc_cmd_len = roundup(GDT_CMD_UNION + GDT_SCREEN_SZ,
1798                                       sizeof(u_int32_t));
1799             gdt->sc_cmd_cnt = 0;
1800             gdt->sc_copy_cmd(gdt, gccb);
1801             gdt->sc_release_event(gdt);
1802             return (0);
1803         }
1804         kprintf("\n");
1805         return (0);
1806     } else {
1807         callout_stop(&ccb->ccb_h.timeout_ch);
1808         if (gdt->sc_status == GDT_S_BSY) {
1809             GDT_DPRINTF(GDT_D_DEBUG, ("gdt_sync_event(%p) gccb %p busy\n",
1810                                       gdt, gccb));
1811             TAILQ_INSERT_HEAD(&gdt->sc_ccb_queue, &ccb->ccb_h, sim_links.tqe);
1812             ++gdt_stat.req_queue_act;
1813             if (gdt_stat.req_queue_act > gdt_stat.req_queue_max)
1814                 gdt_stat.req_queue_max = gdt_stat.req_queue_act;
1815             return (2);
1816         }
1817
1818         bus_dmamap_sync(gdt->sc_buffer_dmat, gccb->gc_dmamap,
1819             (ccb->ccb_h.flags & CAM_DIR_MASK) == CAM_DIR_IN ?
1820             BUS_DMASYNC_POSTREAD : BUS_DMASYNC_POSTWRITE);
1821         bus_dmamap_unload(gdt->sc_buffer_dmat, gccb->gc_dmamap);
1822
1823         ccb->csio.resid = 0;
1824         if (gdt->sc_status == GDT_S_OK) {
1825             ccb->ccb_h.status |= CAM_REQ_CMP;
1826             ccb->ccb_h.status &= ~CAM_SIM_QUEUED;
1827         } else {
1828             /* error */
1829             if (gccb->gc_service == GDT_CACHESERVICE) {
1830                 ccb->ccb_h.status |= CAM_SCSI_STATUS_ERROR | CAM_AUTOSNS_VALID;
1831                 ccb->ccb_h.status &= ~CAM_SIM_QUEUED;
1832                 ccb->csio.scsi_status = SCSI_STATUS_CHECK_COND;
1833                 bzero(&ccb->csio.sense_data, ccb->csio.sense_len);
1834                 ccb->csio.sense_data.error_code =
1835                     SSD_CURRENT_ERROR | SSD_ERRCODE_VALID;
1836                 ccb->csio.sense_data.flags = SSD_KEY_NOT_READY;
1837
1838                 gdt->sc_dvr.size = sizeof(gdt->sc_dvr.eu.sync);
1839                 gdt->sc_dvr.eu.sync.ionode  = gdt->sc_hanum;
1840                 gdt->sc_dvr.eu.sync.service = service;
1841                 gdt->sc_dvr.eu.sync.status  = gdt->sc_status;
1842                 gdt->sc_dvr.eu.sync.info    = gdt->sc_info;
1843                 gdt->sc_dvr.eu.sync.hostdrive = ccb->ccb_h.target_id;
1844                 if (gdt->sc_status >= 0x8000)
1845                     gdt_store_event(GDT_ES_SYNC, 0, &gdt->sc_dvr);
1846                 else
1847                     gdt_store_event(GDT_ES_SYNC, service, &gdt->sc_dvr);
1848             } else {
1849                 /* raw service */
1850                 if (gdt->sc_status != GDT_S_RAW_SCSI || gdt->sc_info >= 0x100) {
1851                     ccb->ccb_h.status = CAM_DEV_NOT_THERE;
1852                 } else {
1853                     ccb->ccb_h.status |= CAM_SCSI_STATUS_ERROR|CAM_AUTOSNS_VALID;
1854                     ccb->ccb_h.status &= ~CAM_SIM_QUEUED;
1855                     ccb->csio.scsi_status = gdt->sc_info;
1856                     bcopy(gccb->gc_scratch, &ccb->csio.sense_data,
1857                           ccb->csio.sense_len);
1858                 }
1859             }
1860         }
1861         --gdt_stat.io_count_act;
1862         xpt_done(ccb);
1863     }
1864     return (0);
1865 }
1866
1867 /* Controller event handling functions */
1868 gdt_evt_str *
1869 gdt_store_event(u_int16_t source, u_int16_t idx, gdt_evt_data *evt)
1870 {
1871     gdt_evt_str *e;
1872     struct timeval tv;
1873
1874     GDT_DPRINTF(GDT_D_MISC, ("gdt_store_event(%d, %d)\n", source, idx));
1875     if (source == 0)                        /* no source -> no event */
1876         return 0;
1877
1878     if (ebuffer[elastidx].event_source == source &&
1879         ebuffer[elastidx].event_idx == idx &&
1880         ((evt->size != 0 && ebuffer[elastidx].event_data.size != 0 &&
1881           !memcmp((char *)&ebuffer[elastidx].event_data.eu,
1882                   (char *)&evt->eu, evt->size)) ||
1883          (evt->size == 0 && ebuffer[elastidx].event_data.size == 0 &&
1884           !strcmp((char *)&ebuffer[elastidx].event_data.event_string,
1885                   (char *)&evt->event_string)))) {
1886         e = &ebuffer[elastidx];
1887         getmicrotime(&tv);
1888         e->last_stamp = tv.tv_sec;
1889         ++e->same_count;
1890     } else {
1891         if (ebuffer[elastidx].event_source != 0) {  /* entry not free ? */
1892             ++elastidx;
1893             if (elastidx == GDT_MAX_EVENTS)
1894                 elastidx = 0;
1895             if (elastidx == eoldidx) {              /* reached mark ? */
1896                 ++eoldidx;
1897                 if (eoldidx == GDT_MAX_EVENTS)
1898                     eoldidx = 0;
1899             }
1900         }
1901         e = &ebuffer[elastidx];
1902         e->event_source = source;
1903         e->event_idx = idx;
1904         getmicrotime(&tv);
1905         e->first_stamp = e->last_stamp = tv.tv_sec;
1906         e->same_count = 1;
1907         e->event_data = *evt;
1908         e->application = 0;
1909     }
1910     return e;
1911 }
1912
1913 int
1914 gdt_read_event(int handle, gdt_evt_str *estr)
1915 {
1916     gdt_evt_str *e;
1917     int eindex;
1918
1919     GDT_DPRINTF(GDT_D_MISC, ("gdt_read_event(%d)\n", handle));
1920     crit_enter();
1921     if (handle == -1)
1922         eindex = eoldidx;
1923     else
1924         eindex = handle;
1925     estr->event_source = 0;
1926
1927     if (eindex >= GDT_MAX_EVENTS) {
1928         crit_exit();
1929         return eindex;
1930     }
1931     e = &ebuffer[eindex];
1932     if (e->event_source != 0) {
1933         if (eindex != elastidx) {
1934             if (++eindex == GDT_MAX_EVENTS)
1935                 eindex = 0;
1936         } else {
1937             eindex = -1;
1938         }
1939         memcpy(estr, e, sizeof(gdt_evt_str));
1940     }
1941     crit_exit();
1942     return eindex;
1943 }
1944
1945 void
1946 gdt_readapp_event(u_int8_t application, gdt_evt_str *estr)
1947 {
1948     gdt_evt_str *e;
1949     int found = FALSE;
1950     int eindex;
1951
1952     GDT_DPRINTF(GDT_D_MISC, ("gdt_readapp_event(%d)\n", application));
1953     crit_enter();
1954     eindex = eoldidx;
1955     for (;;) {
1956         e = &ebuffer[eindex];
1957         if (e->event_source == 0)
1958             break;
1959         if ((e->application & application) == 0) {
1960             e->application |= application;
1961             found = TRUE;
1962             break;
1963         }
1964         if (eindex == elastidx)
1965             break;
1966         if (++eindex == GDT_MAX_EVENTS)
1967             eindex = 0;
1968     }
1969     if (found)
1970         memcpy(estr, e, sizeof(gdt_evt_str));
1971     else
1972         estr->event_source = 0;
1973     crit_exit();
1974 }
1975
1976 void
1977 gdt_clear_events(void)
1978 {
1979     GDT_DPRINTF(GDT_D_MISC, ("gdt_clear_events\n"));
1980
1981     eoldidx = elastidx = 0;
1982     ebuffer[0].event_source = 0;
1983 }