Add the MPIPE subsystem. This subsystem is used for 'pipelining' fixed-size
[dragonfly.git] / sys / dev / disk / ata / ata-all.c
1 /*-
2  * Copyright (c) 1998,1999,2000,2001,2002 Søren Schmidt <sos@FreeBSD.org>
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer,
10  *    without modification, immediately at the beginning of the file.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  * 3. The name of the author may not be used to endorse or promote products
15  *    derived from this software without specific prior written permission.
16  *
17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27  *
28  * $FreeBSD: src/sys/dev/ata/ata-all.c,v 1.50.2.45 2003/03/12 14:47:12 sos Exp $
29  * $DragonFly: src/sys/dev/disk/ata/ata-all.c,v 1.9 2003/11/30 20:14:18 dillon Exp $
30  */
31
32 #include "opt_ata.h"
33 #include "use_ata.h"
34 #include "use_atadisk.h"
35 #include "use_atapicd.h"
36 #include "use_atapifd.h"
37 #include "use_atapist.h"
38 #include "use_atapicam.h"
39 #include <sys/param.h>
40 #include <sys/systm.h>
41 #include <sys/ata.h>
42 #include <sys/kernel.h>
43 #include <sys/conf.h>
44 #include <sys/disk.h>
45 #include <sys/module.h>
46 #include <sys/bus.h>
47 #include <sys/buf.h>
48 #include <sys/malloc.h>
49 #include <sys/devicestat.h>
50 #include <sys/sysctl.h>
51 #include <machine/stdarg.h>
52 #include <machine/resource.h>
53 #include <machine/bus.h>
54 #include <machine/clock.h>
55 #include <sys/rman.h>
56 #ifdef __alpha__
57 #include <machine/md_var.h>
58 #endif
59 #include "ata-all.h"
60 #include "ata-disk.h"
61 #include "ata-raid.h"
62 #include "atapi-all.h"
63
64 union ata_request {
65         struct ad_request       ad;
66         struct atapi_request    atapi;
67 };
68
69 /* device structures */
70 static  d_ioctl_t       ataioctl;
71 static struct cdevsw ata_cdevsw = {  
72         /* name */      "ata",
73         /* maj */       159,
74         /* flags */     0,
75         /* port */      NULL,
76         /* autoq */     0,
77
78         /* open */      nullopen,
79         /* close */     nullclose,
80         /* read */      noread,
81         /* write */     nowrite,
82         /* ioctl */     ataioctl,
83         /* poll */      nopoll,
84         /* mmap */      nommap,
85         /* strategy */  nostrategy,
86         /* dump */      nodump,
87         /* psize */     nopsize
88 };
89
90 /* prototypes */
91 static void ata_boot_attach(void);
92 static void ata_intr(void *);
93 static int ata_getparam(struct ata_device *, u_int8_t);
94 static int ata_service(struct ata_channel *);
95 static void bswap(int8_t *, int);
96 static void btrim(int8_t *, int);
97 static void bpack(int8_t *, int8_t *, int);
98 static void ata_change_mode(struct ata_device *, int);
99 static u_int8_t ata_enclosure_sensor(struct ata_device *, int, u_int8_t, u_int8_t);
100 static int ata_enclosure_status(struct ata_device *, int *, int *, int *, int *);
101
102 /* sysctl vars */
103 SYSCTL_NODE(_hw, OID_AUTO, ata, CTLFLAG_RD, 0, "ATA driver parameters");
104
105 int ata_mpipe_size = 4;
106 TUNABLE_INT("hw.ata.mpipe_size", &ata_mpipe_size);
107 SYSCTL_INT(_hw_ata, OID_AUTO, mpipe_size, CTLFLAG_RW, &ata_mpipe_size, 0,
108            "ATA global I/O pipeline max size");
109
110
111 /* global vars */
112 devclass_t ata_devclass;
113
114 /* local vars */
115 static struct intr_config_hook *ata_delayed_attach = NULL;
116 static MALLOC_DEFINE(M_ATA, "ATA generic", "ATA driver generic layer");
117
118 /* misc defines */
119 #define DEV_ATAPIALL    NATAPICD > 0 || NATAPIFD > 0 || \
120                         NATAPIST > 0 || NATAPICAM > 0
121
122 int
123 ata_probe(device_t dev)
124 {
125     struct ata_channel *ch;
126     int rid;
127
128     if (!dev || !(ch = device_get_softc(dev)))
129         return ENXIO;
130
131     if (ch->r_io || ch->r_altio || ch->r_irq)
132         return EEXIST;
133
134     /* initialize the softc basics */
135     ch->active = ATA_IDLE;
136     ch->dev = dev;
137
138     rid = ATA_IOADDR_RID;
139     ch->r_io = bus_alloc_resource(dev, SYS_RES_IOPORT, &rid, 0, ~0, 
140                                   ATA_IOSIZE, RF_ACTIVE);
141     if (!ch->r_io)
142         goto failure;
143
144     rid = ATA_ALTADDR_RID;
145     ch->r_altio = bus_alloc_resource(dev, SYS_RES_IOPORT, &rid, 0, ~0,
146                                      ATA_ALTIOSIZE, RF_ACTIVE);
147     if (!ch->r_altio)
148         goto failure;
149
150     rid = ATA_BMADDR_RID;
151     ch->r_bmio = bus_alloc_resource(dev, SYS_RES_IOPORT, &rid, 0, ~0,
152                                     ATA_BMIOSIZE, RF_ACTIVE);
153     if (bootverbose)
154         ata_printf(ch, -1, "iobase=0x%04x altiobase=0x%04x bmaddr=0x%04x\n", 
155                    (int)rman_get_start(ch->r_io),
156                    (int)rman_get_start(ch->r_altio),
157                    (ch->r_bmio) ? (int)rman_get_start(ch->r_bmio) : 0);
158
159     ata_reset(ch);
160
161     ch->device[MASTER].channel = ch;
162     ch->device[MASTER].unit = ATA_MASTER;
163     ch->device[MASTER].mode = ATA_PIO;
164     ch->device[SLAVE].channel = ch;
165     ch->device[SLAVE].unit = ATA_SLAVE;
166     ch->device[SLAVE].mode = ATA_PIO;
167     TAILQ_INIT(&ch->ata_queue);
168     TAILQ_INIT(&ch->atapi_queue);
169
170     mpipe_init(&ch->req_mpipe, M_ATA, sizeof(union ata_request), 4, ata_mpipe_size);
171     mpipe_init(&ch->dma_mpipe, M_DEVBUF, PAGE_SIZE, 4, ata_mpipe_size);
172
173     return 0;
174     
175 failure:
176     if (ch->r_io)
177         bus_release_resource(dev, SYS_RES_IOPORT, ATA_IOADDR_RID, ch->r_io);
178     if (ch->r_altio)
179         bus_release_resource(dev, SYS_RES_IOPORT, ATA_ALTADDR_RID, ch->r_altio);
180     if (ch->r_bmio)
181         bus_release_resource(dev, SYS_RES_IOPORT, ATA_BMADDR_RID, ch->r_bmio);
182     if (bootverbose)
183         ata_printf(ch, -1, "probe allocation failed\n");
184     return ENXIO;
185 }
186
187 int
188 ata_attach(device_t dev)
189 {
190     struct ata_channel *ch;
191     int error, rid;
192
193     if (!dev || !(ch = device_get_softc(dev)))
194         return ENXIO;
195
196     rid = ATA_IRQ_RID;
197     ch->r_irq = bus_alloc_resource(dev, SYS_RES_IRQ, &rid, 0, ~0, 1,
198                                    RF_SHAREABLE | RF_ACTIVE);
199     if (!ch->r_irq) {
200         ata_printf(ch, -1, "unable to allocate interrupt\n");
201         return ENXIO;
202     }
203     if ((error = bus_setup_intr(dev, ch->r_irq, INTR_TYPE_BIO,
204                                 ata_intr, ch, &ch->ih))) {
205         ata_printf(ch, -1, "unable to setup interrupt\n");
206         return error;
207     }
208
209     /*
210      * do not attach devices if we are in early boot, this is done later 
211      * when interrupts are enabled by a hook into the boot process.
212      * otherwise attach what the probe has found in ch->devices.
213      */
214     if (!ata_delayed_attach) {
215         int s = splbio();
216
217         if (ch->devices & ATA_ATA_SLAVE)
218             if (ata_getparam(&ch->device[SLAVE], ATA_C_ATA_IDENTIFY))
219                 ch->devices &= ~ATA_ATA_SLAVE;
220         if (ch->devices & ATA_ATAPI_SLAVE)
221             if (ata_getparam(&ch->device[SLAVE], ATA_C_ATAPI_IDENTIFY))
222                 ch->devices &= ~ATA_ATAPI_SLAVE;
223         if (ch->devices & ATA_ATA_MASTER)
224             if (ata_getparam(&ch->device[MASTER], ATA_C_ATA_IDENTIFY))
225                 ch->devices &= ~ATA_ATA_MASTER;
226         if (ch->devices & ATA_ATAPI_MASTER)
227             if (ata_getparam(&ch->device[MASTER], ATA_C_ATAPI_IDENTIFY))
228                 ch->devices &= ~ATA_ATAPI_MASTER;
229 #if NATADISK > 0
230         if (ch->devices & ATA_ATA_MASTER)
231             ad_attach(&ch->device[MASTER]);
232         if (ch->devices & ATA_ATA_SLAVE)
233             ad_attach(&ch->device[SLAVE]);
234 #endif
235 #if DEV_ATAPIALL
236         if (ch->devices & ATA_ATAPI_MASTER)
237             atapi_attach(&ch->device[MASTER]);
238         if (ch->devices & ATA_ATAPI_SLAVE)
239             atapi_attach(&ch->device[SLAVE]);
240 #endif
241 #if NATAPICAM > 0
242         atapi_cam_attach_bus(ch);
243 #endif
244         splx(s);
245     }
246     return 0;
247 }
248
249 int
250 ata_detach(device_t dev)
251 {
252     struct ata_channel *ch;
253     int s;
254  
255     if (!dev || !(ch = device_get_softc(dev)) ||
256         !ch->r_io || !ch->r_altio || !ch->r_irq)
257         return ENXIO;
258
259     /* make sure channel is not busy */
260     ATA_SLEEPLOCK_CH(ch, ATA_CONTROL);
261
262     s = splbio();
263 #if NATADISK > 0
264     if (ch->devices & ATA_ATA_MASTER && ch->device[MASTER].driver)
265         ad_detach(&ch->device[MASTER], 1);
266     if (ch->devices & ATA_ATA_SLAVE && ch->device[SLAVE].driver)
267         ad_detach(&ch->device[SLAVE], 1);
268 #endif
269 #if DEV_ATAPIALL
270     if (ch->devices & ATA_ATAPI_MASTER && ch->device[MASTER].driver)
271         atapi_detach(&ch->device[MASTER]);
272     if (ch->devices & ATA_ATAPI_SLAVE && ch->device[SLAVE].driver)
273         atapi_detach(&ch->device[SLAVE]);
274 #endif
275 #if NATAPICAM > 0
276     atapi_cam_detach_bus(ch);
277 #endif
278     splx(s);
279
280     if (ch->device[MASTER].param) {
281         free(ch->device[MASTER].param, M_ATA);
282         ch->device[MASTER].param = NULL;
283     }
284     if (ch->device[SLAVE].param) {
285         free(ch->device[SLAVE].param, M_ATA);
286         ch->device[SLAVE].param = NULL;
287     }
288     ch->device[MASTER].driver = NULL;
289     ch->device[SLAVE].driver = NULL;
290     ch->device[MASTER].mode = ATA_PIO;
291     ch->device[SLAVE].mode = ATA_PIO;
292     ch->devices = 0;
293
294     bus_teardown_intr(dev, ch->r_irq, ch->ih);
295     bus_release_resource(dev, SYS_RES_IRQ, ATA_IRQ_RID, ch->r_irq);
296     if (ch->r_bmio)
297         bus_release_resource(dev, SYS_RES_IOPORT, ATA_BMADDR_RID, ch->r_bmio);
298     bus_release_resource(dev, SYS_RES_IOPORT, ATA_ALTADDR_RID, ch->r_altio);
299     bus_release_resource(dev, SYS_RES_IOPORT, ATA_IOADDR_RID, ch->r_io);
300     ch->r_io = NULL;
301     ch->r_altio = NULL;
302     ch->r_bmio = NULL;
303     ch->r_irq = NULL;
304     mpipe_done(&ch->req_mpipe);
305     mpipe_done(&ch->dma_mpipe);
306
307     ATA_UNLOCK_CH(ch);
308     return 0;
309 }
310
311 int
312 ata_resume(device_t dev)
313 {
314     return ata_reinit(device_get_softc(dev));
315 }
316
317 static int
318 ataioctl(dev_t dev, u_long cmd, caddr_t addr, int32_t flag, struct thread *td)
319 {
320     struct ata_cmd *iocmd = (struct ata_cmd *)addr;
321     struct ata_channel *ch;
322     device_t device = devclass_get_device(ata_devclass, iocmd->channel);
323     int error;
324
325     if (cmd != IOCATA)
326         return ENOTTY;
327     
328     if (iocmd->channel < -1 || iocmd->device < -1 || iocmd->device > SLAVE)
329         return ENXIO;
330
331     switch (iocmd->cmd) {
332         case ATAATTACH:
333             /* should enable channel HW on controller that can SOS XXX */   
334             error = ata_probe(device);
335             if (!error)
336                 error = ata_attach(device);
337             return error;
338
339         case ATADETACH:
340             error = ata_detach(device);
341             /* should disable channel HW on controller that can SOS XXX */   
342             return error;
343
344         case ATAREINIT:
345             if (!device || !(ch = device_get_softc(device)))
346                 return ENXIO;
347             ATA_SLEEPLOCK_CH(ch, ATA_ACTIVE);
348             if ((error = ata_reinit(ch)))
349                 ATA_UNLOCK_CH(ch);
350             return error;
351
352         case ATAGMODE:
353             if (!device || !(ch = device_get_softc(device)))
354                 return ENXIO;
355
356             if ((iocmd->device == MASTER || iocmd->device == -1) &&
357                 ch->device[MASTER].driver)
358                 iocmd->u.mode.mode[MASTER] = ch->device[MASTER].mode;
359             else
360                 iocmd->u.mode.mode[MASTER] = -1;
361
362             if ((iocmd->device == SLAVE || iocmd->device == -1) &&
363                 ch->device[SLAVE].param)
364                 iocmd->u.mode.mode[SLAVE] = ch->device[SLAVE].mode;
365             else
366                 iocmd->u.mode.mode[SLAVE] = -1;
367             return 0;
368
369         case ATASMODE:
370             if (!device || !(ch = device_get_softc(device)))
371                 return ENXIO;
372
373             if ((iocmd->device == MASTER || iocmd->device == -1) &&
374                 iocmd->u.mode.mode[MASTER] >= 0 && ch->device[MASTER].param) {
375                 ata_change_mode(&ch->device[MASTER],iocmd->u.mode.mode[MASTER]);
376                 iocmd->u.mode.mode[MASTER] = ch->device[MASTER].mode;
377             }
378             else
379                 iocmd->u.mode.mode[MASTER] = -1;
380
381             if ((iocmd->device == SLAVE || iocmd->device == -1) &&
382                 iocmd->u.mode.mode[SLAVE] >= 0 && ch->device[SLAVE].param) {
383                 ata_change_mode(&ch->device[SLAVE], iocmd->u.mode.mode[SLAVE]);
384                 iocmd->u.mode.mode[SLAVE] = ch->device[SLAVE].mode;
385             }
386             else
387                 iocmd->u.mode.mode[SLAVE] = -1;
388             return 0;
389
390         case ATAGPARM:
391             if (!device || !(ch = device_get_softc(device)))
392                 return ENXIO;
393
394             iocmd->u.param.type[MASTER] = 
395                 ch->devices & (ATA_ATA_MASTER | ATA_ATAPI_MASTER);
396             iocmd->u.param.type[SLAVE] =
397                 ch->devices & (ATA_ATA_SLAVE | ATA_ATAPI_SLAVE);
398
399             if (ch->device[MASTER].name)
400                 strcpy(iocmd->u.param.name[MASTER], ch->device[MASTER].name);
401             if (ch->device[SLAVE].name)
402                 strcpy(iocmd->u.param.name[SLAVE], ch->device[SLAVE].name);
403
404             if (ch->device[MASTER].param)
405                 bcopy(ch->device[MASTER].param, &iocmd->u.param.params[MASTER],
406                       sizeof(struct ata_params));
407             if (ch->device[SLAVE].param)
408                 bcopy(ch->device[SLAVE].param, &iocmd->u.param.params[SLAVE],
409                       sizeof(struct ata_params));
410             return 0;
411
412         case ATAENCSTAT: {
413             struct ata_device *atadev;
414
415             if (!device || !(ch = device_get_softc(device)))
416                 return ENXIO;
417
418             if (iocmd->device == SLAVE)
419                 atadev = &ch->device[SLAVE];
420             else
421                 atadev = &ch->device[MASTER];
422
423             return ata_enclosure_status(atadev,
424                                         &iocmd->u.enclosure.fan,
425                                         &iocmd->u.enclosure.temp,
426                                         &iocmd->u.enclosure.v05,
427                                         &iocmd->u.enclosure.v12);
428         }
429
430 #if NATADISK > 0
431         case ATARAIDREBUILD:
432             return ata_raid_rebuild(iocmd->channel);
433
434         case ATARAIDCREATE:
435             return ata_raid_create(&iocmd->u.raid_setup);
436
437         case ATARAIDDELETE:
438             return ata_raid_delete(iocmd->channel);
439
440         case ATARAIDSTATUS:
441             return ata_raid_status(iocmd->channel, &iocmd->u.raid_status);
442 #endif
443 #if DEV_ATAPIALL
444         case ATAPICMD: {
445             struct ata_device *atadev;
446             caddr_t buf;
447
448             if (!device || !(ch = device_get_softc(device)))
449                 return ENXIO;
450
451             if (!(atadev = &ch->device[iocmd->device]) ||
452                 !(ch->devices & (iocmd->device == MASTER ?
453                                  ATA_ATAPI_MASTER : ATA_ATAPI_SLAVE)))
454                 return ENODEV;
455
456             if (!(buf = malloc(iocmd->u.atapi.count, M_ATA, M_WAITOK)))
457                 return ENOMEM;
458
459             if (iocmd->u.atapi.flags & ATAPI_CMD_WRITE) {
460                 error = copyin(iocmd->u.atapi.data, buf, iocmd->u.atapi.count);
461                 if (error)
462                     return error;
463             }
464             error = atapi_queue_cmd(atadev, iocmd->u.atapi.ccb,
465                                     buf, iocmd->u.atapi.count,
466                                     (iocmd->u.atapi.flags == ATAPI_CMD_READ ?
467                                      ATPR_F_READ : 0) | ATPR_F_QUIET, 
468                                     iocmd->u.atapi.timeout, NULL, NULL);
469             if (error) {
470                 iocmd->u.atapi.error = error;
471                 bcopy(&atadev->result, iocmd->u.atapi.sense_data,
472                       sizeof(struct atapi_reqsense));
473                 error = 0;
474             }
475             else if (iocmd->u.atapi.flags & ATAPI_CMD_READ)
476                 error = copyout(buf, iocmd->u.atapi.data, iocmd->u.atapi.count);
477
478             free(buf, M_ATA);
479             return error;
480         }
481 #endif
482         default:
483             break;
484     }
485     return ENOTTY;
486 }
487
488 static int
489 ata_getparam(struct ata_device *atadev, u_int8_t command)
490 {
491     struct ata_params *ata_parm;
492     int retry = 0;
493
494     if (!(ata_parm = malloc(sizeof(struct ata_params), M_ATA, M_WAITOK))) {
495         ata_prtdev(atadev, "malloc for identify data failed\n");
496         return -1;
497     }
498
499     /* apparently some devices needs this repeated */
500     do {
501         if (ata_command(atadev, command, 0, 0, 0, ATA_IMMEDIATE)) {
502             ata_prtdev(atadev, "%s identify failed\n",
503                        command == ATA_C_ATAPI_IDENTIFY ? "ATAPI" : "ATA");
504             free(ata_parm, M_ATA);
505             return -1;
506         }
507         if (retry++ > 4) {
508             ata_prtdev(atadev, "%s identify retries exceeded\n",
509                        command == ATA_C_ATAPI_IDENTIFY ? "ATAPI" : "ATA");
510             free(ata_parm, M_ATA);
511             return -1;
512         }
513     } while (ata_wait(atadev, ((command == ATA_C_ATAPI_IDENTIFY) ?
514                                ATA_S_DRQ : (ATA_S_READY|ATA_S_DSC|ATA_S_DRQ))));
515     ATA_INSW(atadev->channel->r_io, ATA_DATA, (int16_t *)ata_parm,
516              sizeof(struct ata_params)/sizeof(int16_t));
517
518     if (command == ATA_C_ATA_IDENTIFY ||
519         !((ata_parm->model[0] == 'N' && ata_parm->model[1] == 'E') ||
520           (ata_parm->model[0] == 'F' && ata_parm->model[1] == 'X') ||
521           (ata_parm->model[0] == 'P' && ata_parm->model[1] == 'i')))
522         bswap(ata_parm->model, sizeof(ata_parm->model));
523     btrim(ata_parm->model, sizeof(ata_parm->model));
524     bpack(ata_parm->model, ata_parm->model, sizeof(ata_parm->model));
525     bswap(ata_parm->revision, sizeof(ata_parm->revision));
526     btrim(ata_parm->revision, sizeof(ata_parm->revision));
527     bpack(ata_parm->revision, ata_parm->revision, sizeof(ata_parm->revision));
528     bswap(ata_parm->serial, sizeof(ata_parm->serial));
529     btrim(ata_parm->serial, sizeof(ata_parm->serial));
530     bpack(ata_parm->serial, ata_parm->serial, sizeof(ata_parm->serial));
531     atadev->param = ata_parm;
532     return 0;
533 }
534
535 static void 
536 ata_boot_attach(void)
537 {
538     struct ata_channel *ch;
539     int ctlr, s;
540
541     if (ata_delayed_attach) {
542         config_intrhook_disestablish(ata_delayed_attach);
543         free(ata_delayed_attach, M_TEMP);
544         ata_delayed_attach = NULL;
545     }
546     s = splbio();
547
548     /*
549      * run through all ata devices and look for real ATA & ATAPI devices
550      * using the hints we found in the early probe, this avoids some of
551      * the delays probing of non-exsistent devices can cause.
552      */
553     for (ctlr=0; ctlr<devclass_get_maxunit(ata_devclass); ctlr++) {
554         if (!(ch = devclass_get_softc(ata_devclass, ctlr)))
555             continue;
556         if (ch->devices & ATA_ATA_SLAVE)
557             if (ata_getparam(&ch->device[SLAVE], ATA_C_ATA_IDENTIFY))
558                 ch->devices &= ~ATA_ATA_SLAVE;
559         if (ch->devices & ATA_ATAPI_SLAVE)
560             if (ata_getparam(&ch->device[SLAVE], ATA_C_ATAPI_IDENTIFY))
561                 ch->devices &= ~ATA_ATAPI_SLAVE;
562         if (ch->devices & ATA_ATA_MASTER)
563             if (ata_getparam(&ch->device[MASTER], ATA_C_ATA_IDENTIFY))
564                 ch->devices &= ~ATA_ATA_MASTER;
565         if (ch->devices & ATA_ATAPI_MASTER)
566             if (ata_getparam(&ch->device[MASTER], ATA_C_ATAPI_IDENTIFY))
567                 ch->devices &= ~ATA_ATAPI_MASTER;
568     }
569
570 #if NATADISK > 0
571     /* now we know whats there, do the real attach, first the ATA disks */
572     for (ctlr=0; ctlr<devclass_get_maxunit(ata_devclass); ctlr++) {
573         if (!(ch = devclass_get_softc(ata_devclass, ctlr)))
574             continue;
575         if (ch->devices & ATA_ATA_MASTER)
576             ad_attach(&ch->device[MASTER]);
577         if (ch->devices & ATA_ATA_SLAVE)
578             ad_attach(&ch->device[SLAVE]);
579     }
580     ata_raid_attach();
581 #endif
582 #if DEV_ATAPIALL
583     /* then the atapi devices */
584     for (ctlr=0; ctlr<devclass_get_maxunit(ata_devclass); ctlr++) {
585         if (!(ch = devclass_get_softc(ata_devclass, ctlr)))
586             continue;
587         if (ch->devices & ATA_ATAPI_MASTER)
588             atapi_attach(&ch->device[MASTER]);
589         if (ch->devices & ATA_ATAPI_SLAVE)
590             atapi_attach(&ch->device[SLAVE]);
591 #if NATAPICAM > 0
592         atapi_cam_attach_bus(ch);
593 #endif
594     }
595 #endif
596     splx(s);
597 }
598
599 static void
600 ata_intr(void *data)
601 {
602     struct ata_channel *ch = (struct ata_channel *)data;
603     /* 
604      * on PCI systems we might share an interrupt line with another
605      * device or our twin ATA channel, so call ch->intr_func to figure 
606      * out if it is really an interrupt we should process here
607      */
608     if (ch->intr_func && ch->intr_func(ch))
609         return;
610
611     /* if drive is busy it didn't interrupt */
612     if (ATA_INB(ch->r_altio, ATA_ALTSTAT) & ATA_S_BUSY) {
613         DELAY(100);
614         if (!(ATA_INB(ch->r_altio, ATA_ALTSTAT) & ATA_S_DRQ))
615             return;
616     }
617
618     /* clear interrupt and get status */
619     ch->status = ATA_INB(ch->r_io, ATA_STATUS);
620
621     if (ch->status & ATA_S_ERROR)
622         ch->error = ATA_INB(ch->r_io, ATA_ERROR);
623
624     /* find & call the responsible driver to process this interrupt */
625     switch (ch->active) {
626 #if NATADISK > 0
627     case ATA_ACTIVE_ATA:
628         if (!ch->running || ad_interrupt(ch->running) == ATA_OP_CONTINUES)
629             return;
630         break;
631 #endif
632 #if DEV_ATAPIALL
633     case ATA_ACTIVE_ATAPI:
634         if (!ch->running || atapi_interrupt(ch->running) == ATA_OP_CONTINUES)
635             return;
636         break;
637 #endif
638     case ATA_WAIT_INTR:
639     case ATA_WAIT_INTR | ATA_CONTROL:
640         wakeup((caddr_t)ch);
641         break;
642
643     case ATA_WAIT_READY:
644     case ATA_WAIT_READY | ATA_CONTROL:
645         break;
646
647     case ATA_IDLE:
648         if (ch->flags & ATA_QUEUED) {
649             ch->active = ATA_ACTIVE;
650             if (ata_service(ch) == ATA_OP_CONTINUES)
651                 return;
652         }
653         /* FALLTHROUGH */
654
655     default:
656 #ifdef ATA_DEBUG
657     {
658         static int intr_count = 0;
659
660         if (intr_count++ < 10)
661             ata_printf(ch, -1, "unwanted interrupt #%d active=%02x s=%02x\n",
662                        intr_count, ch->active, ch->status);
663     }
664 #endif
665         break;
666     }
667     ch->active &= ATA_CONTROL;
668     if (ch->active & ATA_CONTROL)
669         return;
670     ch->running = NULL;
671     ata_start(ch);
672     return;
673 }
674
675 void
676 ata_start(struct ata_channel *ch)
677 {
678 #if NATADISK > 0
679     struct ad_request *ad_request; 
680 #endif
681 #if DEV_ATAPIALL
682     struct atapi_request *atapi_request;
683 #endif
684     int s;
685
686     if (!ATA_LOCK_CH(ch, ATA_ACTIVE))
687         return;
688
689     s = splbio();
690 #if NATADISK > 0
691     /* find & call the responsible driver if anything on the ATA queue */
692     if (TAILQ_EMPTY(&ch->ata_queue)) {
693         if (ch->devices & (ATA_ATA_MASTER) && ch->device[MASTER].driver)
694             ad_start(&ch->device[MASTER]);
695         if (ch->devices & (ATA_ATA_SLAVE) && ch->device[SLAVE].driver)
696             ad_start(&ch->device[SLAVE]);
697     }
698     if ((ad_request = TAILQ_FIRST(&ch->ata_queue))) {
699         TAILQ_REMOVE(&ch->ata_queue, ad_request, chain);
700         ch->active = ATA_ACTIVE_ATA;
701         ch->running = ad_request;
702         if (ad_transfer(ad_request) == ATA_OP_CONTINUES) {
703             splx(s);
704             return;
705         }
706     }
707
708 #endif
709 #if DEV_ATAPIALL
710     /* find & call the responsible driver if anything on the ATAPI queue */
711     if (TAILQ_EMPTY(&ch->atapi_queue)) {
712         if (ch->devices & (ATA_ATAPI_MASTER) && ch->device[MASTER].driver)
713             atapi_start(&ch->device[MASTER]);
714         if (ch->devices & (ATA_ATAPI_SLAVE) && ch->device[SLAVE].driver)
715             atapi_start(&ch->device[SLAVE]);
716     }
717     if ((atapi_request = TAILQ_FIRST(&ch->atapi_queue))) {
718         TAILQ_REMOVE(&ch->atapi_queue, atapi_request, chain);
719         ch->active = ATA_ACTIVE_ATAPI;
720         ch->running = atapi_request;
721         if (atapi_transfer(atapi_request) == ATA_OP_CONTINUES) {
722             splx(s);
723             return;
724         }
725     }
726 #endif
727     ATA_UNLOCK_CH(ch);
728     splx(s);
729 }
730
731 void
732 ata_reset(struct ata_channel *ch)
733 {
734     u_int8_t lsb, msb, ostat0, ostat1;
735     u_int8_t stat0 = 0, stat1 = 0;
736     int mask = 0, timeout;
737
738     /* do we have any signs of ATA/ATAPI HW being present ? */
739     ATA_OUTB(ch->r_io, ATA_DRIVE, ATA_D_IBM | ATA_MASTER);
740     DELAY(10);
741     ostat0 = ATA_INB(ch->r_io, ATA_STATUS);
742     if ((ostat0 & 0xf8) != 0xf8 && ostat0 != 0xa5) {
743         stat0 = ATA_S_BUSY;
744         mask |= 0x01;
745     }
746     ATA_OUTB(ch->r_io, ATA_DRIVE, ATA_D_IBM | ATA_SLAVE);
747     DELAY(10);  
748     ostat1 = ATA_INB(ch->r_io, ATA_STATUS);
749     if ((ostat1 & 0xf8) != 0xf8 && ostat1 != 0xa5) {
750         stat1 = ATA_S_BUSY;
751         mask |= 0x02;
752     }
753
754     ch->devices = 0;
755     if (!mask)
756         return;
757
758     /* in some setups we dont want to test for a slave */
759     if (ch->flags & ATA_NO_SLAVE) {
760         stat1 = 0x0;
761         mask &= ~0x02;
762     }
763
764     if (bootverbose)
765         ata_printf(ch, -1, "mask=%02x ostat0=%02x ostat2=%02x\n",
766                    mask, ostat0, ostat1);
767
768     /* reset channel */
769     ATA_OUTB(ch->r_io, ATA_DRIVE, ATA_D_IBM | ATA_MASTER);
770     DELAY(10);
771     ATA_OUTB(ch->r_altio, ATA_ALTSTAT, ATA_A_IDS | ATA_A_RESET);
772     DELAY(10000); 
773     ATA_OUTB(ch->r_altio, ATA_ALTSTAT, ATA_A_IDS);
774     DELAY(100000);
775     ATA_INB(ch->r_io, ATA_ERROR);
776
777     /* wait for BUSY to go inactive */
778     for (timeout = 0; timeout < 310000; timeout++) {
779         if (stat0 & ATA_S_BUSY) {
780             ATA_OUTB(ch->r_io, ATA_DRIVE, ATA_D_IBM | ATA_MASTER);
781             DELAY(10);
782
783             /* check for ATAPI signature while its still there */
784             lsb = ATA_INB(ch->r_io, ATA_CYL_LSB);
785             msb = ATA_INB(ch->r_io, ATA_CYL_MSB);
786             stat0 = ATA_INB(ch->r_io, ATA_STATUS);
787             if (!(stat0 & ATA_S_BUSY)) {
788                 if (bootverbose)
789                     ata_printf(ch, ATA_MASTER, "ATAPI %02x %02x\n", lsb, msb);
790                 if (lsb == ATAPI_MAGIC_LSB && msb == ATAPI_MAGIC_MSB)
791                     ch->devices |= ATA_ATAPI_MASTER;
792             }
793         }
794         if (stat1 & ATA_S_BUSY) {
795             ATA_OUTB(ch->r_io, ATA_DRIVE, ATA_D_IBM | ATA_SLAVE);
796             DELAY(10);
797
798             /* check for ATAPI signature while its still there */
799             lsb = ATA_INB(ch->r_io, ATA_CYL_LSB);
800             msb = ATA_INB(ch->r_io, ATA_CYL_MSB);
801             stat1 = ATA_INB(ch->r_io, ATA_STATUS);
802             if (!(stat1 & ATA_S_BUSY)) {
803                 if (bootverbose)
804                     ata_printf(ch, ATA_SLAVE, "ATAPI %02x %02x\n", lsb, msb);
805                 if (lsb == ATAPI_MAGIC_LSB && msb == ATAPI_MAGIC_MSB)
806                     ch->devices |= ATA_ATAPI_SLAVE;
807             }
808         }
809         if (mask == 0x01)      /* wait for master only */
810             if (!(stat0 & ATA_S_BUSY))
811                 break;
812         if (mask == 0x02)      /* wait for slave only */
813             if (!(stat1 & ATA_S_BUSY))
814                 break;
815         if (mask == 0x03)      /* wait for both master & slave */
816             if (!(stat0 & ATA_S_BUSY) && !(stat1 & ATA_S_BUSY))
817                 break;
818         DELAY(100);
819     }   
820     DELAY(10);
821     ATA_OUTB(ch->r_altio, ATA_ALTSTAT, ATA_A_4BIT);
822
823     if (stat0 & ATA_S_BUSY)
824         mask &= ~0x01;
825     if (stat1 & ATA_S_BUSY)
826         mask &= ~0x02;
827     if (bootverbose)
828         ata_printf(ch, -1, "mask=%02x stat0=%02x stat1=%02x\n", 
829                    mask, stat0, stat1);
830     if (!mask)
831         return;
832
833     if (mask & 0x01 && ostat0 != 0x00 && !(ch->devices & ATA_ATAPI_MASTER)) {
834         ATA_OUTB(ch->r_io, ATA_DRIVE, ATA_D_IBM | ATA_MASTER);
835         DELAY(10);
836         ATA_OUTB(ch->r_io, ATA_ERROR, 0x58);
837         ATA_OUTB(ch->r_io, ATA_CYL_LSB, 0xa5);
838         lsb = ATA_INB(ch->r_io, ATA_ERROR);
839         msb = ATA_INB(ch->r_io, ATA_CYL_LSB);
840         if (bootverbose)
841             ata_printf(ch, ATA_MASTER, "ATA %02x %02x\n", lsb, msb);
842         if (lsb != 0x58 && msb == 0xa5)
843             ch->devices |= ATA_ATA_MASTER;
844     }
845     if (mask & 0x02 && ostat1 != 0x00 && !(ch->devices & ATA_ATAPI_SLAVE)) {
846         ATA_OUTB(ch->r_io, ATA_DRIVE, ATA_D_IBM | ATA_SLAVE);
847         DELAY(10);
848         ATA_OUTB(ch->r_io, ATA_ERROR, 0x58);
849         ATA_OUTB(ch->r_io, ATA_CYL_LSB, 0xa5);
850         lsb = ATA_INB(ch->r_io, ATA_ERROR);
851         msb = ATA_INB(ch->r_io, ATA_CYL_LSB);
852         if (bootverbose)
853             ata_printf(ch, ATA_SLAVE, "ATA %02x %02x\n", lsb, msb);
854         if (lsb != 0x58 && msb == 0xa5)
855             ch->devices |= ATA_ATA_SLAVE;
856     }
857     if (bootverbose)
858         ata_printf(ch, -1, "devices=%02x\n", ch->devices);
859 }
860
861 int
862 ata_reinit(struct ata_channel *ch)
863 {
864     int devices, misdev, newdev;
865
866     if (!ch->r_io || !ch->r_altio || !ch->r_irq)
867         return ENXIO;
868
869     ATA_FORCELOCK_CH(ch, ATA_CONTROL);
870     ch->running = NULL;
871     devices = ch->devices;
872     ata_printf(ch, -1, "resetting devices .. ");
873     ata_reset(ch);
874
875     if ((misdev = devices & ~ch->devices)) {
876         if (misdev)
877             printf("\n");
878 #if NATADISK > 0
879         if (misdev & ATA_ATA_MASTER && ch->device[MASTER].driver)
880             ad_detach(&ch->device[MASTER], 0);
881         if (misdev & ATA_ATA_SLAVE && ch->device[SLAVE].driver)
882             ad_detach(&ch->device[SLAVE], 0);
883 #endif
884 #if DEV_ATAPIALL
885         if (misdev & ATA_ATAPI_MASTER && ch->device[MASTER].driver)
886             atapi_detach(&ch->device[MASTER]);
887         if (misdev & ATA_ATAPI_SLAVE && ch->device[SLAVE].driver)
888             atapi_detach(&ch->device[SLAVE]);
889 #endif
890         if (misdev & ATA_ATA_MASTER || misdev & ATA_ATAPI_MASTER) {
891             if (ch->device[MASTER].param)
892                 free(ch->device[MASTER].param, M_ATA);
893             ch->device[MASTER].param = NULL;
894         }
895         if (misdev & ATA_ATA_SLAVE || misdev & ATA_ATAPI_SLAVE) {
896             if (ch->device[SLAVE].param)
897                 free(ch->device[SLAVE].param, M_ATA);
898             ch->device[SLAVE].param = NULL;
899         }
900     }
901     if ((newdev = ~devices & ch->devices)) {
902         if (newdev & ATA_ATA_MASTER)
903             if (ata_getparam(&ch->device[MASTER], ATA_C_ATA_IDENTIFY))
904                 ch->devices &= ~ATA_ATA_MASTER;
905         if (newdev & ATA_ATA_SLAVE)
906             if (ata_getparam(&ch->device[SLAVE], ATA_C_ATA_IDENTIFY))
907                 ch->devices &= ~ATA_ATA_SLAVE;
908         if (newdev & ATA_ATAPI_MASTER)
909             if (ata_getparam(&ch->device[MASTER], ATA_C_ATAPI_IDENTIFY))
910                 ch->devices &= ~ATA_ATAPI_MASTER;
911         if (newdev & ATA_ATAPI_SLAVE)
912             if (ata_getparam(&ch->device[SLAVE], ATA_C_ATAPI_IDENTIFY))
913                 ch->devices &= ~ATA_ATAPI_SLAVE;
914     }
915     newdev = ~devices & ch->devices;
916     if (!misdev && newdev)
917         printf("\n");
918 #if NATADISK > 0
919     if (newdev & ATA_ATA_MASTER && !ch->device[MASTER].driver)
920         ad_attach(&ch->device[MASTER]);
921     else if (ch->devices & ATA_ATA_MASTER && ch->device[MASTER].driver) {
922         ata_getparam(&ch->device[MASTER], ATA_C_ATA_IDENTIFY);
923         ad_reinit(&ch->device[MASTER]);
924     }
925     if (newdev & ATA_ATA_SLAVE && !ch->device[SLAVE].driver)
926         ad_attach(&ch->device[SLAVE]);
927     else if (ch->devices & (ATA_ATA_SLAVE) && ch->device[SLAVE].driver) {
928         ata_getparam(&ch->device[SLAVE], ATA_C_ATA_IDENTIFY);
929         ad_reinit(&ch->device[SLAVE]);
930     }
931 #endif
932 #if DEV_ATAPIALL
933     if (newdev & ATA_ATAPI_MASTER && !ch->device[MASTER].driver)
934         atapi_attach(&ch->device[MASTER]);
935     else if (ch->devices & (ATA_ATAPI_MASTER) && ch->device[MASTER].driver) {
936         ata_getparam(&ch->device[MASTER], ATA_C_ATAPI_IDENTIFY);
937         atapi_reinit(&ch->device[MASTER]);
938     }
939     if (newdev & ATA_ATAPI_SLAVE && !ch->device[SLAVE].driver)
940         atapi_attach(&ch->device[SLAVE]);
941     else if (ch->devices & (ATA_ATAPI_SLAVE) && ch->device[SLAVE].driver) {
942         ata_getparam(&ch->device[SLAVE], ATA_C_ATAPI_IDENTIFY);
943         atapi_reinit(&ch->device[SLAVE]);
944     }
945 #endif
946 #if NATAPICAM > 0
947     if (ch->devices & (ATA_ATAPI_MASTER | ATA_ATAPI_SLAVE))
948         atapi_cam_reinit_bus(ch);
949 #endif
950     printf("done\n");
951     ATA_UNLOCK_CH(ch);
952     ata_start(ch);
953     return 0;
954 }
955
956 static int
957 ata_service(struct ata_channel *ch)
958 {
959     /* do we have a SERVICE request from the drive ? */
960     if ((ch->status & (ATA_S_SERVICE|ATA_S_ERROR|ATA_S_DRQ)) == ATA_S_SERVICE) {
961         ATA_OUTB(ch->r_bmio, ATA_BMSTAT_PORT,
962                  ata_dmastatus(ch) | ATA_BMSTAT_INTERRUPT);
963 #if NATADISK > 0
964         if ((ATA_INB(ch->r_io, ATA_DRIVE) & ATA_SLAVE) == ATA_MASTER) {
965             if ((ch->devices & ATA_ATA_MASTER) && ch->device[MASTER].driver)
966                 return ad_service((struct ad_softc *)
967                                   ch->device[MASTER].driver, 0);
968         }
969         else {
970             if ((ch->devices & ATA_ATA_SLAVE) && ch->device[SLAVE].driver)
971                 return ad_service((struct ad_softc *)
972                                   ch->device[SLAVE].driver, 0);
973         }
974 #endif
975     }
976     return ATA_OP_FINISHED;
977 }
978
979 int
980 ata_wait(struct ata_device *atadev, u_int8_t mask)
981 {
982     int timeout = 0;
983     
984     DELAY(1);
985     while (timeout < 5000000) { /* timeout 5 secs */
986         atadev->channel->status = ATA_INB(atadev->channel->r_io, ATA_STATUS);
987
988         /* if drive fails status, reselect the drive just to be sure */
989         if (atadev->channel->status == 0xff) {
990             ata_prtdev(atadev, "no status, reselecting device\n");
991             ATA_OUTB(atadev->channel->r_io, ATA_DRIVE, ATA_D_IBM|atadev->unit);
992             DELAY(10);
993             atadev->channel->status = ATA_INB(atadev->channel->r_io,ATA_STATUS);
994             if (atadev->channel->status == 0xff)
995                 return -1;
996         }
997
998         /* are we done ? */
999         if (!(atadev->channel->status & ATA_S_BUSY))
1000             break;            
1001
1002         if (timeout > 1000) {
1003             timeout += 1000;
1004             DELAY(1000);
1005         }
1006         else {
1007             timeout += 10;
1008             DELAY(10);
1009         }
1010     }    
1011     if (atadev->channel->status & ATA_S_ERROR)
1012         atadev->channel->error = ATA_INB(atadev->channel->r_io, ATA_ERROR);
1013     if (timeout >= 5000000)      
1014         return -1;          
1015     if (!mask)     
1016         return (atadev->channel->status & ATA_S_ERROR);  
1017     
1018     /* Wait 50 msec for bits wanted. */    
1019     timeout = 5000;
1020     while (timeout--) {   
1021         atadev->channel->status = ATA_INB(atadev->channel->r_io, ATA_STATUS);
1022         if ((atadev->channel->status & mask) == mask) {
1023             if (atadev->channel->status & ATA_S_ERROR)
1024                 atadev->channel->error=ATA_INB(atadev->channel->r_io,ATA_ERROR);
1025             return (atadev->channel->status & ATA_S_ERROR);           
1026         }
1027         DELAY (10);        
1028     }     
1029     return -1;      
1030 }   
1031
1032 int
1033 ata_command(struct ata_device *atadev, u_int8_t command,
1034            u_int64_t lba, u_int16_t count, u_int8_t feature, int flags)
1035 {
1036     int error = 0;
1037 #ifdef ATA_DEBUG
1038     ata_prtdev(atadev, "ata_command: addr=%04lx, cmd=%02x, "
1039                "lba=%lld, count=%d, feature=%d, flags=%02x\n",
1040                rman_get_start(atadev->channel->r_io), 
1041                command, lba, count, feature, flags);
1042 #endif
1043
1044     /* select device */
1045     ATA_OUTB(atadev->channel->r_io, ATA_DRIVE, ATA_D_IBM | atadev->unit);
1046
1047     /* disable interrupt from device */
1048     if (atadev->channel->flags & ATA_QUEUED)
1049         ATA_OUTB(atadev->channel->r_altio, ATA_ALTSTAT, ATA_A_IDS | ATA_A_4BIT);
1050
1051     /* ready to issue command ? */
1052     if (ata_wait(atadev, 0) < 0) { 
1053         ata_prtdev(atadev, "timeout sending command=%02x s=%02x e=%02x\n",
1054                    command, atadev->channel->status, atadev->channel->error);
1055         return -1;
1056     }
1057
1058     /* only use 48bit addressing if needed because of the overhead */
1059     if ((lba > 268435455 || count > 256) && atadev->param &&
1060         atadev->param->support.address48) {
1061         ATA_OUTB(atadev->channel->r_io, ATA_FEATURE, (feature>>8) & 0xff);
1062         ATA_OUTB(atadev->channel->r_io, ATA_FEATURE, feature);
1063         ATA_OUTB(atadev->channel->r_io, ATA_COUNT, (count>>8) & 0xff);
1064         ATA_OUTB(atadev->channel->r_io, ATA_COUNT, count & 0xff);
1065         ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, (lba>>24) & 0xff);
1066         ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, lba & 0xff);
1067         ATA_OUTB(atadev->channel->r_io, ATA_CYL_LSB, (lba>>32) & 0xff);
1068         ATA_OUTB(atadev->channel->r_io, ATA_CYL_LSB, (lba>>8) & 0xff);
1069         ATA_OUTB(atadev->channel->r_io, ATA_CYL_MSB, (lba>>40) & 0xff);
1070         ATA_OUTB(atadev->channel->r_io, ATA_CYL_MSB, (lba>>16) & 0xff);
1071         ATA_OUTB(atadev->channel->r_io, ATA_DRIVE, ATA_D_LBA | atadev->unit);
1072
1073         /* translate command into 48bit version */
1074         switch (command) {
1075         case ATA_C_READ:
1076             command = ATA_C_READ48; break;
1077         case ATA_C_READ_MUL:
1078             command = ATA_C_READ_MUL48; break;
1079         case ATA_C_READ_DMA:
1080             command = ATA_C_READ_DMA48; break;
1081         case ATA_C_READ_DMA_QUEUED:
1082             command = ATA_C_READ_DMA_QUEUED48; break;
1083         case ATA_C_WRITE:
1084             command = ATA_C_WRITE48; break;
1085         case ATA_C_WRITE_MUL:
1086             command = ATA_C_WRITE_MUL48; break;
1087         case ATA_C_WRITE_DMA:
1088             command = ATA_C_WRITE_DMA48; break;
1089         case ATA_C_WRITE_DMA_QUEUED:
1090             command = ATA_C_WRITE_DMA_QUEUED48; break;
1091         case ATA_C_FLUSHCACHE:
1092             command = ATA_C_FLUSHCACHE48; break;
1093         default:
1094             ata_prtdev(atadev, "can't translate cmd to 48bit version\n");
1095             return -1;
1096         }
1097     }
1098     else {
1099         ATA_OUTB(atadev->channel->r_io, ATA_FEATURE, feature);
1100         ATA_OUTB(atadev->channel->r_io, ATA_COUNT, count);
1101         ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, lba & 0xff);
1102         ATA_OUTB(atadev->channel->r_io, ATA_CYL_LSB, (lba>>8) & 0xff);
1103         ATA_OUTB(atadev->channel->r_io, ATA_CYL_MSB, (lba>>16) & 0xff);
1104         if (atadev->flags & ATA_D_USE_CHS)
1105             ATA_OUTB(atadev->channel->r_io, ATA_DRIVE,
1106                      ATA_D_IBM | atadev->unit | ((lba>>24) & 0xf));
1107         else
1108             ATA_OUTB(atadev->channel->r_io, ATA_DRIVE,
1109                      ATA_D_IBM | ATA_D_LBA | atadev->unit | ((lba>>24) &0xf));
1110     }
1111
1112     switch (flags & ATA_WAIT_MASK) {
1113     case ATA_IMMEDIATE:
1114         ATA_OUTB(atadev->channel->r_io, ATA_CMD, command);
1115
1116         /* enable interrupt */
1117         if (atadev->channel->flags & ATA_QUEUED)
1118             ATA_OUTB(atadev->channel->r_altio, ATA_ALTSTAT, ATA_A_4BIT);
1119         break;
1120
1121     case ATA_WAIT_INTR:
1122         atadev->channel->active |= ATA_WAIT_INTR;
1123         ATA_OUTB(atadev->channel->r_io, ATA_CMD, command);
1124
1125         /* enable interrupt */
1126         if (atadev->channel->flags & ATA_QUEUED)
1127             ATA_OUTB(atadev->channel->r_altio, ATA_ALTSTAT, ATA_A_4BIT);
1128
1129         if (tsleep((caddr_t)atadev->channel, 0, "atacmd", 10 * hz)) {
1130             ata_prtdev(atadev, "timeout waiting for interrupt\n");
1131             atadev->channel->active &= ~ATA_WAIT_INTR;
1132             error = -1;
1133         }
1134         break;
1135     
1136     case ATA_WAIT_READY:
1137         atadev->channel->active |= ATA_WAIT_READY;
1138         ATA_OUTB(atadev->channel->r_io, ATA_CMD, command);
1139         if (ata_wait(atadev, ATA_S_READY) < 0) { 
1140             ata_prtdev(atadev, "timeout waiting for cmd=%02x s=%02x e=%02x\n",
1141                        command, atadev->channel->status,atadev->channel->error);
1142             error = -1;
1143         }
1144         atadev->channel->active &= ~ATA_WAIT_READY;
1145         break;
1146     }
1147     return error;
1148 }
1149
1150 static void
1151 ata_enclosure_start(struct ata_device *atadev)
1152 {
1153     ATA_INB(atadev->channel->r_io, ATA_DRIVE);    
1154     DELAY(1);
1155     ATA_INB(atadev->channel->r_io, ATA_DRIVE);    
1156     DELAY(1);
1157     ATA_INB(atadev->channel->r_io, ATA_CMD);      
1158     DELAY(1);
1159     ATA_OUTB(atadev->channel->r_io, ATA_DRIVE, ATA_D_IBM | atadev->unit);    
1160     DELAY(1);
1161     ATA_OUTB(atadev->channel->r_io, ATA_DRIVE, ATA_D_IBM | atadev->unit);    
1162     DELAY(1);
1163     ATA_OUTB(atadev->channel->r_io, ATA_DRIVE, ATA_D_IBM | atadev->unit);    
1164     DELAY(1);
1165     ATA_INB(atadev->channel->r_io, ATA_COUNT);
1166     DELAY(1);
1167     ATA_INB(atadev->channel->r_io, ATA_DRIVE);
1168     DELAY(1);
1169 }
1170
1171 static void
1172 ata_enclosure_end(struct ata_device *atadev)
1173 {
1174     ATA_OUTB(atadev->channel->r_io, ATA_DRIVE, ATA_D_IBM | atadev->unit);    
1175     DELAY(1);
1176 }
1177
1178 static void
1179 ata_enclosure_chip_start(struct ata_device *atadev)
1180 {
1181     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x0b);
1182     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x0a);
1183     DELAY(25);
1184     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x08);
1185 }
1186
1187 static void
1188 ata_enclosure_chip_end(struct ata_device *atadev)
1189 {
1190     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x08);
1191     DELAY(64);
1192     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x0a);
1193     DELAY(25);
1194     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x0b);
1195     DELAY(64);
1196 }
1197
1198 static u_int8_t
1199 ata_enclosure_chip_rdbit(struct ata_device *atadev)
1200 {
1201     u_int8_t val;
1202
1203     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0);
1204     DELAY(64);
1205     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x02);
1206     DELAY(25);
1207     val = ATA_INB(atadev->channel->r_io, ATA_SECTOR) & 0x01;
1208     DELAY(38);
1209     return val;
1210 }
1211
1212 static void
1213 ata_enclosure_chip_wrbit(struct ata_device *atadev, u_int8_t data)
1214 {
1215     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x08 | (data & 0x01));
1216     DELAY(64);
1217     ATA_OUTB(atadev->channel->r_io, ATA_SECTOR, 0x08 | 0x02 | (data & 0x01));
1218     DELAY(64);
1219 }
1220
1221 static u_int8_t
1222 ata_enclosure_chip_rw(struct ata_device *atadev, int rw, u_int8_t val)
1223 {
1224     int i;
1225
1226     if (rw) {
1227         for (i = 0; i < 8; i++)
1228             ata_enclosure_chip_wrbit(atadev, (val & (0x80 >> i)) ? 1 : 0);
1229     }
1230     else {
1231         for (i = 0; i < 8; i++)
1232             val = (val << 1) | ata_enclosure_chip_rdbit(atadev);
1233     }
1234     ata_enclosure_chip_wrbit(atadev, 0);
1235     return val;
1236 }
1237
1238 static u_int8_t
1239 ata_enclosure_sensor(struct ata_device *atadev, 
1240                      int rw, u_int8_t idx, u_int8_t data)
1241 {
1242     ata_enclosure_start(atadev);
1243     ata_enclosure_chip_start(atadev);
1244     ata_enclosure_chip_rw(atadev, 1, 0x5a);
1245     ata_enclosure_chip_rw(atadev, 1, idx);
1246     if (rw) {
1247         ata_enclosure_chip_rw(atadev, 1, data);
1248     }
1249     else {
1250         ata_enclosure_chip_end(atadev);
1251         ata_enclosure_chip_start(atadev);
1252         ata_enclosure_chip_rw(atadev, 1, 0x5b);
1253         data = ata_enclosure_chip_rw(atadev, 0, 0);
1254     }
1255     ata_enclosure_chip_end(atadev); 
1256     ata_enclosure_end(atadev);
1257     return data;
1258 }
1259
1260 static int
1261 ata_enclosure_status(struct ata_device *atadev,
1262                      int *fan, int *temp, int *v05, int *v12)
1263 {
1264     u_int8_t id1, id2, cnt, div;
1265     int error = ENXIO;
1266
1267     if (atadev->flags & ATA_D_ENC_PRESENT) {
1268         ATA_SLEEPLOCK_CH(atadev->channel, ATA_CONTROL);
1269         ata_enclosure_sensor(atadev, 1, 0x4e, 0);
1270         id1 = ata_enclosure_sensor(atadev, 0, 0x4f, 0);
1271         ata_enclosure_sensor(atadev, 1, 0x4e, 0x80);
1272         id2 = ata_enclosure_sensor(atadev, 0, 0x4f, 0);
1273         if (id1 == 0xa3 && id2 == 0x5c) {
1274             div = 1 << (((ata_enclosure_sensor(atadev, 0, 0x5d, 0)&0x20)>>3)+
1275                         ((ata_enclosure_sensor(atadev, 0, 0x47, 0)&0x30)>>4)+1);
1276             cnt = ata_enclosure_sensor(atadev, 0, 0x28, 0);
1277             if (cnt == 0xff)
1278                 *fan = 0;
1279             else
1280                 *fan = 1350000 / cnt / div;
1281             ata_enclosure_sensor(atadev, 1, 0x4e, 0x01);
1282             *temp = (ata_enclosure_sensor(atadev, 0, 0x50, 0) * 10) +
1283                     (ata_enclosure_sensor(atadev, 0, 0x50, 0) & 0x80 ? 5 : 0);
1284             *v05 = ata_enclosure_sensor(atadev, 0, 0x23, 0) * 27;
1285             *v12 = ata_enclosure_sensor(atadev, 0, 0x24, 0) * 61;
1286             error = 0;
1287         }
1288         ATA_UNLOCK_CH(atadev->channel);
1289     }
1290     return error;
1291 }
1292     
1293 void
1294 ata_enclosure_print(struct ata_device *atadev)
1295 {
1296     u_int8_t id, st;
1297     int fan, temp, v05, v12;
1298
1299     ATA_SLEEPLOCK_CH(atadev->channel, ATA_CONTROL);
1300     ata_enclosure_start(atadev);
1301     id = ATA_INB(atadev->channel->r_io, ATA_DRIVE);
1302     DELAY(1);
1303     st = ATA_INB(atadev->channel->r_io, ATA_COUNT);
1304     DELAY(1);
1305     ata_enclosure_end(atadev);
1306     ATA_UNLOCK_CH(atadev->channel);
1307
1308     switch (id & 0x93) {
1309     case 0x00:
1310         ata_prtdev(atadev, "Universal enclosure");
1311         break;
1312     case 0x01:
1313         ata_prtdev(atadev, "FastSwap enclosure");
1314         break;
1315     case 0x10:
1316     case 0x11:
1317         ata_prtdev(atadev, "SuperSwap enclosure");
1318         break;
1319     default:
1320         atadev->flags &= ~ATA_D_ENC_PRESENT;
1321         return;
1322     }
1323     atadev->flags |= ATA_D_ENC_PRESENT;
1324
1325     if (ata_enclosure_status(atadev, &fan, &temp, &v05, &v12))
1326         printf(" detected\n");
1327     else
1328         printf(" [FAN:%drpm TEMP:%d.%01dC %d.%03dV %d.%03dV]\n",
1329                fan, temp/10, temp%10, v05/1000, v05%1000, v12/1000, v12%1000);
1330 }
1331
1332 void
1333 ata_enclosure_leds(struct ata_device *atadev, u_int8_t color)
1334 {
1335     if (atadev->flags & ATA_D_ENC_PRESENT) {
1336         u_int8_t reg;
1337
1338         ata_enclosure_start(atadev);
1339         reg = ATA_INB(atadev->channel->r_io, ATA_COUNT);          
1340         DELAY(1);
1341         ATA_OUTB(atadev->channel->r_io, ATA_COUNT,
1342                  (color & ATA_LED_MASK) | (reg & ~ATA_LED_MASK));         
1343         DELAY(1);
1344         ata_enclosure_end(atadev);
1345     }
1346 }
1347
1348 static void
1349 ata_change_mode(struct ata_device *atadev, int mode)
1350 {
1351     int umode, wmode, pmode;
1352
1353     umode = ata_umode(atadev->param);
1354     wmode = ata_wmode(atadev->param);
1355     pmode = ata_pmode(atadev->param);
1356     
1357     switch (mode & ATA_DMA_MASK) {
1358     case ATA_UDMA:
1359         if ((mode & ATA_MODE_MASK) < umode)
1360             umode = mode & ATA_MODE_MASK;
1361         break;
1362     case ATA_WDMA:
1363         if ((mode & ATA_MODE_MASK) < wmode)
1364             wmode = mode & ATA_MODE_MASK;
1365         umode = -1;
1366         break;
1367     default:
1368         if (((mode & ATA_MODE_MASK) - ATA_PIO0) < pmode)
1369             pmode = (mode & ATA_MODE_MASK) - ATA_PIO0;
1370         umode = -1;
1371         wmode = -1;
1372     }
1373
1374     ATA_SLEEPLOCK_CH(atadev->channel, ATA_ACTIVE);
1375     ata_dmainit(atadev->channel, atadev->unit, pmode, wmode, umode);
1376     ATA_UNLOCK_CH(atadev->channel);
1377     ata_start(atadev->channel); /* XXX SOS */
1378 }
1379
1380 int
1381 ata_printf(struct ata_channel *ch, int device, const char * fmt, ...)
1382 {
1383     __va_list ap;
1384     int ret;
1385
1386     if (device == -1)
1387         ret = printf("ata%d: ", device_get_unit(ch->dev));
1388     else {
1389         if (ch->device[ATA_DEV(device)].name)
1390             ret = printf("%s: ", ch->device[ATA_DEV(device)].name);
1391         else
1392             ret = printf("ata%d-%s: ", device_get_unit(ch->dev),
1393                          (device == ATA_MASTER) ? "master" : "slave");
1394     }
1395     __va_start(ap, fmt);
1396     ret += vprintf(fmt, ap);
1397     __va_end(ap);
1398     return ret;
1399 }
1400
1401 int
1402 ata_prtdev(struct ata_device *atadev, const char * fmt, ...)
1403 {
1404     __va_list ap;
1405     int ret;
1406
1407     if (atadev->name)
1408         ret = printf("%s: ", atadev->name);
1409     else
1410         ret = printf("ata%d-%s: ", device_get_unit(atadev->channel->dev),
1411                      (atadev->unit == ATA_MASTER) ? "master" : "slave");
1412     __va_start(ap, fmt);
1413     ret += vprintf(fmt, ap);
1414     __va_end(ap);
1415     return ret;
1416 }
1417
1418 void
1419 ata_set_name(struct ata_device *atadev, char *name, int lun)
1420 {
1421     atadev->name = malloc(strlen(name) + 4, M_ATA, M_WAITOK);
1422     if (atadev->name)
1423         sprintf(atadev->name, "%s%d", name, lun);
1424 }
1425
1426 void
1427 ata_free_name(struct ata_device *atadev)
1428 {
1429     if (atadev->name)
1430         free(atadev->name, M_ATA);
1431     atadev->name = NULL;
1432 }
1433     
1434 int
1435 ata_get_lun(u_int32_t *map)
1436 {
1437     int lun = ffs(~*map) - 1;
1438
1439     *map |= (1 << lun);
1440     return lun;
1441 }
1442
1443 int
1444 ata_test_lun(u_int32_t *map, int lun)
1445 {
1446     return (*map & (1 << lun));
1447 }
1448
1449 void
1450 ata_free_lun(u_int32_t *map, int lun)
1451 {
1452     *map &= ~(1 << lun);
1453 }
1454  
1455 char *
1456 ata_mode2str(int mode)
1457 {
1458     switch (mode) {
1459     case ATA_PIO: return "BIOSPIO";
1460     case ATA_PIO0: return "PIO0";
1461     case ATA_PIO1: return "PIO1";
1462     case ATA_PIO2: return "PIO2";
1463     case ATA_PIO3: return "PIO3";
1464     case ATA_PIO4: return "PIO4";
1465     case ATA_DMA: return "BIOSDMA";
1466     case ATA_WDMA2: return "WDMA2";
1467     case ATA_UDMA2: return "UDMA33";
1468     case ATA_UDMA4: return "UDMA66";
1469     case ATA_UDMA5: return "UDMA100";
1470     case ATA_UDMA6: return "UDMA133";
1471     default: return "???";
1472     }
1473 }
1474
1475 int
1476 ata_pmode(struct ata_params *ap)
1477 {
1478     if (ap->atavalid & ATA_FLAG_64_70) {
1479         if (ap->apiomodes & 2)
1480             return 4;
1481         if (ap->apiomodes & 1) 
1482             return 3;
1483     }   
1484     if (ap->retired_piomode == 2)
1485         return 2;
1486     if (ap->retired_piomode == 1)
1487         return 1;
1488     if (ap->retired_piomode == 0)
1489         return 0;
1490     return -1; 
1491
1492
1493 int
1494 ata_wmode(struct ata_params *ap)
1495 {
1496     if (ap->mwdmamodes & 0x04)
1497         return 2;
1498     if (ap->mwdmamodes & 0x02)
1499         return 1;
1500     if (ap->mwdmamodes & 0x01)
1501         return 0;
1502     return -1;
1503 }
1504
1505 int
1506 ata_umode(struct ata_params *ap)
1507 {
1508     if (ap->atavalid & ATA_FLAG_88) {
1509         if (ap->udmamodes & 0x40)
1510             return 6;
1511         if (ap->udmamodes & 0x20)
1512             return 5;
1513         if (ap->udmamodes & 0x10)
1514             return 4;
1515         if (ap->udmamodes & 0x08)
1516             return 3;
1517         if (ap->udmamodes & 0x04)
1518             return 2;
1519         if (ap->udmamodes & 0x02)
1520             return 1;
1521         if (ap->udmamodes & 0x01)
1522             return 0;
1523     }
1524     return -1;
1525 }
1526
1527 static void
1528 bswap(int8_t *buf, int len) 
1529 {
1530     u_int16_t *ptr = (u_int16_t*)(buf + len);
1531
1532     while (--ptr >= (u_int16_t*)buf)
1533         *ptr = ntohs(*ptr);
1534
1535
1536 static void
1537 btrim(int8_t *buf, int len)
1538
1539     int8_t *ptr;
1540
1541     for (ptr = buf; ptr < buf+len; ++ptr) 
1542         if (!*ptr)
1543             *ptr = ' ';
1544     for (ptr = buf + len - 1; ptr >= buf && *ptr == ' '; --ptr)
1545         *ptr = 0;
1546 }
1547
1548 static void
1549 bpack(int8_t *src, int8_t *dst, int len)
1550 {
1551     int i, j, blank;
1552
1553     for (i = j = blank = 0 ; i < len; i++) {
1554         if (blank && src[i] == ' ') continue;
1555         if (blank && src[i] != ' ') {
1556             dst[j++] = src[i];
1557             blank = 0;
1558             continue;
1559         }
1560         if (src[i] == ' ') {
1561             blank = 1;
1562             if (i == 0)
1563                 continue;
1564         }
1565         dst[j++] = src[i];
1566     }
1567     if (j < len) 
1568         dst[j] = 0x00;
1569 }
1570
1571 static void
1572 ata_init(void)
1573 {
1574     /* register controlling device */
1575     make_dev(&ata_cdevsw, 0, UID_ROOT, GID_OPERATOR, 0600, "ata");
1576
1577     /* register boot attach to be run when interrupts are enabled */
1578     if (!(ata_delayed_attach = (struct intr_config_hook *)
1579                                malloc(sizeof(struct intr_config_hook),
1580                                       M_TEMP, M_WAITOK | M_ZERO))) {
1581         printf("ata: malloc of delayed attach hook failed\n");
1582         return;
1583     }
1584
1585     ata_delayed_attach->ich_func = (void*)ata_boot_attach;
1586     if (config_intrhook_establish(ata_delayed_attach) != 0) {
1587         printf("ata: config_intrhook_establish failed\n");
1588         free(ata_delayed_attach, M_TEMP);
1589     }
1590 }
1591 SYSINIT(atadev, SI_SUB_DRIVERS, SI_ORDER_SECOND, ata_init, NULL)