Synchronize various changes from FreeBSD. This is not exhaustive but gets
[dragonfly.git] / sys / dev / disk / nata / ata-pci.c
1 /*-
2  * Copyright (c) 1998 - 2006 Søren Schmidt <sos@FreeBSD.org>
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer,
10  *    without modification, immediately at the beginning of the file.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  *
15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
17  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
18  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
19  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
20  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
21  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
22  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
24  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
25  *
26  * $FreeBSD: src/sys/dev/ata/ata-pci.c,v 1.121 2007/02/23 12:18:33 piso Exp $
27  * $DragonFly: src/sys/dev/disk/nata/ata-pci.c,v 1.9 2008/03/24 06:41:56 dillon Exp $
28  */
29
30 #include "opt_ata.h"
31
32 #include <sys/param.h>
33 #include <sys/bus.h>
34 #include <sys/bus_resource.h>
35 #include <sys/malloc.h>
36 #include <sys/module.h>
37 #include <sys/nata.h>
38 #include <sys/rman.h>
39 #include <sys/systm.h>
40
41 #include <bus/pci/pcireg.h>
42 #include <bus/pci/pcivar.h>
43
44 #include "ata-all.h"
45 #include "ata-pci.h"
46 #include "ata_if.h"
47
48 /* local vars */
49 static MALLOC_DEFINE(M_ATAPCI, "ata_pci", "ATA driver PCI");
50
51 /* misc defines */
52 #define IOMASK                  0xfffffffc
53 #define ATA_PROBE_OK            -10
54
55 static const struct none_atapci {
56         uint16_t        vendor;
57         uint16_t        device;
58         uint16_t        subvendor;
59         uint16_t        subdevice;
60 } none_atapci_table[] = {
61         /* Appears on Intel PRO/1000 PM */
62         { ATA_INTEL_ID, 0x108d, ATA_INTEL_ID, 0x0000 },
63         { 0xffff, 0, 0, 0 }
64 };
65
66 int
67 ata_legacy(device_t dev)
68 {
69     return (((pci_read_config(dev, PCIR_PROGIF, 1)&PCIP_STORAGE_IDE_MASTERDEV)&&
70             ((pci_read_config(dev, PCIR_PROGIF, 1) &
71               (PCIP_STORAGE_IDE_MODEPRIM | PCIP_STORAGE_IDE_MODESEC)) !=
72              (PCIP_STORAGE_IDE_MODEPRIM | PCIP_STORAGE_IDE_MODESEC))) ||
73             (!pci_read_config(dev, PCIR_BAR(0), 4) &&
74              !pci_read_config(dev, PCIR_BAR(1), 4) &&
75              !pci_read_config(dev, PCIR_BAR(2), 4) &&
76              !pci_read_config(dev, PCIR_BAR(3), 4) &&
77              !pci_read_config(dev, PCIR_BAR(5), 4)));
78 }
79
80 int
81 ata_pci_probe(device_t dev)
82 {
83     if (pci_get_class(dev) != PCIC_STORAGE)
84         return ENXIO;
85
86     /* if this is an AHCI chipset grab it */
87     if (pci_get_subclass(dev) == PCIS_STORAGE_SATA) {
88         if (!ata_ahci_ident(dev))
89             return ATA_PROBE_OK;
90     }
91
92     /* run through the vendor specific drivers */
93     switch (pci_get_vendor(dev)) {
94     case ATA_ACARD_ID: 
95         if (!ata_acard_ident(dev))
96             return ATA_PROBE_OK;
97         break;
98     case ATA_ACER_LABS_ID:
99         if (!ata_ali_ident(dev))
100             return ATA_PROBE_OK;
101         break;
102     case ATA_AMD_ID:
103         if (!ata_amd_ident(dev))
104             return ATA_PROBE_OK;
105         break;
106     case ATA_ATI_ID:
107         if (!ata_ati_ident(dev))
108             return ATA_PROBE_OK;
109         break;
110     case ATA_CYRIX_ID:
111         if (!ata_cyrix_ident(dev))
112             return ATA_PROBE_OK;
113         break;
114     case ATA_CYPRESS_ID:
115         if (!ata_cypress_ident(dev))
116             return ATA_PROBE_OK;
117         break;
118     case ATA_HIGHPOINT_ID: 
119         if (!ata_highpoint_ident(dev))
120             return ATA_PROBE_OK;
121         break;
122     case ATA_INTEL_ID:
123         if (!ata_intel_ident(dev))
124             return ATA_PROBE_OK;
125         break;
126     case ATA_ITE_ID:
127         if (!ata_ite_ident(dev))
128             return ATA_PROBE_OK;
129         break;
130     case ATA_JMICRON_ID:
131         if (!ata_jmicron_ident(dev))
132             return ATA_PROBE_OK;
133         break;
134     case ATA_MARVELL_ID:
135         if (!ata_marvell_ident(dev))
136             return ATA_PROBE_OK;
137         break;
138     case ATA_NATIONAL_ID:
139         if (!ata_national_ident(dev))
140             return ATA_PROBE_OK;
141         break;
142     case ATA_NETCELL_ID:
143         if (!ata_netcell_ident(dev))
144             return ATA_PROBE_OK;
145         break;
146     case ATA_NVIDIA_ID:
147         if (!ata_nvidia_ident(dev))
148             return ATA_PROBE_OK;
149         break;
150     case ATA_PROMISE_ID:
151         if (!ata_promise_ident(dev))
152             return ATA_PROBE_OK;
153         break;
154     case ATA_SERVERWORKS_ID: 
155         if (!ata_serverworks_ident(dev))
156             return ATA_PROBE_OK;
157         break;
158     case ATA_SILICON_IMAGE_ID:
159         if (!ata_sii_ident(dev))
160             return ATA_PROBE_OK;
161         break;
162     case ATA_SIS_ID:
163         if (!ata_sis_ident(dev))
164             return ATA_PROBE_OK;
165         break;
166     case ATA_VIA_ID: 
167         if (!ata_via_ident(dev))
168             return ATA_PROBE_OK;
169         break;
170     case ATA_CENATEK_ID:
171         if (pci_get_devid(dev) == ATA_CENATEK_ROCKET) {
172             ata_generic_ident(dev);
173             device_set_desc(dev, "Cenatek Rocket Drive controller");
174             return ATA_PROBE_OK;
175         }
176         break;
177     case ATA_MICRON_ID:
178         if (pci_get_devid(dev) == ATA_MICRON_RZ1000 ||
179             pci_get_devid(dev) == ATA_MICRON_RZ1001) {
180             ata_generic_ident(dev);
181             device_set_desc(dev, 
182                 "RZ 100? ATA controller !WARNING! data loss/corruption risk");
183             return ATA_PROBE_OK;
184         }
185         break;
186     }
187
188     /* unknown chipset, try generic AHCI or DMA if it seems possible */
189     if (pci_get_subclass(dev) == PCIS_STORAGE_IDE) {
190         if (!ata_generic_ident(dev))
191             return ATA_PROBE_OK;
192     }
193     return ENXIO;
194 }
195
196 int
197 ata_pci_attach(device_t dev)
198 {
199     struct ata_pci_controller *ctlr = device_get_softc(dev);
200     u_int32_t cmd;
201     int unit;
202
203     /* do chipset specific setups only needed once */
204     if (ata_legacy(dev) || pci_read_config(dev, PCIR_BAR(2), 4) & IOMASK)
205         ctlr->channels = 2;
206     else
207         ctlr->channels = 1;
208     ctlr->allocate = ata_pci_allocate;
209     ctlr->dev = dev;
210
211     /* if needed try to enable busmastering */
212     cmd = pci_read_config(dev, PCIR_COMMAND, 2);
213     if (!(cmd & PCIM_CMD_BUSMASTEREN)) {
214         pci_write_config(dev, PCIR_COMMAND, cmd | PCIM_CMD_BUSMASTEREN, 2);
215         cmd = pci_read_config(dev, PCIR_COMMAND, 2);
216     }
217
218     /* if busmastering mode "stuck" use it */
219     if ((cmd & PCIM_CMD_BUSMASTEREN) == PCIM_CMD_BUSMASTEREN) {
220         ctlr->r_type1 = SYS_RES_IOPORT;
221         ctlr->r_rid1 = ATA_BMADDR_RID;
222         ctlr->r_res1 = bus_alloc_resource_any(dev, ctlr->r_type1, &ctlr->r_rid1,
223                                               RF_ACTIVE);
224         /* Only set a dma init function if the device actually supports it. */
225         ctlr->dmainit = ata_pci_dmainit;
226     }
227
228     if (ctlr->chipinit(dev))
229         return ENXIO;
230
231     /* attach all channels on this controller */
232     for (unit = 0; unit < ctlr->channels; unit++) {
233         int freeunit = 2;
234         if ((unit == 0 || unit == 1) && ata_legacy(dev)) {
235             device_add_child(dev, "ata", unit);
236             continue;
237         }
238         /* XXX TGEN devclass_find_free_unit() implementation */
239         while (freeunit < devclass_get_maxunit(ata_devclass) &&
240                devclass_get_device(ata_devclass, freeunit) != NULL)
241             freeunit++;
242         device_add_child(dev, "ata", freeunit);
243     }
244     bus_generic_attach(dev);
245     return 0;
246 }
247
248 int
249 ata_pci_detach(device_t dev)
250 {
251     struct ata_pci_controller *ctlr = device_get_softc(dev);
252     device_t *children;
253     int nchildren, i;
254
255     /* detach & delete all children */
256     if (!device_get_children(dev, &children, &nchildren)) {
257         for (i = 0; i < nchildren; i++)
258             device_delete_child(dev, children[i]);
259         kfree(children, M_TEMP);
260     }
261
262     if (ctlr->r_irq) {
263         bus_teardown_intr(dev, ctlr->r_irq, ctlr->handle);
264         bus_release_resource(dev, SYS_RES_IRQ, ATA_IRQ_RID, ctlr->r_irq);
265     }
266     if (ctlr->r_res2)
267         bus_release_resource(dev, ctlr->r_type2, ctlr->r_rid2, ctlr->r_res2);
268     if (ctlr->r_res1)
269         bus_release_resource(dev, ctlr->r_type1, ctlr->r_rid1, ctlr->r_res1);
270
271     return 0;
272 }
273
274 struct resource *
275 ata_pci_alloc_resource(device_t dev, device_t child, int type, int *rid,
276                        u_long start, u_long end, u_long count, u_int flags)
277 {
278     struct ata_pci_controller *controller = device_get_softc(dev);
279     int unit = ((struct ata_channel *)device_get_softc(child))->unit;
280     struct resource *res = NULL;
281     int myrid;
282
283     if (type == SYS_RES_IOPORT) {
284         switch (*rid) {
285         case ATA_IOADDR_RID:
286             if (ata_legacy(dev)) {
287                 start = (unit ? ATA_SECONDARY : ATA_PRIMARY);
288                 count = ATA_IOSIZE;
289                 end = start + count - 1;
290             }
291             myrid = PCIR_BAR(0) + (unit << 3);
292             res = BUS_ALLOC_RESOURCE(device_get_parent(dev), dev,
293                                      SYS_RES_IOPORT, &myrid,
294                                      start, end, count, flags);
295             break;
296
297         case ATA_CTLADDR_RID:
298             if (ata_legacy(dev)) {
299                 start = (unit ? ATA_SECONDARY : ATA_PRIMARY) + ATA_CTLOFFSET;
300                 count = ATA_CTLIOSIZE;
301                 end = start + count - 1;
302             }
303             myrid = PCIR_BAR(1) + (unit << 3);
304             res = BUS_ALLOC_RESOURCE(device_get_parent(dev), dev,
305                                      SYS_RES_IOPORT, &myrid,
306                                      start, end, count, flags);
307             break;
308         }
309     }
310     if (type == SYS_RES_IRQ && *rid == ATA_IRQ_RID) {
311         if (ata_legacy(dev)) {
312             int irq = (unit == 0 ? 14 : 15);
313             
314             res = BUS_ALLOC_RESOURCE(device_get_parent(dev), child,
315                                      SYS_RES_IRQ, rid, irq, irq, 1, flags);
316         }
317         else
318             res = controller->r_irq;
319     }
320     return res;
321 }
322
323 int
324 ata_pci_release_resource(device_t dev, device_t child, int type, int rid,
325                          struct resource *r)
326 {
327     int unit = ((struct ata_channel *)device_get_softc(child))->unit;
328
329     if (type == SYS_RES_IOPORT) {
330         switch (rid) {
331         case ATA_IOADDR_RID:
332             return BUS_RELEASE_RESOURCE(device_get_parent(dev), dev,
333                                         SYS_RES_IOPORT,
334                                         PCIR_BAR(0) + (unit << 3), r);
335             break;
336
337         case ATA_CTLADDR_RID:
338             return BUS_RELEASE_RESOURCE(device_get_parent(dev), dev,
339                                         SYS_RES_IOPORT,
340                                         PCIR_BAR(1) + (unit << 3), r);
341             break;
342         default:
343             return ENOENT;
344         }
345     }
346     if (type == SYS_RES_IRQ) {
347         if (rid != ATA_IRQ_RID)
348             return ENOENT;
349
350         if (ata_legacy(dev)) {
351             return BUS_RELEASE_RESOURCE(device_get_parent(dev), child,
352                                         SYS_RES_IRQ, rid, r);
353         }
354         else  
355             return 0;
356     }
357     return EINVAL;
358 }
359
360 int
361 ata_pci_setup_intr(device_t dev, device_t child, struct resource *irq, 
362                    int flags, driver_intr_t *function, void *argument,
363                    void **cookiep)
364 {
365     if (ata_legacy(dev)) {
366         return BUS_SETUP_INTR(device_get_parent(dev), child, irq,
367                               flags, function, argument, cookiep, NULL);
368     }
369     else {
370         struct ata_pci_controller *controller = device_get_softc(dev);
371         int unit = ((struct ata_channel *)device_get_softc(child))->unit;
372
373         controller->interrupt[unit].function = function;
374         controller->interrupt[unit].argument = argument;
375         *cookiep = controller;
376         return 0;
377     }
378 }
379
380 int
381 ata_pci_teardown_intr(device_t dev, device_t child, struct resource *irq,
382                       void *cookie)
383 {
384     if (ata_legacy(dev)) {
385         return BUS_TEARDOWN_INTR(device_get_parent(dev), child, irq, cookie);
386     }
387     else {
388         struct ata_pci_controller *controller = device_get_softc(dev);
389         int unit = ((struct ata_channel *)device_get_softc(child))->unit;
390
391         controller->interrupt[unit].function = NULL;
392         controller->interrupt[unit].argument = NULL;
393         return 0;
394     }
395 }
396     
397 int
398 ata_pci_allocate(device_t dev)
399 {
400     struct ata_pci_controller *ctlr = device_get_softc(device_get_parent(dev));
401     struct ata_channel *ch = device_get_softc(dev);
402     struct resource *io = NULL, *ctlio = NULL;
403     int i, rid;
404
405     rid = ATA_IOADDR_RID;
406     if (!(io = bus_alloc_resource_any(dev, SYS_RES_IOPORT, &rid, RF_ACTIVE)))
407         return ENXIO;
408
409     rid = ATA_CTLADDR_RID;
410     if (!(ctlio = bus_alloc_resource_any(dev, SYS_RES_IOPORT, &rid,RF_ACTIVE))){
411         bus_release_resource(dev, SYS_RES_IOPORT, ATA_IOADDR_RID, io);
412         return ENXIO;
413     }
414
415     for (i = ATA_DATA; i <= ATA_COMMAND; i ++) {
416         ch->r_io[i].res = io;
417         ch->r_io[i].offset = i;
418     }
419     ch->r_io[ATA_CONTROL].res = ctlio;
420     ch->r_io[ATA_CONTROL].offset = ata_legacy(device_get_parent(dev)) ? 0 : 2;
421     ch->r_io[ATA_IDX_ADDR].res = io;
422     ata_default_registers(dev);
423     if (ctlr->r_res1) {
424         for (i = ATA_BMCMD_PORT; i <= ATA_BMDTP_PORT; i++) {
425             ch->r_io[i].res = ctlr->r_res1;
426             ch->r_io[i].offset = (i - ATA_BMCMD_PORT) + (ch->unit*ATA_BMIOSIZE);
427         }
428     }
429
430     ata_pci_hw(dev);
431     return 0;
432 }
433
434 void
435 ata_pci_hw(device_t dev)
436 {
437     struct ata_channel *ch = device_get_softc(dev);
438
439     ata_generic_hw(dev);
440     ch->hw.status = ata_pci_status;
441 }
442
443 int
444 ata_pci_status(device_t dev)
445 {
446     struct ata_channel *ch = device_get_softc(dev);
447
448     if ((dumping || !ata_legacy(device_get_parent(dev))) &&
449         ch->dma && ((ch->flags & ATA_ALWAYS_DMASTAT) ||
450                     (ch->dma->flags & ATA_DMA_ACTIVE))) {
451         int bmstat = ATA_IDX_INB(ch, ATA_BMSTAT_PORT) & ATA_BMSTAT_MASK;
452
453         if ((bmstat & (ATA_BMSTAT_ACTIVE | ATA_BMSTAT_INTERRUPT)) !=
454             ATA_BMSTAT_INTERRUPT)
455             return 0;
456         ATA_IDX_OUTB(ch, ATA_BMSTAT_PORT, bmstat & ~ATA_BMSTAT_ERROR);
457         DELAY(1);
458     }
459     if (ATA_IDX_INB(ch, ATA_ALTSTAT) & ATA_S_BUSY) {
460         DELAY(100);
461         if (ATA_IDX_INB(ch, ATA_ALTSTAT) & ATA_S_BUSY)
462             return 0;
463     }
464     return 1;
465 }
466
467 static int
468 ata_pci_dmastart(device_t dev)
469 {
470     struct ata_channel *ch = device_get_softc(device_get_parent(dev));
471     u_int8_t val;
472
473     ATA_IDX_OUTB(ch, ATA_BMSTAT_PORT, (ATA_IDX_INB(ch, ATA_BMSTAT_PORT) | 
474                  (ATA_BMSTAT_INTERRUPT | ATA_BMSTAT_ERROR)));
475     ATA_IDX_OUTL(ch, ATA_BMDTP_PORT, ch->dma->sg_bus);
476     ch->dma->flags |= ATA_DMA_ACTIVE;
477     val = ATA_IDX_INB(ch, ATA_BMCMD_PORT);
478     if (ch->dma->flags & ATA_DMA_READ)
479         val |= ATA_BMCMD_WRITE_READ;
480     else
481         val &= ~ATA_BMCMD_WRITE_READ;
482     ATA_IDX_OUTB(ch, ATA_BMCMD_PORT, val);
483
484     /*
485      * Issue the start command separately from configuration setup,
486      * in case the hardware latches portions of the configuration.
487      */
488     ATA_IDX_OUTB(ch, ATA_BMCMD_PORT, val | ATA_BMCMD_START_STOP);
489
490     return 0;
491 }
492
493 static int
494 ata_pci_dmastop(device_t dev)
495 {
496     struct ata_channel *ch = device_get_softc(device_get_parent(dev));
497     int error;
498
499     ATA_IDX_OUTB(ch, ATA_BMCMD_PORT, 
500                  ATA_IDX_INB(ch, ATA_BMCMD_PORT) & ~ATA_BMCMD_START_STOP);
501     ch->dma->flags &= ~ATA_DMA_ACTIVE;
502     error = ATA_IDX_INB(ch, ATA_BMSTAT_PORT) & ATA_BMSTAT_MASK;
503     ATA_IDX_OUTB(ch, ATA_BMSTAT_PORT, ATA_BMSTAT_INTERRUPT | ATA_BMSTAT_ERROR);
504     return error;
505 }
506
507 static void
508 ata_pci_dmareset(device_t dev)
509 {
510     struct ata_channel *ch = device_get_softc(dev);
511
512     ATA_IDX_OUTB(ch, ATA_BMCMD_PORT, 
513                  ATA_IDX_INB(ch, ATA_BMCMD_PORT) & ~ATA_BMCMD_START_STOP);
514     ch->dma->flags &= ~ATA_DMA_ACTIVE;
515     ATA_IDX_OUTB(ch, ATA_BMSTAT_PORT, ATA_BMSTAT_INTERRUPT | ATA_BMSTAT_ERROR);
516     ch->dma->unload(dev);
517 }
518
519 void
520 ata_pci_dmainit(device_t dev)
521 {
522     struct ata_channel *ch = device_get_softc(dev);
523
524     ata_dmainit(dev);
525     if (ch->dma) {
526         ch->dma->start = ata_pci_dmastart;
527         ch->dma->stop = ata_pci_dmastop;
528         ch->dma->reset = ata_pci_dmareset;
529     }
530 }
531
532 char *
533 ata_pcivendor2str(device_t dev)
534 {
535     switch (pci_get_vendor(dev)) {
536     case ATA_ACARD_ID:          return "Acard";
537     case ATA_ACER_LABS_ID:      return "AcerLabs";
538     case ATA_AMD_ID:            return "AMD";
539     case ATA_ATI_ID:            return "ATI";
540     case ATA_CYRIX_ID:          return "Cyrix";
541     case ATA_CYPRESS_ID:        return "Cypress";
542     case ATA_HIGHPOINT_ID:      return "HighPoint";
543     case ATA_INTEL_ID:          return "Intel";
544     case ATA_ITE_ID:            return "ITE";
545     case ATA_JMICRON_ID:        return "JMicron";
546     case ATA_MARVELL_ID:        return "Marvell";
547     case ATA_NATIONAL_ID:       return "National";
548     case ATA_NETCELL_ID:        return "Netcell";
549     case ATA_NVIDIA_ID:         return "nVidia";
550     case ATA_PROMISE_ID:        return "Promise";
551     case ATA_SERVERWORKS_ID:    return "ServerWorks";
552     case ATA_SILICON_IMAGE_ID:  return "SiI";
553     case ATA_SIS_ID:            return "SiS";
554     case ATA_VIA_ID:            return "VIA";
555     case ATA_CENATEK_ID:        return "Cenatek";
556     case ATA_MICRON_ID:         return "Micron";
557     default:                    return "Generic";
558     }
559 }
560
561 static device_method_t ata_pci_methods[] = {
562     /* device interface */
563     DEVMETHOD(device_probe,             ata_pci_probe),
564     DEVMETHOD(device_attach,            ata_pci_attach),
565     DEVMETHOD(device_detach,            ata_pci_detach),
566     DEVMETHOD(device_shutdown,          bus_generic_shutdown),
567     DEVMETHOD(device_suspend,           bus_generic_suspend),
568     DEVMETHOD(device_resume,            bus_generic_resume),
569
570     /* bus methods */
571     DEVMETHOD(bus_alloc_resource,       ata_pci_alloc_resource),
572     DEVMETHOD(bus_release_resource,     ata_pci_release_resource),
573     DEVMETHOD(bus_activate_resource,    bus_generic_activate_resource),
574     DEVMETHOD(bus_deactivate_resource,  bus_generic_deactivate_resource),
575     DEVMETHOD(bus_setup_intr,           ata_pci_setup_intr),
576     DEVMETHOD(bus_teardown_intr,        ata_pci_teardown_intr),
577
578     { 0, 0 }
579 };
580
581 devclass_t atapci_devclass;
582
583 static driver_t ata_pci_driver = {
584     "atapci",
585     ata_pci_methods,
586     sizeof(struct ata_pci_controller),
587 };
588
589 DRIVER_MODULE(atapci, pci, ata_pci_driver, atapci_devclass, 0, 0);
590 MODULE_VERSION(atapci, 1);
591 MODULE_DEPEND(atapci, ata, 1, 1, 1);
592
593 static int
594 ata_pcichannel_probe(device_t dev)
595 {
596     struct ata_channel *ch = device_get_softc(dev);
597     device_t *children;
598     int count, i;
599     char buffer[32];
600
601     /* take care of green memory */
602     bzero(ch, sizeof(struct ata_channel));
603
604     /* find channel number on this controller */
605     device_get_children(device_get_parent(dev), &children, &count);
606     for (i = 0; i < count; i++) {
607         if (children[i] == dev)
608             ch->unit = i;
609     }
610     kfree(children, M_TEMP);
611
612     ksprintf(buffer, "ATA channel %d", ch->unit);
613     device_set_desc_copy(dev, buffer);
614
615     return ata_probe(dev);
616 }
617
618 static int
619 ata_pcichannel_attach(device_t dev)
620 {
621     struct ata_pci_controller *ctlr = device_get_softc(device_get_parent(dev));
622     struct ata_channel *ch = device_get_softc(dev);
623     int error;
624
625     if (ctlr->dmainit)
626         ctlr->dmainit(dev);
627     if (ch->dma)
628         ch->dma->alloc(dev);
629
630     if ((error = ctlr->allocate(dev))) {
631         if (ch->dma)
632             ch->dma->free(dev);
633         return error;
634     }
635
636     return ata_attach(dev);
637 }
638
639 static int
640 ata_pcichannel_detach(device_t dev)
641 {
642     struct ata_channel *ch = device_get_softc(dev);
643     int error;
644
645     if ((error = ata_detach(dev)))
646         return error;
647
648     if (ch->dma)
649         ch->dma->free(dev);
650
651     /* XXX SOS free resources for io and ctlio ?? */
652
653     return 0;
654 }
655
656 static int
657 ata_pcichannel_locking(device_t dev, int mode)
658 {
659     struct ata_pci_controller *ctlr = device_get_softc(device_get_parent(dev));
660     struct ata_channel *ch = device_get_softc(dev);
661
662     if (ctlr->locking)
663         return ctlr->locking(dev, mode);
664     else
665         return ch->unit;
666 }
667
668 static void
669 ata_pcichannel_reset(device_t dev)
670 {
671     struct ata_pci_controller *ctlr = device_get_softc(device_get_parent(dev));
672     struct ata_channel *ch = device_get_softc(dev);
673
674     /* if DMA engine present reset it  */
675     if (ch->dma) {
676         if (ch->dma->reset)
677             ch->dma->reset(dev);
678         ch->dma->unload(dev);
679     }
680
681     /* reset the controller HW */
682     if (ctlr->reset)
683         ctlr->reset(dev);
684     else
685         ata_generic_reset(dev);
686 }
687
688 static void
689 ata_pcichannel_setmode(device_t parent, device_t dev)
690 {
691     struct ata_pci_controller *ctlr = device_get_softc(GRANDPARENT(dev));
692     struct ata_device *atadev = device_get_softc(dev);
693     int mode = atadev->mode;
694
695     ctlr->setmode(dev, ATA_PIO_MAX);
696     if (mode >= ATA_DMA)
697         ctlr->setmode(dev, mode);
698 }
699
700 static device_method_t ata_pcichannel_methods[] = {
701     /* device interface */
702     DEVMETHOD(device_probe,     ata_pcichannel_probe),
703     DEVMETHOD(device_attach,    ata_pcichannel_attach),
704     DEVMETHOD(device_detach,    ata_pcichannel_detach),
705     DEVMETHOD(device_shutdown,  bus_generic_shutdown),
706     DEVMETHOD(device_suspend,   ata_suspend),
707     DEVMETHOD(device_resume,    ata_resume),
708
709     /* ATA methods */
710     DEVMETHOD(ata_setmode,      ata_pcichannel_setmode),
711     DEVMETHOD(ata_locking,      ata_pcichannel_locking),
712     DEVMETHOD(ata_reset,        ata_pcichannel_reset),
713
714     { 0, 0 }
715 };
716
717 driver_t ata_pcichannel_driver = {
718     "ata",
719     ata_pcichannel_methods,
720     sizeof(struct ata_channel),
721 };
722
723 DRIVER_MODULE(ata, atapci, ata_pcichannel_driver, ata_devclass, 0, 0);