Add the MPIPE subsystem. This subsystem is used for 'pipelining' fixed-size
[dragonfly.git] / sys / dev / disk / ata / ata-dma.c
1 /*-
2  * Copyright (c) 1998,1999,2000,2001,2002 Søren Schmidt <sos@FreeBSD.org>
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer,
10  *    without modification, immediately at the beginning of the file.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  * 3. The name of the author may not be used to endorse or promote products
15  *    derived from this software without specific prior written permission.
16  *
17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27  *
28  * $FreeBSD: src/sys/dev/ata/ata-dma.c,v 1.35.2.31 2003/05/07 16:46:11 jhb Exp $
29  * $DragonFly: src/sys/dev/disk/ata/ata-dma.c,v 1.6 2003/11/30 20:14:18 dillon Exp $
30  */
31
32 #include <sys/param.h>
33 #include <sys/systm.h>
34 #include <sys/ata.h>
35 #include <sys/buf.h>
36 #include <sys/malloc.h> 
37 #include <sys/mpipe.h> 
38 #include <sys/bus.h>
39 #include <sys/disk.h>
40 #include <sys/devicestat.h>
41 #include <vm/vm.h>           
42 #include <vm/pmap.h>
43 #include <bus/pci/pcivar.h>
44 #include <machine/bus.h>
45 #include <sys/rman.h>
46 #include "ata-all.h"
47
48 /* prototypes */
49 static void cyrix_timing(struct ata_channel *, int, int);
50 static void promise_timing(struct ata_channel *, int, int);
51 static void hpt_timing(struct ata_channel *, int, int);
52 static int hpt_cable80(struct ata_channel *);
53
54 /* misc defines */
55 #ifdef __alpha__
56 #undef vtophys
57 #define vtophys(va)     alpha_XXX_dmamap((vm_offset_t)va)
58 #endif
59 #define ATAPI_DEVICE(ch, device) \
60         ((device == ATA_MASTER && ch->devices & ATA_ATAPI_MASTER) || \
61          (device == ATA_SLAVE && ch->devices & ATA_ATAPI_SLAVE))
62
63 void *
64 ata_dmaalloc(struct ata_channel *ch, int device, int flags)
65 {
66     void *dmatab;
67
68     KKASSERT(ch->dma_mpipe.max_count != 0);
69     dmatab = mpipe_alloc(&ch->dma_mpipe, flags);
70     KKASSERT(((uintptr_t)dmatab & PAGE_MASK) == 0);
71     return (dmatab);
72 }
73
74 void
75 ata_dmafree(struct ata_channel *ch, void *dmatab)
76 {
77     if (dmatab)
78         mpipe_free(&ch->dma_mpipe, dmatab);
79 }
80
81 void
82 ata_dmainit(struct ata_channel *ch, int device,
83             int apiomode, int wdmamode, int udmamode)
84 {
85     struct ata_device *atadev = &ch->device[ATA_DEV(device)];
86     device_t parent = device_get_parent(ch->dev);
87     int devno = (ch->unit << 1) + ATA_DEV(device);
88     int error;
89
90     /* set our most pessimistic default mode */
91     atadev->mode = ATA_PIO;
92
93     if (!ch->r_bmio)
94         return;
95
96     /* if simplex controller, only allow DMA on primary channel */
97     if (ch->unit == 1) {
98         ATA_OUTB(ch->r_bmio, ATA_BMSTAT_PORT,
99                  ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) &
100                  (ATA_BMSTAT_DMA_MASTER | ATA_BMSTAT_DMA_SLAVE));
101         if (ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) & ATA_BMSTAT_DMA_SIMPLEX) {
102             ata_prtdev(atadev, "simplex device, DMA on primary only\n");
103             return;
104         }
105     }
106
107     /* DMA engine address alignment is usually 1 word (2 bytes) */
108     ch->alignment = 0x1;
109
110 #if 1
111     if (udmamode > 2 && !ch->device[ATA_DEV(device)].param->hwres_cblid) {
112         ata_prtdev(atadev,"DMA limited to UDMA33, non-ATA66 cable or device\n");
113         udmamode = 2;
114     }
115 #endif
116     switch (ch->chiptype) {
117
118     case 0x24db8086:    /* Intel ICH5 */
119     case 0x24ca8086:    /* Intel ICH4 mobile */
120     case 0x24cb8086:    /* Intel ICH4 */
121     case 0x248a8086:    /* Intel ICH3 mobile */ 
122     case 0x248b8086:    /* Intel ICH3 */
123     case 0x244a8086:    /* Intel ICH2 mobile */ 
124     case 0x244b8086:    /* Intel ICH2 */
125         if (udmamode >= 5) {
126             int32_t mask48, new48;
127             int16_t word54;
128
129             word54 = pci_read_config(parent, 0x54, 2);
130             if (word54 & (0x10 << devno)) {
131                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
132                                     ATA_UDMA5,  ATA_C_F_SETXFER,ATA_WAIT_READY);
133                 if (bootverbose)
134                     ata_prtdev(atadev, "%s setting UDMA5 on Intel chip\n",
135                                (error) ? "failed" : "success");
136                 if (!error) {
137                     mask48 = (1 << devno) + (3 << (16 + (devno << 2)));
138                     new48 = (1 << devno) + (1 << (16 + (devno << 2)));
139                     pci_write_config(parent, 0x48,
140                                      (pci_read_config(parent, 0x48, 4) &
141                                      ~mask48) | new48, 4);
142                     pci_write_config(parent, 0x54, word54 | (0x1000<<devno), 2);
143                     atadev->mode = ATA_UDMA5;
144                     return;
145                 }
146             }
147         }
148         /* make sure eventual ATA100 mode from the BIOS is disabled */
149         pci_write_config(parent, 0x54, 
150                          pci_read_config(parent, 0x54, 2) & ~(0x1000<<devno),2);
151         /* FALLTHROUGH */
152
153     case 0x24118086:    /* Intel ICH */
154     case 0x76018086:    /* Intel ICH */
155         if (udmamode >= 4) {
156             int32_t mask48, new48;
157             int16_t word54;
158
159             word54 = pci_read_config(parent, 0x54, 2);
160             if (word54 & (0x10 << devno)) {
161                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
162                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
163                 if (bootverbose)
164                     ata_prtdev(atadev, "%s setting UDMA4 on Intel chip\n",
165                                (error) ? "failed" : "success");
166                 if (!error) {
167                     mask48 = (1 << devno) + (3 << (16 + (devno << 2)));
168                     new48 = (1 << devno) + (2 << (16 + (devno << 2)));
169                     pci_write_config(parent, 0x48,
170                                      (pci_read_config(parent, 0x48, 4) &
171                                      ~mask48) | new48, 4);
172                     pci_write_config(parent, 0x54, word54 | (1 << devno), 2);
173                     atadev->mode = ATA_UDMA4;
174                     return;
175                 }
176             }
177         }           
178         /* make sure eventual ATA66 mode from the BIOS is disabled */
179         pci_write_config(parent, 0x54, 
180                          pci_read_config(parent, 0x54, 2) & ~(1 << devno), 2);
181         /* FALLTHROUGH */
182
183     case 0x71118086:    /* Intel PIIX4 */
184     case 0x84CA8086:    /* Intel PIIX4 */
185     case 0x71998086:    /* Intel PIIX4e */
186     case 0x24218086:    /* Intel ICH0 */
187         if (udmamode >= 2) {
188             int32_t mask48, new48;
189
190             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
191                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
192             if (bootverbose)
193                 ata_prtdev(atadev, "%s setting UDMA2 on Intel chip\n",
194                            (error) ? "failed" : "success");
195             if (!error) {
196                 mask48 = (1 << devno) + (3 << (16 + (devno << 2)));
197                 new48 = (1 << devno) + (2 << (16 + (devno << 2)));
198                 pci_write_config(parent, 0x48, 
199                                  (pci_read_config(parent, 0x48, 4) &
200                                  ~mask48) | new48, 4);
201                 atadev->mode = ATA_UDMA2;
202                 return;
203             }
204         }
205         /* make sure eventual ATA33 mode from the BIOS is disabled */
206         pci_write_config(parent, 0x48, 
207                          pci_read_config(parent, 0x48, 4) & ~(1 << devno), 4);
208         /* FALLTHROUGH */
209
210     case 0x70108086:    /* Intel PIIX3 */
211         if (wdmamode >= 2 && apiomode >= 4) {
212             int32_t mask40, new40, mask44, new44;
213
214             /* if SITRE not set doit for both channels */
215             if (!((pci_read_config(parent,0x40,4)>>(ch->unit<<8))&0x4000)) {
216                 new40 = pci_read_config(parent, 0x40, 4);
217                 new44 = pci_read_config(parent, 0x44, 4); 
218                 if (!(new40 & 0x00004000)) {
219                     new44 &= ~0x0000000f;
220                     new44 |= ((new40&0x00003000)>>10)|((new40&0x00000300)>>8);
221                 }
222                 if (!(new40 & 0x40000000)) {
223                     new44 &= ~0x000000f0;
224                     new44 |= ((new40&0x30000000)>>22)|((new40&0x03000000)>>20);
225                 }
226                 new40 |= 0x40004000;
227                 pci_write_config(parent, 0x40, new40, 4);
228                 pci_write_config(parent, 0x44, new44, 4);
229             }
230             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
231                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
232             if (bootverbose)
233                 ata_prtdev(atadev, "%s setting WDMA2 on Intel chip\n",
234                            (error) ? "failed" : "success");
235             if (!error) {
236                 if (device == ATA_MASTER) {
237                     mask40 = 0x0000330f;
238                     new40 = 0x00002307;
239                     mask44 = 0;
240                     new44 = 0;
241                 }
242                 else {
243                     mask40 = 0x000000f0;
244                     new40 = 0x00000070;
245                     mask44 = 0x0000000f;
246                     new44 = 0x0000000b;
247                 }
248                 if (ch->unit) {
249                     mask40 <<= 16;
250                     new40 <<= 16;
251                     mask44 <<= 4;
252                     new44 <<= 4;
253                 }
254                 pci_write_config(parent, 0x40,
255                                  (pci_read_config(parent, 0x40, 4) & ~mask40)|
256                                  new40, 4);
257                 pci_write_config(parent, 0x44,
258                                  (pci_read_config(parent, 0x44, 4) & ~mask44)|
259                                  new44, 4);
260                 atadev->mode = ATA_WDMA2;
261                 return;
262             }
263         }
264         /* we could set PIO mode timings, but we assume the BIOS did that */
265         break;
266
267     case 0x12308086:    /* Intel PIIX */
268         if (wdmamode >= 2 && apiomode >= 4) {
269             int32_t word40;
270
271             word40 = pci_read_config(parent, 0x40, 4);
272             word40 >>= ch->unit * 16;
273
274             /* Check for timing config usable for DMA on controller */
275             if (!((word40 & 0x3300) == 0x2300 &&
276                   ((word40 >> (device == ATA_MASTER ? 0 : 4)) & 1) == 1))
277                 break;
278
279             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
280                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
281             if (bootverbose)
282                 ata_prtdev(atadev, "%s setting WDMA2 on Intel chip\n",
283                            (error) ? "failed" : "success");
284             if (!error) {
285                 atadev->mode = ATA_WDMA2;
286                 return;
287             }
288         }
289         break;
290
291     case 0x522910b9:    /* AcerLabs Aladdin IV/V */
292         /* the older Aladdin doesn't support ATAPI DMA on both master & slave */
293         if (pci_get_revid(parent) < 0xc2 &&
294             ch->devices & ATA_ATAPI_MASTER && ch->devices & ATA_ATAPI_SLAVE) {
295             ata_prtdev(atadev, "two atapi devices on this channel, no DMA\n");
296             break;
297         }
298         if (udmamode >= 5 && pci_get_revid(parent) >= 0xc4) {
299             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
300                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
301             if (bootverbose)
302                 ata_prtdev(atadev, "%s setting UDMA5 on Acer chip\n",
303                            (error) ? "failed" : "success");
304             if (!error) {
305                 int32_t word54 = pci_read_config(parent, 0x54, 4);
306         
307                 pci_write_config(parent, 0x4b,
308                                  pci_read_config(parent, 0x4b, 1) | 0x01, 1);
309                 word54 &= ~(0x000f000f << (devno << 2));
310                 word54 |= (0x000f0005 << (devno << 2));
311                 pci_write_config(parent, 0x54, word54, 4);
312                 pci_write_config(parent, 0x53, 
313                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
314                 atadev->mode = ATA_UDMA5;
315                 return;
316             }
317         }
318         if (udmamode >= 4 && pci_get_revid(parent) >= 0xc2) {
319             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
320                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
321             if (bootverbose)
322                 ata_prtdev(atadev, "%s setting UDMA4 on Acer chip\n",
323                            (error) ? "failed" : "success");
324             if (!error) {
325                 int32_t word54 = pci_read_config(parent, 0x54, 4);
326         
327                 pci_write_config(parent, 0x4b,
328                                  pci_read_config(parent, 0x4b, 1) | 0x01, 1);
329                 word54 &= ~(0x000f000f << (devno << 2));
330                 word54 |= (0x00080005 << (devno << 2));
331                 pci_write_config(parent, 0x54, word54, 4);
332                 pci_write_config(parent, 0x53, 
333                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
334                 atadev->mode = ATA_UDMA4;
335                 return;
336             }
337         }
338         if (udmamode >= 2 && pci_get_revid(parent) >= 0x20) {
339             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
340                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
341             if (bootverbose)
342                 ata_prtdev(atadev, "%s setting UDMA2 on Acer chip\n",
343                            (error) ? "failed" : "success");
344             if (!error) {
345                 int32_t word54 = pci_read_config(parent, 0x54, 4);
346         
347                 word54 &= ~(0x000f000f << (devno << 2));
348                 word54 |= (0x000a0005 << (devno << 2));
349                 pci_write_config(parent, 0x54, word54, 4);
350                 pci_write_config(parent, 0x53, 
351                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
352                 ch->flags |= ATA_ATAPI_DMA_RO;
353                 atadev->mode = ATA_UDMA2;
354                 return;
355             }
356         }
357
358         /* make sure eventual UDMA mode from the BIOS is disabled */
359         pci_write_config(parent, 0x56, pci_read_config(parent, 0x56, 2) &
360                                        ~(0x0008 << (devno << 2)), 2);
361
362         if (wdmamode >= 2 && apiomode >= 4) {
363             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
364                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
365             if (bootverbose)
366                 ata_prtdev(atadev, "%s setting WDMA2 on Acer chip\n",
367                            (error) ? "failed" : "success");
368             if (!error) {
369                 pci_write_config(parent, 0x53, 
370                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
371                 ch->flags |= ATA_ATAPI_DMA_RO;
372                 atadev->mode = ATA_WDMA2;
373                 return;
374             }
375         }
376         pci_write_config(parent, 0x53,
377                          (pci_read_config(parent, 0x53, 1) & ~0x01) | 0x02, 1);
378         /* we could set PIO mode timings, but we assume the BIOS did that */
379         break;
380
381     case 0x01bc10de:    /* NVIDIA nForce */
382     case 0x006510de:    /* NVIDIA nForce2 */
383     case 0x74411022:    /* AMD 768 */
384     case 0x74111022:    /* AMD 766 */
385     case 0x74091022:    /* AMD 756 */
386     case 0x05711106:    /* VIA 82C571, 82C586, 82C596, 82C686, 8231,8233,8235 */
387         {
388             int via_modes[5][7] = {
389                 { 0x00, 0x00, 0xc0, 0x00, 0x00, 0x00, 0x00 },   /* ATA33 */
390                 { 0x00, 0x00, 0xea, 0x00, 0xe8, 0x00, 0x00 },   /* ATA66 */
391                 { 0x00, 0x00, 0xf4, 0x00, 0xf1, 0xf0, 0x00 },   /* ATA100 */
392                 { 0x00, 0x00, 0xf6, 0x00, 0xf2, 0xf1, 0xf0 },   /* VIA ATA133 */
393                 { 0x00, 0x00, 0xc0, 0x00, 0xc5, 0xc6, 0xc7 }};  /* AMD/NVIDIA */
394             int *reg_val = NULL;
395             char *chip = "VIA";
396
397             if (ata_find_dev(parent, 0x31471106, 0) ||          /* 8233a */
398                 ata_find_dev(parent, 0x31771106, 0)) {          /* 8235 */
399                 udmamode = imin(udmamode, 6);
400                 reg_val = via_modes[3];
401             }
402             else if (ata_find_dev(parent, 0x06861106, 0x40) ||  /* 82C686b */
403                 ata_find_dev(parent, 0x82311106, 0) ||          /* 8231 */
404                 ata_find_dev(parent, 0x30741106, 0) ||          /* 8233 */
405                 ata_find_dev(parent, 0x31091106, 0)) {          /* 8233c */
406                 udmamode = imin(udmamode, 5);
407                 reg_val = via_modes[2];
408             }
409             else if (ata_find_dev(parent, 0x06861106, 0x10) ||  /* 82C686a */
410                      ata_find_dev(parent, 0x05961106, 0x12)) {  /* 82C596b */
411                 udmamode = imin(udmamode, 4);
412                 reg_val = via_modes[1];
413             }
414             else if (ata_find_dev(parent, 0x06861106, 0)) {     /* 82C686 */
415                 udmamode = imin(udmamode, 2);
416                 reg_val = via_modes[1];
417             }
418             else if (ata_find_dev(parent, 0x05961106, 0) ||     /* 82C596a */
419                      ata_find_dev(parent, 0x05861106, 0x03)) {  /* 82C586b */
420                 udmamode = imin(udmamode, 2);
421                 reg_val = via_modes[0];
422             }
423             else if (ch->chiptype == 0x74411022 ||              /* AMD 768 */
424                      ch->chiptype == 0x74111022) {              /* AMD 766 */
425                 udmamode = imin(udmamode, 5);
426                 reg_val = via_modes[4];
427                 chip = "AMD";
428             }
429             else if (ch->chiptype == 0x74091022) {              /* AMD 756 */
430                 udmamode = imin(udmamode, 4);
431                 reg_val = via_modes[4];
432                 chip = "AMD";
433             }
434             else if (ch->chiptype == 0x01bc10de) {              /* nForce */
435                 udmamode = imin(udmamode, 5);
436                 reg_val = via_modes[4];
437                 chip = "NVIDIA";
438             }
439             else if (ch->chiptype == 0x006510de) {              /* nForce2 */
440                 udmamode = imin(udmamode, 6);
441                 reg_val = via_modes[4];
442                 chip = "NVIDIA";
443             }
444             else 
445                 udmamode = 0;
446
447             if (udmamode >= 6) {
448                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
449                                     ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
450                 if (bootverbose)
451                     ata_prtdev(atadev, "%s setting UDMA6 on %s chip\n",
452                                (error) ? "failed" : "success", chip);
453                 if (!error) {
454                     pci_write_config(parent, 0x53 - devno, reg_val[6], 1);
455                     atadev->mode = ATA_UDMA6;
456                     return;
457                 }
458             }
459             if (udmamode >= 5) {
460                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
461                                     ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
462                 if (bootverbose)
463                     ata_prtdev(atadev, "%s setting UDMA5 on %s chip\n",
464                                (error) ? "failed" : "success", chip);
465                 if (!error) {
466                     pci_write_config(parent, 0x53 - devno, reg_val[5], 1);
467                     atadev->mode = ATA_UDMA5;
468                     return;
469                 }
470             }
471             if (udmamode >= 4) {
472                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
473                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
474                 if (bootverbose)
475                     ata_prtdev(atadev, "%s setting UDMA4 on %s chip\n",
476                                (error) ? "failed" : "success", chip);
477                 if (!error) {
478                     pci_write_config(parent, 0x53 - devno, reg_val[4], 1);
479                     atadev->mode = ATA_UDMA4;
480                     return;
481                 }
482             }
483             if (udmamode >= 2) {
484                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
485                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
486                 if (bootverbose)
487                     ata_prtdev(atadev, "%s setting UDMA2 on %s chip\n",
488                                (error) ? "failed" : "success", chip);
489                 if (!error) {
490                     pci_write_config(parent, 0x53 - devno, reg_val[2], 1);
491                     atadev->mode = ATA_UDMA2;
492                     return;
493                 }
494             }
495             if (wdmamode >= 2 && apiomode >= 4) {
496                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
497                                     ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
498                 if (bootverbose)
499                     ata_prtdev(atadev, "%s setting WDMA2 on %s chip\n",
500                                (error) ? "failed" : "success", chip);
501                 if (!error) {
502                     pci_write_config(parent, 0x53 - devno, 0x0b, 1);
503                     pci_write_config(parent, 0x4b - devno, 0x31, 1);
504                     atadev->mode = ATA_WDMA2;
505                     return;
506                 }
507             }
508         }
509         /* we could set PIO mode timings, but we assume the BIOS did that */
510         break;
511
512     case 0x55131039:    /* SiS 5591 */
513         if (ata_find_dev(parent, 0x06301039, 0x30) ||   /* SiS 630 */
514             ata_find_dev(parent, 0x06331039, 0) ||      /* SiS 633 */
515             ata_find_dev(parent, 0x06351039, 0) ||      /* SiS 635 */
516             ata_find_dev(parent, 0x06401039, 0) ||      /* SiS 640 */
517             ata_find_dev(parent, 0x06451039, 0) ||      /* SiS 645 */
518             ata_find_dev(parent, 0x06501039, 0) ||      /* SiS 650 */
519             ata_find_dev(parent, 0x07301039, 0) ||      /* SiS 730 */
520             ata_find_dev(parent, 0x07331039, 0) ||      /* SiS 733 */
521             ata_find_dev(parent, 0x07351039, 0) ||      /* SiS 735 */
522             ata_find_dev(parent, 0x07401039, 0) ||      /* SiS 740 */
523             ata_find_dev(parent, 0x07451039, 0) ||      /* SiS 745 */
524             ata_find_dev(parent, 0x07501039, 0)) {      /* SiS 750 */
525             int8_t reg = 0x40 + (devno << 1);
526             int16_t val = pci_read_config(parent, reg, 2) & 0x0fff;
527
528             if (udmamode >= 5) {
529                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
530                                     ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
531                 if (bootverbose)
532                     ata_prtdev(atadev, "%s setting UDMA5 on SiS chip\n",
533                                (error) ? "failed" : "success");
534                 if (!error) {
535                     pci_write_config(parent, reg, val | 0x8000, 2);
536                     atadev->mode = ATA_UDMA5;
537                     return;
538                 }
539             }
540             if (udmamode >= 4) {
541                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
542                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
543                 if (bootverbose)
544                     ata_prtdev(atadev, "%s setting UDMA4 on SiS chip\n",
545                                (error) ? "failed" : "success");
546                 if (!error) {
547                     pci_write_config(parent, reg, val | 0x9000, 2);
548                     atadev->mode = ATA_UDMA4;
549                     return;
550                 }
551             }
552             if (udmamode >= 2) {
553                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
554                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
555                 if (bootverbose)
556                     ata_prtdev(atadev, "%s setting UDMA2 on SiS chip\n",
557                                (error) ? "failed" : "success");
558                 if (!error) {
559                     pci_write_config(parent, reg, val | 0xb000, 2);
560                     atadev->mode = ATA_UDMA2;
561                     return;
562                 }
563             }
564         } else if (ata_find_dev(parent, 0x05301039, 0) || /* SiS 530 */
565                    ata_find_dev(parent, 0x05401039, 0) || /* SiS 540 */
566                    ata_find_dev(parent, 0x06201039, 0) || /* SiS 620 */
567                    ata_find_dev(parent, 0x06301039, 0)) { /* SiS 630 */
568             int8_t reg = 0x40 + (devno << 1);
569             int16_t val = pci_read_config(parent, reg, 2) & 0x0fff;
570
571             if (udmamode >= 4) {
572                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
573                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
574                 if (bootverbose)
575                     ata_prtdev(atadev, "%s setting UDMA4 on SiS chip\n",
576                                (error) ? "failed" : "success");
577                 if (!error) {
578                     pci_write_config(parent, reg, val | 0x9000, 2);
579                     atadev->mode = ATA_UDMA4;
580                     return;
581                 }
582             }
583             if (udmamode >= 2) {
584                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
585                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
586                 if (bootverbose)
587                     ata_prtdev(atadev, "%s setting UDMA2 on SiS chip\n",
588                                (error) ? "failed" : "success");
589                 if (!error) {
590                     pci_write_config(parent, reg, val | 0xa000, 2);
591                     atadev->mode = ATA_UDMA2;
592                     return;
593                 }
594             }
595         } else if (udmamode >= 2 && pci_get_revid(parent) > 0xc1) {
596             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
597                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
598             if (bootverbose)
599                 ata_prtdev(atadev, "%s setting UDMA2 on SiS chip\n",
600                            (error) ? "failed" : "success");
601             if (!error) {
602                 pci_write_config(parent, 0x40 + (devno << 1), 0xa301, 2);
603                 atadev->mode = ATA_UDMA2;
604                 return;
605             }
606         }
607         if (wdmamode >=2 && apiomode >= 4) {
608             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
609                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
610             if (bootverbose)
611                 ata_prtdev(atadev, "%s setting WDMA2 on SiS chip\n",
612                            (error) ? "failed" : "success");
613             if (!error) {
614                 pci_write_config(parent, 0x40 + (devno << 1), 0x0301, 2);
615                 atadev->mode = ATA_WDMA2;
616                 return;
617             }
618         }
619         /* we could set PIO mode timings, but we assume the BIOS did that */
620         break;
621
622     case 0x06801095:    /* SiI 0680 ATA133 controller */
623         {
624             u_int8_t ureg = 0xac + (ATA_DEV(device) * 0x02) + (ch->unit * 0x10);
625             u_int8_t uval = pci_read_config(parent, ureg, 1);
626             u_int8_t mreg = ch->unit ? 0x84 : 0x80;
627             u_int8_t mask = ATA_DEV(device) ? 0x30 : 0x03;
628             u_int8_t mode = pci_read_config(parent, mreg, 1);
629
630             /* enable UDMA mode */
631             pci_write_config(parent, mreg,
632                              (mode & ~mask) | (device ? 0x30 : 0x03), 1);
633             if (udmamode >= 6) {
634                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
635                                     ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
636                 if (bootverbose)
637                     ata_prtdev(atadev, "%s setting UDMA6 on SiI chip\n",
638                                (error) ? "failed" : "success");
639                 if (!error) {
640                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x01, 1);
641                     atadev->mode = ATA_UDMA6;
642                     return;
643                 }
644             }
645             if (udmamode >= 5) {
646                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
647                                     ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
648                 if (bootverbose)
649                     ata_prtdev(atadev, "%s setting UDMA5 on SiI chip\n",
650                                (error) ? "failed" : "success");
651                 if (!error) {
652                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x02, 1);
653                     atadev->mode = ATA_UDMA5;
654                     return;
655                 }
656             }
657             if (udmamode >= 4) {
658                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
659                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
660                 if (bootverbose)
661                     ata_prtdev(atadev, "%s setting UDMA4 on SiI chip\n",
662                                (error) ? "failed" : "success");
663                 if (!error) {
664                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x03, 1);
665                     atadev->mode = ATA_UDMA4;
666                     return;
667                 }
668             }
669             if (udmamode >= 2) {
670                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
671                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
672                 if (bootverbose)
673                     ata_prtdev(atadev, "%s setting UDMA2 on SiI chip\n",
674                                (error) ? "failed" : "success");
675                 if (!error) {
676                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x07, 1);
677                     atadev->mode = ATA_UDMA2;
678                     return;
679                 }
680             }
681
682             /* disable UDMA mode and enable WDMA mode */
683             pci_write_config(parent, mreg,
684                              (mode & ~mask) | (device ? 0x20 : 0x02), 1);
685             if (wdmamode >= 2 && apiomode >= 4) {
686                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
687                                     ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
688                 if (bootverbose)
689                     ata_prtdev(atadev, "%s setting WDMA2 on SiI chip\n",
690                                (error) ? "failed" : "success");
691                 if (!error) {
692                     pci_write_config(parent, ureg - 0x4, 0x10c1, 2);
693                     atadev->mode = ATA_WDMA2;
694                     return;
695                 }
696             }
697
698             /* restore PIO mode */
699             pci_write_config(parent, mreg, mode, 1);
700         }
701         /* we could set PIO mode timings, but we assume the BIOS did that */
702         break;
703
704
705     case 0x06491095:    /* CMD 649 ATA100 controller */
706         if (udmamode >= 5) {
707             u_int8_t umode;
708
709             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
710                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
711             if (bootverbose)
712                 ata_prtdev(atadev, "%s setting UDMA5 on CMD chip\n",
713                            (error) ? "failed" : "success");
714             if (!error) {
715                 umode = pci_read_config(parent, ch->unit ? 0x7b : 0x73, 1);
716                 umode &= ~(device == ATA_MASTER ? 0x35 : 0xca);
717                 umode |= (device == ATA_MASTER ? 0x05 : 0x0a);
718                 pci_write_config(parent, ch->unit ? 0x7b : 0x73, umode, 1);
719                 atadev->mode = ATA_UDMA5;
720                 return;
721             }
722         }
723         /* FALLTHROUGH */
724
725     case 0x06481095:    /* CMD 648 ATA66 controller */
726         if (udmamode >= 4) {
727             u_int8_t umode;
728
729             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
730                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
731             if (bootverbose)
732                 ata_prtdev(atadev, "%s setting UDMA4 on CMD chip\n",
733                            (error) ? "failed" : "success");
734             if (!error) {
735                 umode = pci_read_config(parent, ch->unit ? 0x7b : 0x73, 1);
736                 umode &= ~(device == ATA_MASTER ? 0x35 : 0xca);
737                 umode |= (device == ATA_MASTER ? 0x15 : 0x4a);
738                 pci_write_config(parent, ch->unit ? 0x7b : 0x73, umode, 1);
739                 atadev->mode = ATA_UDMA4;
740                 return;
741             }
742         }
743         if (udmamode >= 2) {
744             u_int8_t umode;
745
746             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
747                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
748             if (bootverbose)
749                 ata_prtdev(atadev, "%s setting UDMA2 on CMD chip\n",
750                            (error) ? "failed" : "success");
751             if (!error) {
752                 umode = pci_read_config(parent, ch->unit ? 0x7b : 0x73, 1);
753                 umode &= ~(device == ATA_MASTER ? 0x35 : 0xca);
754                 umode |= (device == ATA_MASTER ? 0x11 : 0x42);
755                 pci_write_config(parent, ch->unit ? 0x7b : 0x73, umode, 1);
756                 atadev->mode = ATA_UDMA2;
757                 return;
758             }
759         }
760         /* make sure eventual UDMA mode from the BIOS is disabled */
761         pci_write_config(parent, ch->unit ? 0x7b : 0x73, 
762                          pci_read_config(parent, ch->unit ? 0x7b : 0x73, 1)&
763                          ~(device == ATA_MASTER ? 0x35 : 0xca), 1);
764         /* FALLTHROUGH */
765
766     case 0x06461095:    /* CMD 646 ATA controller */
767         if (wdmamode >= 2 && apiomode >= 4) {
768             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
769                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
770             if (bootverbose)
771                 ata_prtdev(atadev, "%s setting WDMA2 on CMD chip\n",
772                            error ? "failed" : "success");
773             if (!error) {
774                 int32_t offset = (devno < 3) ? (devno << 1) : 7;
775
776                 pci_write_config(parent, 0x54 + offset, 0x3f, 1);
777                 atadev->mode = ATA_WDMA2;
778                 return;
779             }
780         }
781         /* we could set PIO mode timings, but we assume the BIOS did that */
782         break;
783
784     case 0xc6931080:    /* Cypress 82c693 ATA controller */
785         if (wdmamode >= 2 && apiomode >= 4) {
786             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
787                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
788             if (bootverbose)
789                 ata_prtdev(atadev, "%s setting WDMA2 on Cypress chip\n",
790                            error ? "failed" : "success");
791             if (!error) {
792                 pci_write_config(ch->dev, ch->unit ? 0x4e:0x4c, 0x2020, 2);
793                 atadev->mode = ATA_WDMA2;
794                 return;
795             }
796         }
797         /* we could set PIO mode timings, but we assume the BIOS did that */
798         break;
799
800     case 0x01021078:    /* Cyrix 5530 ATA33 controller */
801         ch->alignment = 0xf;    /* DMA engine requires 16 byte alignment */
802         if (udmamode >= 2) {
803             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
804                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
805             if (bootverbose)
806                 ata_prtdev(atadev, "%s setting UDMA2 on Cyrix chip\n",
807                            (error) ? "failed" : "success");
808             if (!error) {
809                 cyrix_timing(ch, devno, ATA_UDMA2);
810                 atadev->mode = ATA_UDMA2;
811                 return;
812             }
813         }
814         if (wdmamode >= 2 && apiomode >= 4) {
815             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
816                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
817             if (bootverbose)
818                 ata_prtdev(atadev, "%s setting WDMA2 on Cyrix chip\n",
819                            (error) ? "failed" : "success");
820             if (!error) {
821                 cyrix_timing(ch, devno, ATA_WDMA2);
822                 atadev->mode = ATA_WDMA2;
823                 return;
824             }
825         }
826         error = ata_command(atadev, ATA_C_SETFEATURES, 0,
827                             ATA_PIO0 + apiomode, ATA_C_F_SETXFER,
828                             ATA_WAIT_READY);
829         if (bootverbose)
830             ata_prtdev(atadev, "%s setting %s on Cyrix chip\n",
831                        (error) ? "failed" : "success",
832                        ata_mode2str(ATA_PIO0 + apiomode));
833         cyrix_timing(ch, devno, ATA_PIO0 + apiomode);
834         atadev->mode = ATA_PIO0 + apiomode;
835         return;
836
837     case 0x02121166:    /* ServerWorks CSB5 ATA66/100 controller */
838         if (udmamode >= 5 && pci_get_revid(parent) >= 0x92) {
839             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
840                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
841             if (bootverbose)
842                 ata_prtdev(atadev, "%s setting UDMA5 on ServerWorks chip\n",
843                            (error) ? "failed" : "success");
844             if (!error) {
845                 u_int16_t reg56;
846
847                 pci_write_config(parent, 0x54, 
848                                  pci_read_config(parent, 0x54, 1) |
849                                  (0x01 << devno), 1);
850                 reg56 = pci_read_config(parent, 0x56, 2);
851                 reg56 &= ~(0xf << (devno * 4));
852                 reg56 |= (0x5 << (devno * 4));
853                 pci_write_config(parent, 0x56, reg56, 2);
854                 atadev->mode = ATA_UDMA5;
855                 return;
856             }
857         }
858         if (udmamode >= 4) {
859             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
860                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
861             if (bootverbose)
862                 ata_prtdev(atadev, "%s setting UDMA4 on ServerWorks chip\n",
863                            (error) ? "failed" : "success");
864             if (!error) {
865                 u_int16_t reg56;
866
867                 pci_write_config(parent, 0x54, 
868                                  pci_read_config(parent, 0x54, 1) |
869                                  (0x01 << devno), 1);
870                 reg56 = pci_read_config(parent, 0x56, 2);
871                 reg56 &= ~(0xf << (devno * 4));
872                 reg56 |= (0x4 << (devno * 4));
873                 pci_write_config(parent, 0x56, reg56, 2);
874                 atadev->mode = ATA_UDMA4;
875                 return;
876             }
877         }
878         /* FALLTHROUGH */
879
880     case 0x02111166:    /* ServerWorks ROSB4 ATA33 controller */
881         if (udmamode >= 2) {
882             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
883                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
884             if (bootverbose)
885                 ata_prtdev(atadev, "%s setting UDMA2 on ServerWorks chip\n",
886                            (error) ? "failed" : "success");
887             if (!error) {
888                 u_int16_t reg56;
889
890                 pci_write_config(parent, 0x54, 
891                                  pci_read_config(parent, 0x54, 1) |
892                                  (0x01 << devno), 1);
893                 reg56 = pci_read_config(parent, 0x56, 2);
894                 reg56 &= ~(0xf << (devno * 4));
895                 reg56 |= (0x2 << (devno * 4));
896                 pci_write_config(parent, 0x56, reg56, 2);
897                 atadev->mode = ATA_UDMA2;
898                 return;
899             }
900         }
901         if (wdmamode >= 2 && apiomode >= 4) {
902             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
903                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
904             if (bootverbose)
905                 ata_prtdev(atadev, "%s setting WDMA2 on ServerWorks chip\n",
906                            (error) ? "failed" : "success");
907             if (!error) {
908                 int offset = (ch->unit * 2) + (device == ATA_MASTER);
909                 int word44 = pci_read_config(parent, 0x44, 4);
910
911                 pci_write_config(parent, 0x54,
912                                  pci_read_config(parent, 0x54, 1) &
913                                  ~(0x01 << devno), 1);
914                 word44 &= ~(0xff << (offset << 8));
915                 word44 |= (0x20 << (offset << 8));
916                 pci_write_config(parent, 0x44, 0x20, 4);
917                 atadev->mode = ATA_WDMA2;
918                 return;
919             }
920         }
921         /* we could set PIO mode timings, but we assume the BIOS did that */
922         break;
923
924     case 0x4d69105a:    /* Promise TX2 ATA133 controllers */
925     case 0x5275105a:    /* Promise TX2 ATA133 controllers */
926     case 0x6269105a:    /* Promise TX2 ATA133 controllers */
927     case 0x7275105a:    /* Promise TX2 ATA133 controllers */
928         ATA_OUTB(ch->r_bmio, ATA_BMDEVSPEC_0, 0x0b);
929         if (udmamode >= 6 && !(ATA_INB(ch->r_bmio, ATA_BMDEVSPEC_1) & 0x04)) {
930             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
931                                 ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
932             if (bootverbose)
933                 ata_prtdev(atadev, "%s setting UDMA6 on Promise chip\n",
934                            (error) ? "failed" : "success");
935             if (!error) {
936                 atadev->mode = ATA_UDMA6;
937                 return;
938             }
939         }
940         /* FALLTHROUGH */
941
942     case 0x4d68105a:    /* Promise TX2 ATA100 controllers */
943     case 0x6268105a:    /* Promise TX2 ATA100 controllers */
944         ATA_OUTB(ch->r_bmio, ATA_BMDEVSPEC_0, 0x0b);
945         if (udmamode >= 5 && !(ATA_INB(ch->r_bmio, ATA_BMDEVSPEC_1) & 0x04)) {
946             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
947                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
948             if (bootverbose)
949                 ata_prtdev(atadev, "%s setting UDMA5 on Promise chip\n",
950                            (error) ? "failed" : "success");
951             if (!error) {
952                 atadev->mode = ATA_UDMA5;
953                 return;
954             }
955         }
956         ATA_OUTB(ch->r_bmio, ATA_BMDEVSPEC_0, 0x0b);
957         if (udmamode >= 4 && !(ATA_INB(ch->r_bmio, ATA_BMDEVSPEC_1) & 0x04)) {
958             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
959                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
960             if (bootverbose)
961                 ata_prtdev(atadev, "%s setting UDMA4 on Promise chip\n",
962                            (error) ? "failed" : "success");
963             if (!error) {
964                 atadev->mode = ATA_UDMA4;
965                 return;
966             }
967         }
968         if (udmamode >= 2) {
969             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
970                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
971             if (bootverbose)
972                 ata_prtdev(atadev, "%s setting UDMA on Promise chip\n",
973                            (error) ? "failed" : "success");
974             if (!error) {
975                 atadev->mode = ATA_UDMA2;
976                 return;
977             }
978         }
979         if (wdmamode >= 2 && apiomode >= 4) {
980             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
981                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
982             if (bootverbose)
983                 ata_prtdev(atadev, "%s setting WDMA2 on Promise chip\n",
984                            (error) ? "failed" : "success");
985             if (!error) {
986                 atadev->mode = ATA_WDMA2;
987                 return;
988             }
989         }
990         break;
991
992     case 0x0d30105a:    /* Promise OEM ATA100 controllers */
993     case 0x4d30105a:    /* Promise Ultra/FastTrak 100 controllers */
994         if (!ATAPI_DEVICE(ch, device) && udmamode >= 5 && 
995             !(pci_read_config(parent, 0x50, 2)&(ch->unit ? 1<<11 : 1<<10))){
996             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
997                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
998             if (bootverbose)
999                 ata_prtdev(atadev, "%s setting UDMA5 on Promise chip\n",
1000                            (error) ? "failed" : "success");
1001             if (!error) {
1002                 promise_timing(ch, devno, ATA_UDMA5);
1003                 atadev->mode = ATA_UDMA5;
1004                 return;
1005             }
1006         }
1007         /* FALLTHROUGH */
1008
1009     case 0x0d38105a:    /* Promise FastTrak 66 controllers */
1010     case 0x4d38105a:    /* Promise Ultra/FastTrak 66 controllers */
1011         if (!ATAPI_DEVICE(ch, device) && udmamode >= 4 && 
1012             !(pci_read_config(parent, 0x50, 2)&(ch->unit ? 1<<11 : 1<<10))){
1013             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1014                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
1015             if (bootverbose)
1016                 ata_prtdev(atadev, "%s setting UDMA4 on Promise chip\n",
1017                            (error) ? "failed" : "success");
1018             if (!error) {
1019                 promise_timing(ch, devno, ATA_UDMA4);
1020                 atadev->mode = ATA_UDMA4;
1021                 return;
1022             }
1023         }
1024         /* FALLTHROUGH */
1025
1026     case 0x4d33105a:    /* Promise Ultra/FastTrak 33 controllers */
1027         if (!ATAPI_DEVICE(ch, device) && udmamode >= 2) {
1028             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1029                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1030             if (bootverbose)
1031                 ata_prtdev(atadev, "%s setting UDMA2 on Promise chip\n",
1032                            (error) ? "failed" : "success");
1033             if (!error) {
1034                 promise_timing(ch, devno, ATA_UDMA2);
1035                 atadev->mode = ATA_UDMA2;
1036                 return;
1037             }
1038         }
1039         if (!ATAPI_DEVICE(ch, device) && wdmamode >= 2 && apiomode >= 4) {
1040             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1041                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1042             if (bootverbose)
1043                 ata_prtdev(atadev, "%s setting WDMA2 on Promise chip\n",
1044                            (error) ? "failed" : "success");
1045             if (!error) {
1046                 promise_timing(ch, devno, ATA_WDMA2);
1047                 atadev->mode = ATA_WDMA2;
1048                 return;
1049             }
1050         }
1051         error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1052                             ATA_PIO0 + apiomode, 
1053                             ATA_C_F_SETXFER, ATA_WAIT_READY);
1054         if (bootverbose)
1055             ata_prtdev(atadev, "%s setting PIO%d on Promise chip\n",
1056                        (error) ? "failed" : "success",
1057                        (apiomode >= 0) ? apiomode : 0);
1058         promise_timing(ch, devno, ATA_PIO0 + apiomode);
1059         atadev->mode = ATA_PIO0 + apiomode;
1060         return;
1061     
1062     case 0x00041103:    /* HighPoint HPT366/368/370/372 controllers */
1063     case 0x00051103:    /* HighPoint HPT372 controllers */
1064     case 0x00081103:    /* HighPoint HPT374 controllers */
1065         if (!ATAPI_DEVICE(ch, device) && udmamode >= 6 && hpt_cable80(ch) &&
1066             ((ch->chiptype == 0x00041103 && pci_get_revid(parent) >= 0x05) ||
1067              (ch->chiptype == 0x00051103 && pci_get_revid(parent) >= 0x01) ||
1068              (ch->chiptype == 0x00081103 && pci_get_revid(parent) >= 0x07))) {
1069             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1070                                 ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
1071             if (bootverbose)
1072                 ata_prtdev(atadev, "%s setting UDMA6 on HighPoint chip\n",
1073                            (error) ? "failed" : "success");
1074             if (!error) {
1075                 hpt_timing(ch, devno, ATA_UDMA6);
1076                 atadev->mode = ATA_UDMA6;
1077                 return;
1078             }
1079         }
1080         if (!ATAPI_DEVICE(ch, device) && udmamode >= 5 && hpt_cable80(ch) &&
1081             ((ch->chiptype == 0x00041103 && pci_get_revid(parent) >= 0x03) ||
1082              (ch->chiptype == 0x00051103 && pci_get_revid(parent) >= 0x01) ||
1083              (ch->chiptype == 0x00081103 && pci_get_revid(parent) >= 0x07))) {
1084             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1085                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
1086             if (bootverbose)
1087                 ata_prtdev(atadev, "%s setting UDMA5 on HighPoint chip\n",
1088                            (error) ? "failed" : "success");
1089             if (!error) {
1090                 hpt_timing(ch, devno, ATA_UDMA5);
1091                 atadev->mode = ATA_UDMA5;
1092                 return;
1093             }
1094         }
1095         if (!ATAPI_DEVICE(ch, device) && udmamode >= 4 && hpt_cable80(ch)) {
1096             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1097                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
1098             if (bootverbose)
1099                 ata_prtdev(atadev, "%s setting UDMA4 on HighPoint chip\n",
1100                            (error) ? "failed" : "success");
1101             if (!error) {
1102                 hpt_timing(ch, devno, ATA_UDMA4);
1103                 atadev->mode = ATA_UDMA4;
1104                 return;
1105             }
1106         }
1107         if (!ATAPI_DEVICE(ch, device) && udmamode >= 2) {
1108             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1109                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1110             if (bootverbose)
1111                 ata_prtdev(atadev, "%s setting UDMA2 on HighPoint chip\n",
1112                            (error) ? "failed" : "success");
1113             if (!error) {
1114                 hpt_timing(ch, devno, ATA_UDMA2);
1115                 atadev->mode = ATA_UDMA2;
1116                 return;
1117             }
1118         }
1119         if (!ATAPI_DEVICE(ch, device) && wdmamode >= 2 && apiomode >= 4) {
1120             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1121                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1122             if (bootverbose)
1123                 ata_prtdev(atadev, "%s setting WDMA2 on HighPoint chip\n",
1124                            (error) ? "failed" : "success");
1125             if (!error) {
1126                 hpt_timing(ch, devno, ATA_WDMA2);
1127                 atadev->mode = ATA_WDMA2;
1128                 return;
1129             }
1130         }
1131         error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1132                             ATA_PIO0 + apiomode, 
1133                             ATA_C_F_SETXFER, ATA_WAIT_READY);
1134         if (bootverbose)
1135             ata_prtdev(atadev, "%s setting PIO%d on HighPoint chip\n",
1136                        (error) ? "failed" : "success",
1137                        (apiomode >= 0) ? apiomode : 0);
1138         hpt_timing(ch, devno, ATA_PIO0 + apiomode);
1139         atadev->mode = ATA_PIO0 + apiomode;
1140         return;
1141
1142     case 0x000116ca:    /* Cenatek Rocket Drive controller */
1143         if (wdmamode >= 0 &&
1144             (ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) & 
1145              ((device==ATA_MASTER)?ATA_BMSTAT_DMA_MASTER:ATA_BMSTAT_DMA_SLAVE)))
1146             atadev->mode = ATA_DMA;
1147         else
1148             atadev->mode = ATA_PIO;
1149         return;
1150
1151     default:            /* unknown controller chip */
1152         /* better not try generic DMA on ATAPI devices it almost never works */
1153         if ((device == ATA_MASTER && ch->devices & ATA_ATAPI_MASTER) ||
1154             (device == ATA_SLAVE && ch->devices & ATA_ATAPI_SLAVE))
1155             break;
1156
1157         /* if controller says its setup for DMA take the easy way out */
1158         /* the downside is we dont know what DMA mode we are in */
1159         if ((udmamode >= 0 || wdmamode >= 2) &&
1160             (ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) &
1161              ((device==ATA_MASTER) ? 
1162               ATA_BMSTAT_DMA_MASTER : ATA_BMSTAT_DMA_SLAVE))) {
1163             atadev->mode = ATA_DMA;
1164             return;
1165         }
1166
1167         /* well, we have no support for this, but try anyways */
1168         if ((wdmamode >= 2 && apiomode >= 4) && ch->r_bmio) {
1169             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1170                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1171             if (bootverbose)
1172                 ata_prtdev(atadev, "%s setting WDMA2 on generic chip\n",
1173                            (error) ? "failed" : "success");
1174             if (!error) {
1175                 atadev->mode = ATA_WDMA2;
1176                 return;
1177             }
1178         }
1179     }
1180     error = ata_command(atadev, ATA_C_SETFEATURES, 0, ATA_PIO0 + apiomode,
1181                         ATA_C_F_SETXFER, ATA_WAIT_READY);
1182     if (bootverbose)
1183         ata_prtdev(atadev, "%s setting PIO%d on generic chip\n",
1184                    (error) ? "failed" : "success", apiomode < 0 ? 0 : apiomode);
1185     if (!error)
1186         atadev->mode = ATA_PIO0 + apiomode;
1187     else {
1188         if (bootverbose)
1189             ata_prtdev(atadev, "using PIO mode set by BIOS\n");
1190         atadev->mode = ATA_PIO;
1191     }
1192 }
1193
1194 int
1195 ata_dmasetup(struct ata_channel *ch, int device, struct ata_dmaentry *dmatab,
1196              caddr_t data, int32_t count)
1197 {
1198     u_int32_t dma_count, dma_base;
1199     int i = 0;
1200
1201     if (((uintptr_t)data & ch->alignment) || (count & ch->alignment)) {
1202         ata_printf(ch, device, "non aligned DMA transfer attempted\n");
1203         return -1;
1204     }
1205
1206     if (!count) {
1207         ata_printf(ch, device, "zero length DMA transfer attempted\n");
1208         return -1;
1209     }
1210     
1211     dma_base = vtophys(data);
1212     dma_count = imin(count, (PAGE_SIZE - ((uintptr_t)data & PAGE_MASK)));
1213     data += dma_count;
1214     count -= dma_count;
1215
1216     while (count) {
1217         dmatab[i].base = dma_base;
1218         dmatab[i].count = (dma_count & 0xffff);
1219         i++; 
1220         if (i >= ATA_DMA_ENTRIES) {
1221             ata_printf(ch, device, "too many segments in DMA table\n");
1222             return -1;
1223         }
1224         dma_base = vtophys(data);
1225         dma_count = imin(count, PAGE_SIZE);
1226         data += imin(count, PAGE_SIZE);
1227         count -= imin(count, PAGE_SIZE);
1228     }
1229     dmatab[i].base = dma_base;
1230     dmatab[i].count = (dma_count & 0xffff) | ATA_DMA_EOT;
1231     return 0;
1232 }
1233
1234 void
1235 ata_dmastart(struct ata_channel *ch, int device, 
1236              struct ata_dmaentry *dmatab, int dir)
1237 {
1238     ch->flags |= ATA_DMA_ACTIVE;
1239     ATA_OUTL(ch->r_bmio, ATA_BMDTP_PORT, vtophys(dmatab));
1240     ATA_OUTB(ch->r_bmio, ATA_BMCMD_PORT, dir ? ATA_BMCMD_WRITE_READ : 0);
1241     ATA_OUTB(ch->r_bmio, ATA_BMSTAT_PORT, 
1242          (ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) | 
1243           (ATA_BMSTAT_INTERRUPT | ATA_BMSTAT_ERROR)));
1244     ATA_OUTB(ch->r_bmio, ATA_BMCMD_PORT, 
1245          ATA_INB(ch->r_bmio, ATA_BMCMD_PORT) | ATA_BMCMD_START_STOP);
1246 }
1247
1248 int
1249 ata_dmadone(struct ata_channel *ch)
1250 {
1251     int error;
1252
1253     ATA_OUTB(ch->r_bmio, ATA_BMCMD_PORT, 
1254                 ATA_INB(ch->r_bmio, ATA_BMCMD_PORT) & ~ATA_BMCMD_START_STOP);
1255     ch->flags &= ~ATA_DMA_ACTIVE;
1256     error = ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT);
1257     ATA_OUTB(ch->r_bmio, ATA_BMSTAT_PORT, 
1258              error | ATA_BMSTAT_INTERRUPT | ATA_BMSTAT_ERROR);
1259     return error & ATA_BMSTAT_MASK;
1260 }
1261
1262 int
1263 ata_dmastatus(struct ata_channel *ch)
1264 {
1265     return ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) & ATA_BMSTAT_MASK;
1266 }
1267
1268 static void
1269 cyrix_timing(struct ata_channel *ch, int devno, int mode)
1270 {
1271     u_int32_t reg20 = 0x0000e132;
1272     u_int32_t reg24 = 0x00017771;
1273
1274     switch (mode) {
1275     case ATA_PIO0:      reg20 = 0x0000e132; break;
1276     case ATA_PIO1:      reg20 = 0x00018121; break;
1277     case ATA_PIO2:      reg20 = 0x00024020; break;
1278     case ATA_PIO3:      reg20 = 0x00032010; break;
1279     case ATA_PIO4:      reg20 = 0x00040010; break;
1280     case ATA_WDMA2:     reg24 = 0x00002020; break;
1281     case ATA_UDMA2:     reg24 = 0x00911030; break;
1282     }
1283     ATA_OUTL(ch->r_bmio, (devno << 3) + 0x20, reg20);
1284     ATA_OUTL(ch->r_bmio, (devno << 3) + 0x24, reg24);
1285 }
1286
1287 static void
1288 promise_timing(struct ata_channel *ch, int devno, int mode)
1289 {
1290     u_int32_t timing = 0;
1291     struct promise_timing {
1292         u_int8_t  pa:4;
1293         u_int8_t  prefetch:1;
1294         u_int8_t  iordy:1;
1295         u_int8_t  errdy:1;
1296         u_int8_t  syncin:1;
1297         u_int8_t  pb:5;
1298         u_int8_t  mb:3;
1299         u_int8_t  mc:4;
1300         u_int8_t  dmaw:1;
1301         u_int8_t  dmar:1;
1302         u_int8_t  iordyp:1;
1303         u_int8_t  dmarqp:1;
1304         u_int8_t  reserved:8;
1305     } *t = (struct promise_timing*)&timing;
1306
1307     t->iordy = 1; t->iordyp = 1;
1308     if (mode >= ATA_DMA) {
1309         t->prefetch = 1; t->errdy = 1; t->syncin = 1;
1310     }
1311
1312     switch (ch->chiptype) {
1313     case 0x4d33105a:  /* Promise Ultra/Fasttrak 33 */
1314         switch (mode) {
1315         default:
1316         case ATA_PIO0:  t->pa =  9; t->pb = 19; t->mb = 7; t->mc = 15; break;
1317         case ATA_PIO1:  t->pa =  5; t->pb = 12; t->mb = 7; t->mc = 15; break;
1318         case ATA_PIO2:  t->pa =  3; t->pb =  8; t->mb = 7; t->mc = 15; break;
1319         case ATA_PIO3:  t->pa =  2; t->pb =  6; t->mb = 7; t->mc = 15; break;
1320         case ATA_PIO4:  t->pa =  1; t->pb =  4; t->mb = 7; t->mc = 15; break;
1321         case ATA_WDMA2: t->pa =  3; t->pb =  7; t->mb = 3; t->mc =  3; break;
1322         case ATA_UDMA2: t->pa =  3; t->pb =  7; t->mb = 1; t->mc =  1; break;
1323         }
1324         break;
1325
1326     case 0x4d38105a:  /* Promise Ultra/Fasttrak 66 */
1327     case 0x4d30105a:  /* Promise Ultra/Fasttrak 100 */
1328     case 0x0d30105a:  /* Promise OEM ATA 100 */
1329         switch (mode) {
1330         default:
1331         case ATA_PIO0:  t->pa = 15; t->pb = 31; t->mb = 7; t->mc = 15; break;
1332         case ATA_PIO1:  t->pa = 10; t->pb = 24; t->mb = 7; t->mc = 15; break;
1333         case ATA_PIO2:  t->pa =  6; t->pb = 16; t->mb = 7; t->mc = 15; break;
1334         case ATA_PIO3:  t->pa =  4; t->pb = 12; t->mb = 7; t->mc = 15; break;
1335         case ATA_PIO4:  t->pa =  2; t->pb =  8; t->mb = 7; t->mc = 15; break;
1336         case ATA_WDMA2: t->pa =  6; t->pb = 14; t->mb = 6; t->mc =  6; break;
1337         case ATA_UDMA2: t->pa =  6; t->pb = 14; t->mb = 2; t->mc =  2; break;
1338         case ATA_UDMA4: t->pa =  3; t->pb =  7; t->mb = 1; t->mc =  1; break;
1339         case ATA_UDMA5: t->pa =  3; t->pb =  7; t->mb = 1; t->mc =  1; break;
1340         }
1341         break;
1342     }
1343     pci_write_config(device_get_parent(ch->dev), 0x60 + (devno<<2), timing, 4);
1344 }
1345
1346 static void
1347 hpt_timing(struct ata_channel *ch, int devno, int mode)
1348 {
1349     device_t parent = device_get_parent(ch->dev);
1350     u_int32_t timing;
1351
1352     if (ch->chiptype == 0x00081103 && pci_get_revid(parent) >= 0x07) {
1353         switch (mode) {                                         /* HPT374 */
1354         case ATA_PIO0:  timing = 0x0ac1f48a; break;
1355         case ATA_PIO1:  timing = 0x0ac1f465; break;
1356         case ATA_PIO2:  timing = 0x0a81f454; break;
1357         case ATA_PIO3:  timing = 0x0a81f443; break;
1358         case ATA_PIO4:  timing = 0x0a81f442; break;
1359         case ATA_WDMA2: timing = 0x22808242; break;
1360         case ATA_UDMA2: timing = 0x120c8242; break;
1361         case ATA_UDMA4: timing = 0x12ac8242; break;
1362         case ATA_UDMA5: timing = 0x12848242; break;
1363         case ATA_UDMA6: timing = 0x12808242; break;
1364         default:        timing = 0x0d029d5e;
1365         }
1366     }
1367     else if ((ch->chiptype == 0x00041103 && pci_get_revid(parent) >= 0x05) ||
1368              (ch->chiptype == 0x00051103 && pci_get_revid(parent) >= 0x01)) {
1369         switch (mode) {                                         /* HPT372 */
1370         case ATA_PIO0:  timing = 0x0d029d5e; break;
1371         case ATA_PIO1:  timing = 0x0d029d26; break;
1372         case ATA_PIO2:  timing = 0x0c829ca6; break;
1373         case ATA_PIO3:  timing = 0x0c829c84; break;
1374         case ATA_PIO4:  timing = 0x0c829c62; break;
1375         case ATA_WDMA2: timing = 0x2c829262; break;
1376         case ATA_UDMA2: timing = 0x1c91dc62; break;
1377         case ATA_UDMA4: timing = 0x1c8ddc62; break;
1378         case ATA_UDMA5: timing = 0x1c6ddc62; break;
1379         case ATA_UDMA6: timing = 0x1c81dc62; break;
1380         default:        timing = 0x0d029d5e;
1381         }
1382     }
1383     else if (ch->chiptype == 0x00041103 && pci_get_revid(parent) >= 0x03) {
1384         switch (mode) {                                         /* HPT370 */
1385         case ATA_PIO0:  timing = 0x06914e57; break;
1386         case ATA_PIO1:  timing = 0x06914e43; break;
1387         case ATA_PIO2:  timing = 0x06514e33; break;
1388         case ATA_PIO3:  timing = 0x06514e22; break;
1389         case ATA_PIO4:  timing = 0x06514e21; break;
1390         case ATA_WDMA2: timing = 0x26514e21; break;
1391         case ATA_UDMA2: timing = 0x16494e31; break;
1392         case ATA_UDMA4: timing = 0x16454e31; break;
1393         case ATA_UDMA5: timing = 0x16454e31; break;
1394         default:        timing = 0x06514e57;
1395         }
1396         pci_write_config(parent, 0x40 + (devno << 2) , timing, 4);
1397     }
1398     else {                                                      /* HPT36[68] */
1399         switch (pci_read_config(parent, 0x41 + (devno << 2), 1)) {
1400         case 0x85:      /* 25Mhz */
1401             switch (mode) {
1402             case ATA_PIO0:      timing = 0x40d08585; break;
1403             case ATA_PIO1:      timing = 0x40d08572; break;
1404             case ATA_PIO2:      timing = 0x40ca8542; break;
1405             case ATA_PIO3:      timing = 0x40ca8532; break;
1406             case ATA_PIO4:      timing = 0x40ca8521; break;
1407             case ATA_WDMA2:     timing = 0x20ca8521; break;
1408             case ATA_UDMA2:     timing = 0x10cf8521; break;
1409             case ATA_UDMA4:     timing = 0x10c98521; break;
1410             default:            timing = 0x01208585;
1411             }
1412             break;
1413         default:
1414         case 0xa7:      /* 33MHz */
1415             switch (mode) {
1416             case ATA_PIO0:      timing = 0x40d0a7aa; break;
1417             case ATA_PIO1:      timing = 0x40d0a7a3; break;
1418             case ATA_PIO2:      timing = 0x40d0a753; break;
1419             case ATA_PIO3:      timing = 0x40c8a742; break;
1420             case ATA_PIO4:      timing = 0x40c8a731; break;
1421             case ATA_WDMA2:     timing = 0x20c8a731; break;
1422             case ATA_UDMA2:     timing = 0x10caa731; break;
1423             case ATA_UDMA4:     timing = 0x10c9a731; break;
1424             default:            timing = 0x0120a7a7;
1425             }
1426             break;
1427         case 0xd9:      /* 40Mhz */
1428             switch (mode) {
1429             case ATA_PIO0:      timing = 0x4018d9d9; break;
1430             case ATA_PIO1:      timing = 0x4010d9c7; break;
1431             case ATA_PIO2:      timing = 0x4010d997; break;
1432             case ATA_PIO3:      timing = 0x4010d974; break;
1433             case ATA_PIO4:      timing = 0x4008d963; break;
1434             case ATA_WDMA2:     timing = 0x2008d943; break;
1435             case ATA_UDMA2:     timing = 0x100bd943; break;
1436             case ATA_UDMA4:     timing = 0x100fd943; break;
1437             default:            timing = 0x0120d9d9;
1438             }
1439         }
1440     }
1441     pci_write_config(parent, 0x40 + (devno << 2) , timing, 4);
1442 }
1443
1444 static int
1445 hpt_cable80(struct ata_channel *ch)
1446 {
1447     device_t parent = device_get_parent(ch->dev);
1448     u_int8_t reg, val, res;
1449
1450     if (ch->chiptype == 0x00081103 && pci_get_function(parent) == 1) {
1451         reg = ch->unit ? 0x57 : 0x53;
1452         val = pci_read_config(parent, reg, 1);
1453         pci_write_config(parent, reg, val | 0x80, 1);
1454     }
1455     else {
1456         reg = 0x5b;
1457         val = pci_read_config(parent, reg, 1);
1458         pci_write_config(parent, reg, val & 0xfe, 1);
1459     }
1460     res = pci_read_config(parent, 0x5a, 1) & (ch->unit ? 0x01 : 0x02);
1461     pci_write_config(parent, reg, val, 1);
1462     return !res;
1463 }