ATAng stage 3: sync additional atang from 4.x, mostly non-opertional changes,
[dragonfly.git] / sys / dev / disk / ata / ata-dma.c
1 /*-
2  * Copyright (c) 1998,1999,2000,2001,2002 Søren Schmidt <sos@FreeBSD.org>
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer,
10  *    without modification, immediately at the beginning of the file.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  * 3. The name of the author may not be used to endorse or promote products
15  *    derived from this software without specific prior written permission.
16  *
17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27  *
28  * $FreeBSD: src/sys/dev/ata/ata-dma.c,v 1.35.2.31 2003/05/07 16:46:11 jhb Exp $
29  * $DragonFly: src/sys/dev/disk/ata/ata-dma.c,v 1.12 2004/02/18 01:35:59 dillon Exp $
30  */
31
32 #include <sys/param.h>
33 #include <sys/systm.h>
34 #include <sys/ata.h>
35 #include <sys/buf.h>
36 #include <sys/malloc.h> 
37 #include <sys/mpipe.h> 
38 #include <sys/bus.h>
39 #include <sys/disk.h>
40 #include <sys/devicestat.h>
41 #include <vm/vm.h>           
42 #include <vm/pmap.h>
43 #include <bus/pci/pcivar.h>
44 #include <machine/bus.h>
45 #include <sys/rman.h>
46 #include "ata-all.h"
47
48 /* prototypes */
49 static void cyrix_timing(struct ata_device *, int, int);
50 static void promise_timing(struct ata_device *, int, int);
51 static void hpt_timing(struct ata_device *, int, int);
52 static int hpt_cable80(struct ata_device *);
53
54 /* misc defines */
55 #ifdef __alpha__
56 #undef vtophys
57 #define vtophys(va)     alpha_XXX_dmamap((vm_offset_t)va)
58 #endif
59 #define ATAPI_DEVICE(atadev) \
60         ((atadev->unit == ATA_MASTER && \
61           atadev->channel->devices & ATA_ATAPI_MASTER) || \
62          (atadev->unit == ATA_SLAVE && \
63          atadev->channel->devices & ATA_ATAPI_SLAVE))
64
65 void *
66 ata_dmaalloc(struct ata_channel *ch, int device, int flags)
67 {
68     void *dmatab;
69
70     KKASSERT(ch->dma_mpipe.max_count != 0);
71     dmatab = mpipe_alloc(&ch->dma_mpipe, flags);
72     KKASSERT(((uintptr_t)dmatab & PAGE_MASK) == 0);
73     return (dmatab);
74 }
75
76 void
77 ata_dmafree(struct ata_channel *ch, void *dmatab)
78 {
79     if (dmatab)
80         mpipe_free(&ch->dma_mpipe, dmatab);
81 }
82
83 void
84 ata_dmainit(struct ata_device *atadev, int apiomode, int wdmamode, int udmamode)
85 {
86     device_t parent = device_get_parent(atadev->channel->dev);
87     int chiptype = atadev->channel->chiptype;
88     int chiprev = pci_get_revid(parent);
89     int channel = atadev->channel->unit;
90     int device = ATA_DEV(atadev->unit);
91     int devno = (channel << 1) + device;
92     int error;
93
94     /* set our most pessimistic default mode */
95     atadev->mode = ATA_PIO;
96
97     if (!atadev->channel->r_bmio)
98         return;
99
100     /* if simplex controller, only allow DMA on primary channel */
101     if (channel == 1) {
102         ATA_OUTB(atadev->channel->r_bmio, ATA_BMSTAT_PORT,
103                  ATA_INB(atadev->channel->r_bmio, ATA_BMSTAT_PORT) &
104                  (ATA_BMSTAT_DMA_MASTER | ATA_BMSTAT_DMA_SLAVE));
105         if (ATA_INB(atadev->channel->r_bmio, ATA_BMSTAT_PORT) & 
106             ATA_BMSTAT_DMA_SIMPLEX) {
107             ata_prtdev(atadev, "simplex device, DMA on primary only\n");
108             return;
109         }
110     }
111
112     /* DMA engine address alignment is usually 1 word (2 bytes) */
113     atadev->channel->alignment = 0x1;
114
115 #if 1
116     if (udmamode > 2 && !atadev->param->hwres_cblid) {
117         ata_prtdev(atadev,"DMA limited to UDMA33, non-ATA66 cable or device\n");
118         udmamode = 2;
119     }
120 #endif
121     switch (chiptype) {
122
123     case 0x24db8086:    /* Intel ICH5 */
124     case 0x24ca8086:    /* Intel ICH4 mobile */
125     case 0x24cb8086:    /* Intel ICH4 */
126     case 0x248a8086:    /* Intel ICH3 mobile */ 
127     case 0x248b8086:    /* Intel ICH3 */
128     case 0x244a8086:    /* Intel ICH2 mobile */ 
129     case 0x244b8086:    /* Intel ICH2 */
130         if (udmamode >= 5) {
131             int32_t mask48, new48;
132             int16_t word54;
133
134             word54 = pci_read_config(parent, 0x54, 2);
135             if (word54 & (0x10 << devno)) {
136                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
137                                     ATA_UDMA5,  ATA_C_F_SETXFER,ATA_WAIT_READY);
138                 if (bootverbose)
139                     ata_prtdev(atadev, "%s setting UDMA5 on Intel chip\n",
140                                (error) ? "failed" : "success");
141                 if (!error) {
142                     mask48 = (1 << devno) + (3 << (16 + (devno << 2)));
143                     new48 = (1 << devno) + (1 << (16 + (devno << 2)));
144                     pci_write_config(parent, 0x48,
145                                      (pci_read_config(parent, 0x48, 4) &
146                                      ~mask48) | new48, 4);
147                     pci_write_config(parent, 0x54, word54 | (0x1000<<devno), 2);
148                     atadev->mode = ATA_UDMA5;
149                     return;
150                 }
151             }
152         }
153         /* make sure eventual ATA100 mode from the BIOS is disabled */
154         pci_write_config(parent, 0x54, 
155                          pci_read_config(parent, 0x54, 2) & ~(0x1000<<devno),2);
156         /* FALLTHROUGH */
157
158     case 0x24118086:    /* Intel ICH */
159     case 0x76018086:    /* Intel ICH */
160         if (udmamode >= 4) {
161             int32_t mask48, new48;
162             int16_t word54;
163
164             word54 = pci_read_config(parent, 0x54, 2);
165             if (word54 & (0x10 << devno)) {
166                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
167                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
168                 if (bootverbose)
169                     ata_prtdev(atadev, "%s setting UDMA4 on Intel chip\n",
170                                (error) ? "failed" : "success");
171                 if (!error) {
172                     mask48 = (1 << devno) + (3 << (16 + (devno << 2)));
173                     new48 = (1 << devno) + (2 << (16 + (devno << 2)));
174                     pci_write_config(parent, 0x48,
175                                      (pci_read_config(parent, 0x48, 4) &
176                                      ~mask48) | new48, 4);
177                     pci_write_config(parent, 0x54, word54 | (1 << devno), 2);
178                     atadev->mode = ATA_UDMA4;
179                     return;
180                 }
181             }
182         }           
183         /* make sure eventual ATA66 mode from the BIOS is disabled */
184         pci_write_config(parent, 0x54, 
185                          pci_read_config(parent, 0x54, 2) & ~(1 << devno), 2);
186         /* FALLTHROUGH */
187
188     case 0x71118086:    /* Intel PIIX4 */
189     case 0x84CA8086:    /* Intel PIIX4 */
190     case 0x71998086:    /* Intel PIIX4e */
191     case 0x24218086:    /* Intel ICH0 */
192         if (udmamode >= 2) {
193             int32_t mask48, new48;
194
195             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
196                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
197             if (bootverbose)
198                 ata_prtdev(atadev, "%s setting UDMA2 on Intel chip\n",
199                            (error) ? "failed" : "success");
200             if (!error) {
201                 mask48 = (1 << devno) + (3 << (16 + (devno << 2)));
202                 new48 = (1 << devno) + (2 << (16 + (devno << 2)));
203                 pci_write_config(parent, 0x48, 
204                                  (pci_read_config(parent, 0x48, 4) &
205                                  ~mask48) | new48, 4);
206                 atadev->mode = ATA_UDMA2;
207                 return;
208             }
209         }
210         /* make sure eventual ATA33 mode from the BIOS is disabled */
211         pci_write_config(parent, 0x48, 
212                          pci_read_config(parent, 0x48, 4) & ~(1 << devno), 4);
213         /* FALLTHROUGH */
214
215     case 0x70108086:    /* Intel PIIX3 */
216         if (wdmamode >= 2 && apiomode >= 4) {
217             int32_t mask40, new40, mask44, new44;
218
219             /* if SITRE not set doit for both channels */
220             if (!((pci_read_config(parent,0x40,4)>>(channel<<8))&0x4000)) {
221                 new40 = pci_read_config(parent, 0x40, 4);
222                 new44 = pci_read_config(parent, 0x44, 4); 
223                 if (!(new40 & 0x00004000)) {
224                     new44 &= ~0x0000000f;
225                     new44 |= ((new40&0x00003000)>>10)|((new40&0x00000300)>>8);
226                 }
227                 if (!(new40 & 0x40000000)) {
228                     new44 &= ~0x000000f0;
229                     new44 |= ((new40&0x30000000)>>22)|((new40&0x03000000)>>20);
230                 }
231                 new40 |= 0x40004000;
232                 pci_write_config(parent, 0x40, new40, 4);
233                 pci_write_config(parent, 0x44, new44, 4);
234             }
235             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
236                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
237             if (bootverbose)
238                 ata_prtdev(atadev, "%s setting WDMA2 on Intel chip\n",
239                            (error) ? "failed" : "success");
240             if (!error) {
241                 if (device == ATA_MASTER) {
242                     mask40 = 0x0000330f;
243                     new40 = 0x00002307;
244                     mask44 = 0;
245                     new44 = 0;
246                 }
247                 else {
248                     mask40 = 0x000000f0;
249                     new40 = 0x00000070;
250                     mask44 = 0x0000000f;
251                     new44 = 0x0000000b;
252                 }
253                 if (channel) {
254                     mask40 <<= 16;
255                     new40 <<= 16;
256                     mask44 <<= 4;
257                     new44 <<= 4;
258                 }
259                 pci_write_config(parent, 0x40,
260                                  (pci_read_config(parent, 0x40, 4) & ~mask40)|
261                                  new40, 4);
262                 pci_write_config(parent, 0x44,
263                                  (pci_read_config(parent, 0x44, 4) & ~mask44)|
264                                  new44, 4);
265                 atadev->mode = ATA_WDMA2;
266                 return;
267             }
268         }
269         /* we could set PIO mode timings, but we assume the BIOS did that */
270         break;
271
272     case 0x12308086:    /* Intel PIIX */
273         if (wdmamode >= 2 && apiomode >= 4) {
274             int32_t word40;
275
276             word40 = pci_read_config(parent, 0x40, 4);
277             word40 >>= channel * 16;
278
279             /* Check for timing config usable for DMA on controller */
280             if (!((word40 & 0x3300) == 0x2300 &&
281                   ((word40 >> (device == ATA_MASTER ? 0 : 4)) & 1) == 1))
282                 break;
283
284             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
285                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
286             if (bootverbose)
287                 ata_prtdev(atadev, "%s setting WDMA2 on Intel chip\n",
288                            (error) ? "failed" : "success");
289             if (!error) {
290                 atadev->mode = ATA_WDMA2;
291                 return;
292             }
293         }
294         break;
295
296     case 0x522910b9:    /* AcerLabs Aladdin IV/V */
297         /* the older Aladdin doesn't support ATAPI DMA on both master & slave */
298         if (chiprev < 0xc2 &&
299             atadev->channel->devices & ATA_ATAPI_MASTER && 
300             atadev->channel->devices & ATA_ATAPI_SLAVE) {
301             ata_prtdev(atadev, "two atapi devices on this channel, no DMA\n");
302             break;
303         }
304         if (udmamode >= 5 && chiprev >= 0xc4) {
305             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
306                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
307             if (bootverbose)
308                 ata_prtdev(atadev, "%s setting UDMA5 on Acer chip\n",
309                            (error) ? "failed" : "success");
310             if (!error) {
311                 int32_t word54 = pci_read_config(parent, 0x54, 4);
312         
313                 pci_write_config(parent, 0x4b,
314                                  pci_read_config(parent, 0x4b, 1) | 0x01, 1);
315                 word54 &= ~(0x000f000f << (devno << 2));
316                 word54 |= (0x000f0005 << (devno << 2));
317                 pci_write_config(parent, 0x54, word54, 4);
318                 pci_write_config(parent, 0x53, 
319                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
320                 atadev->mode = ATA_UDMA5;
321                 return;
322             }
323         }
324         if (udmamode >= 4 && chiprev >= 0xc2) {
325             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
326                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
327             if (bootverbose)
328                 ata_prtdev(atadev, "%s setting UDMA4 on Acer chip\n",
329                            (error) ? "failed" : "success");
330             if (!error) {
331                 int32_t word54 = pci_read_config(parent, 0x54, 4);
332         
333                 pci_write_config(parent, 0x4b,
334                                  pci_read_config(parent, 0x4b, 1) | 0x01, 1);
335                 word54 &= ~(0x000f000f << (devno << 2));
336                 word54 |= (0x00080005 << (devno << 2));
337                 pci_write_config(parent, 0x54, word54, 4);
338                 pci_write_config(parent, 0x53, 
339                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
340                 atadev->mode = ATA_UDMA4;
341                 return;
342             }
343         }
344         if (udmamode >= 2 && chiprev >= 0x20) {
345             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
346                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
347             if (bootverbose)
348                 ata_prtdev(atadev, "%s setting UDMA2 on Acer chip\n",
349                            (error) ? "failed" : "success");
350             if (!error) {
351                 int32_t word54 = pci_read_config(parent, 0x54, 4);
352         
353                 word54 &= ~(0x000f000f << (devno << 2));
354                 word54 |= (0x000a0005 << (devno << 2));
355                 pci_write_config(parent, 0x54, word54, 4);
356                 pci_write_config(parent, 0x53, 
357                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
358                 atadev->channel->flags |= ATA_ATAPI_DMA_RO;
359                 atadev->mode = ATA_UDMA2;
360                 return;
361             }
362         }
363
364         /* make sure eventual UDMA mode from the BIOS is disabled */
365         pci_write_config(parent, 0x56, pci_read_config(parent, 0x56, 2) &
366                                        ~(0x0008 << (devno << 2)), 2);
367
368         if (wdmamode >= 2 && apiomode >= 4) {
369             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
370                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
371             if (bootverbose)
372                 ata_prtdev(atadev, "%s setting WDMA2 on Acer chip\n",
373                            (error) ? "failed" : "success");
374             if (!error) {
375                 pci_write_config(parent, 0x53, 
376                                  pci_read_config(parent, 0x53, 1) | 0x03, 1);
377                 atadev->channel->flags |= ATA_ATAPI_DMA_RO;
378                 atadev->mode = ATA_WDMA2;
379                 return;
380             }
381         }
382         pci_write_config(parent, 0x53,
383                          (pci_read_config(parent, 0x53, 1) & ~0x01) | 0x02, 1);
384         /* we could set PIO mode timings, but we assume the BIOS did that */
385         break;
386
387     case 0x01bc10de:    /* NVIDIA nForce */
388     case 0x006510de:    /* NVIDIA nForce2 */
389     case 0x74411022:    /* AMD 768 */
390     case 0x74111022:    /* AMD 766 */
391     case 0x74091022:    /* AMD 756 */
392     case 0x74691022:    /* AMD 8111 */
393     case 0x05711106:    /* VIA 82C571, 82C586, 82C596, 82C686, 8231,8233,8235 */
394         {
395             int via_modes[5][7] = {
396                 { 0x00, 0x00, 0xc0, 0x00, 0x00, 0x00, 0x00 },   /* ATA33 */
397                 { 0x00, 0x00, 0xea, 0x00, 0xe8, 0x00, 0x00 },   /* ATA66 */
398                 { 0x00, 0x00, 0xf4, 0x00, 0xf1, 0xf0, 0x00 },   /* ATA100 */
399                 { 0x00, 0x00, 0xf6, 0x00, 0xf2, 0xf1, 0xf0 },   /* VIA ATA133 */
400                 { 0x00, 0x00, 0xc0, 0x00, 0xc5, 0xc6, 0xc7 }};  /* AMD/NVIDIA */
401             int *reg_val = NULL;
402             char *chip = "VIA";
403
404             if (ata_find_dev(parent, 0x31471106, 0) ||          /* 8233a */
405                 ata_find_dev(parent, 0x31771106, 0)) {          /* 8235 */
406                 udmamode = imin(udmamode, 6);
407                 reg_val = via_modes[3];
408             }
409             else if (ata_find_dev(parent, 0x06861106, 0x40) ||  /* 82C686b */
410                 ata_find_dev(parent, 0x82311106, 0) ||          /* 8231 */
411                 ata_find_dev(parent, 0x30741106, 0) ||          /* 8233 */
412                 ata_find_dev(parent, 0x31091106, 0)) {          /* 8233c */
413                 udmamode = imin(udmamode, 5);
414                 reg_val = via_modes[2];
415             }
416             else if (ata_find_dev(parent, 0x06861106, 0x10) ||  /* 82C686a */
417                      ata_find_dev(parent, 0x05961106, 0x12)) {  /* 82C596b */
418                 udmamode = imin(udmamode, 4);
419                 reg_val = via_modes[1];
420             }
421             else if (ata_find_dev(parent, 0x06861106, 0)) {     /* 82C686 */
422                 udmamode = imin(udmamode, 2);
423                 reg_val = via_modes[1];
424             }
425             else if (ata_find_dev(parent, 0x05961106, 0) ||     /* 82C596a */
426                      ata_find_dev(parent, 0x05861106, 0x03)) {  /* 82C586b */
427                 udmamode = imin(udmamode, 2);
428                 reg_val = via_modes[0];
429             }
430             else if (chiptype == 0x74411022 ||          /* AMD 768 */
431                      chiptype == 0x74111022) {          /* AMD 766 */
432                 udmamode = imin(udmamode, 5);
433                 reg_val = via_modes[4];
434                 chip = "AMD";
435             }
436             else if (chiptype == 0x74691022) {          /* AMD 8111 */
437                 udmamode = imin(udmamode, 6);
438                 reg_val = via_modes[4];
439                 chip = "AMD";
440             }
441             else if (chiptype == 0x74091022) {          /* AMD 756 */
442                 udmamode = imin(udmamode, 4);
443                 reg_val = via_modes[4];
444                 chip = "AMD";
445             }
446             else if (chiptype == 0x01bc10de) {          /* nForce */
447                 udmamode = imin(udmamode, 5);
448                 reg_val = via_modes[4];
449                 chip = "NVIDIA";
450             }
451             else if (chiptype == 0x006510de) {          /* nForce2 */
452                 udmamode = imin(udmamode, 6);
453                 reg_val = via_modes[4];
454                 chip = "NVIDIA";
455             }
456             else 
457                 udmamode = 0;
458
459             if (udmamode >= 6) {
460                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
461                                     ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
462                 if (bootverbose)
463                     ata_prtdev(atadev, "%s setting UDMA6 on %s chip\n",
464                                (error) ? "failed" : "success", chip);
465                 if (!error) {
466                     pci_write_config(parent, 0x53 - devno, reg_val[6], 1);
467                     atadev->mode = ATA_UDMA6;
468                     return;
469                 }
470             }
471             if (udmamode >= 5) {
472                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
473                                     ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
474                 if (bootverbose)
475                     ata_prtdev(atadev, "%s setting UDMA5 on %s chip\n",
476                                (error) ? "failed" : "success", chip);
477                 if (!error) {
478                     pci_write_config(parent, 0x53 - devno, reg_val[5], 1);
479                     atadev->mode = ATA_UDMA5;
480                     return;
481                 }
482             }
483             if (udmamode >= 4) {
484                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
485                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
486                 if (bootverbose)
487                     ata_prtdev(atadev, "%s setting UDMA4 on %s chip\n",
488                                (error) ? "failed" : "success", chip);
489                 if (!error) {
490                     pci_write_config(parent, 0x53 - devno, reg_val[4], 1);
491                     atadev->mode = ATA_UDMA4;
492                     return;
493                 }
494             }
495             if (udmamode >= 2) {
496                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
497                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
498                 if (bootverbose)
499                     ata_prtdev(atadev, "%s setting UDMA2 on %s chip\n",
500                                (error) ? "failed" : "success", chip);
501                 if (!error) {
502                     pci_write_config(parent, 0x53 - devno, reg_val[2], 1);
503                     atadev->mode = ATA_UDMA2;
504                     return;
505                 }
506             }
507             if (wdmamode >= 2 && apiomode >= 4) {
508                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
509                                     ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
510                 if (bootverbose)
511                     ata_prtdev(atadev, "%s setting WDMA2 on %s chip\n",
512                                (error) ? "failed" : "success", chip);
513                 if (!error) {
514                     pci_write_config(parent, 0x53 - devno, 0x0b, 1);
515                     pci_write_config(parent, 0x4b - devno, 0x31, 1);
516                     atadev->mode = ATA_WDMA2;
517                     return;
518                 }
519             }
520         }
521         /* we could set PIO mode timings, but we assume the BIOS did that */
522         break;
523
524     case 0x55131039:    /* SiS 5591 */
525         if (ata_find_dev(parent, 0x06301039, 0x30) ||   /* SiS 630 */
526             ata_find_dev(parent, 0x06331039, 0) ||      /* SiS 633 */
527             ata_find_dev(parent, 0x06351039, 0) ||      /* SiS 635 */
528             ata_find_dev(parent, 0x06401039, 0) ||      /* SiS 640 */
529             ata_find_dev(parent, 0x06451039, 0) ||      /* SiS 645 */
530             ata_find_dev(parent, 0x06461039, 0) ||      /* SiS 645DX */
531             ata_find_dev(parent, 0x06481039, 0) ||      /* SiS 648 */
532             ata_find_dev(parent, 0x06501039, 0) ||      /* SiS 650 */
533             ata_find_dev(parent, 0x07301039, 0) ||      /* SiS 730 */
534             ata_find_dev(parent, 0x07331039, 0) ||      /* SiS 733 */
535             ata_find_dev(parent, 0x07351039, 0) ||      /* SiS 735 */
536             ata_find_dev(parent, 0x07401039, 0) ||      /* SiS 740 */
537             ata_find_dev(parent, 0x07451039, 0) ||      /* SiS 745 */
538             ata_find_dev(parent, 0x07461039, 0) ||      /* SiS 746 */
539             ata_find_dev(parent, 0x07501039, 0)) {      /* SiS 750 */
540             int8_t reg = 0x40 + (devno << 1);
541             int16_t val = pci_read_config(parent, reg, 2) & 0x0fff;
542
543             if (udmamode >= 5) {
544                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
545                                     ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
546                 if (bootverbose)
547                     ata_prtdev(atadev, "%s setting UDMA5 on SiS chip\n",
548                                (error) ? "failed" : "success");
549                 if (!error) {
550                     pci_write_config(parent, reg, val | 0x8000, 2);
551                     atadev->mode = ATA_UDMA5;
552                     return;
553                 }
554             }
555             if (udmamode >= 4) {
556                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
557                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
558                 if (bootverbose)
559                     ata_prtdev(atadev, "%s setting UDMA4 on SiS chip\n",
560                                (error) ? "failed" : "success");
561                 if (!error) {
562                     pci_write_config(parent, reg, val | 0x9000, 2);
563                     atadev->mode = ATA_UDMA4;
564                     return;
565                 }
566             }
567             if (udmamode >= 2) {
568                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
569                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
570                 if (bootverbose)
571                     ata_prtdev(atadev, "%s setting UDMA2 on SiS chip\n",
572                                (error) ? "failed" : "success");
573                 if (!error) {
574                     pci_write_config(parent, reg, val | 0xb000, 2);
575                     atadev->mode = ATA_UDMA2;
576                     return;
577                 }
578             }
579         } else if (ata_find_dev(parent, 0x05301039, 0) || /* SiS 530 */
580                    ata_find_dev(parent, 0x05401039, 0) || /* SiS 540 */
581                    ata_find_dev(parent, 0x06201039, 0) || /* SiS 620 */
582                    ata_find_dev(parent, 0x06301039, 0)) { /* SiS 630 */
583             int8_t reg = 0x40 + (devno << 1);
584             int16_t val = pci_read_config(parent, reg, 2) & 0x0fff;
585
586             if (udmamode >= 4) {
587                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
588                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
589                 if (bootverbose)
590                     ata_prtdev(atadev, "%s setting UDMA4 on SiS chip\n",
591                                (error) ? "failed" : "success");
592                 if (!error) {
593                     pci_write_config(parent, reg, val | 0x9000, 2);
594                     atadev->mode = ATA_UDMA4;
595                     return;
596                 }
597             }
598             if (udmamode >= 2) {
599                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
600                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
601                 if (bootverbose)
602                     ata_prtdev(atadev, "%s setting UDMA2 on SiS chip\n",
603                                (error) ? "failed" : "success");
604                 if (!error) {
605                     pci_write_config(parent, reg, val | 0xa000, 2);
606                     atadev->mode = ATA_UDMA2;
607                     return;
608                 }
609             }
610         } else if (udmamode >= 2 && chiprev > 0xc1) {
611             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
612                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
613             if (bootverbose)
614                 ata_prtdev(atadev, "%s setting UDMA2 on SiS chip\n",
615                            (error) ? "failed" : "success");
616             if (!error) {
617                 pci_write_config(parent, 0x40 + (devno << 1), 0xa301, 2);
618                 atadev->mode = ATA_UDMA2;
619                 return;
620             }
621         }
622         if (wdmamode >=2 && apiomode >= 4) {
623             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
624                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
625             if (bootverbose)
626                 ata_prtdev(atadev, "%s setting WDMA2 on SiS chip\n",
627                            (error) ? "failed" : "success");
628             if (!error) {
629                 pci_write_config(parent, 0x40 + (devno << 1), 0x0301, 2);
630                 atadev->mode = ATA_WDMA2;
631                 return;
632             }
633         }
634         /* we could set PIO mode timings, but we assume the BIOS did that */
635         break;
636
637     case 0x06801095:    /* SiI 0680 ATA133 controller */
638         {
639             u_int8_t ureg = 0xac + (device * 0x02) + (channel * 0x10);
640             u_int8_t uval = pci_read_config(parent, ureg, 1);
641             u_int8_t mreg = channel ? 0x84 : 0x80;
642             u_int8_t mask = device ? 0x30 : 0x03;
643             u_int8_t mode = pci_read_config(parent, mreg, 1);
644
645             /* enable UDMA mode */
646             pci_write_config(parent, mreg,
647                              (mode & ~mask) | (device ? 0x30 : 0x03), 1);
648             if (udmamode >= 6) {
649                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
650                                     ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
651                 if (bootverbose)
652                     ata_prtdev(atadev, "%s setting UDMA6 on SiI chip\n",
653                                (error) ? "failed" : "success");
654                 if (!error) {
655                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x01, 1);
656                     atadev->mode = ATA_UDMA6;
657                     return;
658                 }
659             }
660             if (udmamode >= 5) {
661                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
662                                     ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
663                 if (bootverbose)
664                     ata_prtdev(atadev, "%s setting UDMA5 on SiI chip\n",
665                                (error) ? "failed" : "success");
666                 if (!error) {
667                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x02, 1);
668                     atadev->mode = ATA_UDMA5;
669                     return;
670                 }
671             }
672             if (udmamode >= 4) {
673                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
674                                     ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
675                 if (bootverbose)
676                     ata_prtdev(atadev, "%s setting UDMA4 on SiI chip\n",
677                                (error) ? "failed" : "success");
678                 if (!error) {
679                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x03, 1);
680                     atadev->mode = ATA_UDMA4;
681                     return;
682                 }
683             }
684             if (udmamode >= 2) {
685                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
686                                     ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
687                 if (bootverbose)
688                     ata_prtdev(atadev, "%s setting UDMA2 on SiI chip\n",
689                                (error) ? "failed" : "success");
690                 if (!error) {
691                     pci_write_config(parent, ureg, (uval & 0x3f) | 0x07, 1);
692                     atadev->mode = ATA_UDMA2;
693                     return;
694                 }
695             }
696
697             /* disable UDMA mode and enable WDMA mode */
698             pci_write_config(parent, mreg,
699                              (mode & ~mask) | (device ? 0x20 : 0x02), 1);
700             if (wdmamode >= 2 && apiomode >= 4) {
701                 error = ata_command(atadev, ATA_C_SETFEATURES, 0,
702                                     ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
703                 if (bootverbose)
704                     ata_prtdev(atadev, "%s setting WDMA2 on SiI chip\n",
705                                (error) ? "failed" : "success");
706                 if (!error) {
707                     pci_write_config(parent, ureg - 0x4, 0x10c1, 2);
708                     atadev->mode = ATA_WDMA2;
709                     return;
710                 }
711             }
712
713             /* restore PIO mode */
714             pci_write_config(parent, mreg, mode, 1);
715         }
716         /* we could set PIO mode timings, but we assume the BIOS did that */
717         break;
718
719
720     case 0x06491095:    /* CMD 649 ATA100 controller */
721         if (udmamode >= 5) {
722             u_int8_t umode;
723
724             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
725                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
726             if (bootverbose)
727                 ata_prtdev(atadev, "%s setting UDMA5 on CMD chip\n",
728                            (error) ? "failed" : "success");
729             if (!error) {
730                 umode = pci_read_config(parent, channel ? 0x7b : 0x73, 1);
731                 umode &= ~(device == ATA_MASTER ? 0x35 : 0xca);
732                 umode |= (device == ATA_MASTER ? 0x05 : 0x0a);
733                 pci_write_config(parent, channel ? 0x7b : 0x73, umode, 1);
734                 atadev->mode = ATA_UDMA5;
735                 return;
736             }
737         }
738         /* FALLTHROUGH */
739
740     case 0x06481095:    /* CMD 648 ATA66 controller */
741         if (udmamode >= 4) {
742             u_int8_t umode;
743
744             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
745                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
746             if (bootverbose)
747                 ata_prtdev(atadev, "%s setting UDMA4 on CMD chip\n",
748                            (error) ? "failed" : "success");
749             if (!error) {
750                 umode = pci_read_config(parent, channel ? 0x7b : 0x73, 1);
751                 umode &= ~(device == ATA_MASTER ? 0x35 : 0xca);
752                 umode |= (device == ATA_MASTER ? 0x15 : 0x4a);
753                 pci_write_config(parent, channel ? 0x7b : 0x73, umode, 1);
754                 atadev->mode = ATA_UDMA4;
755                 return;
756             }
757         }
758         if (udmamode >= 2) {
759             u_int8_t umode;
760
761             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
762                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
763             if (bootverbose)
764                 ata_prtdev(atadev, "%s setting UDMA2 on CMD chip\n",
765                            (error) ? "failed" : "success");
766             if (!error) {
767                 umode = pci_read_config(parent, channel ? 0x7b : 0x73, 1);
768                 umode &= ~(device == ATA_MASTER ? 0x35 : 0xca);
769                 umode |= (device == ATA_MASTER ? 0x11 : 0x42);
770                 pci_write_config(parent, channel ? 0x7b : 0x73, umode, 1);
771                 atadev->mode = ATA_UDMA2;
772                 return;
773             }
774         }
775         /* make sure eventual UDMA mode from the BIOS is disabled */
776         pci_write_config(parent, channel ? 0x7b : 0x73, 
777                          pci_read_config(parent, channel ? 0x7b : 0x73, 1)&
778                          ~(device == ATA_MASTER ? 0x35 : 0xca), 1);
779         /* FALLTHROUGH */
780
781     case 0x06461095:    /* CMD 646 ATA controller */
782         if (wdmamode >= 2 && apiomode >= 4) {
783             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
784                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
785             if (bootverbose)
786                 ata_prtdev(atadev, "%s setting WDMA2 on CMD chip\n",
787                            error ? "failed" : "success");
788             if (!error) {
789                 int32_t offset = (devno < 3) ? (devno << 1) : 7;
790
791                 pci_write_config(parent, 0x54 + offset, 0x3f, 1);
792                 atadev->mode = ATA_WDMA2;
793                 return;
794             }
795         }
796         /* we could set PIO mode timings, but we assume the BIOS did that */
797         break;
798
799     case 0xc6931080:    /* Cypress 82c693 ATA controller */
800         if (wdmamode >= 2 && apiomode >= 4) {
801             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
802                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
803             if (bootverbose)
804                 ata_prtdev(atadev, "%s setting WDMA2 on Cypress chip\n",
805                            error ? "failed" : "success");
806             if (!error) {
807                 pci_write_config(atadev->channel->dev,
808                                 channel ? 0x4e:0x4c, 0x2020, 2);
809                 atadev->mode = ATA_WDMA2;
810                 return;
811             }
812         }
813         /* we could set PIO mode timings, but we assume the BIOS did that */
814         break;
815
816     case 0x01021078:    /* Cyrix 5530 ATA33 controller */
817         atadev->channel->alignment = 0xf;       /* DMA engine requires 16 byte alignment */
818         if (udmamode >= 2) {
819             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
820                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
821             if (bootverbose)
822                 ata_prtdev(atadev, "%s setting UDMA2 on Cyrix chip\n",
823                            (error) ? "failed" : "success");
824             if (!error) {
825                 cyrix_timing(atadev, devno, ATA_UDMA2);
826                 atadev->mode = ATA_UDMA2;
827                 return;
828             }
829         }
830         if (wdmamode >= 2 && apiomode >= 4) {
831             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
832                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
833             if (bootverbose)
834                 ata_prtdev(atadev, "%s setting WDMA2 on Cyrix chip\n",
835                            (error) ? "failed" : "success");
836             if (!error) {
837                 cyrix_timing(atadev, devno, ATA_WDMA2);
838                 atadev->mode = ATA_WDMA2;
839                 return;
840             }
841         }
842         error = ata_command(atadev, ATA_C_SETFEATURES, 0,
843                             ATA_PIO0 + apiomode, ATA_C_F_SETXFER,
844                             ATA_WAIT_READY);
845         if (bootverbose)
846             ata_prtdev(atadev, "%s setting %s on Cyrix chip\n",
847                        (error) ? "failed" : "success",
848                        ata_mode2str(ATA_PIO0 + apiomode));
849         cyrix_timing(atadev, devno, ATA_PIO0 + apiomode);
850         atadev->mode = ATA_PIO0 + apiomode;
851         return;
852
853     case 0x02121166:    /* ServerWorks CSB5 ATA66/100 controller */
854         if (udmamode >= 5 && chiprev >= 0x92) {
855             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
856                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
857             if (bootverbose)
858                 ata_prtdev(atadev, "%s setting UDMA5 on ServerWorks chip\n",
859                            (error) ? "failed" : "success");
860             if (!error) {
861                 u_int16_t reg56;
862
863                 pci_write_config(parent, 0x54, 
864                                  pci_read_config(parent, 0x54, 1) |
865                                  (0x01 << devno), 1);
866                 reg56 = pci_read_config(parent, 0x56, 2);
867                 reg56 &= ~(0xf << (devno * 4));
868                 reg56 |= (0x5 << (devno * 4));
869                 pci_write_config(parent, 0x56, reg56, 2);
870                 atadev->mode = ATA_UDMA5;
871                 return;
872             }
873         }
874         if (udmamode >= 4) {
875             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
876                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
877             if (bootverbose)
878                 ata_prtdev(atadev, "%s setting UDMA4 on ServerWorks chip\n",
879                            (error) ? "failed" : "success");
880             if (!error) {
881                 u_int16_t reg56;
882
883                 pci_write_config(parent, 0x54, 
884                                  pci_read_config(parent, 0x54, 1) |
885                                  (0x01 << devno), 1);
886                 reg56 = pci_read_config(parent, 0x56, 2);
887                 reg56 &= ~(0xf << (devno * 4));
888                 reg56 |= (0x4 << (devno * 4));
889                 pci_write_config(parent, 0x56, reg56, 2);
890                 atadev->mode = ATA_UDMA4;
891                 return;
892             }
893         }
894         /* FALLTHROUGH */
895
896     case 0x02111166:    /* ServerWorks ROSB4 ATA33 controller */
897         if (udmamode >= 2) {
898             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
899                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
900             if (bootverbose)
901                 ata_prtdev(atadev, "%s setting UDMA2 on ServerWorks chip\n",
902                            (error) ? "failed" : "success");
903             if (!error) {
904                 u_int16_t reg56;
905
906                 pci_write_config(parent, 0x54, 
907                                  pci_read_config(parent, 0x54, 1) |
908                                  (0x01 << devno), 1);
909                 reg56 = pci_read_config(parent, 0x56, 2);
910                 reg56 &= ~(0xf << (devno * 4));
911                 reg56 |= (0x2 << (devno * 4));
912                 pci_write_config(parent, 0x56, reg56, 2);
913                 atadev->mode = ATA_UDMA2;
914                 return;
915             }
916         }
917         if (wdmamode >= 2 && apiomode >= 4) {
918             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
919                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
920             if (bootverbose)
921                 ata_prtdev(atadev, "%s setting WDMA2 on ServerWorks chip\n",
922                            (error) ? "failed" : "success");
923             if (!error) {
924                 int offset = (channel * 2) + (device == ATA_MASTER);
925                 int word44 = pci_read_config(parent, 0x44, 4);
926
927                 pci_write_config(parent, 0x54,
928                                  pci_read_config(parent, 0x54, 1) &
929                                  ~(0x01 << devno), 1);
930                 word44 &= ~(0xff << (offset << 8));
931                 word44 |= (0x20 << (offset << 8));
932                 pci_write_config(parent, 0x44, 0x20, 4);
933                 atadev->mode = ATA_WDMA2;
934                 return;
935             }
936         }
937         /* we could set PIO mode timings, but we assume the BIOS did that */
938         break;
939
940     case 0x4d69105a:    /* Promise TX2 ATA133 controllers */
941     case 0x5275105a:    /* Promise TX2 ATA133 controllers */
942     case 0x6269105a:    /* Promise TX2 ATA133 controllers */
943     case 0x7275105a:    /* Promise TX2 ATA133 controllers */
944         ATA_OUTB(atadev->channel->r_bmio, ATA_BMDEVSPEC_0, 0x0b);
945         if (udmamode >= 6 &&
946             !(ATA_INB(atadev->channel->r_bmio, ATA_BMDEVSPEC_1) & 0x04)) {
947             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
948                                 ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
949             if (bootverbose)
950                 ata_prtdev(atadev, "%s setting UDMA6 on Promise chip\n",
951                            (error) ? "failed" : "success");
952             if (!error) {
953                 atadev->mode = ATA_UDMA6;
954                 return;
955             }
956         }
957         /* FALLTHROUGH */
958
959     case 0x4d68105a:    /* Promise TX2 ATA100 controllers */
960     case 0x6268105a:    /* Promise TX2 ATA100 controllers */
961         ATA_OUTB(atadev->channel->r_bmio, ATA_BMDEVSPEC_0, 0x0b);
962         if (udmamode >= 5 && 
963             !(ATA_INB(atadev->channel->r_bmio, ATA_BMDEVSPEC_1) & 0x04)) {
964             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
965                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
966             if (bootverbose)
967                 ata_prtdev(atadev, "%s setting UDMA5 on Promise chip\n",
968                            (error) ? "failed" : "success");
969             if (!error) {
970                 atadev->mode = ATA_UDMA5;
971                 return;
972             }
973         }
974         ATA_OUTB(atadev->channel->r_bmio, ATA_BMDEVSPEC_0, 0x0b);
975         if (udmamode >= 4 && 
976             !(ATA_INB(atadev->channel->r_bmio, ATA_BMDEVSPEC_1) & 0x04)) {
977             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
978                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
979             if (bootverbose)
980                 ata_prtdev(atadev, "%s setting UDMA4 on Promise chip\n",
981                            (error) ? "failed" : "success");
982             if (!error) {
983                 atadev->mode = ATA_UDMA4;
984                 return;
985             }
986         }
987         if (udmamode >= 2) {
988             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
989                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
990             if (bootverbose)
991                 ata_prtdev(atadev, "%s setting UDMA on Promise chip\n",
992                            (error) ? "failed" : "success");
993             if (!error) {
994                 atadev->mode = ATA_UDMA2;
995                 return;
996             }
997         }
998         if (wdmamode >= 2 && apiomode >= 4) {
999             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1000                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1001             if (bootverbose)
1002                 ata_prtdev(atadev, "%s setting WDMA2 on Promise chip\n",
1003                            (error) ? "failed" : "success");
1004             if (!error) {
1005                 atadev->mode = ATA_WDMA2;
1006                 return;
1007             }
1008         }
1009         break;
1010
1011     case 0x0d30105a:    /* Promise OEM ATA100 controllers */
1012     case 0x4d30105a:    /* Promise Ultra/FastTrak 100 controllers */
1013         if (!ATAPI_DEVICE(atadev) && udmamode >= 5 && 
1014             !(pci_read_config(parent, 0x50, 2)&(channel ? 1<<11 : 1<<10))){
1015             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1016                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
1017             if (bootverbose)
1018                 ata_prtdev(atadev, "%s setting UDMA5 on Promise chip\n",
1019                            (error) ? "failed" : "success");
1020             if (!error) {
1021                 promise_timing(atadev, devno, ATA_UDMA5);
1022                 atadev->mode = ATA_UDMA5;
1023                 return;
1024             }
1025         }
1026         /* FALLTHROUGH */
1027
1028     case 0x0d38105a:    /* Promise FastTrak 66 controllers */
1029     case 0x4d38105a:    /* Promise Ultra/FastTrak 66 controllers */
1030         if (!ATAPI_DEVICE(atadev) && udmamode >= 4 && 
1031             !(pci_read_config(parent, 0x50, 2)&(channel ? 1<<11 : 1<<10))){
1032             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1033                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
1034             if (bootverbose)
1035                 ata_prtdev(atadev, "%s setting UDMA4 on Promise chip\n",
1036                            (error) ? "failed" : "success");
1037             if (!error) {
1038                 promise_timing(atadev, devno, ATA_UDMA4);
1039                 atadev->mode = ATA_UDMA4;
1040                 return;
1041             }
1042         }
1043         /* FALLTHROUGH */
1044
1045     case 0x4d33105a:    /* Promise Ultra/FastTrak 33 controllers */
1046         if (!ATAPI_DEVICE(atadev) && udmamode >= 2) {
1047             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1048                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1049             if (bootverbose)
1050                 ata_prtdev(atadev, "%s setting UDMA2 on Promise chip\n",
1051                            (error) ? "failed" : "success");
1052             if (!error) {
1053                 promise_timing(atadev, devno, ATA_UDMA2);
1054                 atadev->mode = ATA_UDMA2;
1055                 return;
1056             }
1057         }
1058         if (!ATAPI_DEVICE(atadev) && wdmamode >= 2 && apiomode >= 4) {
1059             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1060                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1061             if (bootverbose)
1062                 ata_prtdev(atadev, "%s setting WDMA2 on Promise chip\n",
1063                            (error) ? "failed" : "success");
1064             if (!error) {
1065                 promise_timing(atadev, devno, ATA_WDMA2);
1066                 atadev->mode = ATA_WDMA2;
1067                 return;
1068             }
1069         }
1070         error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1071                             ATA_PIO0 + apiomode, 
1072                             ATA_C_F_SETXFER, ATA_WAIT_READY);
1073         if (bootverbose)
1074             ata_prtdev(atadev, "%s setting PIO%d on Promise chip\n",
1075                        (error) ? "failed" : "success",
1076                        (apiomode >= 0) ? apiomode : 0);
1077         promise_timing(atadev, devno, ATA_PIO0 + apiomode);
1078         atadev->mode = ATA_PIO0 + apiomode;
1079         return;
1080     
1081     case 0x00041103:    /* HighPoint HPT366/368/370/372 controllers */
1082     case 0x00051103:    /* HighPoint HPT372 controllers */
1083     case 0x00081103:    /* HighPoint HPT374 controllers */
1084         if (!ATAPI_DEVICE(atadev) && udmamode >= 6 && hpt_cable80(atadev) &&
1085             ((chiptype == 0x00041103 && chiprev >= 0x05) ||
1086              (chiptype == 0x00051103 && chiprev >= 0x01) ||
1087              (chiptype == 0x00081103 && chiprev >= 0x07))) {
1088             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1089                                 ATA_UDMA6, ATA_C_F_SETXFER, ATA_WAIT_READY);
1090             if (bootverbose)
1091                 ata_prtdev(atadev, "%s setting UDMA6 on HighPoint chip\n",
1092                            (error) ? "failed" : "success");
1093             if (!error) {
1094                 hpt_timing(atadev, devno, ATA_UDMA6);
1095                 atadev->mode = ATA_UDMA6;
1096                 return;
1097             }
1098         }
1099         if (!ATAPI_DEVICE(atadev) && udmamode >= 5 && hpt_cable80(atadev) &&
1100             ((chiptype == 0x00041103 && chiprev >= 0x03) ||
1101              (chiptype == 0x00051103 && chiprev >= 0x01) ||
1102              (chiptype == 0x00081103 && chiprev >= 0x07))) {
1103             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1104                                 ATA_UDMA5, ATA_C_F_SETXFER, ATA_WAIT_READY);
1105             if (bootverbose)
1106                 ata_prtdev(atadev, "%s setting UDMA5 on HighPoint chip\n",
1107                            (error) ? "failed" : "success");
1108             if (!error) {
1109                 hpt_timing(atadev, devno, ATA_UDMA5);
1110                 atadev->mode = ATA_UDMA5;
1111                 return;
1112             }
1113         }
1114         if (!ATAPI_DEVICE(atadev) && udmamode >= 4 && hpt_cable80(atadev)) {
1115             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1116                                 ATA_UDMA4, ATA_C_F_SETXFER, ATA_WAIT_READY);
1117             if (bootverbose)
1118                 ata_prtdev(atadev, "%s setting UDMA4 on HighPoint chip\n",
1119                            (error) ? "failed" : "success");
1120             if (!error) {
1121                 hpt_timing(atadev, devno, ATA_UDMA4);
1122                 atadev->mode = ATA_UDMA4;
1123                 return;
1124             }
1125         }
1126         if (!ATAPI_DEVICE(atadev) && udmamode >= 2) {
1127             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1128                                 ATA_UDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1129             if (bootverbose)
1130                 ata_prtdev(atadev, "%s setting UDMA2 on HighPoint chip\n",
1131                            (error) ? "failed" : "success");
1132             if (!error) {
1133                 hpt_timing(atadev, devno, ATA_UDMA2);
1134                 atadev->mode = ATA_UDMA2;
1135                 return;
1136             }
1137         }
1138         if (!ATAPI_DEVICE(atadev) && wdmamode >= 2 && apiomode >= 4) {
1139             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1140                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1141             if (bootverbose)
1142                 ata_prtdev(atadev, "%s setting WDMA2 on HighPoint chip\n",
1143                            (error) ? "failed" : "success");
1144             if (!error) {
1145                 hpt_timing(atadev, devno, ATA_WDMA2);
1146                 atadev->mode = ATA_WDMA2;
1147                 return;
1148             }
1149         }
1150         error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1151                             ATA_PIO0 + apiomode, 
1152                             ATA_C_F_SETXFER, ATA_WAIT_READY);
1153         if (bootverbose)
1154             ata_prtdev(atadev, "%s setting PIO%d on HighPoint chip\n",
1155                        (error) ? "failed" : "success",
1156                        (apiomode >= 0) ? apiomode : 0);
1157         hpt_timing(atadev, devno, ATA_PIO0 + apiomode);
1158         atadev->mode = ATA_PIO0 + apiomode;
1159         return;
1160
1161     case 0x000116ca:    /* Cenatek Rocket Drive controller */
1162         if (wdmamode >= 0 &&
1163             (ATA_INB(atadev->channel->r_bmio, ATA_BMSTAT_PORT) & 
1164              ((device==ATA_MASTER)?ATA_BMSTAT_DMA_MASTER:ATA_BMSTAT_DMA_SLAVE)))
1165             atadev->mode = ATA_DMA;
1166         else
1167             atadev->mode = ATA_PIO;
1168         return;
1169
1170     default:            /* unknown controller chip */
1171         /* better not try generic DMA on ATAPI devices it almost never works */
1172         if (ATAPI_DEVICE(atadev))
1173             break;
1174
1175         /* if controller says its setup for DMA take the easy way out */
1176         /* the downside is we dont know what DMA mode we are in */
1177         if ((udmamode >= 0 || wdmamode >= 2) &&
1178             (ATA_INB(atadev->channel->r_bmio, ATA_BMSTAT_PORT) &
1179              ((device==ATA_MASTER) ? 
1180               ATA_BMSTAT_DMA_MASTER : ATA_BMSTAT_DMA_SLAVE))) {
1181             atadev->mode = ATA_DMA;
1182             return;
1183         }
1184
1185         /* well, we have no support for this, but try anyways */
1186         if ((wdmamode >= 2 && apiomode >= 4) && atadev->channel->r_bmio) {
1187             error = ata_command(atadev, ATA_C_SETFEATURES, 0,
1188                                 ATA_WDMA2, ATA_C_F_SETXFER, ATA_WAIT_READY);
1189             if (bootverbose)
1190                 ata_prtdev(atadev, "%s setting WDMA2 on generic chip\n",
1191                            (error) ? "failed" : "success");
1192             if (!error) {
1193                 atadev->mode = ATA_WDMA2;
1194                 return;
1195             }
1196         }
1197     }
1198     error = ata_command(atadev, ATA_C_SETFEATURES, 0, ATA_PIO0 + apiomode,
1199                         ATA_C_F_SETXFER, ATA_WAIT_READY);
1200     if (bootverbose)
1201         ata_prtdev(atadev, "%s setting PIO%d on generic chip\n",
1202                    (error) ? "failed" : "success", apiomode < 0 ? 0 : apiomode);
1203     if (!error)
1204         atadev->mode = ATA_PIO0 + apiomode;
1205     else {
1206         if (bootverbose)
1207             ata_prtdev(atadev, "using PIO mode set by BIOS\n");
1208         atadev->mode = ATA_PIO;
1209     }
1210 }
1211
1212 int
1213 ata_dmasetup(struct ata_channel *ch, int device, struct ata_dmaentry *dmatab,
1214              caddr_t data, int32_t count)
1215 {
1216     u_int32_t dma_count, dma_base;
1217     int i = 0;
1218
1219     if (((uintptr_t)data & ch->alignment) || (count & ch->alignment)) {
1220         ata_printf(ch, device, "non aligned DMA transfer attempted\n");
1221         return -1;
1222     }
1223
1224     if (!count) {
1225         ata_printf(ch, device, "zero length DMA transfer attempted\n");
1226         return -1;
1227     }
1228     
1229     dma_base = vtophys(data);
1230     dma_count = imin(count, (PAGE_SIZE - ((uintptr_t)data & PAGE_MASK)));
1231     data += dma_count;
1232     count -= dma_count;
1233
1234     while (count) {
1235         dmatab[i].base = dma_base;
1236         dmatab[i].count = (dma_count & 0xffff);
1237         i++; 
1238         if (i >= ATA_DMA_ENTRIES) {
1239             ata_printf(ch, device, "too many segments in DMA table\n");
1240             return -1;
1241         }
1242         dma_base = vtophys(data);
1243         dma_count = imin(count, PAGE_SIZE);
1244         data += imin(count, PAGE_SIZE);
1245         count -= imin(count, PAGE_SIZE);
1246     }
1247     dmatab[i].base = dma_base;
1248     dmatab[i].count = (dma_count & 0xffff) | ATA_DMA_EOT;
1249     return 0;
1250 }
1251
1252 void
1253 ata_dmastart(struct ata_channel *ch, int device, 
1254              struct ata_dmaentry *dmatab, int dir)
1255 {
1256     ch->flags |= ATA_DMA_ACTIVE;
1257     ATA_OUTL(ch->r_bmio, ATA_BMDTP_PORT, vtophys(dmatab));
1258     ATA_OUTB(ch->r_bmio, ATA_BMCMD_PORT, dir ? ATA_BMCMD_WRITE_READ : 0);
1259     ATA_OUTB(ch->r_bmio, ATA_BMSTAT_PORT, 
1260          (ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) | 
1261           (ATA_BMSTAT_INTERRUPT | ATA_BMSTAT_ERROR)));
1262     ATA_OUTB(ch->r_bmio, ATA_BMCMD_PORT, 
1263          ATA_INB(ch->r_bmio, ATA_BMCMD_PORT) | ATA_BMCMD_START_STOP);
1264 }
1265
1266 int
1267 ata_dmadone(struct ata_device *atadev)
1268 {
1269     struct ata_channel *ch;
1270     int error;
1271
1272     ch = atadev->channel;
1273
1274     ATA_OUTB(ch->r_bmio, ATA_BMCMD_PORT, 
1275                 ATA_INB(ch->r_bmio, ATA_BMCMD_PORT) & ~ATA_BMCMD_START_STOP);
1276     ch->flags &= ~ATA_DMA_ACTIVE;
1277     error = ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT);
1278     ATA_OUTB(ch->r_bmio, ATA_BMSTAT_PORT, 
1279              error | ATA_BMSTAT_INTERRUPT | ATA_BMSTAT_ERROR);
1280     return error & ATA_BMSTAT_MASK;
1281 }
1282
1283 int
1284 ata_dmastatus(struct ata_channel *ch)
1285 {
1286     return ATA_INB(ch->r_bmio, ATA_BMSTAT_PORT) & ATA_BMSTAT_MASK;
1287 }
1288
1289 static void
1290 cyrix_timing(struct ata_device *atadev, int devno, int mode)
1291 {
1292     u_int32_t reg20 = 0x0000e132;
1293     u_int32_t reg24 = 0x00017771;
1294
1295     switch (mode) {
1296     case ATA_PIO0:      reg20 = 0x0000e132; break;
1297     case ATA_PIO1:      reg20 = 0x00018121; break;
1298     case ATA_PIO2:      reg20 = 0x00024020; break;
1299     case ATA_PIO3:      reg20 = 0x00032010; break;
1300     case ATA_PIO4:      reg20 = 0x00040010; break;
1301     case ATA_WDMA2:     reg24 = 0x00002020; break;
1302     case ATA_UDMA2:     reg24 = 0x00911030; break;
1303     }
1304     ATA_OUTL(atadev->channel->r_bmio, (devno << 3) + 0x20, reg20);
1305     ATA_OUTL(atadev->channel->r_bmio, (devno << 3) + 0x24, reg24);
1306 }
1307
1308 static void
1309 promise_timing(struct ata_device *atadev, int devno, int mode)
1310 {
1311     u_int32_t timing = 0;
1312     /* XXX: Endianess */
1313     struct promise_timing {
1314         u_int8_t  pa:4;
1315         u_int8_t  prefetch:1;
1316         u_int8_t  iordy:1;
1317         u_int8_t  errdy:1;
1318         u_int8_t  syncin:1;
1319         u_int8_t  pb:5;
1320         u_int8_t  mb:3;
1321         u_int8_t  mc:4;
1322         u_int8_t  dmaw:1;
1323         u_int8_t  dmar:1;
1324         u_int8_t  iordyp:1;
1325         u_int8_t  dmarqp:1;
1326         u_int8_t  reserved:8;
1327     } *t = (struct promise_timing*)&timing;
1328
1329     t->iordy = 1; t->iordyp = 1;
1330     if (mode >= ATA_DMA) {
1331         t->prefetch = 1; t->errdy = 1; t->syncin = 1;
1332     }
1333
1334     switch (atadev->channel->chiptype) {
1335     case 0x4d33105a:  /* Promise Ultra/Fasttrak 33 */
1336         switch (mode) {
1337         default:
1338         case ATA_PIO0:  t->pa =  9; t->pb = 19; t->mb = 7; t->mc = 15; break;
1339         case ATA_PIO1:  t->pa =  5; t->pb = 12; t->mb = 7; t->mc = 15; break;
1340         case ATA_PIO2:  t->pa =  3; t->pb =  8; t->mb = 7; t->mc = 15; break;
1341         case ATA_PIO3:  t->pa =  2; t->pb =  6; t->mb = 7; t->mc = 15; break;
1342         case ATA_PIO4:  t->pa =  1; t->pb =  4; t->mb = 7; t->mc = 15; break;
1343         case ATA_WDMA2: t->pa =  3; t->pb =  7; t->mb = 3; t->mc =  3; break;
1344         case ATA_UDMA2: t->pa =  3; t->pb =  7; t->mb = 1; t->mc =  1; break;
1345         }
1346         break;
1347
1348     case 0x4d38105a:  /* Promise Ultra/Fasttrak 66 */
1349     case 0x4d30105a:  /* Promise Ultra/Fasttrak 100 */
1350     case 0x0d30105a:  /* Promise OEM ATA 100 */
1351         switch (mode) {
1352         default:
1353         case ATA_PIO0:  t->pa = 15; t->pb = 31; t->mb = 7; t->mc = 15; break;
1354         case ATA_PIO1:  t->pa = 10; t->pb = 24; t->mb = 7; t->mc = 15; break;
1355         case ATA_PIO2:  t->pa =  6; t->pb = 16; t->mb = 7; t->mc = 15; break;
1356         case ATA_PIO3:  t->pa =  4; t->pb = 12; t->mb = 7; t->mc = 15; break;
1357         case ATA_PIO4:  t->pa =  2; t->pb =  8; t->mb = 7; t->mc = 15; break;
1358         case ATA_WDMA2: t->pa =  6; t->pb = 14; t->mb = 6; t->mc =  6; break;
1359         case ATA_UDMA2: t->pa =  6; t->pb = 14; t->mb = 2; t->mc =  2; break;
1360         case ATA_UDMA4: t->pa =  3; t->pb =  7; t->mb = 1; t->mc =  1; break;
1361         case ATA_UDMA5: t->pa =  3; t->pb =  7; t->mb = 1; t->mc =  1; break;
1362         }
1363         break;
1364     }
1365     pci_write_config(device_get_parent(atadev->channel->dev), 
1366                     0x60 + (devno<<2), timing, 4);
1367 }
1368
1369 static void
1370 hpt_timing(struct ata_device *atadev, int devno, int mode)
1371 {
1372     device_t parent = device_get_parent(atadev->channel->dev);
1373     u_int32_t chiptype = atadev->channel->chiptype;
1374     int chiprev = pci_get_revid(parent);
1375     u_int32_t timing;
1376
1377     if (chiptype == 0x00081103 && chiprev >= 0x07) {
1378         switch (mode) {                                         /* HPT374 */
1379         case ATA_PIO0:  timing = 0x0ac1f48a; break;
1380         case ATA_PIO1:  timing = 0x0ac1f465; break;
1381         case ATA_PIO2:  timing = 0x0a81f454; break;
1382         case ATA_PIO3:  timing = 0x0a81f443; break;
1383         case ATA_PIO4:  timing = 0x0a81f442; break;
1384         case ATA_WDMA2: timing = 0x22808242; break;
1385         case ATA_UDMA2: timing = 0x120c8242; break;
1386         case ATA_UDMA4: timing = 0x12ac8242; break;
1387         case ATA_UDMA5: timing = 0x12848242; break;
1388         case ATA_UDMA6: timing = 0x12808242; break;
1389         default:        timing = 0x0d029d5e;
1390         }
1391     }
1392     else if ((chiptype == 0x00041103 && chiprev >= 0x05) ||
1393              (chiptype == 0x00051103 && chiprev >= 0x01)) {
1394         switch (mode) {                                         /* HPT372 */
1395         case ATA_PIO0:  timing = 0x0d029d5e; break;
1396         case ATA_PIO1:  timing = 0x0d029d26; break;
1397         case ATA_PIO2:  timing = 0x0c829ca6; break;
1398         case ATA_PIO3:  timing = 0x0c829c84; break;
1399         case ATA_PIO4:  timing = 0x0c829c62; break;
1400         case ATA_WDMA2: timing = 0x2c829262; break;
1401         case ATA_UDMA2: timing = 0x1c91dc62; break;
1402         case ATA_UDMA4: timing = 0x1c8ddc62; break;
1403         case ATA_UDMA5: timing = 0x1c6ddc62; break;
1404         case ATA_UDMA6: timing = 0x1c81dc62; break;
1405         default:        timing = 0x0d029d5e;
1406         }
1407     }
1408     else if (chiptype == 0x00041103 && chiprev >= 0x03) {
1409         switch (mode) {                                         /* HPT370 */
1410         case ATA_PIO0:  timing = 0x06914e57; break;
1411         case ATA_PIO1:  timing = 0x06914e43; break;
1412         case ATA_PIO2:  timing = 0x06514e33; break;
1413         case ATA_PIO3:  timing = 0x06514e22; break;
1414         case ATA_PIO4:  timing = 0x06514e21; break;
1415         case ATA_WDMA2: timing = 0x26514e21; break;
1416         case ATA_UDMA2: timing = 0x16494e31; break;
1417         case ATA_UDMA4: timing = 0x16454e31; break;
1418         case ATA_UDMA5: timing = 0x16454e31; break;
1419         default:        timing = 0x06514e57;
1420         }
1421         pci_write_config(parent, 0x40 + (devno << 2) , timing, 4);
1422     }
1423     else {                                                      /* HPT36[68] */
1424         switch (pci_read_config(parent, 0x41 + (devno << 2), 1)) {
1425         case 0x85:      /* 25Mhz */
1426             switch (mode) {
1427             case ATA_PIO0:      timing = 0x40d08585; break;
1428             case ATA_PIO1:      timing = 0x40d08572; break;
1429             case ATA_PIO2:      timing = 0x40ca8542; break;
1430             case ATA_PIO3:      timing = 0x40ca8532; break;
1431             case ATA_PIO4:      timing = 0x40ca8521; break;
1432             case ATA_WDMA2:     timing = 0x20ca8521; break;
1433             case ATA_UDMA2:     timing = 0x10cf8521; break;
1434             case ATA_UDMA4:     timing = 0x10c98521; break;
1435             default:            timing = 0x01208585;
1436             }
1437             break;
1438         default:
1439         case 0xa7:      /* 33MHz */
1440             switch (mode) {
1441             case ATA_PIO0:      timing = 0x40d0a7aa; break;
1442             case ATA_PIO1:      timing = 0x40d0a7a3; break;
1443             case ATA_PIO2:      timing = 0x40d0a753; break;
1444             case ATA_PIO3:      timing = 0x40c8a742; break;
1445             case ATA_PIO4:      timing = 0x40c8a731; break;
1446             case ATA_WDMA2:     timing = 0x20c8a731; break;
1447             case ATA_UDMA2:     timing = 0x10caa731; break;
1448             case ATA_UDMA4:     timing = 0x10c9a731; break;
1449             default:            timing = 0x0120a7a7;
1450             }
1451             break;
1452         case 0xd9:      /* 40Mhz */
1453             switch (mode) {
1454             case ATA_PIO0:      timing = 0x4018d9d9; break;
1455             case ATA_PIO1:      timing = 0x4010d9c7; break;
1456             case ATA_PIO2:      timing = 0x4010d997; break;
1457             case ATA_PIO3:      timing = 0x4010d974; break;
1458             case ATA_PIO4:      timing = 0x4008d963; break;
1459             case ATA_WDMA2:     timing = 0x2008d943; break;
1460             case ATA_UDMA2:     timing = 0x100bd943; break;
1461             case ATA_UDMA4:     timing = 0x100fd943; break;
1462             default:            timing = 0x0120d9d9;
1463             }
1464         }
1465     }
1466     pci_write_config(parent, 0x40 + (devno << 2) , timing, 4);
1467 }
1468
1469 static int
1470 hpt_cable80(struct ata_device *atadev)
1471 {
1472     device_t parent = device_get_parent(atadev->channel->dev);
1473     u_int8_t reg, val, res;
1474
1475     if (atadev->channel->chiptype == 0x00081103 && pci_get_function(parent) == 1) {
1476         reg = atadev->channel->unit ? 0x57 : 0x53;
1477         val = pci_read_config(parent, reg, 1);
1478         pci_write_config(parent, reg, val | 0x80, 1);
1479     }
1480     else {
1481         reg = 0x5b;
1482         val = pci_read_config(parent, reg, 1);
1483         pci_write_config(parent, reg, val & 0xfe, 1);
1484     }
1485     res = pci_read_config(parent, 0x5a, 1) & (atadev->channel->unit ? 0x01 : 0x02);
1486     pci_write_config(parent, reg, val, 1);
1487     return !res;
1488 }