742338cc9095e66a261bad12423f4febeed9b089
[dragonfly.git] / sys / dev / disk / ahci / ahci_pm.c
1 /*
2  * (MPSAFE)
3  *
4  * Copyright (c) 2009 The DragonFly Project.  All rights reserved.
5  *
6  * This code is derived from software contributed to The DragonFly Project
7  * by Matthew Dillon <dillon@backplane.com>
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  *
13  * 1. Redistributions of source code must retain the above copyright
14  *    notice, this list of conditions and the following disclaimer.
15  * 2. Redistributions in binary form must reproduce the above copyright
16  *    notice, this list of conditions and the following disclaimer in
17  *    the documentation and/or other materials provided with the
18  *    distribution.
19  * 3. Neither the name of The DragonFly Project nor the names of its
20  *    contributors may be used to endorse or promote products derived
21  *    from this software without specific, prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
24  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
25  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
26  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
27  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
28  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
29  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
30  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
31  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
32  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
33  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
34  * SUCH DAMAGE.
35  */
36
37 #include "ahci.h"
38
39 static void ahci_pm_dummy_done(struct ata_xfer *xa);
40
41 int
42 ahci_pm_port_init(struct ahci_port *ap, struct ata_port *at)
43 {
44         at->at_probe = ATA_PROBE_NEED_HARD_RESET;
45         return (0);
46 }
47
48 /*
49  * AHCI port multiplier probe.  This routine is run by the hardreset code
50  * if it gets past the device detect, whether or not BSY is found to be
51  * stuck.
52  *
53  * We MUST use CLO to properly probe whether the port multiplier exists
54  * or not.
55  *
56  * Return 0 on success, non-zero on failure.
57  */
58 int
59 ahci_pm_port_probe(struct ahci_port *ap, int orig_error)
60 {
61         struct ahci_cmd_hdr *cmd_slot;
62         struct ata_port *at;
63         struct ahci_ccb *ccb = NULL;
64         u_int8_t        *fis = NULL;
65         int             error;
66         u_int32_t       cmd;
67         int             count;
68         int             i;
69
70         count = 2;
71 retry:
72         /*
73          * This code is only called from hardreset, which does not
74          * high level command processing.  The port should be stopped.
75          *
76          * Set PMA mode while the port is stopped.
77          *
78          * NOTE: On retry the port might be running, stopped, or failed.
79          */
80         ahci_port_stop(ap, 0);
81         ap->ap_state = AP_S_NORMAL;
82         cmd = ahci_pread(ap, AHCI_PREG_CMD) & ~AHCI_PREG_CMD_ICC;
83         if ((cmd & AHCI_PREG_CMD_PMA) == 0) {
84                 cmd |= AHCI_PREG_CMD_PMA;
85                 ahci_pwrite(ap, AHCI_PREG_CMD, cmd);
86         }
87
88         /*
89          * Flush any errors and request CLO unconditionally, then start
90          * the port.
91          */
92         ahci_flush_tfd(ap);
93         ahci_port_clo(ap);
94         if (ahci_port_start(ap)) {
95                 kprintf("%s: PMPROBE failed to start port, cannot softreset\n",
96                         PORTNAME(ap));
97                 error = EIO;
98                 goto err;
99         }
100
101         /*
102          * Check whether CLO worked
103          */
104         if (ahci_pwait_clr(ap, AHCI_PREG_TFD,
105                                AHCI_PREG_TFD_STS_BSY | AHCI_PREG_TFD_STS_DRQ)) {
106                 kprintf("%s: PMPROBE CLO %s, need port reset\n",
107                         PORTNAME(ap),
108                         (ahci_read(ap->ap_sc, AHCI_REG_CAP) & AHCI_REG_CAP_SCLO)
109                         ? "failed" : "unsupported");
110                 error = EBUSY;
111                 goto err;
112         }
113
114         /*
115          * Use the error CCB for all commands
116          *
117          * NOTE!  This CCB is used for both the first and second commands.
118          *        The second command must use CCB slot 1 to properly load
119          *        the signature.
120          */
121         ccb = ahci_get_err_ccb(ap);
122         ccb->ccb_xa.flags = ATA_F_POLL;
123         ccb->ccb_xa.complete = ahci_pm_dummy_done;
124         ccb->ccb_xa.at = ap->ap_ata[15];
125         cmd_slot = ccb->ccb_cmd_hdr;
126         KKASSERT(ccb->ccb_slot == 1);
127
128         /*
129          * Prep the first H2D command with SRST feature & clear busy/reset
130          * flags.
131          */
132         fis = ccb->ccb_cmd_table->cfis;
133         bzero(fis, sizeof(ccb->ccb_cmd_table->cfis));
134         fis[0] = ATA_FIS_TYPE_H2D;
135         fis[1] = 0x0F;                  /* Target 15 */
136         fis[15] = ATA_FIS_CONTROL_SRST | ATA_FIS_CONTROL_4BIT;
137
138         cmd_slot->prdtl = 0;
139         cmd_slot->flags = htole16(5);   /* FIS length: 5 DWORDS */
140         cmd_slot->flags |= htole16(AHCI_CMD_LIST_FLAG_C); /* Clear busy on OK */
141         cmd_slot->flags |= htole16(AHCI_CMD_LIST_FLAG_R); /* Reset */
142         cmd_slot->flags |= htole16(AHCI_CMD_LIST_FLAG_PMP); /* port 0xF */
143
144         ccb->ccb_xa.state = ATA_S_PENDING;
145
146         /*
147          * The only way one can determine if a port multiplier is on the
148          * port is to probe target 15, and of course this will fail if
149          * there is no port multiplier.
150          *
151          * The probing has to be done whether or not a device is probed on
152          * target 0, because when a PM is attached target 0 represents
153          * slot #0 behind the PM.
154          */
155         if (ahci_poll(ccb, 1000, ahci_quick_timeout) != ATA_S_COMPLETE) {
156                 kprintf("%s: PMPROBE First FIS failed,\n",
157                         PORTNAME(ap));
158                 kprintf("%s: PMPROBE No Port Multiplier was found.\n",
159                         PORTNAME(ap));
160                 if (--count) {
161                         ahci_put_err_ccb(ccb);
162                         goto retry;
163                 }
164                 error = EBUSY;
165                 goto err;
166         }
167         if (ahci_pwait_clr(ap, AHCI_PREG_TFD,
168                                AHCI_PREG_TFD_STS_BSY | AHCI_PREG_TFD_STS_DRQ)) {
169                 kprintf("%s: PMPROBE Busy after first FIS\n", PORTNAME(ap));
170         }
171
172         /*
173          * The device may have muffed up the PHY when it reset.
174          */
175         ahci_os_sleep(100);
176         ahci_flush_tfd(ap);
177         ahci_pwrite(ap, AHCI_PREG_SERR, -1);
178         /* ahci_pm_phy_status(ap, 15, &cmd); */
179
180         /*
181          * Prep second D2H command to read status and complete reset sequence
182          * AHCI 10.4.1 and "Serial ATA Revision 2.6".  I can't find the ATA
183          * Rev 2.6 and it is unclear how the second FIS should be set up
184          * from the AHCI document.
185          *
186          * Give the device 3ms before sending the second FIS.
187          *
188          * It is unclear which other fields in the FIS are used.  Just zero
189          * everything.
190          */
191         ccb->ccb_xa.flags = ATA_F_POLL;
192
193         bzero(fis, sizeof(ccb->ccb_cmd_table->cfis));
194         fis[0] = ATA_FIS_TYPE_H2D;
195         fis[1] = 0x0F;
196         fis[15] = ATA_FIS_CONTROL_4BIT;
197
198         cmd_slot->prdtl = 0;
199         cmd_slot->flags = htole16(5);   /* FIS length: 5 DWORDS */
200         cmd_slot->flags |= htole16(AHCI_CMD_LIST_FLAG_PMP); /* port 0xF */
201
202         ccb->ccb_xa.state = ATA_S_PENDING;
203
204         /*
205          * The only way one can determine if a port multiplier is on the
206          * port is to probe target 15, and of course this will fail if
207          * there is no port multiplier.
208          *
209          * The probing has to be done whether or not a device is probed on
210          * target 0, because when a PM is attached target 0 represents
211          * slot #0 behind the PM.
212          */
213         if (ahci_poll(ccb, 5000, ahci_quick_timeout) != ATA_S_COMPLETE) {
214                 kprintf("%s: PMPROBE Second FIS failed,\n",
215                         PORTNAME(ap));
216                 kprintf("%s: PMPROBE No Port Multiplier was found.\n",
217                         PORTNAME(ap));
218                 if (--count) {
219                         ahci_put_err_ccb(ccb);
220                         goto retry;
221                 }
222                 error = EBUSY;
223                 goto err;
224         }
225
226         /*
227          * What? We succeeded?  Yup, but for some reason the signature
228          * is still latched from the original detect (that saw target 0
229          * behind the PM), and I don't know how to clear the condition
230          * other then by retrying the whole reset sequence.
231          */
232         if (--count) {
233                 fis[15] = 0;
234                 ahci_put_err_ccb(ccb);
235                 goto retry;
236         }
237
238         /*
239          * Get the signature.  The caller sets the ap fields.
240          */
241         if (ahci_port_signature_detect(ap, NULL) == ATA_PORT_T_PM) {
242                 ap->ap_ata[15]->at_probe = ATA_PROBE_GOOD;
243                 error = 0;
244         } else {
245                 error = EBUSY;
246         }
247
248         /*
249          * Fall through / clean up the CCB and perform error processing.
250          */
251 err:
252         if (ccb != NULL)
253                 ahci_put_err_ccb(ccb);
254
255         if (error == 0 && ahci_pm_identify(ap)) {
256                 kprintf("%s: PM - cannot identify port multiplier\n",
257                         PORTNAME(ap));
258                 error = EBUSY;
259         }
260
261         /*
262          * If we probed the PM reset the state for the targets behind
263          * it so they get probed by the state machine.
264          */
265         if (error == 0) {
266                 for (i = 0; i < AHCI_MAX_PMPORTS; ++i) {
267                         at = ap->ap_ata[i];
268                         at->at_probe = ATA_PROBE_NEED_INIT;
269                         at->at_features |= ATA_PORT_F_RESCAN;
270                 }
271                 ap->ap_type = ATA_PORT_T_PM;
272                 return (0);
273         }
274
275         /*
276          * If we failed turn off PMA, otherwise identify the port multiplier.
277          * CAM will iterate the devices.
278          */
279         ahci_port_stop(ap, 0);
280         ahci_port_clo(ap);
281         cmd = ahci_pread(ap, AHCI_PREG_CMD) & ~AHCI_PREG_CMD_ICC;
282         cmd &= ~AHCI_PREG_CMD_PMA;
283         ahci_pwrite(ap, AHCI_PREG_CMD, cmd);
284         ahci_port_init(ap);
285         if (orig_error == 0) {
286                 if (ahci_pwait_clr(ap, AHCI_PREG_TFD,
287                             AHCI_PREG_TFD_STS_BSY | AHCI_PREG_TFD_STS_DRQ)) {
288                         kprintf("%s: PM probe: port will not come ready\n",
289                                 PORTNAME(ap));
290                         orig_error = EBUSY;
291                 }
292         }
293         return(orig_error);
294 }
295
296 /*
297  * Identify the port multiplier
298  */
299 int
300 ahci_pm_identify(struct ahci_port *ap)
301 {
302         u_int32_t chipid;
303         u_int32_t rev;
304         u_int32_t nports;
305         u_int32_t data1;
306         u_int32_t data2;
307         int       has_dummy_port;
308
309         ap->ap_probe = ATA_PROBE_FAILED;
310         if (ahci_pm_read(ap, 15, 0, &chipid))
311                 goto err;
312         if (ahci_pm_read(ap, 15, 1, &rev))
313                 goto err;
314         if (ahci_pm_read(ap, 15, 2, &nports))
315                 goto err;
316         nports &= 0x0000000F;   /* only the low 4 bits */
317         ap->ap_probe = ATA_PROBE_GOOD;
318
319         /*
320          * Ignore fake port on PMs which have it.  We can probe it but the
321          * softreset will probably fail.
322          */
323         switch(chipid) {
324         case 0x37261095:
325                 has_dummy_port = 1;
326                 break;
327         default:
328                 has_dummy_port = 0;
329                 break;
330         }
331         if (has_dummy_port) {
332                 if (nports > 1)
333                         --nports;
334         }
335
336         kprintf("%s: Port multiplier: chip=%08x rev=0x%b nports=%d\n",
337                 PORTNAME(ap),
338                 chipid,
339                 rev, SATA_PFMT_PM_REV,
340                 nports);
341         if (has_dummy_port) {
342                 kprintf("%s: Port multiplier: Ignoring dummy port #%d\n",
343                 PORTNAME(ap), nports);
344         }
345         ap->ap_pmcount = nports;
346
347         if (ahci_pm_read(ap, 15, SATA_PMREG_FEA, &data1)) {
348                 kprintf("%s: Port multiplier: Warning, "
349                         "cannot read feature register\n", PORTNAME(ap));
350         } else {
351                 kprintf("%s: Port multiplier features: 0x%b\n",
352                         PORTNAME(ap),
353                         data1,
354                         SATA_PFMT_PM_FEA);
355         }
356         if (ahci_pm_read(ap, 15, SATA_PMREG_FEAEN, &data2) == 0) {
357                 kprintf("%s: Port multiplier defaults: 0x%b\n",
358                         PORTNAME(ap),
359                         data2,
360                         SATA_PFMT_PM_FEA);
361         }
362
363         /*
364          * Turn on async notification if we support and the PM supports it.
365          * This allows the PM to forward async notification events to us and
366          * it will also generate an event for target 15 for hot-plug events
367          * (or is supposed to anyway).
368          */
369         if ((ap->ap_sc->sc_cap & AHCI_REG_CAP_SSNTF) &&
370             (data1 & SATA_PMFEA_ASYNCNOTIFY)) {
371                 u_int32_t serr_bits = AHCI_PREG_SERR_DIAG_N |
372                                       AHCI_PREG_SERR_DIAG_X;
373                 data2 |= SATA_PMFEA_ASYNCNOTIFY;
374                 if (ahci_pm_write(ap, 15, SATA_PMREG_FEAEN, data2)) {
375                         kprintf("%s: Port multiplier: AsyncNotify cannot be "
376                                 "enabled\n", PORTNAME(ap));
377                 } else if (ahci_pm_write(ap, 15, SATA_PMREG_EEENA, serr_bits)) {
378                         kprintf("%s: Port mulltiplier: AsyncNotify unable "
379                                 "to enable error info bits\n", PORTNAME(ap));
380                 } else {
381                         kprintf("%s: Port multiplier: AsyncNotify enabled\n",
382                                 PORTNAME(ap));
383                 }
384         }
385
386         return (0);
387 err:
388         kprintf("%s: Port multiplier cannot be identified\n", PORTNAME(ap));
389         return (EIO);
390 }
391
392 /*
393  * Do a COMRESET sequence on the target behind a port multiplier.
394  *
395  * If hard is 2 we also cycle the phy on the target.
396  *
397  * This must be done prior to any softreset or probe attempts on
398  * targets behind the port multiplier.
399  *
400  * Returns 0 on success or an error.
401  */
402 int
403 ahci_pm_hardreset(struct ahci_port *ap, int target, int hard)
404 {
405         struct ata_port *at;
406         u_int32_t data;
407         int loop;
408         int error = EIO;
409
410         at = ap->ap_ata[target];
411
412         /*
413          * Turn off power management and kill the phy on the target
414          * if requested.  Hold state for 10ms.
415          */
416         data = AHCI_PREG_SCTL_IPM_DISABLED;
417         if (hard == 2)
418                 data |= AHCI_PREG_SCTL_DET_DISABLE;
419         if (ahci_pm_write(ap, target, SATA_PMREG_SERR, -1))
420                 goto err;
421         if (ahci_pm_write(ap, target, SATA_PMREG_SCTL, data))
422                 goto err;
423         ahci_os_sleep(10);
424
425         /*
426          * Start transmitting COMRESET.  COMRESET must be sent for at
427          * least 1ms.
428          */
429         at->at_probe = ATA_PROBE_FAILED;
430         at->at_type = ATA_PORT_T_NONE;
431         data = AHCI_PREG_SCTL_IPM_DISABLED | AHCI_PREG_SCTL_DET_INIT;
432         if (AhciForceGen1 & (1 << ap->ap_num)) {
433                 kprintf("%s.%d: Force 1.5GBits\n", PORTNAME(ap), target);
434                 data |= AHCI_PREG_SCTL_SPD_GEN1;
435         } else {
436                 data |= AHCI_PREG_SCTL_SPD_ANY;
437         }
438         if (ahci_pm_write(ap, target, SATA_PMREG_SCTL, data))
439                 goto err;
440
441         /*
442          * It takes about 100ms for the DET logic to settle down,
443          * from trial and error testing.  If this is too short
444          * the softreset code will fail.
445          */
446         ahci_os_sleep(100);
447
448         if (ahci_pm_phy_status(ap, target, &data)) {
449                 kprintf("%s: (A)Cannot clear phy status\n",
450                         ATANAME(ap ,at));
451         }
452
453         /*
454          * Flush any status, then clear DET to initiate negotiation.
455          */
456         ahci_pm_write(ap, target, SATA_PMREG_SERR, -1);
457         data = AHCI_PREG_SCTL_IPM_DISABLED | AHCI_PREG_SCTL_DET_NONE;
458         if (ahci_pm_write(ap, target, SATA_PMREG_SCTL, data))
459                 goto err;
460
461         /*
462          * Try to determine if there is a device on the port.
463          *
464          * Give the device 3/10 second to at least be detected.
465          * If we fail clear any pending status since we may have
466          * cycled the phy and probably caused another PRCS interrupt.
467          */
468         for (loop = 3; loop; --loop) {
469                 if (ahci_pm_read(ap, target, SATA_PMREG_SSTS, &data))
470                         goto err;
471                 if (data & AHCI_PREG_SSTS_DET)
472                         break;
473                 ahci_os_sleep(100);
474         }
475         if (loop == 0) {
476                 kprintf("%s.%d: Port appears to be unplugged\n",
477                         PORTNAME(ap), target);
478                 error = ENODEV;
479                 goto err;
480         }
481
482         /*
483          * There is something on the port.  Give the device 3 seconds
484          * to fully negotiate.
485          */
486         for (loop = 30; loop; --loop) {
487                 if (ahci_pm_read(ap, target, SATA_PMREG_SSTS, &data))
488                         goto err;
489                 if ((data & AHCI_PREG_SSTS_DET) == AHCI_PREG_SSTS_DET_DEV)
490                         break;
491                 ahci_os_sleep(100);
492         }
493
494         /*
495          * Device not detected
496          */
497         if (loop == 0) {
498                 kprintf("%s: Device may be powered down\n",
499                         PORTNAME(ap));
500                 error = ENODEV;
501                 goto err;
502         }
503
504         /*
505          * Device detected
506          */
507         kprintf("%s.%d: Device detected data=%08x\n",
508                 PORTNAME(ap), target, data);
509         /*
510          * Clear SERR on the target so we get a new NOTIFY event if a hot-plug
511          * or hot-unplug occurs.
512          */
513         ahci_os_sleep(100);
514
515         error = 0;
516 err:
517         at->at_probe = error ? ATA_PROBE_FAILED : ATA_PROBE_NEED_SOFT_RESET;
518         return (error);
519 }
520
521 /*
522  * AHCI soft reset through port multiplier.
523  *
524  * This function keeps port communications intact and attempts to generate
525  * a reset to the connected device using device commands.  Unlike
526  * hard-port operations we can't do fancy stop/starts or stuff like
527  * that without messing up other commands that might be running or
528  * queued.
529  */
530 int
531 ahci_pm_softreset(struct ahci_port *ap, int target)
532 {
533         struct ata_port         *at;
534         struct ahci_ccb         *ccb;
535         struct ahci_cmd_hdr     *cmd_slot;
536         u_int8_t                *fis;
537         int                     count;
538         int                     error;
539         u_int32_t               data;
540         int                     tried_longer;
541
542         error = EIO;
543         at = ap->ap_ata[target];
544
545         DPRINTF(AHCI_D_VERBOSE, "%s: soft reset\n", PORTNAME(ap));
546
547         count = 2;
548         tried_longer = 0;
549 retry:
550         /*
551          * Try to clear the phy so we get a good signature, otherwise
552          * the PM may not latch a new signature.
553          *
554          * NOTE: This cannot be safely done between the first and second
555          *       softreset FISs.  It's now or never.
556          */
557 #if 1
558         if (ahci_pm_phy_status(ap, target, &data)) {
559                 kprintf("%s: (B)Cannot clear phy status\n",
560                         ATANAME(ap ,at));
561         }
562         ahci_pm_write(ap, target, SATA_PMREG_SERR, -1);
563 #endif
564
565         /*
566          * Prep first D2H command with SRST feature & clear busy/reset flags
567          *
568          * It is unclear which other fields in the FIS are used.  Just zero
569          * everything.
570          *
571          * When soft-resetting a port behind a multiplier at will be
572          * non-NULL, assigning it to the ccb prevents the port interrupt
573          * from hard-resetting the port if a problem crops up.
574          */
575         ccb = ahci_get_err_ccb(ap);
576         ccb->ccb_xa.flags = ATA_F_POLL | ATA_F_EXCLUSIVE | ATA_F_AUTOSENSE;
577         ccb->ccb_xa.complete = ahci_pm_dummy_done;
578         ccb->ccb_xa.at = at;
579
580         fis = ccb->ccb_cmd_table->cfis;
581         bzero(fis, sizeof(ccb->ccb_cmd_table->cfis));
582         fis[0] = ATA_FIS_TYPE_H2D;
583         fis[1] = at->at_target;
584         fis[15] = ATA_FIS_CONTROL_SRST|ATA_FIS_CONTROL_4BIT;
585
586         cmd_slot = ccb->ccb_cmd_hdr;
587         cmd_slot->prdtl = 0;
588         cmd_slot->flags = htole16(5);   /* FIS length: 5 DWORDS */
589         cmd_slot->flags |= htole16(AHCI_CMD_LIST_FLAG_C); /* Clear busy on OK */
590         cmd_slot->flags |= htole16(AHCI_CMD_LIST_FLAG_R); /* Reset */
591         cmd_slot->flags |= htole16(at->at_target <<
592                                    AHCI_CMD_LIST_FLAG_PMP_SHIFT);
593
594         ccb->ccb_xa.state = ATA_S_PENDING;
595
596         /*
597          * XXX hack to ignore IFS errors which can occur during the target
598          *     device's reset.
599          *
600          *     If an IFS error occurs the target is probably powering up,
601          *     so we try for a longer period of time.
602          */
603         ap->ap_flags |= AP_F_IGNORE_IFS;
604         ap->ap_flags &= ~(AP_F_IFS_IGNORED | AP_F_IFS_OCCURED);
605
606         if (ahci_poll(ccb, 1000, ahci_ata_cmd_timeout) != ATA_S_COMPLETE) {
607                 kprintf("%s: (PM) First FIS failed\n", ATANAME(ap, at));
608                 if (ap->ap_flags & AP_F_IFS_OCCURED) {
609                         if (tried_longer == 0)
610                                 count += 4;
611                         ++tried_longer;
612                 }
613                 ahci_put_err_ccb(ccb);
614                 if (--count)
615                         goto retry;
616                 goto err;
617         }
618
619         /*
620          * WARNING!  SENSITIVE TIME PERIOD!  WARNING!
621          *
622          * The first and second FISes are supposed to be back-to-back,
623          * I think the idea is to get the second sent and then after
624          * the device resets it will send a signature.  Do not delay
625          * here and most definitely do not issue any commands to other
626          * targets!
627          */
628
629         /*
630          * Prep second D2H command to read status and complete reset sequence
631          * AHCI 10.4.1 and "Serial ATA Revision 2.6".  I can't find the ATA
632          * Rev 2.6 and it is unclear how the second FIS should be set up
633          * from the AHCI document.
634          *
635          * Give the device 3ms before sending the second FIS.
636          *
637          * It is unclear which other fields in the FIS are used.  Just zero
638          * everything.
639          */
640         bzero(fis, sizeof(ccb->ccb_cmd_table->cfis));
641         fis[0] = ATA_FIS_TYPE_H2D;
642         fis[1] = at->at_target;
643         fis[15] = ATA_FIS_CONTROL_4BIT;
644
645         cmd_slot->prdtl = 0;
646         cmd_slot->flags = htole16(5);   /* FIS length: 5 DWORDS */
647         cmd_slot->flags |= htole16(at->at_target <<
648                                    AHCI_CMD_LIST_FLAG_PMP_SHIFT);
649
650         ccb->ccb_xa.state = ATA_S_PENDING;
651         ccb->ccb_xa.flags = ATA_F_POLL | ATA_F_EXCLUSIVE | ATA_F_AUTOSENSE;
652
653         if (ahci_poll(ccb, 1000, ahci_ata_cmd_timeout) != ATA_S_COMPLETE) {
654                 kprintf("%s: (PM) Second FIS failed\n", ATANAME(ap, at));
655                 ahci_put_err_ccb(ccb);
656 #if 1
657                 if (--count)
658                         goto retry;
659 #endif
660                 goto err;
661         }
662
663         ahci_put_err_ccb(ccb);
664         ahci_os_sleep(100);
665         ahci_pm_write(ap, target, SATA_PMREG_SERR, -1);
666         if (ahci_pm_phy_status(ap, target, &data)) {
667                 kprintf("%s: (C)Cannot clear phy status\n",
668                         ATANAME(ap ,at));
669         }
670         ahci_pm_write(ap, target, SATA_PMREG_SERR, -1);
671
672         /*
673          * Do it again, even if we think we got a good result
674          */
675         if (--count) {
676                 fis[15] = 0;
677                 goto retry;
678         }
679
680         /*
681          * If the softreset is trying to clear a BSY condition after a
682          * normal portreset we assign the port type.
683          *
684          * If the softreset is being run first as part of the ccb error
685          * processing code then report if the device signature changed
686          * unexpectedly.
687          */
688         if (at->at_type == ATA_PORT_T_NONE) {
689                 at->at_type = ahci_port_signature_detect(ap, at);
690         } else {
691                 if (ahci_port_signature_detect(ap, at) != at->at_type) {
692                         kprintf("%s: device signature unexpectedly "
693                                 "changed\n", ATANAME(ap, at));
694                         error = EBUSY; /* XXX */
695                 }
696         }
697         error = 0;
698
699         /*
700          * Who knows what kind of mess occured.  We have exclusive access
701          * to the port so try to clean up potential problems.
702          */
703         ahci_os_sleep(100);
704 err:
705         /*
706          * Clear error status so we can detect removal.
707          */
708         if (ahci_pm_write(ap, target, SATA_PMREG_SERR, -1)) {
709                 kprintf("%s: ahci_pm_softreset unable to clear SERR\n",
710                         ATANAME(ap, at));
711                 ap->ap_flags &= ~AP_F_IGNORE_IFS;
712         }
713 /*      ahci_pwrite(ap, AHCI_PREG_SERR, -1);*/
714
715         at->at_probe = error ? ATA_PROBE_FAILED : ATA_PROBE_NEED_IDENT;
716         return (error);
717 }
718
719
720 /*
721  * Return the phy status for a target behind a port multiplier and
722  * reset SATA_PMREG_SERR.
723  *
724  * Returned bits follow AHCI_PREG_SSTS bits.  The AHCI_PREG_SSTS_SPD
725  * bits can be used to determine the link speed and will be 0 if there
726  * is no link.
727  *
728  * 0 is returned if any communications error occurs.
729  */
730 int
731 ahci_pm_phy_status(struct ahci_port *ap, int target, u_int32_t *datap)
732 {
733         int error;
734
735         error = ahci_pm_read(ap, target, SATA_PMREG_SSTS, datap);
736         if (error == 0)
737                 error = ahci_pm_write(ap, target, SATA_PMREG_SERR, -1);
738         if (error)
739                 *datap = 0;
740         return(error);
741 }
742
743 /*
744  * Check that a target is still good.
745  */
746 void
747 ahci_pm_check_good(struct ahci_port *ap, int target)
748 {
749         struct ata_port *at;
750         u_int32_t data;
751
752         /*
753          * It looks like we might have to read the EINFO register
754          * to allow the PM to generate a new event.
755          */
756         if (ahci_pm_read(ap, 15, SATA_PMREG_EINFO, &data)) {
757                 kprintf("%s: Port multiplier EINFO could not be read\n",
758                         PORTNAME(ap));
759         }
760
761         if (ahci_pm_write(ap, target, SATA_PMREG_SERR, -1)) {
762                 kprintf("%s: Port multiplier: SERR could not be cleared\n",
763                         PORTNAME(ap));
764         }
765
766         if (target == CAM_TARGET_WILDCARD || target >= ap->ap_pmcount)
767                 return;
768         at = ap->ap_ata[target];
769
770         /*
771          * If the device needs an init or hard reset also make sure the
772          * PHY is turned on.
773          */
774         if (at->at_probe <= ATA_PROBE_NEED_HARD_RESET) {
775                 /*kprintf("%s DOHARD\n", ATANAME(ap, at));*/
776                 ahci_pm_hardreset(ap, target, 1);
777         }
778
779         /*
780          * Read the detect status
781          */
782         if (ahci_pm_read(ap, target, SATA_PMREG_SSTS, &data)) {
783                 kprintf("%s: Unable to access PM SSTS register target %d\n",
784                         PORTNAME(ap), target);
785                 return;
786         }
787         if ((data & AHCI_PREG_SSTS_DET) != AHCI_PREG_SSTS_DET_DEV) {
788                 /*kprintf("%s: DETECT %08x\n", ATANAME(ap, at), data);*/
789                 if (at->at_probe != ATA_PROBE_FAILED) {
790                         at->at_probe = ATA_PROBE_FAILED;
791                         at->at_type = ATA_PORT_T_NONE;
792                         at->at_features |= ATA_PORT_F_RESCAN;
793                         kprintf("%s: HOTPLUG (PM) - Device removed\n",
794                                 ATANAME(ap, at));
795                 }
796         } else {
797                 if (at->at_probe == ATA_PROBE_FAILED) {
798                         at->at_probe = ATA_PROBE_NEED_HARD_RESET;
799                         at->at_features |= ATA_PORT_F_RESCAN;
800                         kprintf("%s: HOTPLUG (PM) - Device inserted\n",
801                                 ATANAME(ap, at));
802                 }
803         }
804 }
805
806 /*
807  * Read a PM register
808  */
809 int
810 ahci_pm_read(struct ahci_port *ap, int target, int which, u_int32_t *datap)
811 {
812         struct ata_xfer *xa;
813         int error;
814
815         xa = ahci_ata_get_xfer(ap, ap->ap_ata[15]);
816
817         xa->fis->type = ATA_FIS_TYPE_H2D;
818         xa->fis->flags = ATA_H2D_FLAGS_CMD | 15;
819         xa->fis->command = ATA_C_READ_PM;
820         xa->fis->features = which;
821         xa->fis->device = target | ATA_H2D_DEVICE_LBA;
822         xa->fis->control = ATA_FIS_CONTROL_4BIT;
823
824         xa->complete = ahci_pm_dummy_done;
825         xa->datalen = 0;
826         xa->flags = ATA_F_POLL | ATA_F_AUTOSENSE;
827         xa->timeout = 1000;
828
829         if (ahci_ata_cmd(xa) == ATA_S_COMPLETE) {
830                 *datap = xa->rfis.sector_count | (xa->rfis.lba_low << 8) |
831                        (xa->rfis.lba_mid << 16) | (xa->rfis.lba_high << 24);
832                 error = 0;
833         } else {
834                 kprintf("%s.%d pm_read SCA[%d] failed\n",
835                         PORTNAME(ap), target, which);
836                 *datap = 0;
837                 error = EIO;
838         }
839         ahci_ata_put_xfer(xa);
840         return (error);
841 }
842
843 /*
844  * Write a PM register
845  */
846 int
847 ahci_pm_write(struct ahci_port *ap, int target, int which, u_int32_t data)
848 {
849         struct ata_xfer *xa;
850         int error;
851
852         xa = ahci_ata_get_xfer(ap, ap->ap_ata[15]);
853
854         xa->fis->type = ATA_FIS_TYPE_H2D;
855         xa->fis->flags = ATA_H2D_FLAGS_CMD | 15;
856         xa->fis->command = ATA_C_WRITE_PM;
857         xa->fis->features = which;
858         xa->fis->device = target | ATA_H2D_DEVICE_LBA;
859         xa->fis->sector_count = (u_int8_t)data;
860         xa->fis->lba_low = (u_int8_t)(data >> 8);
861         xa->fis->lba_mid = (u_int8_t)(data >> 16);
862         xa->fis->lba_high = (u_int8_t)(data >> 24);
863         xa->fis->control = ATA_FIS_CONTROL_4BIT;
864
865         xa->complete = ahci_pm_dummy_done;
866         xa->datalen = 0;
867         xa->flags = ATA_F_POLL;
868         xa->timeout = 1000;
869
870         if (ahci_ata_cmd(xa) == ATA_S_COMPLETE)
871                 error = 0;
872         else
873                 error = EIO;
874         ahci_ata_put_xfer(xa);
875         return(error);
876 }
877
878 /*
879  * Dummy done callback for xa.
880  */
881 static void
882 ahci_pm_dummy_done(struct ata_xfer *xa)
883 {
884 }
885