sys/dev/acpica5/acpi_pci_link.c

   1 /*
   2  * Copyright (c) 2002 Mitsuru IWASAKI <iwasaki@jp.kfreebsd.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  *
  26  * $FreeBSD: src/sys/dev/acpica/acpi_pci_link.c,v 1.56.2.1.6.1 2009/04/15 03:14:26 kensmith Exp $
  27  */
  28
  29 #define MPASS(ex)               MPASS4(ex, #ex, __FILE__, __LINE__)
  30 #define MPASS4(ex, what, file, line)                                    \
  31         KASSERT((ex), ("Assertion %s failed at %s:%d", what, file, line))
  32
  33 #include "opt_acpi.h"
  34 #include <sys/param.h>
  35 #include <sys/bus.h>
  36 #include <sys/kernel.h>
  37 #include <sys/limits.h>
  38 #include <sys/malloc.h>
  39 #include <sys/module.h>
  40
  41 #include "acpi.h"
  42 #include <dev/acpica5/acpivar.h>
  43 #include <dev/acpica5/acpi_pcibvar.h>
  44 #include <dev/acpica5/acpi_sci_var.h>
  45
  46 #include <bus/pci/i386/pci_cfgreg.h>
  47 #include <bus/pci/pcireg.h>
  48 #include <bus/pci/pcivar.h>
  49 #include "pcib_if.h"
  50
  51 /* Hooks for the ACPI CA debugging infrastructure. */
  52 #define _COMPONENT      ACPI_BUS
  53 ACPI_MODULE_NAME("PCI_LINK")
  54
  55 ACPI_SERIAL_DECL(pci_link, "ACPI PCI link");
  56
  57 #define NUM_ISA_INTERRUPTS      16
  58 #define NUM_ACPI_INTERRUPTS     256
  59
  60 /*
  61  * An ACPI PCI link device may contain multiple links.  Each link has its
  62  * own ACPI resource.  _PRT entries specify which link is being used via
  63  * the Source Index.
  64  *
  65  * XXX: A note about Source Indices and DPFs:  Currently we assume that
  66  * the DPF start and end tags are not counted towards the index that
  67  * Source Index corresponds to.  Also, we assume that when DPFs are in use
  68  * they various sets overlap in terms of Indices.  Here's an example
  69  * resource list indicating these assumptions:
  70  *
  71  * Resource             Index
  72  * --------             -----
  73  * I/O Port             0
  74  * Start DPF            -
  75  * IRQ                  1
  76  * MemIO                2
  77  * Start DPF            -
  78  * IRQ                  1
  79  * MemIO                2
  80  * End DPF              -
  81  * DMA Channel          3
  82  *
  83  * The XXX is because I'm not sure if this is a valid assumption to make.
  84  */
  85
  86 /* States during DPF processing. */
  87 #define DPF_OUTSIDE     0
  88 #define DPF_FIRST       1
  89 #define DPF_IGNORE      2
  90
  91 struct link;
  92
  93 struct acpi_pci_link_softc {
  94         int     pl_num_links;
  95         int     pl_crs_bad;
  96         struct link *pl_links;
  97         device_t pl_dev;
  98 };
  99
 100 struct link {
 101         struct acpi_pci_link_softc *l_sc;
 102         uint8_t l_bios_irq;
 103         uint8_t l_irq;
 104         uint8_t l_initial_irq;
 105         int     l_res_index;
 106         int     l_num_irqs;
 107         int     *l_irqs;
 108         int     l_references;
 109         int     l_routed:1;
 110         int     l_isa_irq:1;
 111         ACPI_RESOURCE l_prs_template;
 112 };
 113
 114 struct link_count_request {
 115         int     in_dpf;
 116         int     count;
 117 };
 118
 119 struct link_res_request {
 120         struct acpi_pci_link_softc *sc;
 121         int     in_dpf;
 122         int     res_index;
 123         int     link_index;
 124 };
 125
 126 MALLOC_DEFINE(M_PCI_LINK, "pci_link", "ACPI PCI Link structures");
 127
 128 static int pci_link_interrupt_weights[NUM_ACPI_INTERRUPTS];
 129 static int pci_link_bios_isa_irqs;
 130
 131 static char *pci_link_ids[] = { "PNP0C0F", NULL };
 132
 133 /*
 134  * Fetch the short name associated with an ACPI handle and save it in the
 135  * passed in buffer.
 136  */
 137 static ACPI_STATUS
 138 acpi_short_name(ACPI_HANDLE handle, char *buffer, size_t buflen)
 139 {
 140         ACPI_BUFFER buf;
 141
 142         buf.Length = buflen;
 143         buf.Pointer = buffer;
 144         return (AcpiGetName(handle, ACPI_SINGLE_NAME, &buf));
 145 }
 146
 147 static int
 148 acpi_pci_link_probe(device_t dev)
 149 {
 150         char descr[28], name[12];
 151
 152         /*
 153          * We explicitly do not check _STA since not all systems set it to
 154          * sensible values.
 155          */
 156         if (acpi_disabled("pci_link") ||
 157             ACPI_ID_PROBE(device_get_parent(dev), dev, pci_link_ids) == NULL)
 158                 return (ENXIO);
 159
 160         if (ACPI_SUCCESS(acpi_short_name(acpi_get_handle(dev), name,
 161             sizeof(name)))) {
 162                 ksnprintf(descr, sizeof(descr), "ACPI PCI Link %s", name);
 163                 device_set_desc_copy(dev, descr);
 164         } else
 165                 device_set_desc(dev, "ACPI PCI Link");
 166         device_quiet(dev);
 167         return (0);
 168 }
 169
 170 static ACPI_STATUS
 171 acpi_count_irq_resources(ACPI_RESOURCE *res, void *context)
 172 {
 173         struct link_count_request *req;
 174
 175         req = (struct link_count_request *)context;
 176         switch (res->Type) {
 177         case ACPI_RESOURCE_TYPE_START_DEPENDENT:
 178                 switch (req->in_dpf) {
 179                 case DPF_OUTSIDE:
 180                         /* We've started the first DPF. */
 181                         req->in_dpf = DPF_FIRST;
 182                         break;
 183                 case DPF_FIRST:
 184                         /* We've started the second DPF. */
 185                         req->in_dpf = DPF_IGNORE;
 186                         break;
 187                 }
 188                 break;
 189         case ACPI_RESOURCE_TYPE_END_DEPENDENT:
 190                 /* We are finished with DPF parsing. */
 191                 KASSERT(req->in_dpf != DPF_OUTSIDE,
 192                     ("%s: end dpf when not parsing a dpf", __func__));
 193                 req->in_dpf = DPF_OUTSIDE;
 194                 break;
 195         case ACPI_RESOURCE_TYPE_IRQ:
 196         case ACPI_RESOURCE_TYPE_EXTENDED_IRQ:
 197                 /*
 198                  * Don't count resources if we are in a DPF set that we are
 199                  * ignoring.
 200                  */
 201                 if (req->in_dpf != DPF_IGNORE)
 202                         req->count++;
 203         }
 204         return (AE_OK);
 205 }
 206
 207 static ACPI_STATUS
 208 link_add_crs(ACPI_RESOURCE *res, void *context)
 209 {
 210         struct link_res_request *req;
 211         struct link *link;
 212
 213         ACPI_SERIAL_ASSERT(pci_link);
 214         req = (struct link_res_request *)context;
 215         switch (res->Type) {
 216         case ACPI_RESOURCE_TYPE_START_DEPENDENT:
 217                 switch (req->in_dpf) {
 218                 case DPF_OUTSIDE:
 219                         /* We've started the first DPF. */
 220                         req->in_dpf = DPF_FIRST;
 221                         break;
 222                 case DPF_FIRST:
 223                         /* We've started the second DPF. */
 224                         panic(
 225                 "%s: Multiple dependent functions within a current resource",
 226                             __func__);
 227                         break;
 228                 }
 229                 break;
 230         case ACPI_RESOURCE_TYPE_END_DEPENDENT:
 231                 /* We are finished with DPF parsing. */
 232                 KASSERT(req->in_dpf != DPF_OUTSIDE,
 233                     ("%s: end dpf when not parsing a dpf", __func__));
 234                 req->in_dpf = DPF_OUTSIDE;
 235                 break;
 236         case ACPI_RESOURCE_TYPE_IRQ:
 237         case ACPI_RESOURCE_TYPE_EXTENDED_IRQ:
 238                 KASSERT(req->link_index < req->sc->pl_num_links,
 239                     ("%s: array boundary violation", __func__));
 240                 link = &req->sc->pl_links[req->link_index];
 241                 link->l_res_index = req->res_index;
 242                 req->link_index++;
 243                 req->res_index++;
 244
 245                 /*
 246                  * Only use the current value if there's one IRQ.  Some
 247                  * systems return multiple IRQs (which is nonsense for _CRS)
 248                  * when the link hasn't been programmed.
 249                  */
 250                 if (res->Type == ACPI_RESOURCE_TYPE_IRQ) {
 251                         if (res->Data.Irq.InterruptCount == 1)
 252                                 link->l_irq = res->Data.Irq.Interrupts[0];
 253                 } else if (res->Data.ExtendedIrq.InterruptCount == 1)
 254                         link->l_irq = res->Data.ExtendedIrq.Interrupts[0];
 255
 256                 /*
 257                  * An IRQ of zero means that the link isn't routed.
 258                  */
 259                 if (link->l_irq == 0)
 260                         link->l_irq = PCI_INVALID_IRQ;
 261                 break;
 262         default:
 263                 req->res_index++;
 264         }
 265         return (AE_OK);
 266 }
 267
 268 /*
 269  * Populate the set of possible IRQs for each device.
 270  */
 271 static ACPI_STATUS
 272 link_add_prs(ACPI_RESOURCE *res, void *context)
 273 {
 274         struct link_res_request *req;
 275         struct link *link;
 276         UINT8 *irqs = NULL;
 277         UINT32 *ext_irqs = NULL;
 278         int i, is_ext_irq = 1;
 279
 280         ACPI_SERIAL_ASSERT(pci_link);
 281         req = (struct link_res_request *)context;
 282         switch (res->Type) {
 283         case ACPI_RESOURCE_TYPE_START_DEPENDENT:
 284                 switch (req->in_dpf) {
 285                 case DPF_OUTSIDE:
 286                         /* We've started the first DPF. */
 287                         req->in_dpf = DPF_FIRST;
 288                         break;
 289                 case DPF_FIRST:
 290                         /* We've started the second DPF. */
 291                         req->in_dpf = DPF_IGNORE;
 292                         break;
 293                 }
 294                 break;
 295         case ACPI_RESOURCE_TYPE_END_DEPENDENT:
 296                 /* We are finished with DPF parsing. */
 297                 KASSERT(req->in_dpf != DPF_OUTSIDE,
 298                     ("%s: end dpf when not parsing a dpf", __func__));
 299                 req->in_dpf = DPF_OUTSIDE;
 300                 break;
 301         case ACPI_RESOURCE_TYPE_IRQ:
 302                 is_ext_irq = 0;
 303                 /* fall through */
 304         case ACPI_RESOURCE_TYPE_EXTENDED_IRQ:
 305                 /*
 306                  * Don't parse resources if we are in a DPF set that we are
 307                  * ignoring.
 308                  */
 309                 if (req->in_dpf == DPF_IGNORE)
 310                         break;
 311
 312                 KASSERT(req->link_index < req->sc->pl_num_links,
 313                     ("%s: array boundary violation", __func__));
 314                 link = &req->sc->pl_links[req->link_index];
 315                 if (link->l_res_index == -1) {
 316                         KASSERT(req->sc->pl_crs_bad,
 317                             ("res_index should be set"));
 318                         link->l_res_index = req->res_index;
 319                 }
 320                 req->link_index++;
 321                 req->res_index++;
 322
 323                 /*
 324                  * Stash a copy of the resource for later use when doing
 325                  * _SRS.
 326                  */
 327                 bcopy(res, &link->l_prs_template, sizeof(ACPI_RESOURCE));
 328                 if (is_ext_irq) {
 329                         link->l_num_irqs =
 330                             res->Data.ExtendedIrq.InterruptCount;
 331                         ext_irqs = res->Data.ExtendedIrq.Interrupts;
 332                 } else {
 333                         link->l_num_irqs = res->Data.Irq.InterruptCount;
 334                         irqs = res->Data.Irq.Interrupts;
 335                 }
 336                 if (link->l_num_irqs == 0)
 337                         break;
 338
 339                 /*
 340                  * Save a list of the valid IRQs.  Also, if all of the
 341                  * valid IRQs are ISA IRQs, then mark this link as
 342                  * routed via an ISA interrupt.
 343                  */
 344                 link->l_isa_irq = TRUE;
 345
 346                 link->l_irqs = kmalloc(sizeof(int) * link->l_num_irqs,
 347                     M_PCI_LINK, M_WAITOK | M_ZERO);
 348                 for (i = 0; i < link->l_num_irqs; i++) {
 349                         if (is_ext_irq) {
 350                                 link->l_irqs[i] = ext_irqs[i];
 351                                 if (ext_irqs[i] >= NUM_ISA_INTERRUPTS)
 352                                         link->l_isa_irq = FALSE;
 353                         } else {
 354                                 link->l_irqs[i] = irqs[i];
 355                                 if (irqs[i] >= NUM_ISA_INTERRUPTS)
 356                                         link->l_isa_irq = FALSE;
 357                         }
 358                 }
 359                 break;
 360         default:
 361                 if (req->in_dpf == DPF_IGNORE)
 362                         break;
 363                 if (req->sc->pl_crs_bad)
 364                         device_printf(req->sc->pl_dev,
 365                     "Warning: possible resource %d will be lost during _SRS\n",
 366                             req->res_index);
 367                 req->res_index++;
 368         }
 369         return (AE_OK);
 370 }
 371
 372 static int
 373 link_valid_irq(struct link *link, int irq)
 374 {
 375         int i;
 376
 377         ACPI_SERIAL_ASSERT(pci_link);
 378
 379         /* Invalid interrupts are never valid. */
 380         if (!PCI_INTERRUPT_VALID(irq))
 381                 return (FALSE);
 382
 383         /* Any interrupt in the list of possible interrupts is valid. */
 384         for (i = 0; i < link->l_num_irqs; i++)
 385                 if (link->l_irqs[i] == irq)
 386                          return (TRUE);
 387
 388         /*
 389          * For links routed via an ISA interrupt, if the SCI is routed via
 390          * an ISA interrupt, the SCI is always treated as a valid IRQ.
 391          */
 392         if (link->l_isa_irq && AcpiGbl_FADT.SciInterrupt == irq &&
 393             irq < NUM_ISA_INTERRUPTS)
 394                 return (TRUE);
 395
 396         /* If the interrupt wasn't found in the list it is not valid. */
 397         return (FALSE);
 398 }
 399
 400 static void
 401 acpi_pci_link_dump(struct acpi_pci_link_softc *sc, int header, const char *tag)
 402 {
 403         struct link *link;
 404         char buf[16];
 405         int i, j;
 406
 407         ACPI_SERIAL_ASSERT(pci_link);
 408         if (header) {
 409                 ksnprintf(buf, sizeof(buf), "%s:",
 410                     device_get_nameunit(sc->pl_dev));
 411                 kprintf("%-16.16s  Index  IRQ  Rtd  Ref  IRQs\n", buf);
 412         }
 413         for (i = 0; i < sc->pl_num_links; i++) {
 414                 link = &sc->pl_links[i];
 415                 kprintf("  %-14.14s  %5d  %3d   %c   %3d ", i == 0 ? tag : "", i,
 416                     link->l_irq, link->l_routed ? 'Y' : 'N',
 417                     link->l_references);
 418                 if (link->l_num_irqs == 0)
 419                         kprintf(" none");
 420                 else for (j = 0; j < link->l_num_irqs; j++)
 421                         kprintf(" %d", link->l_irqs[j]);
 422                 kprintf("\n");
 423         }
 424 }
 425
 426 static int
 427 acpi_pci_link_attach(device_t dev)
 428 {
 429         struct acpi_pci_link_softc *sc;
 430         struct link_count_request creq;
 431         struct link_res_request rreq;
 432         ACPI_STATUS status;
 433         int i;
 434
 435         sc = device_get_softc(dev);
 436         sc->pl_dev = dev;
 437         ACPI_SERIAL_INIT(pci_link);
 438         ACPI_SERIAL_BEGIN(pci_link);
 439
 440         /*
 441          * Count the number of current resources so we know how big of
 442          * a link array to allocate.  On some systems, _CRS is broken,
 443          * so for those systems try to derive the count from _PRS instead.
 444          */
 445         creq.in_dpf = DPF_OUTSIDE;
 446         creq.count = 0;
 447         status = AcpiWalkResources(acpi_get_handle(dev), "_CRS",
 448             acpi_count_irq_resources, &creq);
 449         sc->pl_crs_bad = ACPI_FAILURE(status);
 450         if (sc->pl_crs_bad) {
 451                 creq.in_dpf = DPF_OUTSIDE;
 452                 creq.count = 0;
 453                 status = AcpiWalkResources(acpi_get_handle(dev), "_PRS",
 454                     acpi_count_irq_resources, &creq);
 455                 if (ACPI_FAILURE(status)) {
 456                         device_printf(dev,
 457                             "Unable to parse _CRS or _PRS: %s\n",
 458                             AcpiFormatException(status));
 459                         ACPI_SERIAL_END(pci_link);
 460                         return (ENXIO);
 461                 }
 462         }
 463         sc->pl_num_links = creq.count;
 464         if (creq.count == 0) {
 465                 ACPI_SERIAL_END(pci_link);
 466                 return (0);
 467         }
 468         sc->pl_links = kmalloc(sizeof(struct link) * sc->pl_num_links,
 469             M_PCI_LINK, M_WAITOK | M_ZERO);
 470
 471         /* Initialize the child links. */
 472         for (i = 0; i < sc->pl_num_links; i++) {
 473                 sc->pl_links[i].l_irq = PCI_INVALID_IRQ;
 474                 sc->pl_links[i].l_bios_irq = PCI_INVALID_IRQ;
 475                 sc->pl_links[i].l_sc = sc;
 476                 sc->pl_links[i].l_isa_irq = FALSE;
 477                 sc->pl_links[i].l_res_index = -1;
 478         }
 479
 480         /* Try to read the current settings from _CRS if it is valid. */
 481         if (!sc->pl_crs_bad) {
 482                 rreq.in_dpf = DPF_OUTSIDE;
 483                 rreq.link_index = 0;
 484                 rreq.res_index = 0;
 485                 rreq.sc = sc;
 486                 status = AcpiWalkResources(acpi_get_handle(dev), "_CRS",
 487                     link_add_crs, &rreq);
 488                 if (ACPI_FAILURE(status)) {
 489                         device_printf(dev, "Unable to parse _CRS: %s\n",
 490                             AcpiFormatException(status));
 491                         goto fail;
 492                 }
 493         }
 494
 495         /*
 496          * Try to read the possible settings from _PRS.  Note that if the
 497          * _CRS is toast, we depend on having a working _PRS.  However, if
 498          * _CRS works, then it is ok for _PRS to be missing.
 499          */
 500         rreq.in_dpf = DPF_OUTSIDE;
 501         rreq.link_index = 0;
 502         rreq.res_index = 0;
 503         rreq.sc = sc;
 504         status = AcpiWalkResources(acpi_get_handle(dev), "_PRS",
 505             link_add_prs, &rreq);
 506         if (ACPI_FAILURE(status) &&
 507             (status != AE_NOT_FOUND || sc->pl_crs_bad)) {
 508                 device_printf(dev, "Unable to parse _PRS: %s\n",
 509                     AcpiFormatException(status));
 510                 goto fail;
 511         }
 512         if (bootverbose)
 513                 acpi_pci_link_dump(sc, 1, "Initial Probe");
 514
 515         /* Verify initial IRQs if we have _PRS. */
 516         if (status != AE_NOT_FOUND)
 517                 for (i = 0; i < sc->pl_num_links; i++)
 518                         if (!link_valid_irq(&sc->pl_links[i],
 519                             sc->pl_links[i].l_irq))
 520                                 sc->pl_links[i].l_irq = PCI_INVALID_IRQ;
 521         if (bootverbose)
 522                 acpi_pci_link_dump(sc, 0, "Validation");
 523
 524         /* Save initial IRQs. */
 525         for (i = 0; i < sc->pl_num_links; i++)
 526                 sc->pl_links[i].l_initial_irq = sc->pl_links[i].l_irq;
 527
 528         /*
 529          * Try to disable this link.  If successful, set the current IRQ to
 530          * zero and flags to indicate this link is not routed.  If we can't
 531          * run _DIS (i.e., the method doesn't exist), assume the initial
 532          * IRQ was routed by the BIOS.
 533          */
 534         if (ACPI_SUCCESS(AcpiEvaluateObject(acpi_get_handle(dev), "_DIS", NULL,
 535             NULL)))
 536                 for (i = 0; i < sc->pl_num_links; i++)
 537                         sc->pl_links[i].l_irq = PCI_INVALID_IRQ;
 538         else
 539                 for (i = 0; i < sc->pl_num_links; i++)
 540                         if (PCI_INTERRUPT_VALID(sc->pl_links[i].l_irq))
 541                                 sc->pl_links[i].l_routed = TRUE;
 542         if (bootverbose)
 543                 acpi_pci_link_dump(sc, 0, "After Disable");
 544         ACPI_SERIAL_END(pci_link);
 545         return (0);
 546 fail:
 547         ACPI_SERIAL_END(pci_link);
 548         for (i = 0; i < sc->pl_num_links; i++)
 549                 if (sc->pl_links[i].l_irqs != NULL)
 550                         kfree(sc->pl_links[i].l_irqs, M_PCI_LINK);
 551         kfree(sc->pl_links, M_PCI_LINK);
 552         return (ENXIO);
 553 }
 554
 555 /* XXX: Note that this is identical to pci_pir_search_irq(). */
 556 static uint8_t
 557 acpi_pci_link_search_irq(int bus, int device, int pin)
 558 {
 559         uint32_t value;
 560         uint8_t func, maxfunc;
 561
 562         /* See if we have a valid device at function 0. */
 563         value = pci_cfgregread(bus, device, 0, PCIR_HDRTYPE, 1);
 564         if ((value & PCIM_HDRTYPE) > PCI_MAXHDRTYPE)
 565                 return (PCI_INVALID_IRQ);
 566         if (value & PCIM_MFDEV)
 567                 maxfunc = PCI_FUNCMAX;
 568         else
 569                 maxfunc = 0;
 570
 571         /* Scan all possible functions at this device. */
 572         for (func = 0; func <= maxfunc; func++) {
 573                 value = pci_cfgregread(bus, device, func, PCIR_DEVVENDOR, 4);
 574                 if (value == 0xffffffff)
 575                         continue;
 576                 value = pci_cfgregread(bus, device, func, PCIR_INTPIN, 1);
 577
 578                 /*
 579                  * See if it uses the pin in question.  Note that the passed
 580                  * in pin uses 0 for A, .. 3 for D whereas the intpin
 581                  * register uses 0 for no interrupt, 1 for A, .. 4 for D.
 582                  */
 583                 if (value != pin + 1)
 584                         continue;
 585                 value = pci_cfgregread(bus, device, func, PCIR_INTLINE, 1);
 586                 if (bootverbose)
 587                         kprintf(
 588                 "ACPI: Found matching pin for %d.%d.INT%c at func %d: %d\n",
 589                             bus, device, pin + 'A', func, value);
 590                 if (value != PCI_INVALID_IRQ)
 591                         return (value);
 592         }
 593         return (PCI_INVALID_IRQ);
 594 }
 595
 596 /*
 597  * Find the link structure that corresponds to the resource index passed in
 598  * via 'source_index'.
 599  */
 600 static struct link *
 601 acpi_pci_link_lookup(device_t dev, int source_index)
 602 {
 603         struct acpi_pci_link_softc *sc;
 604         int i;
 605
 606         ACPI_SERIAL_ASSERT(pci_link);
 607         sc = device_get_softc(dev);
 608         for (i = 0; i < sc->pl_num_links; i++)
 609                 if (sc->pl_links[i].l_res_index == source_index)
 610                         return (&sc->pl_links[i]);
 611         return (NULL);
 612 }
 613
 614 void
 615 acpi_pci_link_add_reference(device_t dev, int index, device_t pcib, int slot,
 616     int pin)
 617 {
 618         struct link *link;
 619         uint8_t bios_irq;
 620         uintptr_t bus;
 621
 622         /*
 623          * Look up the PCI bus for the specified PCI bridge device.  Note
 624          * that the PCI bridge device might not have any children yet.
 625          * However, looking up its bus number doesn't require a valid child
 626          * device, so we just pass NULL.
 627          */
 628         if (BUS_READ_IVAR(pcib, NULL, PCIB_IVAR_BUS, &bus) != 0) {
 629                 device_printf(pcib, "Unable to read PCI bus number");
 630                 panic("PCI bridge without a bus number");
 631         }
 632
 633         /* Bump the reference count. */
 634         ACPI_SERIAL_BEGIN(pci_link);
 635         link = acpi_pci_link_lookup(dev, index);
 636         if (link == NULL) {
 637                 device_printf(dev, "apparently invalid index %d\n", index);
 638                 ACPI_SERIAL_END(pci_link);
 639                 return;
 640         }
 641         link->l_references++;
 642         if (link->l_routed)
 643                 pci_link_interrupt_weights[link->l_irq]++;
 644
 645         /*
 646          * The BIOS only routes interrupts via ISA IRQs using the ATPICs
 647          * (8259As).  Thus, if this link is routed via an ISA IRQ, go
 648          * look to see if the BIOS routed an IRQ for this link at the
 649          * indicated (bus, slot, pin).  If so, we prefer that IRQ for
 650          * this link and add that IRQ to our list of known-good IRQs.
 651          * This provides a good work-around for link devices whose _CRS
 652          * method is either broken or bogus.  We only use the value
 653          * returned by _CRS if we can't find a valid IRQ via this method
 654          * in fact.
 655          *
 656          * If this link is not routed via an ISA IRQ (because we are using
 657          * APIC for example), then don't bother looking up the BIOS IRQ
 658          * as if we find one it won't be valid anyway.
 659          */
 660         if (!link->l_isa_irq) {
 661                 ACPI_SERIAL_END(pci_link);
 662                 return;
 663         }
 664
 665         /* Try to find a BIOS IRQ setting from any matching devices. */
 666         bios_irq = acpi_pci_link_search_irq(bus, slot, pin);
 667         if (!PCI_INTERRUPT_VALID(bios_irq)) {
 668                 ACPI_SERIAL_END(pci_link);
 669                 return;
 670         }
 671
 672         /* Validate the BIOS IRQ. */
 673         if (!link_valid_irq(link, bios_irq)) {
 674                 device_printf(dev, "BIOS IRQ %u for %d.%d.INT%c is invalid\n",
 675                     bios_irq, (int)bus, slot, pin + 'A');
 676         } else if (!PCI_INTERRUPT_VALID(link->l_bios_irq)) {
 677                 link->l_bios_irq = bios_irq;
 678                 /*
 679                  * SCI setting is handled by acpi_pci_link_identify()
 680                  */
 681                 if (bios_irq < NUM_ISA_INTERRUPTS &&
 682                     AcpiGbl_FADT.SciInterrupt != bios_irq)
 683                         pci_link_bios_isa_irqs |= (1 << bios_irq);
 684                 if (bios_irq != link->l_initial_irq &&
 685                     PCI_INTERRUPT_VALID(link->l_initial_irq))
 686                         device_printf(dev,
 687                             "BIOS IRQ %u does not match initial IRQ %u\n",
 688                             bios_irq, link->l_initial_irq);
 689         } else if (bios_irq != link->l_bios_irq)
 690                 device_printf(dev,
 691             "BIOS IRQ %u for %d.%d.INT%c does not match previous BIOS IRQ %u\n",
 692                     bios_irq, (int)bus, slot, pin + 'A',
 693                     link->l_bios_irq);
 694         ACPI_SERIAL_END(pci_link);
 695 }
 696
 697 static ACPI_STATUS
 698 acpi_pci_link_srs_from_crs(struct acpi_pci_link_softc *sc, ACPI_BUFFER *srsbuf)
 699 {
 700         ACPI_RESOURCE *resource, *end, newres, *resptr;
 701         ACPI_BUFFER crsbuf;
 702         ACPI_STATUS status;
 703         struct link *link;
 704         int i, in_dpf;
 705
 706         /* Fetch the _CRS. */
 707         ACPI_SERIAL_ASSERT(pci_link);
 708         crsbuf.Pointer = NULL;
 709         crsbuf.Length = ACPI_ALLOCATE_BUFFER;
 710         status = AcpiGetCurrentResources(acpi_get_handle(sc->pl_dev), &crsbuf);
 711         if (ACPI_SUCCESS(status) && crsbuf.Pointer == NULL)
 712                 status = AE_NO_MEMORY;
 713         if (ACPI_FAILURE(status)) {
 714                 if (bootverbose)
 715                         device_printf(sc->pl_dev,
 716                             "Unable to fetch current resources: %s\n",
 717                             AcpiFormatException(status));
 718                 return (status);
 719         }
 720
 721         /* Fill in IRQ resources via link structures. */
 722         srsbuf->Pointer = NULL;
 723         link = sc->pl_links;
 724         i = 0;
 725         in_dpf = DPF_OUTSIDE;
 726         resource = (ACPI_RESOURCE *)crsbuf.Pointer;
 727         end = (ACPI_RESOURCE *)((char *)crsbuf.Pointer + crsbuf.Length);
 728         for (;;) {
 729                 switch (resource->Type) {
 730                 case ACPI_RESOURCE_TYPE_START_DEPENDENT:
 731                         switch (in_dpf) {
 732                         case DPF_OUTSIDE:
 733                                 /* We've started the first DPF. */
 734                                 in_dpf = DPF_FIRST;
 735                                 break;
 736                         case DPF_FIRST:
 737                                 /* We've started the second DPF. */
 738                                 panic(
 739                 "%s: Multiple dependent functions within a current resource",
 740                                     __func__);
 741                                 break;
 742                         }
 743                         resptr = NULL;
 744                         break;
 745                 case ACPI_RESOURCE_TYPE_END_DEPENDENT:
 746                         /* We are finished with DPF parsing. */
 747                         KASSERT(in_dpf != DPF_OUTSIDE,
 748                             ("%s: end dpf when not parsing a dpf", __func__));
 749                         in_dpf = DPF_OUTSIDE;
 750                         resptr = NULL;
 751                         break;
 752                 case ACPI_RESOURCE_TYPE_IRQ:
 753                         MPASS(i < sc->pl_num_links);
 754                         MPASS(link->l_prs_template.Type == ACPI_RESOURCE_TYPE_IRQ);
 755                         newres = link->l_prs_template;
 756                         resptr = &newres;
 757                         resptr->Data.Irq.InterruptCount = 1;
 758                         if (PCI_INTERRUPT_VALID(link->l_irq)) {
 759                                 KASSERT(link->l_irq < NUM_ISA_INTERRUPTS,
 760                 ("%s: can't put non-ISA IRQ %d in legacy IRQ resource type",
 761                                     __func__, link->l_irq));
 762                                 resptr->Data.Irq.Interrupts[0] = link->l_irq;
 763                         } else
 764                                 resptr->Data.Irq.Interrupts[0] = 0;
 765                         link++;
 766                         i++;
 767                         break;
 768                 case ACPI_RESOURCE_TYPE_EXTENDED_IRQ:
 769                         MPASS(i < sc->pl_num_links);
 770                         MPASS(link->l_prs_template.Type == ACPI_RESOURCE_TYPE_EXTENDED_IRQ);
 771                         newres = link->l_prs_template;
 772                         resptr = &newres;
 773                         resptr->Data.ExtendedIrq.InterruptCount = 1;
 774                         if (PCI_INTERRUPT_VALID(link->l_irq))
 775                                 resptr->Data.ExtendedIrq.Interrupts[0] =
 776                                     link->l_irq;
 777                         else
 778                                 resptr->Data.ExtendedIrq.Interrupts[0] = 0;
 779                         link++;
 780                         i++;
 781                         break;
 782                 default:
 783                         resptr = resource;
 784                 }
 785                 if (resptr != NULL) {
 786                         status = acpi_AppendBufferResource(srsbuf, resptr);
 787                         if (ACPI_FAILURE(status)) {
 788                                 device_printf(sc->pl_dev,
 789                                     "Unable to build resources: %s\n",
 790                                     AcpiFormatException(status));
 791                                 if (srsbuf->Pointer != NULL)
 792                                         AcpiOsFree(srsbuf->Pointer);
 793                                 AcpiOsFree(crsbuf.Pointer);
 794                                 return (status);
 795                         }
 796                 }
 797                 if (resource->Type == ACPI_RESOURCE_TYPE_END_TAG)
 798                         break;
 799                 resource = ACPI_NEXT_RESOURCE(resource);
 800                 if (resource >= end)
 801                         break;
 802         }
 803         AcpiOsFree(crsbuf.Pointer);
 804         return (AE_OK);
 805 }
 806
 807 static ACPI_STATUS
 808 acpi_pci_link_srs_from_links(struct acpi_pci_link_softc *sc,
 809     ACPI_BUFFER *srsbuf)
 810 {
 811         ACPI_RESOURCE newres;
 812         ACPI_STATUS status;
 813         struct link *link;
 814         int i;
 815
 816         /* Start off with an empty buffer. */
 817         srsbuf->Pointer = NULL;
 818         link = sc->pl_links;
 819         for (i = 0; i < sc->pl_num_links; i++) {
 820
 821                 /* Add a new IRQ resource from each link. */
 822                 link = &sc->pl_links[i];
 823                 newres = link->l_prs_template;
 824                 if (newres.Type == ACPI_RESOURCE_TYPE_IRQ) {
 825
 826                         /* Build an IRQ resource. */
 827                         newres.Data.Irq.InterruptCount = 1;
 828                         if (PCI_INTERRUPT_VALID(link->l_irq)) {
 829                                 KASSERT(link->l_irq < NUM_ISA_INTERRUPTS,
 830                 ("%s: can't put non-ISA IRQ %d in legacy IRQ resource type",
 831                                     __func__, link->l_irq));
 832                                 newres.Data.Irq.Interrupts[0] = link->l_irq;
 833                         } else
 834                                 newres.Data.Irq.Interrupts[0] = 0;
 835                 } else {
 836
 837                         /* Build an ExtIRQ resuorce. */
 838                         newres.Data.ExtendedIrq.InterruptCount = 1;
 839                         if (PCI_INTERRUPT_VALID(link->l_irq))
 840                                 newres.Data.ExtendedIrq.Interrupts[0] =
 841                                     link->l_irq;
 842                         else
 843                                 newres.Data.ExtendedIrq.Interrupts[0] = 0;
 844                 }
 845
 846                 /* Add the new resource to the end of the _SRS buffer. */
 847                 status = acpi_AppendBufferResource(srsbuf, &newres);
 848                 if (ACPI_FAILURE(status)) {
 849                         device_printf(sc->pl_dev,
 850                             "Unable to build resources: %s\n",
 851                             AcpiFormatException(status));
 852                         if (srsbuf->Pointer != NULL)
 853                                 AcpiOsFree(srsbuf->Pointer);
 854                         return (status);
 855                 }
 856         }
 857         return (AE_OK);
 858 }
 859
 860 static ACPI_STATUS
 861 acpi_pci_link_route_irqs(device_t dev)
 862 {
 863         struct acpi_pci_link_softc *sc;
 864         ACPI_RESOURCE *resource, *end;
 865         ACPI_BUFFER srsbuf;
 866         ACPI_STATUS status;
 867         struct link *link;
 868         int i;
 869
 870         ACPI_SERIAL_ASSERT(pci_link);
 871         sc = device_get_softc(dev);
 872         if (sc->pl_crs_bad)
 873                 status = acpi_pci_link_srs_from_links(sc, &srsbuf);
 874         else
 875                 status = acpi_pci_link_srs_from_crs(sc, &srsbuf);
 876
 877         /* Write out new resources via _SRS. */
 878         status = AcpiSetCurrentResources(acpi_get_handle(dev), &srsbuf);
 879         if (ACPI_FAILURE(status)) {
 880                 device_printf(dev, "Unable to route IRQs: %s\n",
 881                     AcpiFormatException(status));
 882                 AcpiOsFree(srsbuf.Pointer);
 883                 return (status);
 884         }
 885
 886         /*
 887          * Perform acpi_config_intr() on each IRQ resource if it was just
 888          * routed for the first time.
 889          */
 890         link = sc->pl_links;
 891         i = 0;
 892         resource = (ACPI_RESOURCE *)srsbuf.Pointer;
 893         end = (ACPI_RESOURCE *)((char *)srsbuf.Pointer + srsbuf.Length);
 894         for (;;) {
 895                 if (resource->Type == ACPI_RESOURCE_TYPE_END_TAG)
 896                         break;
 897                 switch (resource->Type) {
 898                 case ACPI_RESOURCE_TYPE_IRQ:
 899                 case ACPI_RESOURCE_TYPE_EXTENDED_IRQ:
 900                         MPASS(i < sc->pl_num_links);
 901
 902                         /*
 903                          * Only configure the interrupt and update the
 904                          * weights if this link has a valid IRQ and was
 905                          * previously unrouted.
 906                          */
 907                         if (!link->l_routed &&
 908                             PCI_INTERRUPT_VALID(link->l_irq)) {
 909                                 link->l_routed = TRUE;
 910                                 acpi_config_intr(dev, resource);
 911                                 pci_link_interrupt_weights[link->l_irq] +=
 912                                     link->l_references;
 913                         }
 914                         link++;
 915                         i++;
 916                         break;
 917                 }
 918                 resource = ACPI_NEXT_RESOURCE(resource);
 919                 if (resource >= end)
 920                         break;
 921         }
 922         AcpiOsFree(srsbuf.Pointer);
 923         return (AE_OK);
 924 }
 925
 926 static int
 927 acpi_pci_link_resume(device_t dev)
 928 {
 929         struct acpi_pci_link_softc *sc;
 930         ACPI_STATUS status;
 931         int i, routed;
 932
 933         /*
 934          * If all of our links are routed, then restore the link via _SRS,
 935          * otherwise, disable the link via _DIS.
 936          */
 937         ACPI_SERIAL_BEGIN(pci_link);
 938         sc = device_get_softc(dev);
 939         routed = 0;
 940         for (i = 0; i < sc->pl_num_links; i++)
 941                 if (sc->pl_links[i].l_routed)
 942                         routed++;
 943         if (routed == sc->pl_num_links)
 944                 status = acpi_pci_link_route_irqs(dev);
 945         else {
 946                 AcpiEvaluateObject(acpi_get_handle(dev), "_DIS", NULL, NULL);
 947                 status = AE_OK;
 948         }
 949         ACPI_SERIAL_END(pci_link);
 950         if (ACPI_FAILURE(status))
 951                 return (ENXIO);
 952         else
 953                 return (0);
 954 }
 955
 956 /*
 957  * Pick an IRQ to use for this unrouted link.
 958  */
 959 static uint8_t
 960 acpi_pci_link_choose_irq(device_t dev, struct link *link)
 961 {
 962         char tunable_buffer[64], link_name[5];
 963         u_int8_t best_irq, pos_irq;
 964         int best_weight, pos_weight, i;
 965
 966         KASSERT(!link->l_routed, ("%s: link already routed", __func__));
 967         KASSERT(!PCI_INTERRUPT_VALID(link->l_irq),
 968             ("%s: link already has an IRQ", __func__));
 969
 970         /* Check for a tunable override. */
 971         if (ACPI_SUCCESS(acpi_short_name(acpi_get_handle(dev), link_name,
 972             sizeof(link_name)))) {
 973                 ksnprintf(tunable_buffer, sizeof(tunable_buffer),
 974                     "hw.pci.link.%s.%d.irq", link_name, link->l_res_index);
 975                 if (kgetenv_int(tunable_buffer, &i) && PCI_INTERRUPT_VALID(i)) {
 976                         if (!link_valid_irq(link, i))
 977                                 device_printf(dev,
 978                                     "Warning, IRQ %d is not listed as valid\n",
 979                                     i);
 980                         return (i);
 981                 }
 982                 ksnprintf(tunable_buffer, sizeof(tunable_buffer),
 983                     "hw.pci.link.%s.irq", link_name);
 984                 if (kgetenv_int(tunable_buffer, &i) && PCI_INTERRUPT_VALID(i)) {
 985                         if (!link_valid_irq(link, i))
 986                                 device_printf(dev,
 987                                     "Warning, IRQ %d is not listed as valid\n",
 988                                     i);
 989                         return (i);
 990                 }
 991         }
 992
 993         /*
 994          * If we have a valid BIOS IRQ, use that.  We trust what the BIOS
 995          * says it routed over what _CRS says the link thinks is routed.
 996          */
 997         if (PCI_INTERRUPT_VALID(link->l_bios_irq))
 998                 return (link->l_bios_irq);
 999
1000         /*
1001          * If we don't have a BIOS IRQ but do have a valid IRQ from _CRS,
1002          * then use that.
1003          */
1004         if (PCI_INTERRUPT_VALID(link->l_initial_irq))
1005                 return (link->l_initial_irq);
1006
1007         /*
1008          * Ok, we have no useful hints, so we have to pick from the
1009          * possible IRQs.  For ISA IRQs we only use interrupts that
1010          * have already been used by the BIOS.
1011          */
1012         best_irq = PCI_INVALID_IRQ;
1013         best_weight = INT_MAX;
1014         for (i = 0; i < link->l_num_irqs; i++) {
1015                 pos_irq = link->l_irqs[i];
1016                 if (pos_irq < NUM_ISA_INTERRUPTS &&
1017                     (pci_link_bios_isa_irqs & 1 << pos_irq) == 0)
1018                         continue;
1019                 pos_weight = pci_link_interrupt_weights[pos_irq];
1020                 if (pos_weight < best_weight) {
1021                         best_weight = pos_weight;
1022                         best_irq = pos_irq;
1023                 }
1024         }
1025
1026         /*
1027          * If this is an ISA IRQ and SCI could be shared, try using
1028          * the SCI as a fallback.
1029          */
1030         if (link->l_isa_irq && acpi_sci_pci_shariable()) {
1031                 pos_irq = AcpiGbl_FADT.SciInterrupt;
1032                 pos_weight = pci_link_interrupt_weights[pos_irq];
1033                 if (pos_weight < best_weight) {
1034                         best_weight = pos_weight;
1035                         best_irq = pos_irq;
1036                 }
1037         }
1038
1039         if (PCI_INTERRUPT_VALID(best_irq)) {
1040                 if (bootverbose)
1041                         device_printf(dev, "Picked IRQ %u with weight %d\n",
1042                             best_irq, best_weight);
1043         } else
1044                 device_printf(dev, "Unable to choose an IRQ\n");
1045         return (best_irq);
1046 }
1047
1048 int
1049 acpi_pci_link_route_interrupt(device_t dev, int index)
1050 {
1051         struct link *link;
1052
1053         if (acpi_disabled("pci_link"))
1054                 return (PCI_INVALID_IRQ);
1055
1056         ACPI_SERIAL_BEGIN(pci_link);
1057         link = acpi_pci_link_lookup(dev, index);
1058         if (link == NULL)
1059                 panic("%s: apparently invalid index %d", __func__, index);
1060
1061         /*
1062          * If this link device is already routed to an interrupt, just return
1063          * the interrupt it is routed to.
1064          */
1065         if (link->l_routed) {
1066                 KASSERT(PCI_INTERRUPT_VALID(link->l_irq),
1067                     ("%s: link is routed but has an invalid IRQ", __func__));
1068                 ACPI_SERIAL_END(pci_link);
1069                 return (link->l_irq);
1070         }
1071
1072         /* Choose an IRQ if we need one. */
1073         if (!PCI_INTERRUPT_VALID(link->l_irq)) {
1074                 link->l_irq = acpi_pci_link_choose_irq(dev, link);
1075
1076                 /*
1077                  * Try to route the interrupt we picked.  If it fails, then
1078                  * assume the interrupt is not routed.
1079                  */
1080                 if (PCI_INTERRUPT_VALID(link->l_irq)) {
1081                         acpi_pci_link_route_irqs(dev);
1082                         if (!link->l_routed)
1083                                 link->l_irq = PCI_INVALID_IRQ;
1084                 }
1085         }
1086         ACPI_SERIAL_END(pci_link);
1087         return (link->l_irq);
1088 }
1089
1090 /*
1091  * This is gross, but we abuse the identify routine to perform one-time
1092  * SYSINIT() style initialization for the driver.
1093  */
1094 static void
1095 acpi_pci_link_identify(driver_t *driver, device_t parent)
1096 {
1097         /*
1098          * If the SCI is an ISA IRQ and could be shared,
1099          * add it to the bitmask of known good ISA IRQs.
1100          */
1101         if (AcpiGbl_FADT.SciInterrupt < NUM_ISA_INTERRUPTS &&
1102             acpi_sci_pci_shariable())
1103                 pci_link_bios_isa_irqs |= (1 << AcpiGbl_FADT.SciInterrupt);
1104 }
1105
1106 static device_method_t acpi_pci_link_methods[] = {
1107         /* Device interface */
1108         DEVMETHOD(device_identify,      acpi_pci_link_identify),
1109         DEVMETHOD(device_probe,         acpi_pci_link_probe),
1110         DEVMETHOD(device_attach,        acpi_pci_link_attach),
1111         DEVMETHOD(device_resume,        acpi_pci_link_resume),
1112
1113         {0, 0}
1114 };
1115
1116 static driver_t acpi_pci_link_driver = {
1117         "pci_link",
1118         acpi_pci_link_methods,
1119         sizeof(struct acpi_pci_link_softc),
1120 };
1121
1122 static devclass_t pci_link_devclass;
1123
1124 DRIVER_MODULE(acpi_pci_link, acpi, acpi_pci_link_driver, pci_link_devclass,
1125     NULL, NULL);
1126 MODULE_DEPEND(acpi_pci_link, acpi, 1, 1, 1);