sys/i386/isa/intr_machdep.c

   1 /*-
   2  * Copyright (c) 1991 The Regents of the University of California.
   3  * All rights reserved.
   4  *
   5  * This code is derived from software contributed to Berkeley by
   6  * William Jolitz.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 3. All advertising materials mentioning features or use of this software
  17  *    must display the following acknowledgement:
  18  *      This product includes software developed by the University of
  19  *      California, Berkeley and its contributors.
  20  * 4. Neither the name of the University nor the names of its contributors
  21  *    may be used to endorse or promote products derived from this software
  22  *    without specific prior written permission.
  23  *
  24  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  25  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  26  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  27  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  28  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  29  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  30  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  31  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  32  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  33  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  34  * SUCH DAMAGE.
  35  *
  36  *      from: @(#)isa.c 7.2 (Berkeley) 5/13/91
  37  * $FreeBSD: src/sys/i386/isa/intr_machdep.c,v 1.29.2.5 2001/10/14 06:54:27 luigi Exp $
  38  * $DragonFly: src/sys/i386/isa/Attic/intr_machdep.c,v 1.16 2004/02/11 18:34:40 dillon Exp $
  39  */
  40 /*
  41  * This file contains an aggregated module marked:
  42  * Copyright (c) 1997, Stefan Esser <se@freebsd.org>
  43  * All rights reserved.
  44  * See the notice for details.
  45  */
  46
  47 #include "use_isa.h"
  48 #include "use_mca.h"
  49 #include "opt_auto_eoi.h"
  50
  51 #include <sys/param.h>
  52 #ifndef SMP
  53 #include <machine/lock.h>
  54 #endif
  55 #include <sys/systm.h>
  56 #include <sys/syslog.h>
  57 #include <sys/malloc.h>
  58 #include <sys/errno.h>
  59 #include <sys/interrupt.h>
  60 #include <machine/ipl.h>
  61 #include <machine/md_var.h>
  62 #include <machine/segments.h>
  63 #include <sys/bus.h>
  64 #include <machine/globaldata.h>
  65 #include <sys/proc.h>
  66 #include <sys/thread2.h>
  67
  68 #if defined(APIC_IO)
  69 #include <machine/smptests.h>                   /** FAST_HI */
  70 #include <machine/smp.h>
  71 #endif /* APIC_IO */
  72 #ifdef PC98
  73 #include <pc98/pc98/pc98.h>
  74 #include <pc98/pc98/pc98_machdep.h>
  75 #include <pc98/pc98/epsonio.h>
  76 #else
  77 #include <bus/isa/i386/isa.h>
  78 #endif
  79 #include <i386/isa/icu.h>
  80
  81 #if NISA > 0
  82 #include <bus/isa/isavar.h>
  83 #endif
  84 #include <i386/isa/intr_machdep.h>
  85 #include <bus/isa/isavar.h>
  86 #include <sys/interrupt.h>
  87 #ifdef APIC_IO
  88 #include <machine/clock.h>
  89 #endif
  90 #include <machine/cpu.h>
  91
  92 #if NMCA > 0
  93 #include <bus/mca/i386/mca_machdep.h>
  94 #endif
  95
  96 /* XXX should be in suitable include files */
  97 #ifdef PC98
  98 #define ICU_IMR_OFFSET          2               /* IO_ICU{1,2} + 2 */
  99 #define ICU_SLAVEID                     7
 100 #else
 101 #define ICU_IMR_OFFSET          1               /* IO_ICU{1,2} + 1 */
 102 #define ICU_SLAVEID                     2
 103 #endif
 104
 105 #ifdef APIC_IO
 106 /*
 107  * This is to accommodate "mixed-mode" programming for
 108  * motherboards that don't connect the 8254 to the IO APIC.
 109  */
 110 #define AUTO_EOI_1      1
 111 #endif
 112
 113 #define NR_INTRNAMES    (1 + ICU_LEN + 2 * ICU_LEN)
 114
 115 static inthand2_t isa_strayintr;
 116 #if defined(FAST_HI) && defined(APIC_IO)
 117 static inthand2_t isa_wrongintr;
 118 #endif
 119 static void     init_i8259(void);
 120
 121 void    *intr_unit[ICU_LEN*2];
 122 u_long  *intr_countp[ICU_LEN*2];
 123 inthand2_t *intr_handler[ICU_LEN*2] = {
 124         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 125         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 126         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 127         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 128         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 129         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 130         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 131         isa_strayintr, isa_strayintr, isa_strayintr, isa_strayintr,
 132 };
 133
 134 static struct md_intr_info {
 135     int         irq;
 136     u_int       mask;
 137     int         mihandler_installed;
 138     u_int       *maskp;
 139 } intr_info[ICU_LEN*2];
 140
 141 static inthand_t *fastintr[ICU_LEN] = {
 142         &IDTVEC(fastintr0), &IDTVEC(fastintr1),
 143         &IDTVEC(fastintr2), &IDTVEC(fastintr3),
 144         &IDTVEC(fastintr4), &IDTVEC(fastintr5),
 145         &IDTVEC(fastintr6), &IDTVEC(fastintr7),
 146         &IDTVEC(fastintr8), &IDTVEC(fastintr9),
 147         &IDTVEC(fastintr10), &IDTVEC(fastintr11),
 148         &IDTVEC(fastintr12), &IDTVEC(fastintr13),
 149         &IDTVEC(fastintr14), &IDTVEC(fastintr15),
 150 #if defined(APIC_IO)
 151         &IDTVEC(fastintr16), &IDTVEC(fastintr17),
 152         &IDTVEC(fastintr18), &IDTVEC(fastintr19),
 153         &IDTVEC(fastintr20), &IDTVEC(fastintr21),
 154         &IDTVEC(fastintr22), &IDTVEC(fastintr23),
 155 #endif /* APIC_IO */
 156 };
 157
 158 unpendhand_t *fastunpend[ICU_LEN] = {
 159         IDTVEC(fastunpend0), IDTVEC(fastunpend1),
 160         IDTVEC(fastunpend2), IDTVEC(fastunpend3),
 161         IDTVEC(fastunpend4), IDTVEC(fastunpend5),
 162         IDTVEC(fastunpend6), IDTVEC(fastunpend7),
 163         IDTVEC(fastunpend8), IDTVEC(fastunpend9),
 164         IDTVEC(fastunpend10), IDTVEC(fastunpend11),
 165         IDTVEC(fastunpend12), IDTVEC(fastunpend13),
 166         IDTVEC(fastunpend14), IDTVEC(fastunpend15),
 167 #if defined(APIC_IO)
 168         IDTVEC(fastunpend16), IDTVEC(fastunpend17),
 169         IDTVEC(fastunpend18), IDTVEC(fastunpend19),
 170         IDTVEC(fastunpend20), IDTVEC(fastunpend21),
 171         IDTVEC(fastunpend22), IDTVEC(fastunpend23),
 172 #endif
 173 };
 174
 175 static inthand_t *slowintr[ICU_LEN] = {
 176         &IDTVEC(intr0), &IDTVEC(intr1), &IDTVEC(intr2), &IDTVEC(intr3),
 177         &IDTVEC(intr4), &IDTVEC(intr5), &IDTVEC(intr6), &IDTVEC(intr7),
 178         &IDTVEC(intr8), &IDTVEC(intr9), &IDTVEC(intr10), &IDTVEC(intr11),
 179         &IDTVEC(intr12), &IDTVEC(intr13), &IDTVEC(intr14), &IDTVEC(intr15),
 180 #if defined(APIC_IO)
 181         &IDTVEC(intr16), &IDTVEC(intr17), &IDTVEC(intr18), &IDTVEC(intr19),
 182         &IDTVEC(intr20), &IDTVEC(intr21), &IDTVEC(intr22), &IDTVEC(intr23),
 183 #endif /* APIC_IO */
 184 };
 185
 186 #ifdef PC98
 187 #define NMI_PARITY 0x04
 188 #define NMI_EPARITY 0x02
 189 #else
 190 #define NMI_PARITY (1 << 7)
 191 #define NMI_IOCHAN (1 << 6)
 192 #define ENMI_WATCHDOG (1 << 7)
 193 #define ENMI_BUSTIMER (1 << 6)
 194 #define ENMI_IOSTATUS (1 << 5)
 195 #endif
 196
 197 /*
 198  * Handle a NMI, possibly a machine check.
 199  * return true to panic system, false to ignore.
 200  */
 201 int
 202 isa_nmi(cd)
 203         int cd;
 204 {
 205         int retval = 0;
 206 #ifdef PC98
 207         int port = inb(0x33);
 208
 209         log(LOG_CRIT, "NMI PC98 port = %x\n", port);
 210         if (epson_machine_id == 0x20)
 211                 epson_outb(0xc16, epson_inb(0xc16) | 0x1);
 212         if (port & NMI_PARITY) {
 213                 log(LOG_CRIT, "BASE RAM parity error, likely hardware failure.");
 214                 retval = 1;
 215         } else if (port & NMI_EPARITY) {
 216                 log(LOG_CRIT, "EXTENDED RAM parity error, likely hardware failure.");
 217                 retval = 1;
 218         } else {
 219                 log(LOG_CRIT, "\nNMI Resume ??\n");
 220         }
 221 #else /* IBM-PC */
 222         int isa_port = inb(0x61);
 223         int eisa_port = inb(0x461);
 224
 225         log(LOG_CRIT, "NMI ISA %x, EISA %x\n", isa_port, eisa_port);
 226 #if NMCA > 0
 227         if (MCA_system && mca_bus_nmi())
 228                 return(0);
 229 #endif
 230
 231         if (isa_port & NMI_PARITY) {
 232                 log(LOG_CRIT, "RAM parity error, likely hardware failure.");
 233                 retval = 1;
 234         }
 235
 236         if (isa_port & NMI_IOCHAN) {
 237                 log(LOG_CRIT, "I/O channel check, likely hardware failure.");
 238                 retval = 1;
 239         }
 240
 241         /*
 242          * On a real EISA machine, this will never happen.  However it can
 243          * happen on ISA machines which implement XT style floating point
 244          * error handling (very rare).  Save them from a meaningless panic.
 245          */
 246         if (eisa_port == 0xff)
 247                 return(retval);
 248
 249         if (eisa_port & ENMI_WATCHDOG) {
 250                 log(LOG_CRIT, "EISA watchdog timer expired, likely hardware failure.");
 251                 retval = 1;
 252         }
 253
 254         if (eisa_port & ENMI_BUSTIMER) {
 255                 log(LOG_CRIT, "EISA bus timeout, likely hardware failure.");
 256                 retval = 1;
 257         }
 258
 259         if (eisa_port & ENMI_IOSTATUS) {
 260                 log(LOG_CRIT, "EISA I/O port status error.");
 261                 retval = 1;
 262         }
 263 #endif
 264         return(retval);
 265 }
 266
 267 /*
 268  *  ICU reinitialize when ICU configuration has lost.
 269  */
 270 void
 271 icu_reinit()
 272 {
 273        int i;
 274
 275        init_i8259();
 276        for(i=0;i<ICU_LEN;i++)
 277                if(intr_handler[i] != isa_strayintr)
 278                        INTREN(1<<i);
 279 }
 280
 281
 282 /*
 283  * Fill in default interrupt table (in case of spurious interrupt
 284  * during configuration of kernel, setup interrupt control unit
 285  */
 286 void
 287 isa_defaultirq()
 288 {
 289         int i;
 290
 291         /* icu vectors */
 292         for (i = 0; i < ICU_LEN; i++)
 293                 icu_unset(i, isa_strayintr);
 294         init_i8259();
 295 }
 296
 297 static void
 298 init_i8259(void)
 299 {
 300
 301         /* initialize 8259's */
 302 #if NMCA > 0
 303         if (MCA_system)
 304                 outb(IO_ICU1, 0x19);            /* reset; program device, four bytes */
 305         else
 306 #endif
 307                 outb(IO_ICU1, 0x11);            /* reset; program device, four bytes */
 308
 309         outb(IO_ICU1+ICU_IMR_OFFSET, NRSVIDT);  /* starting at this vector index */
 310         outb(IO_ICU1+ICU_IMR_OFFSET, IRQ_SLAVE);                /* slave on line 7 */
 311 #ifdef PC98
 312 #ifdef AUTO_EOI_1
 313         outb(IO_ICU1+ICU_IMR_OFFSET, 0x1f);             /* (master) auto EOI, 8086 mode */
 314 #else
 315         outb(IO_ICU1+ICU_IMR_OFFSET, 0x1d);             /* (master) 8086 mode */
 316 #endif
 317 #else /* IBM-PC */
 318 #ifdef AUTO_EOI_1
 319         outb(IO_ICU1+ICU_IMR_OFFSET, 2 | 1);            /* auto EOI, 8086 mode */
 320 #else
 321         outb(IO_ICU1+ICU_IMR_OFFSET, 1);                /* 8086 mode */
 322 #endif
 323 #endif /* PC98 */
 324         outb(IO_ICU1+ICU_IMR_OFFSET, 0xff);             /* leave interrupts masked */
 325         outb(IO_ICU1, 0x0a);            /* default to IRR on read */
 326 #ifndef PC98
 327         outb(IO_ICU1, 0xc0 | (3 - 1));  /* pri order 3-7, 0-2 (com2 first) */
 328 #endif /* !PC98 */
 329
 330 #if NMCA > 0
 331         if (MCA_system)
 332                 outb(IO_ICU2, 0x19);            /* reset; program device, four bytes */
 333         else
 334 #endif
 335                 outb(IO_ICU2, 0x11);            /* reset; program device, four bytes */
 336
 337         outb(IO_ICU2+ICU_IMR_OFFSET, NRSVIDT+8); /* staring at this vector index */
 338         outb(IO_ICU2+ICU_IMR_OFFSET, ICU_SLAVEID);         /* my slave id is 7 */
 339 #ifdef PC98
 340         outb(IO_ICU2+ICU_IMR_OFFSET,9);              /* 8086 mode */
 341 #else /* IBM-PC */
 342 #ifdef AUTO_EOI_2
 343         outb(IO_ICU2+ICU_IMR_OFFSET, 2 | 1);            /* auto EOI, 8086 mode */
 344 #else
 345         outb(IO_ICU2+ICU_IMR_OFFSET,1);         /* 8086 mode */
 346 #endif
 347 #endif /* PC98 */
 348         outb(IO_ICU2+ICU_IMR_OFFSET, 0xff);          /* leave interrupts masked */
 349         outb(IO_ICU2, 0x0a);            /* default to IRR on read */
 350 }
 351
 352 /*
 353  * Caught a stray interrupt, notify
 354  */
 355 static void
 356 isa_strayintr(void *vcookiep)
 357 {
 358         int intr = (void **)vcookiep - &intr_unit[0];
 359
 360         /* DON'T BOTHER FOR NOW! */
 361         /* for some reason, we get bursts of intr #7, even if not enabled! */
 362         /*
 363          * Well the reason you got bursts of intr #7 is because someone
 364          * raised an interrupt line and dropped it before the 8259 could
 365          * prioritize it.  This is documented in the intel data book.  This
 366          * means you have BAD hardware!  I have changed this so that only
 367          * the first 5 get logged, then it quits logging them, and puts
 368          * out a special message. rgrimes 3/25/1993
 369          */
 370         /*
 371          * XXX TODO print a different message for #7 if it is for a
 372          * glitch.  Glitches can be distinguished from real #7's by
 373          * testing that the in-service bit is _not_ set.  The test
 374          * must be done before sending an EOI so it can't be done if
 375          * we are using AUTO_EOI_1.
 376          */
 377         if (intrcnt[1 + intr] <= 5)
 378                 log(LOG_ERR, "stray irq %d\n", intr);
 379         if (intrcnt[1 + intr] == 5)
 380                 log(LOG_CRIT,
 381                     "too many stray irq %d's; not logging any more\n", intr);
 382 }
 383
 384 #if defined(FAST_HI) && defined(APIC_IO)
 385
 386 /*
 387  * This occurs if we mis-programmed the APIC and its vector is still
 388  * pointing to the slow vector even when we thought we reprogrammed it
 389  * to the high vector.  This can occur when interrupts are improperly
 390  * routed by the APIC.  The unit data is opaque so we have to try to
 391  * find it in the unit array.
 392  */
 393 static void
 394 isa_wrongintr(void *vcookiep)
 395 {
 396         int intr;
 397
 398         for (intr = 0; intr < ICU_LEN*2; ++intr) {
 399                 if (intr_unit[intr] == vcookiep)
 400                         break;
 401         }
 402         if (intr == ICU_LEN*2) {
 403                 log(LOG_ERR, "stray unknown irq (APIC misprogrammed)\n");
 404         } else if (intrcnt[1 + intr] <= 5) {
 405                 log(LOG_ERR, "stray irq ~%d (APIC misprogrammed)\n", intr);
 406         } else if (intrcnt[1 + intr] == 6) {
 407                 log(LOG_CRIT,
 408                     "too many stray irq ~%d's; not logging any more\n", intr);
 409         }
 410 }
 411
 412 #endif
 413
 414 #if NISA > 0
 415 /*
 416  * Return a bitmap of the current interrupt requests.  This is 8259-specific
 417  * and is only suitable for use at probe time.
 418  */
 419 intrmask_t
 420 isa_irq_pending(void)
 421 {
 422         u_char irr1;
 423         u_char irr2;
 424
 425         irr1 = inb(IO_ICU1);
 426         irr2 = inb(IO_ICU2);
 427         return ((irr2 << 8) | irr1);
 428 }
 429 #endif
 430
 431 int
 432 update_intr_masks(void)
 433 {
 434         int intr, n=0;
 435         u_int mask,*maskptr;
 436
 437         for (intr=0; intr < ICU_LEN; intr ++) {
 438 #if defined(APIC_IO)
 439                 /* no 8259 SLAVE to ignore */
 440 #else
 441                 if (intr==ICU_SLAVEID) continue;        /* ignore 8259 SLAVE output */
 442 #endif /* APIC_IO */
 443                 maskptr = intr_info[intr].maskp;
 444                 if (!maskptr)
 445                         continue;
 446                 *maskptr |= SWI_CLOCK_MASK | (1 << intr);
 447                 mask = *maskptr;
 448                 if (mask != intr_info[intr].mask) {
 449 #if 0
 450                         printf ("intr_mask[%2d] old=%08x new=%08x ptr=%p.\n",
 451                                 intr, intr_info[intr].mask, mask, maskptr);
 452 #endif
 453                         intr_info[intr].mask = mask;
 454                         n++;
 455                 }
 456
 457         }
 458         return (n);
 459 }
 460
 461 static void
 462 update_intrname(int intr, char *name)
 463 {
 464         char buf[32];
 465         char *cp;
 466         int name_index, off, strayintr;
 467
 468         /*
 469          * Initialise strings for bitbucket and stray interrupt counters.
 470          * These have statically allocated indices 0 and 1 through ICU_LEN.
 471          */
 472         if (intrnames[0] == '\0') {
 473                 off = sprintf(intrnames, "???") + 1;
 474                 for (strayintr = 0; strayintr < ICU_LEN; strayintr++)
 475                         off += sprintf(intrnames + off, "stray irq%d",
 476                             strayintr) + 1;
 477         }
 478
 479         if (name == NULL)
 480                 name = "???";
 481         if (snprintf(buf, sizeof(buf), "%s irq%d", name, intr) >= sizeof(buf))
 482                 goto use_bitbucket;
 483
 484         /*
 485          * Search for `buf' in `intrnames'.  In the usual case when it is
 486          * not found, append it to the end if there is enough space (the \0
 487          * terminator for the previous string, if any, becomes a separator).
 488          */
 489         for (cp = intrnames, name_index = 0;
 490             cp != eintrnames && name_index < NR_INTRNAMES;
 491             cp += strlen(cp) + 1, name_index++) {
 492                 if (*cp == '\0') {
 493                         if (strlen(buf) >= eintrnames - cp)
 494                                 break;
 495                         strcpy(cp, buf);
 496                         goto found;
 497                 }
 498                 if (strcmp(cp, buf) == 0)
 499                         goto found;
 500         }
 501
 502 use_bitbucket:
 503         printf("update_intrname: counting %s irq%d as %s\n", name, intr,
 504             intrnames);
 505         name_index = 0;
 506 found:
 507         intr_countp[intr] = &intrcnt[name_index];
 508 }
 509
 510 /*
 511  * NOTE!  intr_handler[] is only used for FAST interrupts, the *vector.s
 512  * code ignores it for normal interrupts.
 513  */
 514 int
 515 icu_setup(int intr, inthand2_t *handler, void *arg, u_int *maskptr, int flags)
 516 {
 517 #if defined(FAST_HI) && defined(APIC_IO)
 518         int             select;         /* the select register is 8 bits */
 519         int             vector;
 520         u_int32_t       value;          /* the window register is 32 bits */
 521 #endif /* FAST_HI */
 522         u_long  ef;
 523         u_int   mask = (maskptr ? *maskptr : 0);
 524
 525 #if defined(APIC_IO)
 526         if ((u_int)intr >= ICU_LEN)     /* no 8259 SLAVE to ignore */
 527 #else
 528         if ((u_int)intr >= ICU_LEN || intr == ICU_SLAVEID)
 529 #endif /* APIC_IO */
 530         if (intr_handler[intr] != isa_strayintr)
 531                 return (EBUSY);
 532
 533         ef = read_eflags();
 534         cpu_disable_intr();     /* YYY */
 535         intr_handler[intr] = handler;
 536         intr_unit[intr] = arg;
 537         intr_info[intr].maskp = maskptr;
 538         intr_info[intr].mask = mask | SWI_CLOCK_MASK | (1 << intr);
 539 #if 0
 540         /* YYY  fast ints supported and mp protected but ... */
 541         flags &= ~INTR_FAST;
 542 #endif
 543 #if defined(FAST_HI) && defined(APIC_IO)
 544         if (flags & INTR_FAST) {
 545                 /*
 546                  * Install a spurious interrupt in the low space in case
 547                  * the IO apic is not properly reprogrammed.
 548                  */
 549                 vector = TPR_SLOW_INTS + intr;
 550                 setidt(vector, isa_wrongintr,
 551                        SDT_SYS386IGT, SEL_KPL, GSEL(GCODE_SEL, SEL_KPL));
 552                 vector = TPR_FAST_INTS + intr;
 553                 setidt(vector, fastintr[intr],
 554                        SDT_SYS386IGT, SEL_KPL, GSEL(GCODE_SEL, SEL_KPL));
 555         } else {
 556                 vector = TPR_SLOW_INTS + intr;
 557 #ifdef APIC_INTR_REORDER
 558 #ifdef APIC_INTR_HIGHPRI_CLOCK
 559                 /* XXX: Hack (kludge?) for more accurate clock. */
 560                 if (intr == apic_8254_intr || intr == 8) {
 561                         vector = TPR_FAST_INTS + intr;
 562                 }
 563 #endif
 564 #endif
 565                 setidt(vector, slowintr[intr],
 566                        SDT_SYS386IGT, SEL_KPL, GSEL(GCODE_SEL, SEL_KPL));
 567         }
 568 #ifdef APIC_INTR_REORDER
 569         set_lapic_isrloc(intr, vector);
 570 #endif
 571         /*
 572          * Reprogram the vector in the IO APIC.
 573          *
 574          * XXX EOI/mask a pending (stray) interrupt on the old vector?
 575          */
 576         if (int_to_apicintpin[intr].ioapic >= 0) {
 577                 select = int_to_apicintpin[intr].redirindex;
 578                 value = io_apic_read(int_to_apicintpin[intr].ioapic,
 579                                      select) & ~IOART_INTVEC;
 580                 io_apic_write(int_to_apicintpin[intr].ioapic,
 581                               select, value | vector);
 582         }
 583 #else
 584         setidt(ICU_OFFSET + intr,
 585                flags & INTR_FAST ? fastintr[intr] : slowintr[intr],
 586                SDT_SYS386IGT, SEL_KPL, GSEL(GCODE_SEL, SEL_KPL));
 587 #endif /* FAST_HI && APIC_IO */
 588         INTREN(1 << intr);
 589         write_eflags(ef);
 590         return (0);
 591 }
 592
 593 int
 594 icu_unset(intr, handler)
 595         int     intr;
 596         inthand2_t *handler;
 597 {
 598         u_long  ef;
 599
 600         if ((u_int)intr >= ICU_LEN || handler != intr_handler[intr]) {
 601                 printf("icu_unset: invalid handler %d %p/%p\n", intr, handler,
 602                     (((u_int)intr >= ICU_LEN) ? (void *)-1 : intr_handler[intr]));
 603                 return (EINVAL);
 604         }
 605
 606         INTRDIS(1 << intr);
 607         ef = read_eflags();
 608         cpu_disable_intr();     /* YYY */
 609         intr_countp[intr] = &intrcnt[1 + intr];
 610         intr_handler[intr] = isa_strayintr;
 611         intr_info[intr].maskp = NULL;
 612         intr_info[intr].mask = HWI_MASK | SWI_MASK;
 613         intr_unit[intr] = &intr_unit[intr];
 614 #ifdef FAST_HI_XXX
 615         /* XXX how do I re-create dvp here? */
 616         setidt(flags & INTR_FAST ? TPR_FAST_INTS + intr : TPR_SLOW_INTS + intr,
 617             slowintr[intr], SDT_SYS386IGT, SEL_KPL, GSEL(GCODE_SEL, SEL_KPL));
 618 #else /* FAST_HI */
 619 #ifdef APIC_INTR_REORDER
 620         set_lapic_isrloc(intr, ICU_OFFSET + intr);
 621 #endif
 622         setidt(ICU_OFFSET + intr, slowintr[intr], SDT_SYS386IGT, SEL_KPL,
 623             GSEL(GCODE_SEL, SEL_KPL));
 624 #endif /* FAST_HI */
 625         write_eflags(ef);
 626         return (0);
 627 }
 628
 629
 630 /* The following notice applies beyond this point in the file */
 631
 632 /*
 633  * Copyright (c) 1997, Stefan Esser <se@freebsd.org>
 634  * All rights reserved.
 635  *
 636  * Redistribution and use in source and binary forms, with or without
 637  * modification, are permitted provided that the following conditions
 638  * are met:
 639  * 1. Redistributions of source code must retain the above copyright
 640  *    notice unmodified, this list of conditions, and the following
 641  *    disclaimer.
 642  * 2. Redistributions in binary form must reproduce the above copyright
 643  *    notice, this list of conditions and the following disclaimer in the
 644  *    documentation and/or other materials provided with the distribution.
 645  *
 646  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
 647  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
 648  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
 649  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
 650  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
 651  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
 652  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
 653  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
 654  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
 655  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
 656  *
 657  * $FreeBSD: src/sys/i386/isa/intr_machdep.c,v 1.29.2.5 2001/10/14 06:54:27 luigi Exp $
 658  *
 659  */
 660
 661 typedef struct intrec {
 662         intrmask_t      mask;
 663         inthand2_t      *handler;
 664         void            *argument;
 665         struct intrec   *next;
 666         char            *name;
 667         int             intr;
 668         intrmask_t      *maskptr;
 669         int             flags;
 670 } intrec;
 671
 672 static intrec *intreclist_head[ICU_LEN];
 673
 674 /*
 675  * The interrupt multiplexer calls each of the handlers in turn.  The
 676  * ipl is initially quite low.  It is raised as necessary for each call
 677  * and lowered after the call.  Thus out of order handling is possible
 678  * even for interrupts of the same type.  This is probably no more
 679  * harmful than out of order handling in general (not harmful except
 680  * for real time response which we don't support anyway).
 681  */
 682 static void
 683 intr_mux(void *arg)
 684 {
 685         intrec **pp;
 686         intrec *p;
 687         intrmask_t oldspl;
 688
 689         for (pp = arg; (p = *pp) != NULL; pp = &p->next) {
 690                 oldspl = splq(p->mask);
 691                 p->handler(p->argument);
 692                 splx(oldspl);
 693         }
 694 }
 695
 696 static intrec*
 697 find_idesc(unsigned *maskptr, int irq)
 698 {
 699         intrec *p = intreclist_head[irq];
 700
 701         while (p && p->maskptr != maskptr)
 702                 p = p->next;
 703
 704         return (p);
 705 }
 706
 707 static intrec**
 708 find_pred(intrec *idesc, int irq)
 709 {
 710         intrec **pp = &intreclist_head[irq];
 711         intrec *p = *pp;
 712
 713         while (p != idesc) {
 714                 if (p == NULL)
 715                         return (NULL);
 716                 pp = &p->next;
 717                 p = *pp;
 718         }
 719         return (pp);
 720 }
 721
 722 /*
 723  * Both the low level handler and the shared interrupt multiplexer
 724  * block out further interrupts as set in the handlers "mask", while
 725  * the handler is running. In fact *maskptr should be used for this
 726  * purpose, but since this requires one more pointer dereference on
 727  * each interrupt, we rather bother update "mask" whenever *maskptr
 728  * changes. The function "update_masks" should be called **after**
 729  * all manipulation of the linked list of interrupt handlers hung
 730  * off of intrdec_head[irq] is complete, since the chain of handlers
 731  * will both determine the *maskptr values and the instances of mask
 732  * that are fixed. This function should be called with the irq for
 733  * which a new handler has been add blocked, since the masks may not
 734  * yet know about the use of this irq for a device of a certain class.
 735  */
 736
 737 static void
 738 update_mux_masks(void)
 739 {
 740         int irq;
 741         for (irq = 0; irq < ICU_LEN; irq++) {
 742                 intrec *idesc = intreclist_head[irq];
 743                 while (idesc != NULL) {
 744                         if (idesc->maskptr != NULL) {
 745                                 /* our copy of *maskptr may be stale, refresh */
 746                                 idesc->mask = *idesc->maskptr;
 747                         }
 748                         idesc = idesc->next;
 749                 }
 750         }
 751 }
 752
 753 static void
 754 update_masks(intrmask_t *maskptr, int irq)
 755 {
 756         intrmask_t mask = 1 << irq;
 757
 758         if (maskptr == NULL)
 759                 return;
 760
 761         if (find_idesc(maskptr, irq) == NULL) {
 762                 /* no reference to this maskptr was found in this irq's chain */
 763                 *maskptr &= ~mask;
 764         } else {
 765                 /* a reference to this maskptr was found in this irq's chain */
 766                 *maskptr |= mask;
 767         }
 768         /* we need to update all values in the intr_mask[irq] array */
 769         update_intr_masks();
 770         /* update mask in chains of the interrupt multiplex handler as well */
 771         update_mux_masks();
 772 }
 773
 774 /*
 775  * Add an interrupt handler to the linked list hung off of intreclist_head[irq]
 776  * and install a shared interrupt multiplex handler, if necessary.  Install
 777  * an interrupt thread for each interrupt (though FAST interrupts will not
 778  * use it).  The preemption procedure checks the CPL.  lwkt_preempt() will
 779  * check relative thread priorities for us as long as we properly pass through
 780  * critpri.
 781  *
 782  * The interrupt thread has already been put on the run queue, so if we cannot
 783  * preempt we should force a reschedule.
 784  *
 785  * YYY needs work.  At the moment the handler is run inside a critical
 786  * section so only the preemption cpl check is used.
 787  */
 788 static void
 789 cpu_intr_preempt(struct thread *td, int critpri)
 790 {
 791         struct md_intr_info *info = td->td_info.intdata;
 792
 793         if ((curthread->td_cpl & (1 << info->irq)) == 0)
 794                 lwkt_preempt(td, critpri);
 795         else
 796                 need_resched();
 797 }
 798
 799 static int
 800 add_intrdesc(intrec *idesc)
 801 {
 802         int irq = idesc->intr;
 803         intrec *head;
 804
 805         /*
 806          * YYY This is a hack.   The MI interrupt code in kern/kern_intr.c
 807          * handles interrupt thread scheduling for NORMAL interrupts.  It
 808          * will never get called for fast interrupts.  On the otherhand,
 809          * the handler this code installs in intr_handler[] for a NORMAL
 810          * interrupt is not used by the *vector.s code, so we need this
 811          * temporary hack to run normal interrupts as interrupt threads.
 812          * YYY FIXME!
 813          */
 814         if (intr_info[irq].mihandler_installed == 0) {
 815                 struct thread *td;
 816
 817                 intr_info[irq].mihandler_installed = 1;
 818                 intr_info[irq].irq = irq;
 819                 td = register_int(irq, intr_mux, &intreclist_head[irq], idesc->name);
 820                 td->td_info.intdata = &intr_info[irq];
 821                 td->td_preemptable = cpu_intr_preempt;
 822                 printf("installed MI handler for int %d\n", irq);
 823         }
 824
 825         head = intreclist_head[irq];
 826
 827         if (head == NULL) {
 828                 /* first handler for this irq, just install it */
 829                 if (icu_setup(irq, idesc->handler, idesc->argument,
 830                               idesc->maskptr, idesc->flags) != 0)
 831                         return (-1);
 832
 833                 update_intrname(irq, idesc->name);
 834                 /* keep reference */
 835                 intreclist_head[irq] = idesc;
 836         } else {
 837                 if ((idesc->flags & INTR_EXCL) != 0
 838                     || (head->flags & INTR_EXCL) != 0) {
 839                         /*
 840                          * can't append new handler, if either list head or
 841                          * new handler do not allow interrupts to be shared
 842                          */
 843                         if (bootverbose)
 844                                 printf("\tdevice combination doesn't support "
 845                                        "shared irq%d\n", irq);
 846                         return (-1);
 847                 }
 848                 if (head->next == NULL) {
 849                         /*
 850                          * second handler for this irq, replace device driver's
 851                          * handler by shared interrupt multiplexer function
 852                          */
 853                         icu_unset(irq, head->handler);
 854                         if (icu_setup(irq, intr_mux, &intreclist_head[irq], 0, 0) != 0)
 855                                 return (-1);
 856                         if (bootverbose)
 857                                 printf("\tusing shared irq%d.\n", irq);
 858                         update_intrname(irq, "mux");
 859                 }
 860                 /* just append to the end of the chain */
 861                 while (head->next != NULL)
 862                         head = head->next;
 863                 head->next = idesc;
 864         }
 865         update_masks(idesc->maskptr, irq);
 866         return (0);
 867 }
 868
 869 /*
 870  * Create and activate an interrupt handler descriptor data structure.
 871  *
 872  * The dev_instance pointer is required for resource management, and will
 873  * only be passed through to resource_claim().
 874  *
 875  * There will be functions that derive a driver and unit name from a
 876  * dev_instance variable, and those functions will be used to maintain the
 877  * interrupt counter label array referenced by systat and vmstat to report
 878  * device interrupt rates (->update_intrlabels).
 879  *
 880  * Add the interrupt handler descriptor data structure created by an
 881  * earlier call of create_intr() to the linked list for its irq and
 882  * adjust the interrupt masks if necessary.
 883  *
 884  * WARNING: This is an internal function and not to be used by device
 885  * drivers.  It is subject to change without notice.
 886  */
 887
 888 intrec *
 889 inthand_add(const char *name, int irq, inthand2_t handler, void *arg,
 890              intrmask_t *maskptr, int flags)
 891 {
 892         intrec *idesc;
 893         int errcode = -1;
 894         intrmask_t oldspl;
 895
 896         if (ICU_LEN > 8 * sizeof *maskptr) {
 897                 printf("create_intr: ICU_LEN of %d too high for %d bit intrmask\n",
 898                        ICU_LEN, 8 * sizeof *maskptr);
 899                 return (NULL);
 900         }
 901         if ((unsigned)irq >= ICU_LEN) {
 902                 printf("create_intr: requested irq%d too high, limit is %d\n",
 903                        irq, ICU_LEN -1);
 904                 return (NULL);
 905         }
 906
 907         idesc = malloc(sizeof *idesc, M_DEVBUF, M_WAITOK);
 908         if (idesc == NULL)
 909                 return NULL;
 910         bzero(idesc, sizeof *idesc);
 911
 912         if (name == NULL)
 913                 name = "???";
 914         idesc->name     = malloc(strlen(name) + 1, M_DEVBUF, M_WAITOK);
 915         if (idesc->name == NULL) {
 916                 free(idesc, M_DEVBUF);
 917                 return NULL;
 918         }
 919         strcpy(idesc->name, name);
 920
 921         idesc->handler  = handler;
 922         idesc->argument = arg;
 923         idesc->maskptr  = maskptr;
 924         idesc->intr     = irq;
 925         idesc->flags    = flags;
 926
 927         /* block this irq */
 928         oldspl = splq(1 << irq);
 929
 930         /* add irq to class selected by maskptr */
 931         errcode = add_intrdesc(idesc);
 932         splx(oldspl);
 933
 934         if (errcode != 0) {
 935                 if (bootverbose)
 936                         printf("\tintr_connect(irq%d) failed, result=%d\n",
 937                                irq, errcode);
 938                 free(idesc->name, M_DEVBUF);
 939                 free(idesc, M_DEVBUF);
 940                 idesc = NULL;
 941         }
 942
 943         return (idesc);
 944 }
 945
 946 /*
 947  * Deactivate and remove the interrupt handler descriptor data connected
 948  * created by an earlier call of intr_connect() from the linked list and
 949  * adjust theinterrupt masks if necessary.
 950  *
 951  * Return the memory held by the interrupt handler descriptor data structure
 952  * to the system. Make sure, the handler is not actively used anymore, before.
 953  */
 954
 955 int
 956 inthand_remove(intrec *idesc)
 957 {
 958         intrec **hook, *head;
 959         int irq;
 960         int errcode = 0;
 961         intrmask_t oldspl;
 962
 963         if (idesc == NULL)
 964                 return (-1);
 965
 966         irq = idesc->intr;
 967
 968         /* find pointer that keeps the reference to this interrupt descriptor */
 969         hook = find_pred(idesc, irq);
 970         if (hook == NULL)
 971                 return (-1);
 972
 973         /* make copy of original list head, the line after may overwrite it */
 974         head = intreclist_head[irq];
 975
 976         /* unlink: make predecessor point to idesc->next instead of to idesc */
 977         *hook = idesc->next;
 978
 979         /* now check whether the element we removed was the list head */
 980         if (idesc == head) {
 981
 982                 oldspl = splq(1 << irq);
 983
 984                 /* check whether the new list head is the only element on list */
 985                 head = intreclist_head[irq];
 986                 if (head != NULL) {
 987                         icu_unset(irq, intr_mux);
 988                         if (head->next != NULL) {
 989                                 /* install the multiplex handler with new list head as argument */
 990                                 errcode = icu_setup(irq, intr_mux, &intreclist_head[irq], 0, 0);
 991                                 if (errcode == 0)
 992                                         update_intrname(irq, NULL);
 993                         } else {
 994                                 /* install the one remaining handler for this irq */
 995                                 errcode = icu_setup(irq, head->handler,
 996                                                     head->argument,
 997                                                     head->maskptr, head->flags);
 998                                 if (errcode == 0)
 999                                         update_intrname(irq, head->name);
1000                         }
1001                 } else {
1002                         /* revert to old handler, eg: strayintr */
1003                         icu_unset(irq, idesc->handler);
1004                 }
1005                 splx(oldspl);
1006         }
1007         update_masks(idesc->maskptr, irq);
1008         free(idesc, M_DEVBUF);
1009         return (0);
1010 }
1011
1012 /*
1013  * ithread_done()
1014  *
1015  *      This function is called by an interrupt thread when it has completed
1016  *      processing a loop.  We re-enable itnerrupts and interlock with
1017  *      ipending.
1018  *
1019  *      See kern/kern_intr.c for more information.
1020  */
1021 void
1022 ithread_done(int irq)
1023 {
1024     struct mdglobaldata *gd = mdcpu;
1025     int mask = 1 << irq;
1026
1027     KKASSERT(curthread->td_pri >= TDPRI_CRIT);
1028     lwkt_deschedule_self();
1029     INTREN(mask);
1030     if (gd->gd_ipending & mask) {
1031         atomic_clear_int_nonlocked(&gd->gd_ipending, mask);
1032         INTRDIS(mask);
1033         lwkt_schedule_self();
1034     } else {
1035         lwkt_switch();
1036     }
1037 }
1038
1039 #ifdef SMP
1040 /*
1041  * forward_fast_remote()
1042  *
1043  *      This function is called from the receiving end of an IPIQ when a
1044  *      remote cpu wishes to forward a fast interrupt to us.  All we have to
1045  *      do is set the interrupt pending and let the IPI's doreti deal with it.
1046  */
1047 void
1048 forward_fastint_remote(void *arg)
1049 {
1050     int irq = (int)arg;
1051     struct mdglobaldata *gd = mdcpu;
1052
1053     atomic_set_int_nonlocked(&gd->gd_fpending, 1 << irq);
1054     atomic_set_int_nonlocked(&gd->mi.gd_reqflags, RQF_INTPEND);
1055 }
1056
1057 #endif