ICU/APIC cleanup part 10/many. Be a lot more careful programming the IO APIC.
[dragonfly.git] / sys / platform / pc32 / apic / mpapic.c
1 /*
2  * Copyright (c) 1996, by Steve Passe
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. The name of the developer may NOT be used to endorse or promote products
11  *    derived from this software without specific prior written permission.
12  *
13  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
14  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
16  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
17  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
18  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
19  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
20  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
21  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
22  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
23  * SUCH DAMAGE.
24  *
25  * $FreeBSD: src/sys/i386/i386/mpapic.c,v 1.37.2.7 2003/01/25 02:31:47 peter Exp $
26  * $DragonFly: src/sys/platform/pc32/apic/mpapic.c,v 1.13 2005/11/04 01:21:39 dillon Exp $
27  */
28
29 #include <sys/param.h>
30 #include <sys/systm.h>
31 #include <machine/globaldata.h>
32 #include <machine/smp.h>
33 #include <arch/apic/mpapic.h>
34 #include <machine/segments.h>
35 #include <sys/thread2.h>
36
37 #include <i386/isa/intr_machdep.h>      /* Xspuriousint() */
38
39 /* EISA Edge/Level trigger control registers */
40 #define ELCR0   0x4d0                   /* eisa irq 0-7 */
41 #define ELCR1   0x4d1                   /* eisa irq 8-15 */
42
43 /*
44  * pointers to pmapped apic hardware.
45  */
46
47 #if defined(APIC_IO)
48 volatile ioapic_t       **ioapic;
49 #endif  /* APIC_IO */
50
51 /*
52  * Enable APIC, configure interrupts.
53  */
54 void
55 apic_initialize(void)
56 {
57         u_int   temp;
58
59         /*
60          * setup LVT1 as ExtINT.  Edge trigger, active high.
61          */
62         temp = lapic.lvt_lint0;
63         temp &= ~(APIC_LVT_MASKED | APIC_LVT_TRIG_MASK | 
64                   APIC_LVT_POLARITY_MASK | APIC_LVT_DM_MASK);
65         if (mycpu->gd_cpuid == 0)
66                 temp |= APIC_LVT_DM_EXTINT;
67         else
68                 temp |= APIC_LVT_DM_EXTINT | APIC_LVT_MASKED;
69         lapic.lvt_lint0 = temp;
70
71         /*
72          * setup LVT2 as NMI, masked till later.  Edge trigger, active high.
73          */
74         temp = lapic.lvt_lint1;
75         temp &= ~(APIC_LVT_MASKED | APIC_LVT_TRIG_MASK | 
76                   APIC_LVT_POLARITY_MASK | APIC_LVT_DM_MASK);
77         temp |= APIC_LVT_MASKED | APIC_LVT_DM_NMI;
78         lapic.lvt_lint1 = temp;
79
80         /*
81          * Set the Task Priority Register as needed.   At the moment allow
82          * interrupts on all cpus (the APs will remain CLId until they are
83          * ready to deal).  We could disable all but IPIs by setting
84          * temp |= TPR_IPI_ONLY for cpu != 0.
85          */
86         temp = lapic.tpr;
87         temp &= ~APIC_TPR_PRIO;         /* clear priority field */
88
89         lapic.tpr = temp;
90
91         /* enable the local APIC */
92         temp = lapic.svr;
93         temp &= ~APIC_SVR_FOCUS_DISABLE; /* enable lopri focus processor */
94         temp |= APIC_SVR_ENABLE;        /* enable the APIC */
95
96         /*
97          * Set the spurious interrupt vector.  The low 4 bits of the vector
98          * must be 1111.
99          */
100         if ((XSPURIOUSINT_OFFSET & 0x0F) != 0x0F)
101                 panic("bad XSPURIOUSINT_OFFSET: 0x%08x", XSPURIOUSINT_OFFSET);
102         temp &= ~APIC_SVR_VECTOR;
103         temp |= XSPURIOUSINT_OFFSET;
104
105         lapic.svr = temp;
106
107         if (bootverbose)
108                 apic_dump("apic_initialize()");
109 }
110
111
112 /*
113  * dump contents of local APIC registers
114  */
115 void
116 apic_dump(char* str)
117 {
118         printf("SMP: CPU%d %s:\n", mycpu->gd_cpuid, str);
119         printf("     lint0: 0x%08x lint1: 0x%08x TPR: 0x%08x SVR: 0x%08x\n",
120                 lapic.lvt_lint0, lapic.lvt_lint1, lapic.tpr, lapic.svr);
121 }
122
123
124 #if defined(APIC_IO)
125
126 /*
127  * IO APIC code,
128  */
129
130 #define IOAPIC_ISA_INTS         16
131 #define REDIRCNT_IOAPIC(A) \
132             ((int)((io_apic_versions[(A)] & IOART_VER_MAXREDIR) >> MAXREDIRSHIFT) + 1)
133
134 static int trigger (int apic, int pin, u_int32_t * flags);
135 static void polarity (int apic, int pin, u_int32_t * flags, int level);
136
137 #define DEFAULT_FLAGS           \
138         ((u_int32_t)            \
139          (IOART_INTMSET |       \
140           IOART_DESTPHY |       \
141           IOART_DELLOPRI))
142
143 #define DEFAULT_ISA_FLAGS       \
144         ((u_int32_t)            \
145          (IOART_INTMSET |       \
146           IOART_TRGREDG |       \
147           IOART_INTAHI |        \
148           IOART_DESTPHY |       \
149           IOART_DELLOPRI))
150
151 void
152 io_apic_set_id(int apic, int id)
153 {
154         u_int32_t ux;
155         
156         ux = io_apic_read(apic, IOAPIC_ID);     /* get current contents */
157         if (((ux & APIC_ID_MASK) >> 24) != id) {
158                 printf("Changing APIC ID for IO APIC #%d"
159                        " from %d to %d on chip\n",
160                        apic, ((ux & APIC_ID_MASK) >> 24), id);
161                 ux &= ~APIC_ID_MASK;    /* clear the ID field */
162                 ux |= (id << 24);
163                 io_apic_write(apic, IOAPIC_ID, ux);     /* write new value */
164                 ux = io_apic_read(apic, IOAPIC_ID);     /* re-read && test */
165                 if (((ux & APIC_ID_MASK) >> 24) != id)
166                         panic("can't control IO APIC #%d ID, reg: 0x%08x",
167                               apic, ux);
168         }
169 }
170
171
172 int
173 io_apic_get_id(int apic)
174 {
175   return (io_apic_read(apic, IOAPIC_ID) & APIC_ID_MASK) >> 24;
176 }
177   
178
179
180 /*
181  * Setup the IO APIC.
182  */
183
184 extern int      apic_pin_trigger;       /* 'opaque' */
185
186 void
187 io_apic_setup_intpin(int apic, int pin)
188 {
189         int bus, bustype, irq;
190         u_char          select;         /* the select register is 8 bits */
191         u_int32_t       flags;          /* the window register is 32 bits */
192         u_int32_t       target;         /* the window register is 32 bits */
193         u_int32_t       vector;         /* the window register is 32 bits */
194         int             level;
195
196         select = pin * 2 + IOAPIC_REDTBL0;      /* register */
197
198         /*
199          * Always clear an IO APIC pin before [re]programming it.  This is
200          * particularly important if the pin is set up for a level interrupt
201          * as the IOART_REM_IRR bit might be set.   When we reprogram the
202          * vector any EOI from pending ints on this pin could be lost and
203          * IRR might never get reset.
204          *
205          * To fix this problem, clear the vector and make sure it is 
206          * programmed as an edge interrupt.  This should theoretically
207          * clear IRR so we can later, safely program it as a level 
208          * interrupt.
209          */
210         imen_lock();
211
212         flags = io_apic_read(apic, select) & IOART_RESV;
213         flags |= IOART_INTMSET | IOART_TRGREDG | IOART_INTAHI;
214         flags |= IOART_DESTPHY | IOART_DELFIXED;
215
216         target = io_apic_read(apic, select + 1) & IOART_HI_DEST_RESV;
217         target |= 0;    /* fixed mode cpu mask of 0 - don't deliver anywhere */
218
219         vector = 0;
220
221         io_apic_write(apic, select, flags | vector);
222         io_apic_write(apic, select + 1, target);
223
224         imen_unlock();
225
226         /*
227          * We only deal with vectored interrupts here.  ? documentation is
228          * lacking, I'm guessing an interrupt type of 0 is the 'INT' type,
229          * vs ExTINT, etc.
230          *
231          * This test also catches unconfigured pins.
232          */
233         if (apic_int_type(apic, pin) != 0)
234                 return;
235
236         /*
237          * Leave the pin unprogrammed if it does not correspond to
238          * an IRQ.
239          */
240         irq = apic_irq(apic, pin);
241         if (irq < 0)
242                 return;
243         
244         /* determine the bus type for this pin */
245         bus = apic_src_bus_id(apic, pin);
246         if (bus < 0)
247                 return;
248         bustype = apic_bus_type(bus);
249         
250         if ((bustype == ISA) &&
251             (pin < IOAPIC_ISA_INTS) && 
252             (irq == pin) &&
253             (apic_polarity(apic, pin) == 0x1) &&
254             (apic_trigger(apic, pin) == 0x3)) {
255                 /* 
256                  * A broken BIOS might describe some ISA 
257                  * interrupts as active-high level-triggered.
258                  * Use default ISA flags for those interrupts.
259                  */
260                 flags = DEFAULT_ISA_FLAGS;
261         } else {
262                 /* 
263                  * Program polarity and trigger mode according to 
264                  * interrupt entry.
265                  */
266                 flags = DEFAULT_FLAGS;
267                 level = trigger(apic, pin, &flags);
268                 if (level == 1)
269                         apic_pin_trigger |= (1 << irq);
270                 polarity(apic, pin, &flags, level);
271         }
272         
273         if (bootverbose) {
274                 printf("IOAPIC #%d intpin %d -> irq %d\n",
275                        apic, pin, irq);
276         }
277
278         /*
279          * Program the appropriate registers.  This routing may be 
280          * overridden when an interrupt handler for a device is
281          * actually added (see inthand_add(), which calls through
282          * the MACHINTR ABI to set up an interrupt handler/vector).
283          *
284          * The order in which we must program the two registers for
285          * safety is unclear! XXX
286          */
287         imen_lock();
288
289         vector = IDT_OFFSET + irq;                      /* IDT vec */
290         target = io_apic_read(apic, select + 1) & IOART_HI_DEST_RESV;
291         target |= IOART_HI_DEST_BROADCAST;
292         flags |= io_apic_read(apic, select) & IOART_RESV;
293         io_apic_write(apic, select, flags | vector);
294         io_apic_write(apic, select + 1, target);
295
296         imen_unlock();
297 }
298
299 int
300 io_apic_setup(int apic)
301 {
302         int             maxpin;
303         int             pin;
304
305         if (apic == 0)
306                 apic_pin_trigger = 0;   /* default to edge-triggered */
307
308         maxpin = REDIRCNT_IOAPIC(apic);         /* pins in APIC */
309         printf("Programming %d pins in IOAPIC #%d\n", maxpin, apic);
310         
311         for (pin = 0; pin < maxpin; ++pin) {
312                 io_apic_setup_intpin(apic, pin);
313         }
314
315         /* return GOOD status */
316         return 0;
317 }
318 #undef DEFAULT_ISA_FLAGS
319 #undef DEFAULT_FLAGS
320
321
322 #define DEFAULT_EXTINT_FLAGS    \
323         ((u_int32_t)            \
324          (IOART_INTMSET |       \
325           IOART_TRGREDG |       \
326           IOART_INTAHI |        \
327           IOART_DESTPHY |       \
328           IOART_DELLOPRI))
329
330 /*
331  * Setup the source of External INTerrupts.
332  */
333 int
334 ext_int_setup(int apic, int intr)
335 {
336         u_char  select;         /* the select register is 8 bits */
337         u_int32_t flags;        /* the window register is 32 bits */
338         u_int32_t target;       /* the window register is 32 bits */
339         u_int32_t vector;       /* the window register is 32 bits */
340
341         if (apic_int_type(apic, intr) != 3)
342                 return -1;
343
344         target = IOART_HI_DEST_BROADCAST;
345         select = IOAPIC_REDTBL0 + (2 * intr);
346         vector = NRSVIDT + intr;
347         flags = DEFAULT_EXTINT_FLAGS;
348
349         io_apic_write(apic, select, flags | vector);
350         io_apic_write(apic, select + 1, target);
351
352         return 0;
353 }
354 #undef DEFAULT_EXTINT_FLAGS
355
356
357 /*
358  * Set the trigger level for an IO APIC pin.
359  */
360 static int
361 trigger(int apic, int pin, u_int32_t * flags)
362 {
363         int     id;
364         int     eirq;
365         int     level;
366         static int intcontrol = -1;
367
368         switch (apic_trigger(apic, pin)) {
369
370         case 0x00:
371                 break;
372
373         case 0x01:
374                 *flags &= ~IOART_TRGRLVL;       /* *flags |= IOART_TRGREDG */
375                 return 0;
376
377         case 0x03:
378                 *flags |= IOART_TRGRLVL;
379                 return 1;
380
381         case -1:
382         default:
383                 goto bad;
384         }
385
386         if ((id = apic_src_bus_id(apic, pin)) == -1)
387                 goto bad;
388
389         switch (apic_bus_type(id)) {
390         case ISA:
391                 *flags &= ~IOART_TRGRLVL;       /* *flags |= IOART_TRGREDG; */
392                 return 0;
393
394         case EISA:
395                 eirq = apic_src_bus_irq(apic, pin);
396
397                 if (eirq < 0 || eirq > 15) {
398                         printf("EISA IRQ %d?!?!\n", eirq);
399                         goto bad;
400                 }
401
402                 if (intcontrol == -1) {
403                         intcontrol = inb(ELCR1) << 8;
404                         intcontrol |= inb(ELCR0);
405                         printf("EISA INTCONTROL = %08x\n", intcontrol);
406                 }
407
408                 /* Use ELCR settings to determine level or edge mode */
409                 level = (intcontrol >> eirq) & 1;
410
411                 /*
412                  * Note that on older Neptune chipset based systems, any
413                  * pci interrupts often show up here and in the ELCR as well
414                  * as level sensitive interrupts attributed to the EISA bus.
415                  */
416
417                 if (level)
418                         *flags |= IOART_TRGRLVL;
419                 else
420                         *flags &= ~IOART_TRGRLVL;
421
422                 return level;
423
424         case PCI:
425                 *flags |= IOART_TRGRLVL;
426                 return 1;
427
428         case -1:
429         default:
430                 goto bad;
431         }
432
433 bad:
434         panic("bad APIC IO INT flags");
435 }
436
437
438 /*
439  * Set the polarity value for an IO APIC pin.
440  */
441 static void
442 polarity(int apic, int pin, u_int32_t * flags, int level)
443 {
444         int     id;
445
446         switch (apic_polarity(apic, pin)) {
447
448         case 0x00:
449                 break;
450
451         case 0x01:
452                 *flags &= ~IOART_INTALO;        /* *flags |= IOART_INTAHI */
453                 return;
454
455         case 0x03:
456                 *flags |= IOART_INTALO;
457                 return;
458
459         case -1:
460         default:
461                 goto bad;
462         }
463
464         if ((id = apic_src_bus_id(apic, pin)) == -1)
465                 goto bad;
466
467         switch (apic_bus_type(id)) {
468         case ISA:
469                 *flags &= ~IOART_INTALO;        /* *flags |= IOART_INTAHI */
470                 return;
471
472         case EISA:
473                 /* polarity converter always gives active high */
474                 *flags &= ~IOART_INTALO;
475                 return;
476
477         case PCI:
478                 *flags |= IOART_INTALO;
479                 return;
480
481         case -1:
482         default:
483                 goto bad;
484         }
485
486 bad:
487         panic("bad APIC IO INT flags");
488 }
489
490
491 /*
492  * Print contents of apic_imen.
493  */
494 extern  u_int apic_imen;                /* keep apic_imen 'opaque' */
495 void
496 imen_dump(void)
497 {
498         int x;
499
500         printf("SMP: enabled INTs: ");
501         for (x = 0; x < 24; ++x)
502                 if ((apic_imen & (1 << x)) == 0)
503                         printf("%d, ", x);
504         printf("apic_imen: 0x%08x\n", apic_imen);
505 }
506
507
508 /*
509  * Inter Processor Interrupt functions.
510  */
511
512
513 /*
514  * Send APIC IPI 'vector' to 'destType' via 'deliveryMode'.
515  *
516  *  destType is 1 of: APIC_DEST_SELF, APIC_DEST_ALLISELF, APIC_DEST_ALLESELF
517  *  vector is any valid SYSTEM INT vector
518  *  delivery_mode is 1 of: APIC_DELMODE_FIXED, APIC_DELMODE_LOWPRIO
519  *
520  * A backlog of requests can create a deadlock between cpus.  To avoid this
521  * we have to be able to accept IPIs at the same time we are trying to send
522  * them.  The critical section prevents us from attempting to send additional
523  * IPIs reentrantly, but also prevents IPIQ processing so we have to call
524  * lwkt_process_ipiq() manually.  It's rather messy and expensive for this
525  * to occur but fortunately it does not happen too often.
526  */
527 int
528 apic_ipi(int dest_type, int vector, int delivery_mode)
529 {
530         u_long  icr_lo;
531
532         crit_enter();
533         if ((lapic.icr_lo & APIC_DELSTAT_MASK) != 0) {
534             unsigned int eflags = read_eflags();
535             cpu_enable_intr();
536             while ((lapic.icr_lo & APIC_DELSTAT_MASK) != 0) {
537                 lwkt_process_ipiq();
538             }
539             write_eflags(eflags);
540         }
541
542         icr_lo = (lapic.icr_lo & APIC_ICRLO_RESV_MASK) | dest_type | 
543                 delivery_mode | vector;
544         lapic.icr_lo = icr_lo;
545         crit_exit();
546         return 0;
547 }
548
549 void
550 single_apic_ipi(int cpu, int vector, int delivery_mode)
551 {
552         u_long  icr_lo;
553         u_long  icr_hi;
554
555         crit_enter();
556         if ((lapic.icr_lo & APIC_DELSTAT_MASK) != 0) {
557             unsigned int eflags = read_eflags();
558             cpu_enable_intr();
559             while ((lapic.icr_lo & APIC_DELSTAT_MASK) != 0) {
560                 lwkt_process_ipiq();
561             }
562             write_eflags(eflags);
563         }
564         icr_hi = lapic.icr_hi & ~APIC_ID_MASK;
565         icr_hi |= (CPU_TO_ID(cpu) << 24);
566         lapic.icr_hi = icr_hi;
567
568         /* build IRC_LOW */
569         icr_lo = (lapic.icr_lo & APIC_ICRLO_RESV_MASK)
570             | APIC_DEST_DESTFLD | delivery_mode | vector;
571
572         /* write APIC ICR */
573         lapic.icr_lo = icr_lo;
574         crit_exit();
575 }
576
577 #if 0   
578
579 /*
580  * Returns 0 if the apic is busy, 1 if we were able to queue the request.
581  *
582  * NOT WORKING YET!  The code as-is may end up not queueing an IPI at all
583  * to the target, and the scheduler does not 'poll' for IPI messages.
584  */
585 int
586 single_apic_ipi_passive(int cpu, int vector, int delivery_mode)
587 {
588         u_long  icr_lo;
589         u_long  icr_hi;
590
591         crit_enter();
592         if ((lapic.icr_lo & APIC_DELSTAT_MASK) != 0) {
593             crit_exit();
594             return(0);
595         }
596         icr_hi = lapic.icr_hi & ~APIC_ID_MASK;
597         icr_hi |= (CPU_TO_ID(cpu) << 24);
598         lapic.icr_hi = icr_hi;
599
600         /* build IRC_LOW */
601         icr_lo = (lapic.icr_lo & APIC_RESV2_MASK)
602             | APIC_DEST_DESTFLD | delivery_mode | vector;
603
604         /* write APIC ICR */
605         lapic.icr_lo = icr_lo;
606         crit_exit();
607         return(1);
608 }
609
610 #endif
611
612 /*
613  * Send APIC IPI 'vector' to 'target's via 'delivery_mode'.
614  *
615  * target is a bitmask of destination cpus.  Vector is any
616  * valid system INT vector.  Delivery mode may be either
617  * APIC_DELMODE_FIXED or APIC_DELMODE_LOWPRIO.
618  */
619 void
620 selected_apic_ipi(u_int target, int vector, int delivery_mode)
621 {
622         crit_enter();
623         while (target) {
624                 int n = bsfl(target);
625                 target &= ~(1 << n);
626                 single_apic_ipi(n, vector, delivery_mode);
627         }
628         crit_exit();
629 }
630
631 #endif  /* APIC_IO */
632
633 /*
634  * Timer code, in development...
635  *  - suggested by rgrimes@gndrsh.aac.dev.com
636  */
637
638 /** XXX FIXME: temp hack till we can determin bus clock */
639 #ifndef BUS_CLOCK
640 #define BUS_CLOCK       66000000
641 #define bus_clock()     66000000
642 #endif
643
644 #if defined(READY)
645 int acquire_apic_timer (void);
646 int release_apic_timer (void);
647
648 /*
649  * Acquire the APIC timer for exclusive use.
650  */
651 int
652 acquire_apic_timer(void)
653 {
654 #if 1
655         return 0;
656 #else
657         /** XXX FIXME: make this really do something */
658         panic("APIC timer in use when attempting to aquire");
659 #endif
660 }
661
662
663 /*
664  * Return the APIC timer.
665  */
666 int
667 release_apic_timer(void)
668 {
669 #if 1
670         return 0;
671 #else
672         /** XXX FIXME: make this really do something */
673         panic("APIC timer was already released");
674 #endif
675 }
676 #endif  /* READY */
677
678
679 /*
680  * Load a 'downcount time' in uSeconds.
681  */
682 void
683 set_apic_timer(int value)
684 {
685         u_long  lvtt;
686         long    ticks_per_microsec;
687
688         /*
689          * Calculate divisor and count from value:
690          * 
691          *  timeBase == CPU bus clock divisor == [1,2,4,8,16,32,64,128]
692          *  value == time in uS
693          */
694         lapic.dcr_timer = APIC_TDCR_1;
695         ticks_per_microsec = bus_clock() / 1000000;
696
697         /* configure timer as one-shot */
698         lvtt = lapic.lvt_timer;
699         lvtt &= ~(APIC_LVTT_VECTOR | APIC_LVTT_DS);
700         lvtt &= ~(APIC_LVTT_PERIODIC);
701         lvtt |= APIC_LVTT_MASKED;               /* no INT, one-shot */
702         lapic.lvt_timer = lvtt;
703
704         /* */
705         lapic.icr_timer = value * ticks_per_microsec;
706 }
707
708
709 /*
710  * Read remaining time in timer.
711  */
712 int
713 read_apic_timer(void)
714 {
715 #if 0
716         /** XXX FIXME: we need to return the actual remaining time,
717          *         for now we just return the remaining count.
718          */
719 #else
720         return lapic.ccr_timer;
721 #endif
722 }
723
724
725 /*
726  * Spin-style delay, set delay time in uS, spin till it drains.
727  */
728 void
729 u_sleep(int count)
730 {
731         set_apic_timer(count);
732         while (read_apic_timer())
733                  /* spin */ ;
734 }