MachIntrABI: intr_{config,cpuid} -> legacy_intr_{config,cpuid}
[dragonfly.git] / sys / platform / pc32 / icu / icu_abi.c
1 /*
2  * Copyright (c) 2005 The DragonFly Project.  All rights reserved.
3  * Copyright (c) 1991 The Regents of the University of California.
4  * All rights reserved.
5  * 
6  * This code is derived from software contributed to The DragonFly Project
7  * by Matthew Dillon <dillon@backplane.com>
8  *
9  * This code is derived from software contributed to Berkeley by
10  * William Jolitz.
11  * 
12  * Redistribution and use in source and binary forms, with or without
13  * modification, are permitted provided that the following conditions
14  * are met:
15  * 
16  * 1. Redistributions of source code must retain the above copyright
17  *    notice, this list of conditions and the following disclaimer.
18  * 2. Redistributions in binary form must reproduce the above copyright
19  *    notice, this list of conditions and the following disclaimer in
20  *    the documentation and/or other materials provided with the
21  *    distribution.
22  * 3. Neither the name of The DragonFly Project nor the names of its
23  *    contributors may be used to endorse or promote products derived
24  *    from this software without specific, prior written permission.
25  * 
26  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
27  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
28  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
29  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
30  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
31  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
32  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
33  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
34  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
35  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
36  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
37  * SUCH DAMAGE.
38  * 
39  * $DragonFly: src/sys/platform/pc32/icu/icu_abi.c,v 1.14 2007/07/07 12:13:47 sephe Exp $
40  */
41
42 #include <sys/param.h>
43 #include <sys/systm.h>
44 #include <sys/kernel.h>
45 #include <sys/machintr.h>
46 #include <sys/interrupt.h>
47 #include <sys/rman.h>
48 #include <sys/bus.h>
49
50 #include <machine/segments.h>
51 #include <machine/md_var.h>
52 #include <machine/intr_machdep.h>
53 #include <machine/globaldata.h>
54 #include <machine/smp.h>
55 #include <machine/msi_var.h>
56
57 #include <sys/thread2.h>
58
59 #include <machine_base/icu/elcr_var.h>
60
61 #include <machine_base/icu/icu.h>
62 #include <machine_base/icu/icu_ipl.h>
63 #include <machine_base/apic/ioapic.h>
64
65 extern inthand_t
66         IDTVEC(icu_intr0),      IDTVEC(icu_intr1),
67         IDTVEC(icu_intr2),      IDTVEC(icu_intr3),
68         IDTVEC(icu_intr4),      IDTVEC(icu_intr5),
69         IDTVEC(icu_intr6),      IDTVEC(icu_intr7),
70         IDTVEC(icu_intr8),      IDTVEC(icu_intr9),
71         IDTVEC(icu_intr10),     IDTVEC(icu_intr11),
72         IDTVEC(icu_intr12),     IDTVEC(icu_intr13),
73         IDTVEC(icu_intr14),     IDTVEC(icu_intr15);
74
75 static inthand_t *icu_intr[ICU_HWI_VECTORS] = {
76         &IDTVEC(icu_intr0),     &IDTVEC(icu_intr1),
77         &IDTVEC(icu_intr2),     &IDTVEC(icu_intr3),
78         &IDTVEC(icu_intr4),     &IDTVEC(icu_intr5),
79         &IDTVEC(icu_intr6),     &IDTVEC(icu_intr7),
80         &IDTVEC(icu_intr8),     &IDTVEC(icu_intr9),
81         &IDTVEC(icu_intr10),    &IDTVEC(icu_intr11),
82         &IDTVEC(icu_intr12),    &IDTVEC(icu_intr13),
83         &IDTVEC(icu_intr14),    &IDTVEC(icu_intr15)
84 };
85
86 static struct icu_irqmap {
87         int                     im_type;        /* ICU_IMT_ */
88         enum intr_trigger       im_trig;
89         int                     im_msi_base;
90 } icu_irqmaps[MAXCPU][IDT_HWI_VECTORS];
91
92 static struct lwkt_token icu_irqmap_tok =
93         LWKT_TOKEN_INITIALIZER(icu_irqmap_token);
94
95 #define ICU_IMT_UNUSED          0       /* KEEP THIS */
96 #define ICU_IMT_RESERVED        1
97 #define ICU_IMT_LEGACY          2
98 #define ICU_IMT_SYSCALL         3
99 #define ICU_IMT_SHADOW          4
100 #define ICU_IMT_MSI             5
101
102 #define ICU_IMT_ISHWI(map)      ((map)->im_type != ICU_IMT_RESERVED && \
103                                  (map)->im_type != ICU_IMT_SYSCALL && \
104                                  (map)->im_type != ICU_IMT_SHADOW)
105
106 extern void     ICU_INTREN(int);
107 extern void     ICU_INTRDIS(int);
108
109 extern int      imcr_present;
110
111 static void     icu_abi_intr_enable(int);
112 static void     icu_abi_intr_disable(int);
113 static void     icu_abi_intr_setup(int, int);
114 static void     icu_abi_intr_teardown(int);
115
116 static void     icu_abi_legacy_intr_config(int, enum intr_trigger,
117                     enum intr_polarity);
118 static int      icu_abi_legacy_intr_cpuid(int);
119
120 static int      icu_abi_msi_alloc(int [], int, int);
121 static void     icu_abi_msi_release(const int [], int, int);
122 static void     icu_abi_msi_map(int, uint64_t *, uint32_t *, int);
123
124 static void     icu_abi_finalize(void);
125 static void     icu_abi_cleanup(void);
126 static void     icu_abi_setdefault(void);
127 static void     icu_abi_stabilize(void);
128 static void     icu_abi_initmap(void);
129 static void     icu_abi_rman_setup(struct rman *);
130
131 struct machintr_abi MachIntrABI_ICU = {
132         MACHINTR_ICU,
133         .intr_disable   = icu_abi_intr_disable,
134         .intr_enable    = icu_abi_intr_enable,
135         .intr_setup     = icu_abi_intr_setup,
136         .intr_teardown  = icu_abi_intr_teardown,
137
138         .legacy_intr_config = icu_abi_legacy_intr_config,
139         .legacy_intr_cpuid = icu_abi_legacy_intr_cpuid,
140
141         .msi_alloc      = icu_abi_msi_alloc,
142         .msi_release    = icu_abi_msi_release,
143         .msi_map        = icu_abi_msi_map,
144
145         .finalize       = icu_abi_finalize,
146         .cleanup        = icu_abi_cleanup,
147         .setdefault     = icu_abi_setdefault,
148         .stabilize      = icu_abi_stabilize,
149         .initmap        = icu_abi_initmap,
150         .rman_setup     = icu_abi_rman_setup
151 };
152
153 static int      icu_abi_msi_start;      /* NOTE: for testing only */
154
155 /*
156  * WARNING!  SMP builds can use the ICU now so this code must be MP safe.
157  */
158
159 static void
160 icu_abi_intr_enable(int irq)
161 {
162         const struct icu_irqmap *map;
163
164         KASSERT(irq >= 0 && irq < IDT_HWI_VECTORS,
165             ("icu enable, invalid irq %d\n", irq));
166
167         map = &icu_irqmaps[mycpuid][irq];
168         KASSERT(ICU_IMT_ISHWI(map),
169             ("icu enable, not hwi irq %d, type %d, cpu%d\n",
170              irq, map->im_type, mycpuid));
171         if (map->im_type != ICU_IMT_LEGACY)
172                 return;
173
174         ICU_INTREN(irq);
175 }
176
177 static void
178 icu_abi_intr_disable(int irq)
179 {
180         const struct icu_irqmap *map;
181
182         KASSERT(irq >= 0 && irq < IDT_HWI_VECTORS,
183             ("icu disable, invalid irq %d\n", irq));
184
185         map = &icu_irqmaps[mycpuid][irq];
186         KASSERT(ICU_IMT_ISHWI(map),
187             ("icu disable, not hwi irq %d, type %d, cpu%d\n",
188              irq, map->im_type, mycpuid));
189         if (map->im_type != ICU_IMT_LEGACY)
190                 return;
191
192         ICU_INTRDIS(irq);
193 }
194
195 /*
196  * Called before interrupts are physically enabled
197  */
198 static void
199 icu_abi_stabilize(void)
200 {
201         int intr;
202
203         for (intr = 0; intr < ICU_HWI_VECTORS; ++intr)
204                 ICU_INTRDIS(intr);
205         ICU_INTREN(ICU_IRQ_SLAVE);
206 }
207
208 /*
209  * Called after interrupts physically enabled but before the
210  * critical section is released.
211  */
212 static void
213 icu_abi_cleanup(void)
214 {
215         bzero(mdcpu->gd_ipending, sizeof(mdcpu->gd_ipending));
216 }
217
218 /*
219  * Called after stablize and cleanup; critical section is not
220  * held and interrupts are not physically disabled.
221  */
222 static void
223 icu_abi_finalize(void)
224 {
225         KKASSERT(MachIntrABI.type == MACHINTR_ICU);
226         KKASSERT(!ioapic_enable);
227
228         /*
229          * If an IMCR is present, programming bit 0 disconnects the 8259
230          * from the BSP.  The 8259 may still be connected to LINT0 on the
231          * BSP's LAPIC.
232          *
233          * If we are running SMP the LAPIC is active, try to use virtual
234          * wire mode so we can use other interrupt sources within the LAPIC
235          * in addition to the 8259.
236          */
237         if (imcr_present) {
238                 outb(0x22, 0x70);
239                 outb(0x23, 0x01);
240         }
241 }
242
243 static void
244 icu_abi_intr_setup(int intr, int flags __unused)
245 {
246         const struct icu_irqmap *map;
247         u_long ef;
248
249         KASSERT(intr >= 0 && intr < IDT_HWI_VECTORS,
250             ("icu setup, invalid irq %d\n", intr));
251
252         map = &icu_irqmaps[mycpuid][intr];
253         KASSERT(ICU_IMT_ISHWI(map),
254             ("icu setup, not hwi irq %d, type %d, cpu%d\n",
255              intr, map->im_type, mycpuid));
256         if (map->im_type != ICU_IMT_LEGACY)
257                 return;
258
259         ef = read_eflags();
260         cpu_disable_intr();
261
262         ICU_INTREN(intr);
263
264         write_eflags(ef);
265 }
266
267 static void
268 icu_abi_intr_teardown(int intr)
269 {
270         const struct icu_irqmap *map;
271         u_long ef;
272
273         KASSERT(intr >= 0 && intr < IDT_HWI_VECTORS,
274             ("icu teardown, invalid irq %d\n", intr));
275
276         map = &icu_irqmaps[mycpuid][intr];
277         KASSERT(ICU_IMT_ISHWI(map),
278             ("icu teardown, not hwi irq %d, type %d, cpu%d\n",
279              intr, map->im_type, mycpuid));
280         if (map->im_type != ICU_IMT_LEGACY)
281                 return;
282
283         ef = read_eflags();
284         cpu_disable_intr();
285
286         ICU_INTRDIS(intr);
287
288         write_eflags(ef);
289 }
290
291 static void
292 icu_abi_setdefault(void)
293 {
294         int intr;
295
296         for (intr = 0; intr < ICU_HWI_VECTORS; ++intr) {
297                 if (intr == ICU_IRQ_SLAVE)
298                         continue;
299                 setidt(IDT_OFFSET + intr, icu_intr[intr], SDT_SYS386IGT,
300                        SEL_KPL, GSEL(GCODE_SEL, SEL_KPL));
301         }
302 }
303
304 static void
305 icu_abi_initmap(void)
306 {
307         int cpu;
308
309         kgetenv_int("hw.icu.msi_start", &icu_abi_msi_start);
310         icu_abi_msi_start &= ~0x1f;     /* MUST be 32 aligned */
311
312         /*
313          * NOTE: ncpus is not ready yet
314          */
315         for (cpu = 0; cpu < MAXCPU; ++cpu) {
316                 int i;
317
318                 if (cpu != 0) {
319                         for (i = 0; i < ICU_HWI_VECTORS; ++i)
320                                 icu_irqmaps[cpu][i].im_type = ICU_IMT_RESERVED;
321                 } else {
322                         for (i = 0; i < ICU_HWI_VECTORS; ++i)
323                                 icu_irqmaps[cpu][i].im_type = ICU_IMT_LEGACY;
324                         icu_irqmaps[cpu][ICU_IRQ_SLAVE].im_type =
325                             ICU_IMT_RESERVED;
326
327                         if (elcr_found) {
328                                 for (i = 0; i < ICU_HWI_VECTORS; ++i) {
329                                         icu_irqmaps[cpu][i].im_trig =
330                                             elcr_read_trigger(i);
331                                 }
332                         } else {
333                                 /*
334                                  * NOTE: Trigger mode does not matter at all
335                                  */
336                                 for (i = 0; i < ICU_HWI_VECTORS; ++i) {
337                                         icu_irqmaps[cpu][i].im_trig =
338                                             INTR_TRIGGER_EDGE;
339                                 }
340                         }
341                 }
342
343                 for (i = 0; i < IDT_HWI_VECTORS; ++i)
344                         icu_irqmaps[cpu][i].im_msi_base = -1;
345
346                 icu_irqmaps[cpu][IDT_OFFSET_SYSCALL - IDT_OFFSET].im_type =
347                     ICU_IMT_SYSCALL;
348         }
349 }
350
351 static void
352 icu_abi_legacy_intr_config(int irq, enum intr_trigger trig,
353     enum intr_polarity pola __unused)
354 {
355         struct icu_irqmap *map;
356
357         KKASSERT(trig == INTR_TRIGGER_EDGE || trig == INTR_TRIGGER_LEVEL);
358
359         KKASSERT(irq >= 0 && irq < IDT_HWI_VECTORS);
360         map = &icu_irqmaps[0][irq];
361
362         KKASSERT(map->im_type == ICU_IMT_LEGACY);
363
364         /* TODO: Check whether it is configured or not */
365
366         if (trig == map->im_trig)
367                 return;
368
369         if (bootverbose) {
370                 kprintf("ICU: irq %d, %s -> %s\n", irq,
371                         intr_str_trigger(map->im_trig),
372                         intr_str_trigger(trig));
373         }
374         map->im_trig = trig;
375
376         if (!elcr_found) {
377                 if (bootverbose)
378                         kprintf("ICU: no ELCR, skip irq %d config\n", irq);
379                 return;
380         }
381         elcr_write_trigger(irq, map->im_trig);
382 }
383
384 static int
385 icu_abi_legacy_intr_cpuid(int irq __unused)
386 {
387         return 0;
388 }
389
390 static void
391 icu_abi_rman_setup(struct rman *rm)
392 {
393         int start, end, i;
394
395         KASSERT(rm->rm_cpuid >= 0 && rm->rm_cpuid < MAXCPU,
396             ("invalid rman cpuid %d", rm->rm_cpuid));
397
398         start = end = -1;
399         for (i = 0; i < IDT_HWI_VECTORS; ++i) {
400                 const struct icu_irqmap *map = &icu_irqmaps[rm->rm_cpuid][i];
401
402                 if (start < 0) {
403                         if (ICU_IMT_ISHWI(map))
404                                 start = end = i;
405                 } else {
406                         if (ICU_IMT_ISHWI(map)) {
407                                 end = i;
408                         } else {
409                                 KKASSERT(end >= 0);
410                                 if (bootverbose) {
411                                         kprintf("ICU: rman cpu%d %d - %d\n",
412                                             rm->rm_cpuid, start, end);
413                                 }
414                                 if (rman_manage_region(rm, start, end)) {
415                                         panic("rman_manage_region"
416                                             "(cpu%d %d - %d)", rm->rm_cpuid,
417                                             start, end);
418                                 }
419                                 start = end = -1;
420                         }
421                 }
422         }
423         if (start >= 0) {
424                 KKASSERT(end >= 0);
425                 if (bootverbose) {
426                         kprintf("ICU: rman cpu%d %d - %d\n",
427                             rm->rm_cpuid, start, end);
428                 }
429                 if (rman_manage_region(rm, start, end)) {
430                         panic("rman_manage_region(cpu%d %d - %d)",
431                             rm->rm_cpuid, start, end);
432                 }
433         }
434 }
435
436 static int
437 icu_abi_msi_alloc(int intrs[], int count, int cpuid)
438 {
439         int i, error;
440
441         KASSERT(cpuid >= 0 && cpuid < ncpus,
442             ("invalid cpuid %d", cpuid));
443
444         KASSERT(count > 0 && count <= 32, ("invalid count %d\n", count));
445         KASSERT((count & (count - 1)) == 0,
446             ("count %d is not power of 2\n", count));
447
448         lwkt_gettoken(&icu_irqmap_tok);
449
450         /*
451          * NOTE:
452          * Since IDT_OFFSET is 32, which is the maximum valid 'count',
453          * we do not need to find out the first properly aligned
454          * interrupt vector.
455          */
456
457         error = EMSGSIZE;
458         for (i = icu_abi_msi_start; i < IDT_HWI_VECTORS; i += count) {
459                 int j;
460
461                 if (icu_irqmaps[cpuid][i].im_type != ICU_IMT_UNUSED)
462                         continue;
463
464                 for (j = 1; j < count; ++j) {
465                         if (icu_irqmaps[cpuid][i + j].im_type != ICU_IMT_UNUSED)
466                                 break;
467                 }
468                 if (j != count)
469                         continue;
470
471                 for (j = 0; j < count; ++j) {
472                         int intr = i + j, cpu;
473
474                         for (cpu = 0; cpu < ncpus; ++cpu) {
475                                 struct icu_irqmap *map;
476
477                                 map = &icu_irqmaps[cpu][intr];
478                                 KASSERT(map->im_msi_base < 0,
479                                     ("intr %d cpu%d, stale MSI-base %d\n",
480                                      intr, cpu, map->im_msi_base));
481                                 KASSERT(map->im_type == ICU_IMT_UNUSED,
482                                     ("intr %d cpu%d, already allocated\n",
483                                      intr, cpu));
484
485                                 if (cpu == cpuid) {
486                                         map->im_type = ICU_IMT_MSI;
487                                         map->im_msi_base = i;
488                                 } else {
489                                         map->im_type = ICU_IMT_SHADOW;
490                                 }
491                         }
492
493                         intrs[j] = intr;
494                         msi_setup(intr);
495
496                         if (bootverbose) {
497                                 kprintf("alloc MSI intr %d on cpu%d\n",
498                                     intr, cpuid);
499                         }
500                 }
501                 error = 0;
502                 break;
503         }
504
505         lwkt_reltoken(&icu_irqmap_tok);
506
507         return error;
508 }
509
510 static void
511 icu_abi_msi_release(const int intrs[], int count, int cpuid)
512 {
513         int i, msi_base = -1, intr_next = -1, mask;
514
515         KASSERT(cpuid >= 0 && cpuid < ncpus,
516             ("invalid cpuid %d", cpuid));
517
518         KASSERT(count > 0 && count <= 32, ("invalid count %d\n", count));
519
520         mask = count - 1;
521         KASSERT((count & mask) == 0, ("count %d is not power of 2\n", count));
522
523         lwkt_gettoken(&icu_irqmap_tok);
524
525         for (i = 0; i < count; ++i) {
526                 int intr = intrs[i], cpu;
527
528                 KASSERT(intr >= 0 && intr < IDT_HWI_VECTORS,
529                     ("invalid intr %d\n", intr));
530
531                 for (cpu = 0; cpu < ncpus; ++cpu) {
532                         struct icu_irqmap *map;
533
534                         map = &icu_irqmaps[cpu][intr];
535
536                         if (cpu == cpuid) {
537                                 KASSERT(map->im_type == ICU_IMT_MSI,
538                                     ("try release non-MSI intr %d cpu%d, "
539                                      "type %d\n", intr, cpu, map->im_type));
540                                 KASSERT(map->im_msi_base >= 0 &&
541                                     map->im_msi_base <= intr,
542                                     ("intr %d cpu%d, invalid MSI-base %d\n",
543                                      intr, cpu, map->im_msi_base));
544                                 KASSERT((map->im_msi_base & mask) == 0,
545                                     ("intr %d cpu%d, MSI-base %d is "
546                                      "not proper aligned %d\n",
547                                      intr, cpu, map->im_msi_base, count));
548
549                                 if (msi_base < 0) {
550                                         msi_base = map->im_msi_base;
551                                 } else {
552                                         KASSERT(map->im_msi_base == msi_base,
553                                             ("intr %d cpu%d, "
554                                              "inconsistent MSI-base, "
555                                              "was %d, now %d\n",
556                                              intr, cpu,
557                                              msi_base, map->im_msi_base));
558                                 }
559                                 map->im_msi_base = -1;
560                         } else {
561                                 KASSERT(map->im_type == ICU_IMT_SHADOW,
562                                     ("try release non-MSIsh intr %d cpu%d, "
563                                      "type %d\n", intr, cpu, map->im_type));
564                                 KASSERT(map->im_msi_base < 0,
565                                     ("intr %d cpu%d, invalid MSIsh-base %d\n",
566                                      intr, cpu, map->im_msi_base));
567                         }
568                         map->im_type = ICU_IMT_UNUSED;
569                 }
570
571                 if (intr_next < intr)
572                         intr_next = intr;
573
574                 if (bootverbose)
575                         kprintf("release MSI intr %d on cpu%d\n", intr, cpuid);
576         }
577
578         KKASSERT(intr_next > 0);
579         KKASSERT(msi_base >= 0);
580
581         ++intr_next;
582         if (intr_next < IDT_HWI_VECTORS) {
583                 int cpu;
584
585                 for (cpu = 0; cpu < ncpus; ++cpu) {
586                         const struct icu_irqmap *map =
587                             &icu_irqmaps[cpu][intr_next];
588
589                         if (map->im_type == ICU_IMT_MSI) {
590                                 KASSERT(map->im_msi_base != msi_base,
591                                     ("more than %d MSI was allocated\n", count));
592                         }
593                 }
594         }
595
596         lwkt_reltoken(&icu_irqmap_tok);
597 }
598
599 static void
600 icu_abi_msi_map(int intr, uint64_t *addr, uint32_t *data, int cpuid)
601 {
602         const struct icu_irqmap *map;
603
604         KASSERT(cpuid >= 0 && cpuid < ncpus,
605             ("invalid cpuid %d", cpuid));
606
607         KASSERT(intr >= 0 && intr < IDT_HWI_VECTORS,
608             ("invalid intr %d\n", intr));
609
610         lwkt_gettoken(&icu_irqmap_tok);
611
612         map = &icu_irqmaps[cpuid][intr];
613         KASSERT(map->im_type == ICU_IMT_MSI,
614             ("try map non-MSI intr %d, type %d\n", intr, map->im_type));
615         KASSERT(map->im_msi_base >= 0 && map->im_msi_base <= intr,
616             ("intr %d, invalid MSI-base %d\n", intr, map->im_msi_base));
617
618         msi_map(map->im_msi_base, addr, data, cpuid);
619
620         if (bootverbose)
621                 kprintf("map MSI intr %d on cpu%d\n", intr, cpuid);
622
623         lwkt_reltoken(&icu_irqmap_tok);
624 }