Finish migrating the cpl into the thread structure.
[dragonfly.git] / sys / platform / pc32 / isa / ipl.s
1 /*-
2  * Copyright (c) 1989, 1990 William F. Jolitz.
3  * Copyright (c) 1990 The Regents of the University of California.
4  * All rights reserved.
5  *
6  * This code is derived from software contributed to Berkeley by
7  * William Jolitz.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. All advertising materials mentioning features or use of this software
18  *    must display the following acknowledgement:
19  *      This product includes software developed by the University of
20  *      California, Berkeley and its contributors.
21  * 4. Neither the name of the University nor the names of its contributors
22  *    may be used to endorse or promote products derived from this software
23  *    without specific prior written permission.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
26  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
29  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
30  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
31  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
32  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
33  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
34  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
35  * SUCH DAMAGE.
36  *
37  *      @(#)ipl.s
38  *
39  * $FreeBSD: src/sys/i386/isa/ipl.s,v 1.32.2.3 2002/05/16 16:03:56 bde Exp $
40  * $DragonFly: src/sys/platform/pc32/isa/ipl.s,v 1.3 2003/06/22 08:54:22 dillon Exp $
41  */
42
43
44 /*
45  * AT/386
46  * Vector interrupt control section
47  *
48  *  *_imask     - Interrupt masks for various spl*() functions
49  *  ipending    - Pending interrupts (set when a masked interrupt occurs)
50  */
51
52         .data
53         ALIGN_DATA
54
55 /* current priority (all off) */
56
57         .globl  _tty_imask
58 _tty_imask:     .long   SWI_TTY_MASK
59         .globl  _bio_imask
60 _bio_imask:     .long   SWI_CLOCK_MASK | SWI_CAMBIO_MASK
61         .globl  _net_imask
62 _net_imask:     .long   SWI_NET_MASK | SWI_CAMNET_MASK
63         .globl  _cam_imask
64 _cam_imask:     .long   SWI_CAMBIO_MASK | SWI_CAMNET_MASK
65         .globl  _soft_imask
66 _soft_imask:    .long   SWI_MASK
67         .globl  _softnet_imask
68 _softnet_imask: .long   SWI_NET_MASK
69         .globl  _softtty_imask
70 _softtty_imask: .long   SWI_TTY_MASK
71
72 /* pending interrupts blocked by splxxx() */
73         .globl  _ipending
74 _ipending:      .long   0
75
76 /* set with bits for which queue to service */
77         .globl  _netisr
78 _netisr:        .long   0
79
80         .globl _netisrs
81 _netisrs:
82         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
83         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
84         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
85         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
86         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
87         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
88         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
89         .long   dummynetisr, dummynetisr, dummynetisr, dummynetisr
90
91         .text
92
93 /*
94  * Handle return from interrupts, traps and syscalls.
95  */
96         SUPERALIGN_TEXT
97         .type   _doreti,@function
98 _doreti:
99         FAKE_MCOUNT(_bintr)             /* init "from" _bintr -> _doreti */
100         addl    $4,%esp                 /* discard unit number */
101         popl    %eax                    /* cpl or cml to restore */
102         movl    _curthread,%ebx 
103 doreti_next:
104         /*
105          * Check for pending HWIs and SWIs atomically with restoring cpl
106          * and exiting.  The check has to be atomic with exiting to stop
107          * (ipending & ~cpl) changing from zero to nonzero while we're
108          * looking at it (this wouldn't be fatal but it would increase
109          * interrupt latency).  Restoring cpl has to be atomic with exiting
110          * so that the stack cannot pile up (the nesting level of interrupt
111          * handlers is limited by the number of bits in cpl).
112          */
113 #ifdef SMP
114         cli                             /* early to prevent INT deadlock */
115 doreti_next2:
116 #endif
117         movl    %eax,%ecx
118         notl    %ecx                    /* set bit = unmasked level */
119 #ifndef SMP
120         cli
121 #endif
122         andl    _ipending,%ecx          /* set bit = unmasked pending INT */
123         jne     doreti_unpend
124         movl    %eax,TD_MACH+MTD_CPL(%ebx)
125         decb    _intr_nesting_level
126
127         /* Check for ASTs that can be handled now. */
128         testl   $AST_PENDING,_astpending
129         je      doreti_exit
130         testl   $PSL_VM,TF_EFLAGS(%esp)
131         jz      doreti_notvm86
132         cmpl    $1,_in_vm86call
133         jne     doreti_ast
134         jmp     doreti_exit     
135
136 doreti_notvm86:
137         testb   $SEL_RPL_MASK,TF_CS(%esp)
138         jnz     doreti_ast
139
140         /*
141          * doreti_exit -        release MP lock, pop registers, iret.
142          *
143          *      Note that the syscall trap shotcuts to doreti_syscall_ret.
144          *      The segment register pop is a special case, since it may
145          *      fault if (for example) a sigreturn specifies bad segment
146          *      registers.  The fault is handled in trap.c
147          */
148
149 doreti_exit:
150         MEXITCOUNT
151
152 #ifdef SMP
153         /* release the kernel lock */
154         movl    $_mp_lock, %edx         /* GIANT_LOCK */
155         call    _MPrellock_edx
156 #endif /* SMP */
157
158         .globl  doreti_popl_fs
159         .globl  doreti_syscall_ret
160 doreti_syscall_ret:
161 doreti_popl_fs:
162         popl    %fs
163         .globl  doreti_popl_es
164 doreti_popl_es:
165         popl    %es
166         .globl  doreti_popl_ds
167 doreti_popl_ds:
168         popl    %ds
169         popal
170         addl    $8,%esp
171         .globl  doreti_iret
172 doreti_iret:
173         iret
174
175         ALIGN_TEXT
176         .globl  doreti_iret_fault
177 doreti_iret_fault:
178         subl    $8,%esp
179         pushal
180         pushl   %ds
181         .globl  doreti_popl_ds_fault
182 doreti_popl_ds_fault:
183         pushl   %es
184         .globl  doreti_popl_es_fault
185 doreti_popl_es_fault:
186         pushl   %fs
187         .globl  doreti_popl_fs_fault
188 doreti_popl_fs_fault:
189         movl    $0,TF_ERR(%esp) /* XXX should be the error code */
190         movl    $T_PROTFLT,TF_TRAPNO(%esp)
191         jmp     alltraps_with_regs_pushed
192
193         ALIGN_TEXT
194 doreti_unpend:
195         /*
196          * Enabling interrupts is safe because we haven't restored cpl yet.
197          * %ecx contains the next probable ready interrupt (~cpl & ipending)
198          */
199 #ifdef SMP
200         bsfl    %ecx, %ecx              /* locate the next dispatchable int */
201         lock
202         btrl    %ecx, _ipending         /* is it really still pending? */
203         jnc     doreti_next2            /* some intr cleared memory copy */
204         sti                             /* late to prevent INT deadlock */
205 #else
206         sti
207         bsfl    %ecx,%ecx               /* slow, but not worth optimizing */
208         btrl    %ecx,_ipending
209         jnc     doreti_next             /* some intr cleared memory copy */
210 #endif /* SMP */
211         /*
212          * Execute handleable interrupt
213          *
214          * Set up JUMP to _ihandlers[%ecx] for HWIs.
215          * Set up CALL of _ihandlers[%ecx] for SWIs.
216          * This is a bit early for the SMP case - we have to push %ecx and
217          * %edx, but could push only %ecx and load %edx later.
218          */
219         movl    _ihandlers(,%ecx,4),%edx
220         cmpl    $NHWI,%ecx
221         jae     doreti_swi              /* software interrupt handling */
222         cli                             /* else hardware int handling */
223         movl    %eax,TD_MACH+MTD_CPL(%ebx) /* same as non-smp case right now */
224         MEXITCOUNT
225 #ifdef APIC_INTR_DIAGNOSTIC
226         lock
227         incl    CNAME(apic_itrace_doreti)(,%ecx,4)
228 #ifdef APIC_INTR_DIAGNOSTIC_IRQ 
229         cmpl    $APIC_INTR_DIAGNOSTIC_IRQ,%ecx
230         jne     9f
231         pushl   %eax
232         pushl   %ecx
233         pushl   %edx
234         pushl   $APIC_ITRACE_DORETI
235         call    log_intr_event
236         addl    $4,%esp
237         popl    %edx
238         popl    %ecx
239         popl    %eax
240 9:      
241 #endif
242 #endif
243         jmp     *%edx
244
245         ALIGN_TEXT
246 doreti_swi:
247         pushl   %eax
248         /*
249          * At least the SWI_CLOCK handler has to run at a possibly strictly
250          * lower cpl, so we have to restore
251          * all the h/w bits in cpl now and have to worry about stack growth.
252          * The worst case is currently (30 Jan 1994) 2 SWI handlers nested
253          * in dying interrupt frames and about 12 HWIs nested in active
254          * interrupt frames.  There are only 4 different SWIs and the HWI
255          * and SWI masks limit the nesting further.
256          *
257          * The SMP case is currently the same as the non-SMP case.
258          */
259         orl     imasks(,%ecx,4), %eax   /* or in imasks */
260         movl    %eax,TD_MACH+MTD_CPL(%ebx)      /* set cpl for call */
261
262         call    *%edx
263         popl    %eax                    /* cpl to restore */
264         jmp     doreti_next
265
266         ALIGN_TEXT
267 doreti_ast:
268         andl    $~AST_PENDING,_astpending
269         sti
270         movl    $T_ASTFLT,TF_TRAPNO(%esp)
271         call    _trap
272         subl    %eax,%eax               /* recover cpl|cml */
273         movb    $1,_intr_nesting_level  /* for doreti_next to decrement */
274         jmp     doreti_next
275
276         ALIGN_TEXT
277 swi_net:
278         MCOUNT
279         bsfl    _netisr,%eax
280         je      swi_net_done
281 swi_net_more:
282         btrl    %eax,_netisr
283         jnc     swi_net_next
284         call    *_netisrs(,%eax,4)
285 swi_net_next:
286         bsfl    _netisr,%eax
287         jne     swi_net_more
288 swi_net_done:
289         ret
290
291         ALIGN_TEXT
292 dummynetisr:
293         MCOUNT
294         ret     
295
296 /*
297  * The arg is in a nonstandard place, so swi_dispatcher() can't be called
298  * directly and swi_generic() can't use ENTRY() or MCOUNT.
299  */
300         ALIGN_TEXT
301         .globl  _swi_generic
302         .type   _swi_generic,@function
303 _swi_generic:
304         pushl   %ecx
305         FAKE_MCOUNT(4(%esp))
306         call    _swi_dispatcher
307         popl    %ecx
308         ret
309
310 ENTRY(swi_null)
311         ret
312
313 #ifdef APIC_IO
314 #include "i386/isa/apic_ipl.s"
315 #else
316 #include "i386/isa/icu_ipl.s"
317 #endif /* APIC_IO */