MP Implementation 2/4: Implement a poor-man's IPI messaging subsystem,
[dragonfly.git] / sys / i386 / isa / ipl.s
1 /*-
2  * Copyright (c) 1989, 1990 William F. Jolitz.
3  * Copyright (c) 1990 The Regents of the University of California.
4  * All rights reserved.
5  *
6  * This code is derived from software contributed to Berkeley by
7  * William Jolitz.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. All advertising materials mentioning features or use of this software
18  *    must display the following acknowledgement:
19  *      This product includes software developed by the University of
20  *      California, Berkeley and its contributors.
21  * 4. Neither the name of the University nor the names of its contributors
22  *    may be used to endorse or promote products derived from this software
23  *    without specific prior written permission.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
26  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
29  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
30  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
31  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
32  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
33  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
34  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
35  * SUCH DAMAGE.
36  *
37  *      @(#)ipl.s
38  *
39  * $FreeBSD: src/sys/i386/isa/ipl.s,v 1.32.2.3 2002/05/16 16:03:56 bde Exp $
40  * $DragonFly: src/sys/i386/isa/Attic/ipl.s,v 1.7 2003/07/08 06:27:27 dillon Exp $
41  */
42
43
44 /*
45  * AT/386
46  * Vector interrupt control section
47  *
48  *  *_imask     - Interrupt masks for various spl*() functions
49  *  ipending    - Pending interrupts (set when a masked interrupt occurs)
50  */
51
52         .data
53         ALIGN_DATA
54
55 /* current priority (all off) */
56
57         .globl  tty_imask
58 tty_imask:      .long   SWI_TTY_MASK
59         .globl  bio_imask
60 bio_imask:      .long   SWI_CLOCK_MASK | SWI_CAMBIO_MASK
61         .globl  net_imask
62 net_imask:      .long   SWI_NET_MASK | SWI_CAMNET_MASK
63         .globl  cam_imask
64 cam_imask:      .long   SWI_CAMBIO_MASK | SWI_CAMNET_MASK
65         .globl  soft_imask
66 soft_imask:     .long   SWI_MASK
67         .globl  softnet_imask
68 softnet_imask:  .long   SWI_NET_MASK
69         .globl  softtty_imask
70 softtty_imask:  .long   SWI_TTY_MASK
71
72         .text
73
74         /*
75          * DORETI
76          *
77          * Handle return from interrupts, traps and syscalls.  This function
78          * checks the cpl for unmasked pending interrupts (fast, normal, or
79          * soft) and schedules them if appropriate, then irets.
80          */
81         SUPERALIGN_TEXT
82         .type   doreti,@function
83 doreti:
84         FAKE_MCOUNT(bintr)              /* init "from" bintr -> doreti */
85         popl    %eax                    /* cpl to restore */
86         movl    PCPU(curthread),%ebx
87         cli                             /* interlock with TDPRI_CRIT */
88         movl    %eax,TD_CPL(%ebx)       /* save cpl being restored */
89         cmpl    $TDPRI_CRIT,TD_PRI(%ebx) /* can't unpend if in critical sec */
90         jge     5f
91         addl    $TDPRI_CRIT,TD_PRI(%ebx) /* force all ints to pending */
92 doreti_next:
93         sti                             /* allow new interrupts */
94         movl    %eax,%ecx               /* cpl being restored */
95         notl    %ecx
96         cli                             /* disallow YYY remove */
97         testl   PCPU(fpending),%ecx     /* check for an unmasked fast int */
98         jne     doreti_fast
99
100         testl   PCPU(ipending),%ecx
101         jne     doreti_intr
102 #ifdef SMP
103         testl   $AST_IPIQ,PCPU(astpending)
104         jnz     doreti_ipiq
105 #endif
106         testl   $AST_PENDING,PCPU(astpending) /* any pending ASTs? */
107         jz      2f
108         testl   $PSL_VM,TF_EFLAGS(%esp)
109         jz      1f
110         cmpl    $1,in_vm86call          /* YYY make per 'cpu' */
111         jnz     doreti_ast
112 1:
113         testb   $SEL_RPL_MASK,TF_CS(%esp)
114         jnz     doreti_ast
115 2:
116         /*
117          * Nothing left to do, finish up.  Interrupts are still disabled.
118          */
119 4:
120         subl    $TDPRI_CRIT,TD_PRI(%ebx)        /* interlocked with cli */
121 5:
122         decl    PCPU(intr_nesting_level)
123         MEXITCOUNT
124         .globl  doreti_popl_fs
125         .globl  doreti_popl_es
126         .globl  doreti_popl_ds
127         .globl  doreti_iret
128         .globl  doreti_syscall_ret
129 doreti_syscall_ret:
130 doreti_popl_fs:
131         popl    %fs
132 doreti_popl_es:
133         popl    %es
134 doreti_popl_ds:
135         popl    %ds
136         popal
137         addl    $8,%esp
138 doreti_iret:
139         iret
140
141         ALIGN_TEXT
142         .globl  doreti_iret_fault
143 doreti_iret_fault:
144         subl    $8,%esp
145         pushal
146         pushl   %ds
147         .globl  doreti_popl_ds_fault
148 doreti_popl_ds_fault:
149         pushl   %es
150         .globl  doreti_popl_es_fault
151 doreti_popl_es_fault:
152         pushl   %fs
153         .globl  doreti_popl_fs_fault
154 doreti_popl_fs_fault:
155         movl    $0,TF_ERR(%esp) /* XXX should be the error code */
156         movl    $T_PROTFLT,TF_TRAPNO(%esp)
157         jmp     alltraps_with_regs_pushed
158
159         /*
160          * FAST interrupt pending
161          */
162         ALIGN_TEXT
163 doreti_fast:
164         andl    PCPU(fpending),%ecx     /* only check fast ints */
165         bsfl    %ecx, %ecx              /* locate the next dispatchable int */
166         btrl    %ecx, PCPU(fpending)    /* is it really still pending? */
167         jnc     doreti_next
168         pushl   %eax                    /* YYY cpl (expected by frame) */
169 #ifdef SMP
170         pushl   %ecx                    /* save ecx */
171         call    try_mplock
172         popl    %ecx
173         testl   %eax,%eax
174         jz      1f
175 #endif
176         call    *fastunpend(,%ecx,4)    /* MP lock successful */
177 #ifdef SMP
178         call    rel_mplock
179 #endif
180         popl    %eax
181         jmp     doreti_next
182 1:
183         btsl    %ecx, PCPU(fpending)    /* oops, couldn't get the MP lock */
184         popl    %eax
185         orl     PCPU(fpending),%eax
186         jmp     doreti_next
187
188         /*
189          *  INTR interrupt pending
190          *
191          *  Temporarily back-out our critical section to allow the interrupt
192          *  preempt us.
193          */
194         ALIGN_TEXT
195 doreti_intr:
196         andl    PCPU(ipending),%ecx     /* only check normal ints */
197         bsfl    %ecx, %ecx              /* locate the next dispatchable int */
198         btrl    %ecx, PCPU(ipending)    /* is it really still pending? */
199         jnc     doreti_next
200         pushl   %eax
201         pushl   %ecx
202         subl    $TDPRI_CRIT,TD_PRI(%ebx)
203         call    sched_ithd              /* YYY must pull in imasks */
204         addl    $TDPRI_CRIT,TD_PRI(%ebx)
205         addl    $4,%esp
206         popl    %eax
207         jmp     doreti_next
208
209         /*
210          * AST pending
211          */
212 doreti_ast:
213         andl    $~AST_PENDING,PCPU(astpending)
214         sti
215         movl    %eax,%esi               /* save cpl (can't use stack) */
216         movl    $T_ASTFLT,TF_TRAPNO(%esp)
217         decl    PCPU(intr_nesting_level)
218         call    trap
219         incl    PCPU(intr_nesting_level)
220         movl    %esi,%eax               /* restore cpl for loop */
221         jmp     doreti_next
222
223 #ifdef SMP
224         /*
225          * IPIQ message pending
226          */
227 doreti_ipiq:
228         andl    $~AST_IPIQ,PCPU(astpending)
229         call    lwkt_process_ipiq
230         movl    TD_CPL(%ebx),%eax       /* retrieve cpl again for loop */
231         jmp     doreti_next
232
233 #endif
234
235         /*
236          * SPLZ() a C callable procedure to dispatch any unmasked pending
237          *        interrupts regardless of critical section nesting.  ASTs
238          *        are not dispatched.
239          *
240          *      YYY at the moment I leave us in a critical section so as
241          *      not to have to mess with the cpls which will soon be obsolete.
242          */
243         SUPERALIGN_TEXT
244
245 ENTRY(splz)
246         pushfl
247         pushl   %ebx
248         movl    PCPU(curthread),%ebx
249         movl    TD_CPL(%ebx),%eax
250         addl    $TDPRI_CRIT,TD_PRI(%ebx)
251
252 splz_next:
253         cli
254         movl    %eax,%ecx               /* ecx = ~CPL */
255         notl    %ecx
256         testl   PCPU(fpending),%ecx     /* check for an unmasked fast int */
257         jne     splz_fast
258
259         testl   PCPU(ipending),%ecx
260         jne     splz_intr
261
262 #ifdef SMP
263         testl   $AST_IPIQ,PCPU(astpending)
264         jnz     splz_ipiq
265 #endif
266
267         subl    $TDPRI_CRIT,TD_PRI(%ebx)
268         popl    %ebx
269         popfl
270         ret
271
272         /*
273          * FAST interrupt pending
274          */
275         ALIGN_TEXT
276 splz_fast:
277         andl    PCPU(fpending),%ecx     /* only check fast ints */
278         bsfl    %ecx, %ecx              /* locate the next dispatchable int */
279         btrl    %ecx, PCPU(fpending)    /* is it really still pending? */
280         jnc     splz_next
281         pushl   %eax
282 #ifdef SMP
283         pushl   %ecx
284         call    try_mplock
285         popl    %ecx
286         testl   %eax,%eax
287         jz      1f
288 #endif
289         call    *fastunpend(,%ecx,4)
290 #ifdef SMP
291         call    rel_mplock
292 #endif
293         popl    %eax
294         jmp     splz_next
295 1:
296         btsl    %ecx, PCPU(fpending)    /* oops, couldn't get the MP lock */
297         popl    %eax
298         orl     PCPU(fpending),%eax
299         jmp     splz_next
300
301         /*
302          *  INTR interrupt pending
303          *
304          *  Temporarily back-out our critical section to allow the interrupt
305          *  preempt us.
306          */
307         ALIGN_TEXT
308 splz_intr:
309         andl    PCPU(ipending),%ecx     /* only check normal ints */
310         bsfl    %ecx, %ecx              /* locate the next dispatchable int */
311         btrl    %ecx, PCPU(ipending)    /* is it really still pending? */
312         jnc     splz_next
313         sti
314         pushl   %eax
315         pushl   %ecx
316         subl    $TDPRI_CRIT,TD_PRI(%ebx)
317         call    sched_ithd              /* YYY must pull in imasks */
318         addl    $TDPRI_CRIT,TD_PRI(%ebx)
319         addl    $4,%esp
320         popl    %eax
321         jmp     splz_next
322
323 #ifdef SMP
324 splz_ipiq:
325         andl    $~AST_IPIQ,PCPU(astpending)
326         pushl   %eax
327         call    lwkt_process_ipiq
328         popl    %eax
329         jmp     splz_next
330 #endif
331
332         /*
333          * APIC/ICU specific ipl functions provide masking and unmasking
334          * calls for userland.
335          */
336
337 #ifdef APIC_IO
338 #include "i386/isa/apic_ipl.s"
339 #else
340 #include "i386/isa/icu_ipl.s"
341 #endif /* APIC_IO */