sys/i386/i386/mplock.s

   1 /*
   2  * ----------------------------------------------------------------------------
   3  * "THE BEER-WARE LICENSE" (Revision 42):
   4  * <phk@FreeBSD.org> wrote this file.  As long as you retain this notice you
   5  * can do whatever you want with this stuff. If we meet some day, and you think
   6  * this stuff is worth it, you can buy me a beer in return.   Poul-Henning Kamp
   7  * ----------------------------------------------------------------------------
   8  *
   9  * $FreeBSD: src/sys/i386/i386/mplock.s,v 1.29.2.2 2000/05/16 06:58:06 dillon Exp $
  10  * $DragonFly: src/sys/i386/i386/Attic/mplock.s,v 1.6 2003/07/10 04:47:53 dillon Exp $
  11  *
  12  * Functions for locking between CPUs in a SMP system.
  13  *
  14  * This is an "exclusive counting semaphore".  This means that it can be
  15  * free (0xffffffff) or be owned by a CPU (0xXXYYYYYY where XX is CPU-id
  16  * and YYYYYY is the count).
  17  *
  18  * Contrary to most implementations around, this one is entirely atomic:
  19  * The attempt to seize/release the semaphore and the increment/decrement
  20  * is done in one atomic operation.  This way we are safe from all kinds
  21  * of weird reentrancy situations.
  22  */
  23
  24 #include <machine/asmacros.h>
  25 #include <machine/smptests.h>           /** GRAB_LOPRIO */
  26 #include <machine/apic.h>
  27
  28 #include "assym.s"
  29
  30 /*
  31  * YYY Debugging only.  Define this to be paranoid about invalidating the
  32  * TLB when we get giant.
  33  */
  34 #undef PARANOID_INVLTLB
  35
  36         .data
  37         ALIGN_DATA
  38 #ifdef SMP
  39         .globl  mp_lock
  40 mp_lock:
  41         .long   -1                      /* initialized to not held */
  42 #endif
  43
  44         .text
  45         SUPERALIGN_TEXT
  46
  47         /*
  48          * Note on cmpxchgl... exchanges ecx with mem if mem matches eax.
  49          * Z=1 (jz) on success.   A lock prefix is required for MP.
  50          */
  51 NON_GPROF_ENTRY(cpu_get_initial_mplock)
  52         movl    PCPU(curthread),%ecx
  53         movl    $1,TD_MPCOUNT(%ecx)     /* curthread has mpcount of 1 */
  54         movl    $0,mp_lock              /* owned by cpu 0 */
  55         NON_GPROF_RET
  56
  57         /*
  58          * cpu_try_mplock() returns non-zero on success, 0 on failure.  It
  59          * only adjusts mp_lock.  It does not touch td_mpcount, and it
  60          * must be called from inside a critical section.
  61          */
  62 NON_GPROF_ENTRY(cpu_try_mplock)
  63         movl    PCPU(cpuid),%ecx
  64         movl    $-1,%eax
  65         lock cmpxchgl %ecx,mp_lock      /* ecx<->mem if eax matches */
  66         jnz     1f
  67 #ifdef PARANOID_INVLTLB
  68         movl    %cr3,%eax; movl %eax,%cr3       /* YYY check and remove */
  69 #endif
  70         movl    $1,%eax
  71         NON_GPROF_RET
  72 1:
  73         movl    $0,%eax
  74         NON_GPROF_RET
  75
  76 NON_GPROF_ENTRY(get_mplock)
  77         movl    PCPU(curthread),%edx
  78         cmpl    $0,TD_MPCOUNT(%edx)
  79         je      1f
  80         incl    TD_MPCOUNT(%edx)        /* already have it, just ++mpcount */
  81 #ifdef INVARIANTS
  82         movl    PCPU(cpuid),%eax        /* failure */
  83         cmpl    %eax,mp_lock
  84         jne     4f
  85 #endif
  86         NON_GPROF_RET
  87 1:
  88         pushfl
  89         cli
  90         movl    $1,TD_MPCOUNT(%edx)
  91         movl    PCPU(cpuid),%ecx
  92         movl    $-1,%eax
  93         lock cmpxchgl %ecx,mp_lock      /* ecx<->mem & JZ if eax matches */
  94         jnz     2f
  95 #ifdef PARANOID_INVLTLB
  96         movl    %cr3,%eax; movl %eax,%cr3       /* YYY check and remove */
  97 #endif
  98         popfl                           /* success */
  99         NON_GPROF_RET
 100 2:
 101 #ifdef INVARIANTS
 102         movl    PCPU(cpuid),%eax        /* failure */
 103         cmpl    %eax,mp_lock
 104         je      3f
 105 #endif
 106         addl    $TDPRI_CRIT,TD_PRI(%edx)
 107         popfl
 108         call    lwkt_switch             /* will be correct on return */
 109 #ifdef INVARIANTS
 110         movl    PCPU(cpuid),%eax        /* failure */
 111         cmpl    %eax,mp_lock
 112         jne     4f
 113 #endif
 114         movl    PCPU(curthread),%edx
 115         subl    $TDPRI_CRIT,TD_PRI(%edx)
 116         NON_GPROF_RET
 117 3:
 118         cmpl    $0,panicstr             /* don't double panic */
 119         je      badmp_get
 120         popfl
 121         NON_GPROF_RET
 122
 123 4:
 124         cmpl    $0,panicstr             /* don't double panic */
 125         je      badmp_get2
 126         NON_GPROF_RET
 127
 128 NON_GPROF_ENTRY(try_mplock)
 129         movl    PCPU(curthread),%edx
 130         cmpl    $0,TD_MPCOUNT(%edx)
 131         je      1f
 132         incl    TD_MPCOUNT(%edx)        /* already have it, just ++mpcount */
 133 #ifdef INVARIANTS
 134         movl    PCPU(cpuid),%eax        /* failure */
 135         cmpl    %eax,mp_lock
 136         jne     4b
 137 #endif
 138         movl    $1,%eax
 139         NON_GPROF_RET
 140 1:
 141         pushfl
 142         cli
 143         movl    PCPU(cpuid),%ecx
 144         movl    $-1,%eax
 145         lock cmpxchgl %ecx,mp_lock      /* ecx<->mem & JZ if eax matches */
 146         jnz     2f
 147         movl    $1,TD_MPCOUNT(%edx)
 148 #ifdef PARANOID_INVLTLB
 149         movl    %cr3,%eax; movl %eax,%cr3       /* YYY check and remove */
 150 #endif
 151         popfl                           /* success */
 152         movl    $1,%eax
 153         NON_GPROF_RET
 154 2:
 155 #ifdef INVARIANTS
 156         cmpl    $0,panicstr
 157         jnz     3f
 158         movl    PCPU(cpuid),%eax        /* failure */
 159         cmpl    %eax,mp_lock
 160         je      badmp_get
 161 3:
 162 #endif
 163         popfl
 164         movl    $0,%eax
 165         NON_GPROF_RET
 166
 167 NON_GPROF_ENTRY(rel_mplock)
 168         movl    PCPU(curthread),%edx
 169         movl    TD_MPCOUNT(%edx),%eax
 170         cmpl    $1,%eax
 171         je      1f
 172 #ifdef INVARIANTS
 173         testl   %eax,%eax
 174         jz      badmp_rel
 175 #endif
 176         subl    $1,%eax
 177         movl    %eax,TD_MPCOUNT(%edx)
 178         NON_GPROF_RET
 179 1:
 180         pushfl
 181         cli
 182 #ifdef INVARIANTS
 183         movl    PCPU(cpuid),%ecx
 184         cmpl    %ecx,mp_lock
 185         jne     badmp_rel2
 186 #endif
 187         movl    $0,TD_MPCOUNT(%edx)
 188         movl    $MP_FREE_LOCK,mp_lock
 189         popfl
 190         NON_GPROF_RET
 191
 192 #ifdef INVARIANTS
 193
 194 badmp_get:
 195         pushl   $bmpsw1
 196         call    panic
 197 badmp_get2:
 198         pushl   $bmpsw1a
 199         call    panic
 200 badmp_rel:
 201         pushl   $bmpsw2
 202         call    panic
 203 badmp_rel2:
 204         pushl   $bmpsw2a
 205         call    panic
 206
 207         .data
 208
 209 bmpsw1:
 210         .asciz  "try/get_mplock(): already have lock! %d %p"
 211
 212 bmpsw1a:
 213         .asciz  "try/get_mplock(): failed on count or switch %d %p"
 214
 215 bmpsw2:
 216         .asciz  "rel_mplock(): mpcount already 0 @ %p %p %p %p %p %p %p %p!"
 217
 218 bmpsw2a:
 219         .asciz  "rel_mplock(): Releasing another cpu's MP lock! %p %p"
 220
 221 #endif
 222
 223 #if 0
 224 /* after 1st acquire of lock we grab all hardware INTs */
 225 #ifdef GRAB_LOPRIO
 226 #define GRAB_HWI        movl    $ALLHWI_LEVEL, lapic_tpr
 227
 228 /* after last release of lock give up LOW PRIO (ie, arbitrate INTerrupts) */
 229 #define ARB_HWI         movl    $LOPRIO_LEVEL, lapic_tpr /* CHEAP_TPR */
 230 #endif
 231 #endif
 232