sys/i386/isa/ipl_funcs.c

   1 /*-
   2  * Copyright (c) 1997 Bruce Evans.
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  *
  26  * $FreeBSD: src/sys/i386/isa/ipl_funcs.c,v 1.32.2.5 2002/12/17 18:04:02 sam Exp $
  27  * $DragonFly: src/sys/i386/isa/Attic/ipl_funcs.c,v 1.2 2003/06/17 04:28:37 dillon Exp $
  28  */
  29
  30 #include <sys/param.h>
  31 #include <sys/systm.h>
  32 #include <sys/kernel.h>
  33 #include <sys/sysctl.h>
  34 #include <machine/ipl.h>
  35 #include <machine/globals.h>
  36 #include <i386/isa/intr_machdep.h>
  37
  38 /*
  39  * Bits in the ipending bitmap variable must be set atomically because
  40  * ipending may be manipulated by interrupts or other cpu's without holding
  41  * any locks.
  42  *
  43  * Note: setbits uses a locked or, making simple cases MP safe.
  44  */
  45 #define DO_SETBITS(name, var, bits) \
  46 void name(void)                                 \
  47 {                                               \
  48         atomic_set_int(var, bits);              \
  49 }
  50
  51 DO_SETBITS(setdelayed,   &ipending, loadandclear(&idelayed))
  52
  53 DO_SETBITS(setsoftcamnet,&ipending, SWI_CAMNET_PENDING)
  54 DO_SETBITS(setsoftcambio,&ipending, SWI_CAMBIO_PENDING)
  55 DO_SETBITS(setsoftclock, &ipending, SWI_CLOCK_PENDING)
  56 DO_SETBITS(setsoftnet,   &ipending, SWI_NET_PENDING)
  57 DO_SETBITS(setsofttty,   &ipending, SWI_TTY_PENDING)
  58 DO_SETBITS(setsoftvm,    &ipending, SWI_VM_PENDING)
  59 DO_SETBITS(setsofttq,    &ipending, SWI_TQ_PENDING)
  60 DO_SETBITS(setsoftcrypto,&ipending, SWI_CRYPTO_PENDING)
  61
  62 DO_SETBITS(schedsoftcamnet, &idelayed, SWI_CAMNET_PENDING)
  63 DO_SETBITS(schedsoftcambio, &idelayed, SWI_CAMBIO_PENDING)
  64 DO_SETBITS(schedsoftnet, &idelayed, SWI_NET_PENDING)
  65 DO_SETBITS(schedsofttty, &idelayed, SWI_TTY_PENDING)
  66 DO_SETBITS(schedsoftvm, &idelayed, SWI_VM_PENDING)
  67 DO_SETBITS(schedsofttq, &idelayed, SWI_TQ_PENDING)
  68
  69 unsigned
  70 softclockpending(void)
  71 {
  72         return (ipending & SWI_CLOCK_PENDING);
  73 }
  74
  75 /*
  76  * Support for SPL assertions.
  77  */
  78
  79 #ifdef INVARIANT_SUPPORT
  80
  81 #define SPLASSERT_IGNORE        0
  82 #define SPLASSERT_LOG           1
  83 #define SPLASSERT_PANIC         2
  84
  85 static int splassertmode = SPLASSERT_LOG;
  86 SYSCTL_INT(_kern, OID_AUTO, splassertmode, CTLFLAG_RW,
  87         &splassertmode, 0, "Set the mode of SPLASSERT");
  88 TUNABLE_INT("kern.splassertmode", &splassertmode);
  89
  90 static void
  91 splassertfail(char *str, const char *msg, char *name, int level)
  92 {
  93         switch (splassertmode) {
  94         case SPLASSERT_IGNORE:
  95                 break;
  96         case SPLASSERT_LOG:
  97                 printf(str, msg, name, level);
  98                 printf("\n");
  99                 break;
 100         case SPLASSERT_PANIC:
 101                 panic(str, msg, name, level);
 102                 break;
 103         }
 104 }
 105
 106 #define GENSPLASSERT(NAME, MODIFIER)                    \
 107 void                                                    \
 108 NAME##assert(const char *msg)                           \
 109 {                                                       \
 110         if ((cpl & (MODIFIER)) != (MODIFIER))           \
 111                 splassertfail("%s: not %s, cpl == %#x", \
 112                     msg, __XSTRING(NAME) + 3, cpl);     \
 113 }
 114 #else
 115 #define GENSPLASSERT(NAME, MODIFIER)
 116 #endif
 117
 118 /************************************************************************
 119  *                      GENERAL SPL CODE                                *
 120  ************************************************************************
 121  *
 122  *  Implement splXXX(), spl0(), splx(), and splq().  splXXX() disables a
 123  *  set of interrupts (e.g. splbio() disables interrupts relating to
 124  *  device I/O) and returns the previous interrupt mask.  splx() restores
 125  *  the previous interrupt mask, spl0() is a special case which enables
 126  *  all interrupts and is typically used inside i386/i386 swtch.s and
 127  *  fork_trampoline.  splq() is a generic version of splXXX().
 128  *
 129  *  The SPL routines mess around with the 'cpl' global, which masks
 130  *  interrupts.  Interrupts are not *actually* masked.  What happens is
 131  *  that if an interrupt masked by the cpl occurs, the appropriate bit
 132  *  in 'ipending' is set and the interrupt is defered.  When we clear
 133  *  bits in the cpl we must check to see if any ipending interrupts have
 134  *  been unmasked and issue the synchronously, which is what the splz()
 135  *  call does.
 136  *
 137  *  Because the cpl is often saved and restored in a nested fashion, cpl
 138  *  modifications are only allowed in the SMP case when the MP lock is held
 139  *  to prevent multiple processes from tripping over each other's masks.
 140  *  The cpl is saved when you do a context switch (mi_switch()) and restored
 141  *  when your process gets cpu again.
 142  *
 143  *  An interrupt routine is allowed to modify the cpl as long as it restores
 144  *  it prior to returning (thus the interrupted mainline code doesn't notice
 145  *  anything amiss).  For the SMP case, the interrupt routine must hold
 146  *  the MP lock for any cpl manipulation.
 147  *
 148  *  Likewise, due to the deterministic nature of cpl modifications, we do
 149  *  NOT need to use locked instructions to modify it.
 150  */
 151
 152 #ifndef SMP
 153
 154 #define GENSPL(NAME, OP, MODIFIER, PC)          \
 155 GENSPLASSERT(NAME, MODIFIER)                    \
 156 unsigned NAME(void)                             \
 157 {                                               \
 158         unsigned x;                             \
 159                                                 \
 160         x = cpl;                                \
 161         cpl OP MODIFIER;                        \
 162         return (x);                             \
 163 }
 164
 165 void
 166 spl0(void)
 167 {
 168         cpl = 0;
 169         if (ipending)
 170                 splz();
 171 }
 172
 173 void
 174 splx(unsigned ipl)
 175 {
 176         cpl = ipl;
 177         if (ipending & ~ipl)
 178                 splz();
 179 }
 180
 181 intrmask_t
 182 splq(intrmask_t mask)
 183 {
 184         intrmask_t tmp = cpl;
 185         cpl |= mask;
 186         return (tmp);
 187 }
 188
 189 #else /* !SMP */
 190
 191 #include <machine/smp.h>
 192 #include <machine/smptests.h>
 193
 194 /*
 195  *      SMP CASE
 196  *
 197  *      Mostly the same as the non-SMP case now, but it didn't used to be
 198  *      this clean.
 199  */
 200
 201 #define GENSPL(NAME, OP, MODIFIER, PC)          \
 202 GENSPLASSERT(NAME, MODIFIER)                    \
 203 unsigned NAME(void)                             \
 204 {                                               \
 205         unsigned x;                             \
 206                                                 \
 207         x = cpl;                                \
 208         cpl OP MODIFIER;                        \
 209                                                 \
 210         return (x);                             \
 211 }
 212
 213 /*
 214  * spl0() -     unmask all interrupts
 215  *
 216  *      The MP lock must be held on entry
 217  *      This routine may only be called from mainline code.
 218  */
 219 void
 220 spl0(void)
 221 {
 222         KASSERT(inside_intr == 0, ("spl0: called from interrupt"));
 223         cpl = 0;
 224         if (ipending)
 225                 splz();
 226 }
 227
 228 /*
 229  * splx() -     restore previous interrupt mask
 230  *
 231  *      The MP lock must be held on entry
 232  */
 233
 234 void
 235 splx(unsigned ipl)
 236 {
 237         cpl = ipl;
 238         if (inside_intr == 0 && (ipending & ~cpl) != 0)
 239                 splz();
 240 }
 241
 242
 243 /*
 244  * splq() -     blocks specified interrupts
 245  *
 246  *      The MP lock must be held on entry
 247  */
 248 intrmask_t
 249 splq(intrmask_t mask)
 250 {
 251         intrmask_t tmp = cpl;
 252         cpl |= mask;
 253         return (tmp);
 254 }
 255
 256 #endif /* !SMP */
 257
 258 /* Finally, generate the actual spl*() functions */
 259
 260 /*    NAME:            OP:     MODIFIER:                                PC: */
 261 GENSPL(splbio,          |=,     bio_imask,                              2)
 262 GENSPL(splcam,          |=,     cam_imask,                              7)
 263 GENSPL(splclock,         =,     HWI_MASK | SWI_MASK,                    3)
 264 GENSPL(splhigh,          =,     HWI_MASK | SWI_MASK,                    4)
 265 GENSPL(splimp,          |=,     net_imask,                              5)
 266 GENSPL(splnet,          |=,     SWI_NET_MASK,                           6)
 267 GENSPL(splsoftcam,      |=,     SWI_CAMBIO_MASK | SWI_CAMNET_MASK,      8)
 268 GENSPL(splsoftcambio,   |=,     SWI_CAMBIO_MASK,                        9)
 269 GENSPL(splsoftcamnet,   |=,     SWI_CAMNET_MASK,                        10)
 270 GENSPL(splsoftclock,     =,     SWI_CLOCK_MASK,                         11)
 271 GENSPL(splsofttty,      |=,     SWI_TTY_MASK,                           12)
 272 GENSPL(splsoftvm,       |=,     SWI_VM_MASK,                            16)
 273 GENSPL(splsofttq,       |=,     SWI_TQ_MASK,                            17)
 274 GENSPL(splstatclock,    |=,     stat_imask,                             13)
 275 GENSPL(spltty,          |=,     tty_imask,                              14)
 276 GENSPL(splvm,           |=,     net_imask | bio_imask | cam_imask,      15)
 277 GENSPL(splcrypto,       |=,     net_imask | SWI_NET_MASK | SWI_CRYPTO_MASK,16)