sys/sys/globaldata.h

   1 /*
   2  * Copyright (c) 2003-2011 The DragonFly Project.  All rights reserved.
   3  *
   4  * This code is derived from software contributed to The DragonFly Project
   5  * by Matthew Dillon <dillon@backplane.com>
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in
  15  *    the documentation and/or other materials provided with the
  16  *    distribution.
  17  * 3. Neither the name of The DragonFly Project nor the names of its
  18  *    contributors may be used to endorse or promote products derived
  19  *    from this software without specific, prior written permission.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  *
  34  * Copyright (c) Peter Wemm <peter@netplex.com.au> All rights reserved.
  35  *
  36  * Redistribution and use in source and binary forms, with or without
  37  * modification, are permitted provided that the following conditions
  38  * are met:
  39  * 1. Redistributions of source code must retain the above copyright
  40  *    notice, this list of conditions and the following disclaimer.
  41  * 2. Redistributions in binary form must reproduce the above copyright
  42  *    notice, this list of conditions and the following disclaimer in the
  43  *    documentation and/or other materials provided with the distribution.
  44  *
  45  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  46  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  47  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  48  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  49  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  50  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  51  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  52  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  53  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  54  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  55  * SUCH DAMAGE.
  56  */
  57
  58 #ifndef _SYS_GLOBALDATA_H_
  59 #define _SYS_GLOBALDATA_H_
  60
  61 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
  62
  63 #ifndef _SYS_STDINT_H_
  64 #include <sys/stdint.h>         /* __int types */
  65 #endif
  66 #ifndef _SYS_TIME_H_
  67 #include <sys/time.h>           /* struct timeval */
  68 #endif
  69 #ifndef _SYS_VMMETER_H_
  70 #include <sys/vmmeter.h>        /* struct vmmeter */
  71 #endif
  72 #ifndef _SYS_THREAD_H_
  73 #include <sys/thread.h>         /* struct thread */
  74 #endif
  75 #ifndef _SYS_SLABALLOC_H_
  76 #include <sys/slaballoc.h>      /* SLGlobalData */
  77 #endif
  78 #ifndef _SYS_SYSTIMER_H_
  79 #include <sys/systimer.h>       /* fine-grained system timers */
  80 #endif
  81 #ifndef _SYS_NCHSTATS_H_
  82 #include <sys/nchstats.h>
  83 #endif
  84 #ifndef _SYS_SYSID_H_
  85 #include <sys/sysid.h>          /* sysid_t */
  86 #endif
  87 #ifndef _SYS_VMMETER_H_
  88 #include <sys/vmmeter.h>        /* pcpu vmstats adj */
  89 #endif
  90
  91 /*
  92  * This structure maps out the global data that needs to be kept on a
  93  * per-cpu basis.  genassym uses this to generate offsets for the assembler
  94  * code.  The machine-dependant portions of this file can be found in
  95  * <machine/globaldata.h>, but only MD code should retrieve it.
  96  *
  97  * The SMP parts are setup in pmap.c and locore.s for the BSP, and
  98  * mp_machdep.c sets up the data for the AP's to "see" when they awake.
  99  * The reason for doing it via a struct is so that an array of pointers
 100  * to each CPU's data can be set up for things like "check curproc on all
 101  * other processors"
 102  *
 103  * NOTE! this structure needs to remain compatible between module accessors
 104  * and the kernel, so we can't throw in lots of #ifdef's.
 105  *
 106  * gd_reqflags serves serveral purposes, but it is primarily an interrupt
 107  * rollup flag used by the task switcher and spl mechanisms to decide that
 108  * further checks are necessary.  Interrupts are typically managed on a
 109  * per-processor basis at least until you leave a critical section, but
 110  * may then be scheduled to other cpus.
 111  *
 112  * gd_vme_avail and gd_vme_base cache free vm_map_entry structures for use
 113  * in various vm_map related operations.  gd_vme_avail is *NOT* a count of
 114  * the number of structures in the cache but is instead a count of the number
 115  * of unreserved structures in the cache.  See vm_map_entry_reserve().
 116  */
 117
 118 struct sysmsg;
 119 struct tslpentry;
 120 struct privatespace;
 121 struct vm_map_entry;
 122 struct spinlock;
 123 struct pipe;
 124
 125 struct globaldata {
 126         struct privatespace *gd_prvspace;       /* self-reference */
 127         struct thread   *gd_curthread;
 128         struct thread   *gd_freetd;             /* cache one free td */
 129         __uint32_t      gd_reqflags;            /* (see note above) */
 130         long            gd_flags;
 131         lwkt_queue      gd_tdallq;              /* all threads */
 132         lwkt_queue      gd_tdrunq;              /* runnable threads */
 133         __uint32_t      gd_cpuid;
 134         cpumask_t       gd_cpumask;             /* CPUMASK_ASSBIT(cpuid) */
 135         cpumask_t       gd_other_cpus;          /* mask of 'other' cpus */
 136         union {
 137                 struct timeval  gd_stattv;
 138                 sysclock_t      gd_statcv;
 139         } statint;
 140         int             gd_intr_nesting_level;  /* hard code, intrs, ipis */
 141         struct vmmeter  gd_cnt;
 142         struct vmtotal  gd_vmtotal;
 143         cpumask_t       gd_ipimask;             /* pending ipis from cpus */
 144         struct lwkt_ipiq *gd_ipiq;              /* array[ncpu] of ipiq's */
 145         struct lwkt_ipiq gd_cpusyncq;           /* ipiq for cpu synchro */
 146         u_int           gd_npoll;               /* ipiq synchronization */
 147         int             gd_tdrunqcount;
 148         struct thread   gd_unused02B;
 149         struct thread   gd_idlethread;
 150         SLGlobalData    gd_slab;                /* slab allocator */
 151         int             gd_trap_nesting_level;  /* track traps */
 152         int             gd_vme_avail;           /* vm_map_entry reservation */
 153         struct vm_map_entry *gd_vme_base;       /* vm_map_entry reservation */
 154         struct systimerq gd_systimerq;          /* per-cpu system timers */
 155         int             gd_syst_nest;
 156         struct systimer gd_hardclock;           /* scheduler periodic */
 157         struct systimer gd_statclock;           /* statistics periodic */
 158         struct systimer gd_schedclock;          /* scheduler periodic */
 159         volatile __uint32_t gd_time_seconds;    /* uptime in seconds */
 160         volatile sysclock_t gd_cpuclock_base;   /* cpuclock relative base */
 161
 162         struct pipe     *gd_pipeq;              /* cache pipe structures */
 163         struct nchstats *gd_nchstats;           /* namecache effectiveness */
 164         int             gd_pipeqcount;          /* number of structures */
 165         sysid_t         gd_sysid_alloc;         /* allocate unique sysid */
 166
 167         struct tslpque  *gd_tsleep_hash;        /* tsleep/wakeup support */
 168         long            gd_processing_ipiq;
 169         int             gd_spinlocks;           /* Exclusive spinlocks held */
 170         struct systimer *gd_systimer_inprog;    /* in-progress systimer */
 171         int             gd_timer_running;
 172         u_int           gd_idle_repeat;         /* repeated switches to idle */
 173         int             gd_quick_color;         /* page-coloring helper */
 174         int             gd_cachedvnodes;        /* accum across all cpus */
 175         int             gd_rand_incr;           /* random pcpu incrementor */
 176         int             gd_ireserved[4];
 177         const char      *gd_infomsg;            /* debugging */
 178         struct lwkt_tokref gd_handoff;          /* hand-off tokref */
 179         void            *gd_delayed_wakeup[2];
 180         void            *gd_sample_pc;          /* sample program ctr/tr */
 181         void            *gd_reserved_pcpu_mmap; /* future */
 182         uint64_t        gd_forkid;              /* per-cpu unique inc ncpus */
 183         void            *gd_sample_sp;          /* sample stack pointer */
 184         uint64_t        gd_cpumask_simple;
 185         uint64_t        gd_cpumask_offset;
 186         struct vmstats  gd_vmstats;             /* pcpu local copy of vmstats */
 187         struct vmstats  gd_vmstats_adj;         /* pcpu adj for vmstats */
 188         uint64_t        gd_reserved64[1];
 189         void            *gd_preserved[4];       /* future fields */
 190         /* extended by <machine/globaldata.h> */
 191 };
 192
 193 typedef struct globaldata *globaldata_t;
 194
 195 #define RQB_IPIQ                0       /* 0001 */
 196 #define RQB_INTPEND             1       /* 0002 */
 197 #define RQB_AST_OWEUPC          2       /* 0004 */
 198 #define RQB_AST_SIGNAL          3       /* 0008 */
 199 #define RQB_AST_USER_RESCHED    4       /* 0010 */
 200 #define RQB_AST_LWKT_RESCHED    5       /* 0020 */
 201 #define RQB_UNUSED6             6       /* 0040 */
 202 #define RQB_TIMER               7       /* 0080 */
 203 #define RQB_RUNNING             8       /* 0100 */
 204 #define RQB_SPINNING            9       /* 0200 */
 205 #define RQB_QUICKRET            10      /* 0400 */
 206 #define RQB_KQUEUE              11      /* 0800 (only used by vkernel) */
 207
 208 #define RQF_IPIQ                (1 << RQB_IPIQ)
 209 #define RQF_INTPEND             (1 << RQB_INTPEND)
 210 #define RQF_TIMER               (1 << RQB_TIMER)
 211 #define RQF_AST_OWEUPC          (1 << RQB_AST_OWEUPC)
 212 #define RQF_AST_SIGNAL          (1 << RQB_AST_SIGNAL)
 213 #define RQF_AST_USER_RESCHED    (1 << RQB_AST_USER_RESCHED)
 214 #define RQF_AST_LWKT_RESCHED    (1 << RQB_AST_LWKT_RESCHED)
 215 #define RQF_RUNNING             (1 << RQB_RUNNING)
 216 #define RQF_SPINNING            (1 << RQB_SPINNING)
 217 #define RQF_QUICKRET            (1 << RQB_QUICKRET)
 218 #define RQF_KQUEUE              (1 << RQB_KQUEUE)
 219
 220 #define RQF_AST_MASK            (RQF_AST_OWEUPC|RQF_AST_SIGNAL|\
 221                                 RQF_AST_USER_RESCHED|RQF_AST_LWKT_RESCHED)
 222 #define RQF_IDLECHECK_MASK      (RQF_IPIQ|RQF_INTPEND|RQF_TIMER|RQF_KQUEUE)
 223 #define RQF_IDLECHECK_WK_MASK   (RQF_IDLECHECK_MASK|RQF_AST_LWKT_RESCHED)
 224
 225 /*
 226  * globaldata flags
 227  */
 228 #define GDF_KPRINTF             0x0001  /* kprintf() reentrancy */
 229 #define GDF_VIRTUSER            0x0002  /* used by vkernel only */
 230
 231 #endif
 232
 233 /*
 234  * MANUAL DEBUG CODE FOR DEBUGGING LOCKUPS
 235  */
 236 #ifdef _KERNEL
 237
 238 #if 0
 239
 240 #define DEBUG_PUSH_INFO(msg)                            \
 241         const char *save_infomsg;                       \
 242         save_infomsg = mycpu->gd_infomsg;               \
 243         mycpu->gd_infomsg = msg                         \
 244
 245 #define DEBUG_POP_INFO()        mycpu->gd_infomsg = save_infomsg
 246
 247 #else
 248
 249 #define DEBUG_PUSH_INFO(msg)
 250 #define DEBUG_POP_INFO()
 251
 252 #endif
 253
 254 #endif
 255
 256 #ifdef _KERNEL
 257 struct globaldata *globaldata_find(int cpu);
 258 int is_globaldata_space(vm_offset_t saddr, vm_offset_t eaddr);
 259 #endif
 260
 261 #endif