sys/sys/globaldata.h

   1 /*
   2  * Copyright (c) 2003-2011 The DragonFly Project.  All rights reserved.
   3  *
   4  * This code is derived from software contributed to The DragonFly Project
   5  * by Matthew Dillon <dillon@backplane.com>
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in
  15  *    the documentation and/or other materials provided with the
  16  *    distribution.
  17  * 3. Neither the name of The DragonFly Project nor the names of its
  18  *    contributors may be used to endorse or promote products derived
  19  *    from this software without specific, prior written permission.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  *
  34  * Copyright (c) Peter Wemm <peter@netplex.com.au> All rights reserved.
  35  *
  36  * Redistribution and use in source and binary forms, with or without
  37  * modification, are permitted provided that the following conditions
  38  * are met:
  39  * 1. Redistributions of source code must retain the above copyright
  40  *    notice, this list of conditions and the following disclaimer.
  41  * 2. Redistributions in binary form must reproduce the above copyright
  42  *    notice, this list of conditions and the following disclaimer in the
  43  *    documentation and/or other materials provided with the distribution.
  44  *
  45  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  46  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  47  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  48  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  49  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  50  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  51  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  52  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  53  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  54  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  55  * SUCH DAMAGE.
  56  */
  57
  58 #ifndef _SYS_GLOBALDATA_H_
  59 #define _SYS_GLOBALDATA_H_
  60
  61 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
  62
  63 #ifndef _SYS_STDINT_H_
  64 #include <sys/stdint.h>         /* __int types */
  65 #endif
  66 #ifndef _SYS_TIME_H_
  67 #include <sys/time.h>           /* struct timeval */
  68 #endif
  69 #ifndef _SYS_VMMETER_H_
  70 #include <sys/vmmeter.h>        /* struct vmmeter, pcpu vmstats adj */
  71 #endif
  72 #ifndef _SYS_THREAD_H_
  73 #include <sys/thread.h>         /* struct thread */
  74 #endif
  75 #ifndef _SYS_SLABALLOC_H_
  76 #include <sys/slaballoc.h>      /* SLGlobalData */
  77 #endif
  78 #ifndef _SYS_SYSTIMER_H_
  79 #include <sys/systimer.h>       /* fine-grained system timers */
  80 #endif
  81 #ifndef _SYS_NCHSTATS_H_
  82 #include <sys/nchstats.h>
  83 #endif
  84 #ifndef _SYS_SYSID_H_
  85 #include <sys/sysid.h>          /* sysid_t */
  86 #endif
  87 #ifndef _SYS_CALLOUT_H_
  88 #include <sys/callout.h>
  89 #endif
  90 #ifndef _SYS_INDEFINITE_H_
  91 #include <sys/indefinite.h>
  92 #endif
  93
  94 /*
  95  * This structure maps out the global data that needs to be kept on a
  96  * per-cpu basis.  genassym uses this to generate offsets for the assembler
  97  * code.  The machine-dependant portions of this file can be found in
  98  * <machine/globaldata.h>, but only MD code should retrieve it.
  99  *
 100  * The SMP parts are setup in pmap.c and locore.s for the BSP, and
 101  * mp_machdep.c sets up the data for the AP's to "see" when they awake.
 102  * The reason for doing it via a struct is so that an array of pointers
 103  * to each CPU's data can be set up for things like "check curproc on all
 104  * other processors"
 105  *
 106  * NOTE! this structure needs to remain compatible between module accessors
 107  * and the kernel, so we can't throw in lots of #ifdef's.
 108  *
 109  * gd_reqflags serves serveral purposes, but it is primarily an interrupt
 110  * rollup flag used by the task switcher and spl mechanisms to decide that
 111  * further checks are necessary.  Interrupts are typically managed on a
 112  * per-processor basis at least until you leave a critical section, but
 113  * may then be scheduled to other cpus.
 114  *
 115  * gd_vme_avail and gd_vme_base cache free vm_map_entry structures for use
 116  * in various vm_map related operations.  gd_vme_avail is *NOT* a count of
 117  * the number of structures in the cache but is instead a count of the number
 118  * of unreserved structures in the cache.  See vm_map_entry_reserve().
 119  */
 120
 121 struct sysmsg;
 122 struct tslpque;
 123 struct privatespace;
 124 struct vm_map_entry;
 125 struct spinlock;
 126 struct pipe;
 127
 128 struct globaldata {
 129         struct privatespace *gd_prvspace;       /* self-reference */
 130         struct thread   *gd_curthread;
 131         struct thread   *gd_freetd;             /* cache one free td */
 132         __uint32_t      gd_reqflags;            /* (see note above) */
 133         long            gd_flags;
 134         lwkt_queue      gd_tdallq;              /* all threads */
 135         lwkt_queue      gd_tdrunq;              /* runnable threads */
 136         __uint32_t      gd_cpuid;
 137         cpumask_t       gd_cpumask;             /* CPUMASK_ASSBIT(cpuid) */
 138         cpumask_t       gd_other_cpus;          /* mask of 'other' cpus */
 139         union {
 140                 struct timeval  gd_stattv;
 141                 sysclock_t      gd_statcv;
 142         } statint;
 143         int             gd_intr_nesting_level;  /* hard code, intrs, ipis */
 144         struct vmmeter  gd_cnt;
 145         struct vmtotal  gd_vmtotal;
 146         cpumask_t       gd_ipimask;             /* pending ipis from cpus */
 147         struct lwkt_ipiq *gd_ipiq;              /* array[ncpu] of ipiq's */
 148         struct lwkt_ipiq gd_cpusyncq;           /* ipiq for cpu synchro */
 149         u_int           gd_npoll;               /* ipiq synchronization */
 150         int             gd_tdrunqcount;
 151         struct thread   gd_unused02B;
 152         struct thread   gd_idlethread;
 153         SLGlobalData    gd_slab;                /* slab allocator */
 154         int             gd_trap_nesting_level;  /* track traps */
 155         int             gd_vme_avail;           /* vm_map_entry reservation */
 156         struct vm_map_entry *gd_vme_base;       /* vm_map_entry reservation */
 157         struct systimerq gd_systimerq;          /* per-cpu system timers */
 158         int             gd_syst_nest;
 159         struct systimer gd_hardclock;           /* scheduler periodic */
 160         struct systimer gd_statclock;           /* statistics periodic */
 161         struct systimer gd_schedclock;          /* scheduler periodic */
 162         volatile __uint32_t gd_time_seconds;    /* uptime in seconds */
 163         volatile sysclock_t gd_cpuclock_base;   /* cpuclock relative base */
 164
 165         struct pipe     *gd_pipeq;              /* cache pipe structures */
 166         struct nchstats *gd_nchstats;           /* namecache effectiveness */
 167         int             gd_pipeqcount;          /* number of structures */
 168         sysid_t         gd_sysid_alloc;         /* allocate unique sysid */
 169
 170         struct tslpque  *gd_tsleep_hash;        /* tsleep/wakeup support */
 171         long            gd_processing_ipiq;
 172         int             gd_spinlocks;           /* Exclusive spinlocks held */
 173         struct systimer *gd_systimer_inprog;    /* in-progress systimer */
 174         int             gd_timer_running;
 175         u_int           gd_idle_repeat;         /* repeated switches to idle */
 176         int             gd_quick_color;         /* page-coloring helper */
 177         int             gd_cachedvnodes;        /* accum across all cpus */
 178         int             gd_rand_incr;           /* random pcpu incrementor */
 179         int             gd_ireserved[4];
 180         const char      *gd_infomsg;            /* debugging */
 181         struct lwkt_tokref gd_handoff;          /* hand-off tokref */
 182         void            *gd_delayed_wakeup[2];
 183         void            *gd_sample_pc;          /* sample program ctr/tr */
 184         void            *gd_reserved_pcpu_mmap; /* future */
 185         uint64_t        gd_forkid;              /* per-cpu unique inc ncpus */
 186         void            *gd_sample_sp;          /* sample stack pointer */
 187         uint64_t        gd_cpumask_simple;
 188         uint64_t        gd_cpumask_offset;
 189         struct vmstats  gd_vmstats;             /* pcpu local copy of vmstats */
 190         struct vmstats  gd_vmstats_adj;         /* pcpu adj for vmstats */
 191         struct callout  gd_loadav_callout;      /* loadavg calc */
 192         struct callout  gd_schedcpu_callout;    /* scheduler/stats */
 193         indefinite_info_t gd_indefinite;        /* scheduler cpu-bound */
 194         uint32_t        gd_loadav_nrunnable;    /* pcpu lwps nrunnable */
 195         uint32_t        gd_reserved32[1];
 196         void            *gd_preserved[4];       /* future fields */
 197         /* extended by <machine/globaldata.h> */
 198 };
 199
 200 typedef struct globaldata *globaldata_t;
 201
 202 #define RQB_IPIQ                0       /* 0001 */
 203 #define RQB_INTPEND             1       /* 0002 */
 204 #define RQB_AST_OWEUPC          2       /* 0004 */
 205 #define RQB_AST_SIGNAL          3       /* 0008 */
 206 #define RQB_AST_USER_RESCHED    4       /* 0010 */
 207 #define RQB_AST_LWKT_RESCHED    5       /* 0020 */
 208 #define RQB_UNUSED6             6       /* 0040 */
 209 #define RQB_TIMER               7       /* 0080 */
 210 #define RQB_RUNNING             8       /* 0100 */
 211 #define RQB_SPINNING            9       /* 0200 */
 212 #define RQB_QUICKRET            10      /* 0400 */
 213 #define RQB_KQUEUE              11      /* 0800 (only used by vkernel) */
 214
 215 #define RQF_IPIQ                (1 << RQB_IPIQ)
 216 #define RQF_INTPEND             (1 << RQB_INTPEND)
 217 #define RQF_TIMER               (1 << RQB_TIMER)
 218 #define RQF_AST_OWEUPC          (1 << RQB_AST_OWEUPC)
 219 #define RQF_AST_SIGNAL          (1 << RQB_AST_SIGNAL)
 220 #define RQF_AST_USER_RESCHED    (1 << RQB_AST_USER_RESCHED)
 221 #define RQF_AST_LWKT_RESCHED    (1 << RQB_AST_LWKT_RESCHED)
 222 #define RQF_RUNNING             (1 << RQB_RUNNING)
 223 #define RQF_SPINNING            (1 << RQB_SPINNING)
 224 #define RQF_QUICKRET            (1 << RQB_QUICKRET)
 225 #define RQF_KQUEUE              (1 << RQB_KQUEUE)
 226
 227 #define RQF_AST_MASK            (RQF_AST_OWEUPC|RQF_AST_SIGNAL|\
 228                                 RQF_AST_USER_RESCHED|RQF_AST_LWKT_RESCHED)
 229 #define RQF_IDLECHECK_MASK      (RQF_IPIQ|RQF_INTPEND|RQF_TIMER|RQF_KQUEUE)
 230 #define RQF_IDLECHECK_WK_MASK   (RQF_IDLECHECK_MASK|RQF_AST_LWKT_RESCHED)
 231
 232 /*
 233  * globaldata flags
 234  */
 235 #define GDF_KPRINTF             0x0001  /* kprintf() reentrancy */
 236 #define GDF_VIRTUSER            0x0002  /* used by vmm & vkernel */
 237
 238 #endif
 239
 240 /*
 241  * MANUAL DEBUG CODE FOR DEBUGGING LOCKUPS
 242  */
 243 #ifdef _KERNEL
 244
 245 #if 0
 246
 247 #define DEBUG_PUSH_INFO(msg)                            \
 248         const char *save_infomsg;                       \
 249         save_infomsg = mycpu->gd_infomsg;               \
 250         mycpu->gd_infomsg = msg                         \
 251
 252 #define DEBUG_POP_INFO()        mycpu->gd_infomsg = save_infomsg
 253
 254 #else
 255
 256 #define DEBUG_PUSH_INFO(msg)
 257 #define DEBUG_POP_INFO()
 258
 259 #endif
 260
 261 #endif
 262
 263 #ifdef _KERNEL
 264 struct globaldata *globaldata_find(int cpu);
 265 int is_globaldata_space(vm_offset_t saddr, vm_offset_t eaddr);
 266 #endif
 267
 268 #endif