* Remove a procedural layer in the scheduler clock code by having
[dragonfly.git] / sys / sys / globaldata.h
1 /*
2  * Copyright (c) 2003,2004 The DragonFly Project.  All rights reserved.
3  * 
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@backplane.com>
6  * 
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in
15  *    the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of The DragonFly Project nor the names of its
18  *    contributors may be used to endorse or promote products derived
19  *    from this software without specific, prior written permission.
20  * 
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  * 
34  * Copyright (c) Peter Wemm <peter@netplex.com.au> All rights reserved.
35  *
36  * Redistribution and use in source and binary forms, with or without
37  * modification, are permitted provided that the following conditions
38  * are met:
39  * 1. Redistributions of source code must retain the above copyright
40  *    notice, this list of conditions and the following disclaimer.
41  * 2. Redistributions in binary form must reproduce the above copyright
42  *    notice, this list of conditions and the following disclaimer in the
43  *    documentation and/or other materials provided with the distribution.
44  *
45  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
46  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
47  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
48  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
49  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
50  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
51  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
52  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
53  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
54  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
55  * SUCH DAMAGE.
56  *
57  * $FreeBSD: src/sys/i386/include/globaldata.h,v 1.11.2.1 2000/05/16 06:58:10 dillon Exp $
58  * $DragonFly: src/sys/sys/globaldata.h,v 1.36 2005/06/27 18:37:59 dillon Exp $
59  */
60
61 #ifndef _SYS_GLOBALDATA_H_
62 #define _SYS_GLOBALDATA_H_
63
64 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
65
66 #ifndef _SYS_STDINT_H_
67 #include <sys/stdint.h> /* __int types */
68 #endif
69 #ifndef _SYS_TIME_H_
70 #include <sys/time.h>   /* struct timeval */
71 #endif
72 #ifndef _SYS_VMMETER_H_
73 #include <sys/vmmeter.h> /* struct vmmeter */
74 #endif
75 #ifndef _SYS_THREAD_H_
76 #include <sys/thread.h> /* struct thread */
77 #endif
78 #ifndef _SYS_SLABALLOC_H_
79 #include <sys/slaballoc.h> /* SLGlobalData */
80 #endif
81 #ifndef _SYS_SYSTIMER_H_
82 #include <sys/systimer.h> /* fine-grained system timers */
83 #endif
84 #ifndef _SYS_NCHSTATS_H_
85 #include <sys/nchstats.h>
86 #endif
87
88 /*
89  * This structure maps out the global data that needs to be kept on a
90  * per-cpu basis.  genassym uses this to generate offsets for the assembler
91  * code.  The machine-dependant portions of this file can be found in
92  * <machine/globaldata.h>, but only MD code should retrieve it.
93  *
94  * The SMP parts are setup in pmap.c and locore.s for the BSP, and
95  * mp_machdep.c sets up the data for the AP's to "see" when they awake.
96  * The reason for doing it via a struct is so that an array of pointers
97  * to each CPU's data can be set up for things like "check curproc on all
98  * other processors"
99  *
100  * NOTE! this structure needs to remain compatible between module accessors
101  * and the kernel, so we can't throw in lots of #ifdef's.
102  *
103  * gd_reqflags serves serveral purposes, but it is primarily an interrupt
104  * rollup flag used by the task switcher and spl mechanisms to decide that
105  * further checks are necessary.  Interrupts are typically managed on a
106  * per-processor basis at least until you leave a critical section, but
107  * may then be scheduled to other cpus.
108  *
109  * gd_vme_avail and gd_vme_base cache free vm_map_entry structures for use
110  * in various vm_map related operations.  gd_vme_avail is *NOT* a count of
111  * the number of structures in the cache but is instead a count of the number
112  * of unreserved structures in the cache.  See vm_map_entry_reserve().
113  *
114  * gd_uschedcp is internal to the userland scheduler.  It does not represent
115  * the currently running process.
116  */
117
118 struct sysmsg;
119 struct privatespace;
120 struct vm_map_entry;
121 struct pipe;
122
123 struct globaldata {
124         struct privatespace *gd_prvspace;       /* self-reference */
125         struct thread   *gd_curthread;
126         int             gd_tdfreecount;         /* new thread cache */
127         __uint32_t      gd_reqflags;            /* (see note above) */
128         union sysunion  *gd_freesysun;          /* free syscall messages */
129         TAILQ_HEAD(,thread) gd_tdallq;          /* all threads */
130         TAILQ_HEAD(,thread) gd_tdfreeq;         /* new thread cache */
131         TAILQ_HEAD(,thread) gd_tdrunq[32];      /* runnable threads */
132         __uint32_t      gd_runqmask;            /* which queues? */
133         __uint32_t      gd_cpuid;
134         cpumask_t       gd_cpumask;             /* mask = 1<<cpuid */
135         cpumask_t       gd_other_cpus;          /* mask of 'other' cpus */
136         struct timeval  gd_stattv;
137         int             gd_intr_nesting_level;  /* (for interrupts) */
138         struct vmmeter  gd_cnt;
139         struct lwkt_ipiq *gd_ipiq;              /* array[ncpu] of ipiq's */
140         struct lwkt_ipiq gd_cpusyncq;           /* ipiq for cpu synchro */
141         short           gd_upri;                /* userland scheduler helper */
142         short           gd_rrcount;             /* userland scheduler helper */
143         struct thread   gd_schedthread;         /* userland scheduler helper */
144         struct thread   gd_idlethread;
145         SLGlobalData    gd_slab;                /* slab allocator */
146         int             gd_unused02;
147         int             gd_vme_avail;           /* vm_map_entry reservation */
148         struct vm_map_entry *gd_vme_base;       /* vm_map_entry reservation */
149         struct systimerq gd_systimerq;          /* per-cpu system timers */
150         int             gd_syst_nest;
151         sysclock_t      gd_unused03;
152         struct systimer gd_hardclock;           /* scheduler periodic */
153         struct systimer gd_statclock;           /* statistics periodic */
154         struct systimer gd_schedclock;          /* scheduler periodic */
155         volatile __uint32_t gd_time_seconds;    /* uptime in seconds */
156         volatile sysclock_t gd_cpuclock_base;   /* cpuclock relative base */
157
158         struct pipe     *gd_pipeq;              /* cache pipe structures */
159         struct nchstats *gd_nchstats;           /* namecache effectiveness */
160         int             gd_pipeqcount;          /* number of structures */
161         lwkt_tokref_t   gd_tokreqbase;          /* requests from other cpus */
162         struct proc     *gd_uschedcp;           /* userland scheduler */
163         /* extended by <machine/globaldata.h> */
164 };
165
166 typedef struct globaldata *globaldata_t;
167
168 #define RQB_IPIQ                0
169 #define RQB_INTPEND             1
170 #define RQB_AST_OWEUPC          2
171 #define RQB_AST_SIGNAL          3
172 #define RQB_AST_USER_RESCHED    4
173 #define RQB_AST_LWKT_RESCHED    5
174 #define RQB_AST_UPCALL          6
175
176 #define RQF_IPIQ                (1 << RQB_IPIQ)
177 #define RQF_INTPEND             (1 << RQB_INTPEND)
178 #define RQF_AST_OWEUPC          (1 << RQB_AST_OWEUPC)
179 #define RQF_AST_SIGNAL          (1 << RQB_AST_SIGNAL)
180 #define RQF_AST_USER_RESCHED    (1 << RQB_AST_USER_RESCHED)
181 #define RQF_AST_LWKT_RESCHED    (1 << RQB_AST_LWKT_RESCHED)
182 #define RQF_AST_UPCALL          (1 << RQB_AST_UPCALL)
183 #define RQF_AST_MASK            (RQF_AST_OWEUPC|RQF_AST_SIGNAL|\
184                                 RQF_AST_USER_RESCHED|RQF_AST_LWKT_RESCHED|\
185                                 RQF_AST_UPCALL)
186 #define RQF_IDLECHECK_MASK      (RQF_IPIQ|RQF_INTPEND)
187
188 #endif
189
190 #ifdef _KERNEL
191 struct globaldata *globaldata_find(int cpu);
192 int is_globaldata_space(vm_offset_t saddr, vm_offset_t eaddr);
193 #endif
194
195 #endif