nvme: Use high frequency interrupt for CQ processing
[dragonfly.git] / sys / sys / kernel.h
1 /*-
2  * Copyright (c) 1995 Terrence R. Lambert
3  * All rights reserved.
4  *
5  * Copyright (c) 1990, 1993
6  *      The Regents of the University of California.  All rights reserved.
7  * (c) UNIX System Laboratories, Inc.
8  * All or some portions of this file are derived from material licensed
9  * to the University of California by American Telephone and Telegraph
10  * Co. or Unix System Laboratories, Inc. and are reproduced herein with
11  * the permission of UNIX System Laboratories, Inc.
12  *
13  * Redistribution and use in source and binary forms, with or without
14  * modification, are permitted provided that the following conditions
15  * are met:
16  * 1. Redistributions of source code must retain the above copyright
17  *    notice, this list of conditions and the following disclaimer.
18  * 2. Redistributions in binary form must reproduce the above copyright
19  *    notice, this list of conditions and the following disclaimer in the
20  *    documentation and/or other materials provided with the distribution.
21  * 3. All advertising materials mentioning features or use of this software
22  *    must display the following acknowledgement:
23  *      This product includes software developed by the University of
24  *      California, Berkeley and its contributors.
25  * 4. Neither the name of the University nor the names of its contributors
26  *    may be used to endorse or promote products derived from this software
27  *    without specific prior written permission.
28  *
29  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
30  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
31  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
32  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
33  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
34  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
35  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
36  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
37  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
38  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
39  * SUCH DAMAGE.
40  *
41  *      @(#)kernel.h    8.3 (Berkeley) 1/21/94
42  * $FreeBSD: src/sys/sys/kernel.h,v 1.63.2.9 2002/07/02 23:00:30 archie Exp $
43  */
44
45 #ifndef _SYS_KERNEL_H_
46 #define _SYS_KERNEL_H_
47
48 #ifndef _KERNEL
49 #error "This file should not be included by userland programs."
50 #else
51
52 #ifndef _SYS_PARAM_H_
53 #include <sys/param.h>
54 #endif
55 #ifndef _SYS_LINKER_SET_H_
56 #include <sys/linker_set.h>
57 #endif
58
59 #ifndef _SYS_QUEUE_H_
60 #include <sys/queue.h>
61 #endif
62
63 /* Global variables for the kernel. */
64
65 /* 1.1 */
66 extern unsigned long hostid;
67 extern char hostname[MAXHOSTNAMELEN];
68 extern int hostnamelen;
69 extern char domainname[MAXHOSTNAMELEN];
70 extern int domainnamelen;
71 extern char kernelname[MAXPATHLEN];
72
73 /* 1.2 */
74 extern struct timespec boottime;
75
76 extern struct timezone tz;                      /* XXX */
77
78 extern int ustick;                      /* usec per tick (1000000 / hz) */
79 extern int nstick;                      /* nsec per tick (1000000000 / hz) */
80 extern int tickadj;                     /* "standard" clock skew, us./tick */
81 extern int hz;                          /* system clock's frequency */
82 extern int psratio;                     /* ratio: prof / stat */
83 extern int stathz;                      /* statistics clock's frequency */
84 extern int profhz;                      /* profiling clock's frequency */
85 extern int ticks;
86 extern int lbolt;                       /* once a second sleep address */
87 extern void *lbolt_syncer;              /* approx 1 hz but may be sped up */
88 extern enum vmm_guest_type vmm_guest;   /* Running as virtual machine guest? */
89 extern char vmm_vendor[16];
90
91 enum vmm_guest_type {
92         VMM_GUEST_NONE = 0,
93         VMM_GUEST_QEMU,
94         VMM_GUEST_PLEX86,
95         VMM_GUEST_BOCHS,
96         VMM_GUEST_XEN,
97         VMM_GUEST_BHYVE,
98         VMM_GUEST_KVM,
99         VMM_GUEST_VMWARE,
100         VMM_GUEST_HYPERV,
101         VMM_GUEST_VBOX,
102         VMM_GUEST_PARALLELS,
103         VMM_GUEST_VKERNEL,
104         VMM_GUEST_UNKNOWN,
105         VMM_GUEST_LAST
106 };
107
108 /*
109  * Enumerated types for known system startup interfaces.
110  *
111  * Startup occurs in ascending numeric order; the list entries are
112  * sorted prior to attempting startup to guarantee order.  Items
113  * of the same level are arbitrated for order based on the 'order'
114  * element.
115  *
116  * These numbers are arbitrary and are chosen ONLY for ordering; the
117  * enumeration values are explicit rather than implicit to provide
118  * for binary compatibility with inserted elements.
119  *
120  * The SI_SUB_RUN_SCHEDULER value must have the highest lexical value.
121  */
122 enum sysinit_sub_id {
123         /*
124          * Special cased
125          */
126         SI_SPECIAL_DUMMY        = 0x0000000,    /* not executed; for linker*/
127         SI_SPECIAL_DONE         = 0x0000001,    /* flag sysinit completion */
128
129         /*
130          * Memory management subsystems.
131          */
132         SI_BOOT1_TUNABLES       = 0x0700000,    /* establish tunable values */
133         SI_BOOT1_COPYRIGHT      = 0x0800000,    /* first use of console*/
134         SI_BOOT1_LOCK           = 0x0900000,    /* lockmgr locks and tokens */
135         SI_BOOT1_VM             = 0x1000000,    /* virtual memory system init*/
136         SI_BOOT1_ALLOCATOR      = 0x1400000,    /* slab allocator */
137         SI_BOOT1_KMALLOC        = 0x1600000,    /* kmalloc inits */
138         SI_BOOT1_POST           = 0x1800000,    /* post boot1 inits */
139
140         /*
141          * Fickle ordering.  objcache and softclock need to know what
142          * ncpus is to initialize properly, clocks (e.g. hardclock)
143          * need softclock to work, and we can't finish initializing
144          * the APs until the system clock has been initialized.
145          * Also, clock registration and smp configuration registration
146          * must occur before SMP.  Messy messy.
147          */
148         SI_BOOT2_LEAVE_CRIT     = 0x1900000,
149         SI_BOOT2_PRESMP         = 0x1a00000,    /* register SMP configs */
150         SI_BOOT2_START_CPU      = 0x1a40000,    /* start CPU (BSP) */
151         SI_BOOT2_LAPIC          = 0x1a50000,    /* configure Local APIC */
152         SI_BOOT2_START_APS      = 0x1a60000,    /* start all APs */
153         SI_BOOT2_IOAPIC         = 0x1a70000,    /* configure I/O APIC */
154         SI_BOOT2_FINISH_PIC     = 0x1a80000,    /* finish PIC configure */
155         SI_BOOT2_FINISH_CPU     = 0x1a90000,    /* finish CPU startup */
156         SI_BOOT2_CLOCKREG       = 0x1ac0000,    /* register available clocks */
157         SI_BOOT2_OBJCACHE       = 0x1b00000,
158         SI_BOOT2_LWKT_INIT      = 0x1b40000,
159         SI_BOOT2_SOFTCLOCK      = 0x1b80000,
160         SI_BOOT2_CLOCKS         = 0x1c00000,    /* select & start clocks */
161         SI_BOOT2_FINISH_SMP     = 0x1c80000,    /* SMP go (& synch clocks) */
162         SI_BOOT2_POST_SMP       = 0x1cc0000,    /* post-SMP low level */
163
164         /*
165          * Finish up core kernel initialization and set up the process
166          * abstraction.
167          */
168         SI_BOOT2_BIOS           = 0x1d00000,
169         SI_BOOT2_MACHDEP        = 0x1d80000,
170         SI_BOOT2_KLD            = 0x1e00000,
171         SI_BOOT2_CPU_TOPOLOGY   = 0x1e40000,
172         SI_BOOT2_USCHED         = 0x1e80000,
173         SI_BOOT2_PROC0          = 0x1f00000,
174
175         /*
176          * Continue with miscellanious system initialization
177          */
178         SI_SUB_CREATE_INIT      = 0x2300000,    /* create the init process */
179         SI_SUB_PRE_DRIVERS      = 0x2380000,
180         SI_SUB_DRIVERS          = 0x2400000,    /* Let Drivers initialize */
181         SI_SUB_CONFIGURE        = 0x3800000,    /* Configure devices */
182         SI_SUB_ISWARM           = 0x3c00000,    /* No longer in cold boot */
183         SI_SUB_VFS              = 0x4000000,    /* virtual file system*/
184         SI_SUB_HELPER_THREADS   = 0x5400000,    /* misc helper threads */
185         SI_SUB_CLIST            = 0x5800000,    /* clists*/
186         SI_SUB_SYSV_SHM         = 0x6400000,    /* System V shared memory*/
187         SI_SUB_SYSV_SEM         = 0x6800000,    /* System V semaphores*/
188         SI_SUB_SYSV_MSG         = 0x6C00000,    /* System V message queues*/
189         SI_SUB_P1003_1B         = 0x6E00000,    /* P1003.1B realtime */
190         SI_SUB_PSEUDO           = 0x7000000,    /* pseudo devices*/
191         SI_SUB_EXEC             = 0x7400000,    /* execve() handlers */
192         SI_SUB_PROTO_IF         = 0x8400000,    /* interfaces */
193         SI_SUB_PROTO_DOMAIN     = 0x8800000,    /* domains (address families?)*/
194         SI_SUB_PROTO_IFATTACHDOMAIN     
195                                 = 0x8800001,    /* domain dependent data init */
196         SI_SUB_PROTO_END        = 0x8ffffff,    /* network protocol post-init */
197         SI_SUB_KPROF            = 0x9000000,    /* kernel profiling*/
198         SI_SUB_KICK_SCHEDULER   = 0xa000000,    /* start the timeout events*/
199         SI_SUB_INT_CONFIG_HOOKS = 0xa800000,    /* Interrupts enabled config */
200
201         /*
202          * Root filesystem setup, finish up with the major system
203          * demons.
204          */
205         SI_SUB_ROOT_CONF        = 0xb000000,    /* Find root devices */
206         SI_SUB_DUMP_CONF        = 0xb200000,    /* Find dump devices */
207         SI_SUB_RAID             = 0xb300000,    /* Configure vinum */
208         SI_SUB_DM_TARGETS       = 0xb3a0000,    /* configure dm targets */
209         SI_SUB_MOUNT_ROOT       = 0xb400000,    /* root mount*/
210         SI_SUB_PROC0_POST       = 0xd000000,    /* proc 0 cleanup*/
211         SI_SUB_KTHREAD_INIT     = 0xe000000,    /* init process*/
212         SI_SUB_KTHREAD_PAGE     = 0xe400000,    /* pageout daemon*/
213         SI_SUB_KTHREAD_VM       = 0xe800000,    /* vm daemon*/
214         SI_SUB_KTHREAD_BUF      = 0xea00000,    /* buffer daemon*/
215         SI_SUB_KTHREAD_UPDATE   = 0xec00000,    /* update daemon*/
216         SI_SUB_KTHREAD_IDLE     = 0xee00000,    /* idle procs*/
217         SI_SUB_RUN_SCHEDULER    = 0xfffffff     /* scheduler: no return*/
218 };
219
220
221 /*
222  * Some enumerated orders; "ANY" sorts last.
223  */
224 enum sysinit_elem_order {
225         SI_ORDER_FIRST          = 0x0000000,    /* first*/
226         SI_ORDER_SECOND         = 0x0000001,    /* second*/
227         SI_ORDER_THIRD          = 0x0000002,    /* third*/
228         SI_ORDER_MIDDLE         = 0x1000000,    /* somewhere in the middle */
229         SI_ORDER_ANY            = 0xfffffff     /* last*/
230 };
231
232
233 /*
234  * A system initialization call instance
235  *
236  * At the moment there is one instance of sysinit.  We probably do not
237  * want two which is why this code is if'd out, but we definitely want
238  * to discern SYSINIT's which take non-constant data pointers and
239  * SYSINIT's which take constant data pointers,
240  *
241  * The C_* macros take functions expecting const void * arguments 
242  * while the non-C_* macros take functions expecting just void * arguments.
243  *
244  * With -Wcast-qual on, the compiler issues warnings:
245  *      - if we pass non-const data or functions taking non-const data
246  *        to a C_* macro.
247  *
248  *      - if we pass const data to the normal macros
249  *
250  * However, no warning is issued if we pass a function taking const data
251  * through a normal non-const macro.  This is ok because the function is
252  * saying it won't modify the data so we don't care whether the data is
253  * modifiable or not.
254  */
255
256 typedef void (*sysinit_nfunc_t) (void *);
257 typedef void (*sysinit_cfunc_t) (const void *);
258
259 struct sysinit {
260         unsigned int    subsystem;              /* subsystem identifier*/
261         unsigned int    order;                  /* init order within subsystem*/
262         sysinit_cfunc_t func;                   /* function             */
263         const void      *udata;                 /* multiplexer/argument */
264         const char      *name;
265 };
266
267 /*
268  * Default: no special processing
269  *
270  * The C_ version of SYSINIT is for data pointers to const
271  * data ( and functions taking data pointers to const data ).
272  * At the moment it is no different from SYSINIT and thus
273  * still results in warnings.
274  *
275  * The casts are necessary to have the compiler produce the
276  * correct warnings when -Wcast-qual is used.
277  *
278  */
279 #define C_SYSINIT(uniquifier, subsystem, order, func, ident)    \
280         static struct sysinit uniquifier ## _sys_init = {       \
281                 subsystem,                                      \
282                 order,                                          \
283                 func,                                           \
284                 ident,                                          \
285                 #uniquifier                                     \
286         };                                                      \
287         DATA_SET(sysinit_set,uniquifier ## _sys_init)
288
289 #define SYSINIT(uniquifier, subsystem, order, func, ident)      \
290         C_SYSINIT(uniquifier, subsystem, order,                 \
291         (sysinit_cfunc_t)(sysinit_nfunc_t)func, (void *)ident)
292
293 /*
294  * Called on module unload: no special processing
295  */
296 #define C_SYSUNINIT(uniquifier, subsystem, order, func, ident)  \
297         static struct sysinit uniquifier ## _sys_uninit = {     \
298                 subsystem,                                      \
299                 order,                                          \
300                 func,                                           \
301                 ident                                           \
302         };                                                      \
303         DATA_SET(sysuninit_set,uniquifier ## _sys_uninit)
304
305 #define SYSUNINIT(uniquifier, subsystem, order, func, ident)    \
306         C_SYSUNINIT(uniquifier, subsystem, order,               \
307         (sysinit_cfunc_t)(sysinit_nfunc_t)func, (void *)ident)
308
309 void    sysinit_add (struct sysinit **, struct sysinit **);
310
311 /*
312  * Infrastructure for tunable 'constants'.  Value may be specified at compile
313  * time or kernel load time.  Rules relating tunables together can be placed
314  * in a SYSINIT function at SI_BOOT1_TUNABLES with SI_ORDER_LAST.
315  */
316
317 extern void tunable_int_init(void *);
318
319 struct tunable_int {
320         const char *path;
321         int *var;
322 };
323 #define TUNABLE_INT(path, var)                                  \
324         _TUNABLE_INT((path), (var), __LINE__)
325 #define _TUNABLE_INT(path, var, line)                           \
326         __TUNABLE_INT((path), (var), line)
327
328 #define __TUNABLE_INT(path, var, line)                          \
329         static struct tunable_int __tunable_int_ ## line = {    \
330                 path,                                           \
331                 var,                                            \
332         };                                                      \
333         SYSINIT(__Tunable_init_ ## line,                        \
334                 SI_BOOT1_TUNABLES, SI_ORDER_MIDDLE,             \
335                 tunable_int_init, &__tunable_int_ ## line)
336
337 #define TUNABLE_INT_FETCH(path, var)    kgetenv_int((path), (var))
338
339 /* Backwards compatibility with the old deprecated TUNABLE_INT_DECL API */
340 #define TUNABLE_INT_DECL(path, defval, var)     \
341 static void __Tunable_ ## var (void *ignored)   \
342 {                                               \
343         (var) = (defval);                       \
344         TUNABLE_INT_FETCH((path), &(var));      \
345 }                                               \
346 SYSINIT(__Tunable_init_ ## var, SI_BOOT1_TUNABLES, SI_ORDER_MIDDLE, \
347         __Tunable_ ## var , NULL);
348
349 extern void tunable_long_init(void *);
350
351 struct tunable_long {
352         const char *path;
353         long *var;
354 };
355 #define TUNABLE_LONG(path, var)                                 \
356         _TUNABLE_LONG((path), (var), __LINE__)
357 #define _TUNABLE_LONG(path, var, line)                          \
358         __TUNABLE_LONG((path), (var), line)
359
360 #define __TUNABLE_LONG(path, var, line)                         \
361         static struct tunable_long __tunable_long_ ## line = {  \
362                 path,                                           \
363                 var,                                            \
364         };                                                      \
365         SYSINIT(__Tunable_init_ ## line,                        \
366                 SI_BOOT1_TUNABLES, SI_ORDER_MIDDLE,             \
367                 tunable_long_init, &__tunable_long_ ## line)
368
369 #define TUNABLE_LONG_FETCH(path, var)   kgetenv_long((path), (var))
370
371 extern void tunable_ulong_init(void *);
372
373 struct tunable_ulong {
374         const char *path;
375         unsigned long *var;
376 };
377 #define TUNABLE_ULONG(path, var)                                \
378         _TUNABLE_ULONG((path), (var), __LINE__)
379 #define _TUNABLE_ULONG(path, var, line)                         \
380         __TUNABLE_ULONG((path), (var), line)
381
382 #define __TUNABLE_ULONG(path, var, line)                        \
383         static struct tunable_ulong __tunable_ulong_ ## line = {\
384                 path,                                           \
385                 var,                                            \
386         };                                                      \
387         SYSINIT(__Tunable_init_ ## line,                        \
388                 SI_BOOT1_TUNABLES, SI_ORDER_MIDDLE,             \
389                 tunable_ulong_init, &__tunable_ulong_ ## line)
390
391 #define TUNABLE_ULONG_FETCH(path, var)  kgetenv_ulong((path), (var))
392
393 extern void tunable_quad_init(void *);
394 struct tunable_quad {
395         const char *path;
396         quad_t *var;
397 };
398 #define TUNABLE_QUAD(path, var)                                 \
399         _TUNABLE_QUAD((path), (var), __LINE__)
400 #define _TUNABLE_QUAD(path, var, line)                          \
401         __TUNABLE_QUAD((path), (var), line)
402
403 #define __TUNABLE_QUAD(path, var, line)                 \
404         static struct tunable_quad __tunable_quad_ ## line = {  \
405                 path,                                           \
406                 var,                                            \
407         };                                                      \
408         SYSINIT(__Tunable_init_ ## line,                        \
409                 SI_BOOT1_TUNABLES, SI_ORDER_MIDDLE,             \
410                 tunable_quad_init, &__tunable_quad_ ## line)
411
412 #define TUNABLE_QUAD_FETCH(path, var)   kgetenv_quad((path), (var))
413
414 extern void tunable_str_init(void *);
415 struct tunable_str {
416         const char *path;
417         char *var;
418         int size;
419 };
420 #define TUNABLE_STR(path, var, size)                            \
421         _TUNABLE_STR((path), (var), (size), __LINE__)
422 #define _TUNABLE_STR(path, var, size, line)                     \
423         __TUNABLE_STR((path), (var), (size), line)
424
425 #define __TUNABLE_STR(path, var, size, line)                    \
426         static struct tunable_str __tunable_str_ ## line = {    \
427                 path,                                           \
428                 var,                                            \
429                 size,                                           \
430         };                                                      \
431         SYSINIT(__Tunable_init_ ## line,                        \
432                 SI_BOOT1_TUNABLES, SI_ORDER_MIDDLE,             \
433                 tunable_str_init, &__tunable_str_ ## line)
434
435 #define TUNABLE_STR_FETCH(path, var, size)                      \
436         kgetenv_string((path), (var), (size))
437
438 /*
439  * Compatibility.  To be deprecated after LKM is removed.
440  */
441 #ifndef _SYS_MODULE_H_
442 #include <sys/module.h>
443 #endif
444
445 #define PSEUDO_SET(sym, name) \
446         static int name ## _modevent(module_t mod, int type, void *data) \
447         { \
448                 void (*initfunc)(void *) = (void (*)(void *))data; \
449                 switch (type) { \
450                 case MOD_LOAD: \
451                         /* kprintf(#name " module load\n"); */ \
452                         initfunc(NULL); \
453                         break; \
454                 case MOD_UNLOAD: \
455                         kprintf(#name " module unload - not possible for this module type\n"); \
456                         return EINVAL; \
457                 } \
458                 return 0; \
459         } \
460         static moduledata_t name ## _mod = { \
461                 #name, \
462                 name ## _modevent, \
463                 (void *)sym \
464         }; \
465         DECLARE_MODULE(name, name ## _mod, SI_SUB_PSEUDO, SI_ORDER_ANY)
466
467 struct intr_config_hook {
468         TAILQ_ENTRY(intr_config_hook) ich_links;
469         void    (*ich_func) (void *);
470         void    *ich_arg;
471         const char *ich_desc;
472         int     ich_order;
473         int     ich_ran;
474 };
475
476 int     config_intrhook_establish (struct intr_config_hook *);
477 void    config_intrhook_disestablish (struct intr_config_hook *);
478
479 #endif  /* _KERNEL */
480 #endif /* !_SYS_KERNEL_H_*/