'Building databases' has 10 seconds worth of sleeps that it doesn't need.
[dragonfly.git] / sys / sys / malloc.h
1 /*
2  * Copyright (c) 1987, 1993
3  *      The Regents of the University of California.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. All advertising materials mentioning features or use of this software
14  *    must display the following acknowledgement:
15  *      This product includes software developed by the University of
16  *      California, Berkeley and its contributors.
17  * 4. Neither the name of the University nor the names of its contributors
18  *    may be used to endorse or promote products derived from this software
19  *    without specific prior written permission.
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31  * SUCH DAMAGE.
32  *
33  *      @(#)malloc.h    8.5 (Berkeley) 5/3/95
34  * $FreeBSD: src/sys/sys/malloc.h,v 1.48.2.2 2002/03/16 02:19:16 archie Exp $
35  * $DragonFly: src/sys/sys/malloc.h,v 1.14 2003/11/09 02:22:37 dillon Exp $
36  */
37
38 #ifndef _SYS_MALLOC_H_
39 #define _SYS_MALLOC_H_
40
41 #ifndef _MACHINE_PARAM_H_
42 #include <machine/param.h>      /* for SMP_MAXCPU */
43 #endif
44
45 #ifdef _KERNEL
46
47 #ifndef _MACHINE_VMPARAM_H_
48 #include <machine/vmparam.h>    /* for VM_MIN_KERNEL_ADDRESS */
49 #endif
50
51 #define splmem splhigh
52
53 #endif
54
55 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
56
57 #ifndef _MACHINE_TYPES_H_
58 #include <machine/types.h>      /* vm_paddr_t */
59 #endif
60
61 /*
62  * flags to malloc.
63  */
64 #define M_NOWAIT        0x0001  /* do not block */
65 #define M_WAITOK        0x0002  /* wait for resources */
66 #define M_ZERO          0x0100  /* bzero() the allocation */
67 #define M_USE_RESERVE   0x0200  /* can alloc out of reserve memory */
68 #define M_NULLOK        0x0400  /* ok to return NULL in M_WAITOK case */
69 #define M_PASSIVE_ZERO  0x0800  /* (internal to the slab code only) */
70
71 #define M_MAGIC         877983977       /* time when first defined :-) */
72
73 /*
74  * The malloc tracking structure.  Note that per-cpu entries must be
75  * aggregated for accurate statistics, they do not actually break the
76  * stats down by cpu (e.g. the cpu freeing memory will subtract from
77  * its slot, not the originating cpu's slot).
78  *
79  * SMP_MAXCPU is used so modules which use malloc remain compatible
80  * between UP and SMP.
81  */
82 struct malloc_type {
83         struct malloc_type *ks_next;    /* next in list */
84         long    ks_memuse[SMP_MAXCPU];  /* total memory held in bytes */
85         long    ks_loosememuse;         /* (inaccurate) aggregate memuse */
86         long    ks_limit;       /* most that are allowed to exist */
87         long    ks_size;        /* sizes of this thing that are allocated */
88         long    ks_inuse[SMP_MAXCPU]; /* # of allocs currently in use */
89         int64_t ks_calls;       /* total packets of this type ever allocated */
90         long    ks_maxused;     /* maximum number ever used */
91         u_long  ks_magic;       /* if it's not magic, don't touch it */
92         const char *ks_shortdesc;       /* short description */
93         u_short ks_limblocks;   /* number of times blocked for hitting limit */
94         u_short ks_mapblocks;   /* number of times blocked for kernel map */
95         long    ks_reserved[4]; /* future use (module compatibility) */
96 };
97
98 #endif
99
100 #ifdef _KERNEL
101 #define MALLOC_DEFINE(type, shortdesc, longdesc) \
102         struct malloc_type type[1] = { \
103                 { NULL, { 0 }, 0, 0, 0, { 0 }, 0, 0, M_MAGIC, shortdesc, 0, 0 } \
104         }; \
105         SYSINIT(type##_init, SI_SUB_KMEM, SI_ORDER_ANY, malloc_init, type); \
106         SYSUNINIT(type##_uninit, SI_SUB_KMEM, SI_ORDER_ANY, malloc_uninit, type)
107
108 #define MALLOC_DECLARE(type) \
109         extern struct malloc_type type[1]
110
111 MALLOC_DECLARE(M_CACHE);
112 MALLOC_DECLARE(M_DEVBUF);
113 MALLOC_DECLARE(M_TEMP);
114
115 MALLOC_DECLARE(M_IP6OPT); /* for INET6 */
116 MALLOC_DECLARE(M_IP6NDP); /* for INET6 */
117 #endif /* _KERNEL */
118
119 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
120
121 /*
122  * Array of descriptors that describe the contents of each page
123  */
124 struct kmemusage {
125         short ku_cpu;           /* cpu index */
126         union {
127                 u_short freecnt;/* for small allocations, free pieces in page */
128                 u_short pagecnt;/* for large allocations, pages alloced */
129         } ku_un;
130 };
131 #define ku_freecnt ku_un.freecnt
132 #define ku_pagecnt ku_un.pagecnt
133
134 /*
135  * Set of buckets for each size of memory block that is retained
136  */
137 struct kmembuckets {
138         caddr_t kb_next;        /* list of free blocks */
139         caddr_t kb_last;        /* last free block */
140         int64_t kb_calls;       /* total calls to allocate this size */
141         long    kb_total;       /* total number of blocks allocated */
142         long    kb_elmpercl;    /* # of elements in this sized allocation */
143         long    kb_totalfree;   /* # of free elements in this bucket */
144         long    kb_highwat;     /* high water mark */
145         long    kb_couldfree;   /* over high water mark and could free */
146 };
147
148 #define MINALLOCSIZE    (1 << MINBUCKET)
149 #define BUCKETINDX(size) \
150         ((size) <= (MINALLOCSIZE * 128) \
151                 ? (size) <= (MINALLOCSIZE * 8) \
152                         ? (size) <= (MINALLOCSIZE * 2) \
153                                 ? (size) <= (MINALLOCSIZE * 1) \
154                                         ? (MINBUCKET + 0) \
155                                         : (MINBUCKET + 1) \
156                                 : (size) <= (MINALLOCSIZE * 4) \
157                                         ? (MINBUCKET + 2) \
158                                         : (MINBUCKET + 3) \
159                         : (size) <= (MINALLOCSIZE* 32) \
160                                 ? (size) <= (MINALLOCSIZE * 16) \
161                                         ? (MINBUCKET + 4) \
162                                         : (MINBUCKET + 5) \
163                                 : (size) <= (MINALLOCSIZE * 64) \
164                                         ? (MINBUCKET + 6) \
165                                         : (MINBUCKET + 7) \
166                 : (size) <= (MINALLOCSIZE * 2048) \
167                         ? (size) <= (MINALLOCSIZE * 512) \
168                                 ? (size) <= (MINALLOCSIZE * 256) \
169                                         ? (MINBUCKET + 8) \
170                                         : (MINBUCKET + 9) \
171                                 : (size) <= (MINALLOCSIZE * 1024) \
172                                         ? (MINBUCKET + 10) \
173                                         : (MINBUCKET + 11) \
174                         : (size) <= (MINALLOCSIZE * 8192) \
175                                 ? (size) <= (MINALLOCSIZE * 4096) \
176                                         ? (MINBUCKET + 12) \
177                                         : (MINBUCKET + 13) \
178                                 : (size) <= (MINALLOCSIZE * 16384) \
179                                         ? (MINBUCKET + 14) \
180                                         : (MINBUCKET + 15))
181
182 #endif
183
184 #ifdef _KERNEL
185
186 /*
187  * Turn virtual addresses into kmem map indices
188  */
189 #define btokup(addr)    (&kmemusage[((caddr_t)(addr) - (caddr_t)VM_MIN_KERNEL_ADDRESS) >> PAGE_SHIFT])
190
191 /*
192  * Deprecated macro versions of not-quite-malloc() and free().
193  */
194 #define MALLOC(space, cast, size, type, flags) \
195         (space) = (cast)malloc((u_long)(size), (type), (flags))
196 #define FREE(addr, type) free((addr), (type))
197
198 /*
199  * XXX this should be declared in <sys/uio.h>, but that tends to fail
200  * because <sys/uio.h> is included in a header before the source file
201  * has a chance to include <sys/malloc.h> to get MALLOC_DECLARE() defined.
202  */
203 MALLOC_DECLARE(M_IOV);
204
205 /* XXX struct malloc_type is unused for contig*(). */
206 void    contigfree (void *addr, unsigned long size,
207                         struct malloc_type *type);
208 void    *contigmalloc (unsigned long size, struct malloc_type *type,
209                            int flags, vm_paddr_t low, vm_paddr_t high,
210                            unsigned long alignment, unsigned long boundary);
211 void    free (void *addr, struct malloc_type *type);
212 void    *malloc (unsigned long size, struct malloc_type *type, int flags);
213 void    malloc_init (void *);
214 void    malloc_uninit (void *);
215 void    *realloc (void *addr, unsigned long size,
216                       struct malloc_type *type, int flags);
217 void    *reallocf (void *addr, unsigned long size,
218                       struct malloc_type *type, int flags);
219
220 #endif /* _KERNEL */
221
222 #endif /* !_SYS_MALLOC_H_ */