Change sendfile() to use the new m_ext callback scheme for cleaning up after
[dragonfly.git] / sys / sys / malloc.h
1 /*
2  * Copyright (c) 1987, 1993
3  *      The Regents of the University of California.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. All advertising materials mentioning features or use of this software
14  *    must display the following acknowledgement:
15  *      This product includes software developed by the University of
16  *      California, Berkeley and its contributors.
17  * 4. Neither the name of the University nor the names of its contributors
18  *    may be used to endorse or promote products derived from this software
19  *    without specific prior written permission.
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31  * SUCH DAMAGE.
32  *
33  *      @(#)malloc.h    8.5 (Berkeley) 5/3/95
34  * $FreeBSD: src/sys/sys/malloc.h,v 1.48.2.2 2002/03/16 02:19:16 archie Exp $
35  * $DragonFly: src/sys/sys/malloc.h,v 1.19 2004/07/29 08:50:07 dillon Exp $
36  */
37
38 #ifndef _SYS_MALLOC_H_
39 #define _SYS_MALLOC_H_
40
41 #ifndef _MACHINE_PARAM_H_
42 #include <machine/param.h>      /* for SMP_MAXCPU */
43 #endif
44
45 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
46
47 #ifndef _MACHINE_VMPARAM_H_
48 #include <machine/vmparam.h>    /* for VM_MIN_KERNEL_ADDRESS */
49 #endif
50
51 #define splmem splhigh
52
53 #ifndef _MACHINE_TYPES_H_
54 #include <machine/types.h>      /* vm_paddr_t */
55 #endif
56
57 #endif  /* _KERNEL */
58
59 /*
60  * flags to malloc.
61  */
62 #define M_RNOWAIT       0x0001  /* do not block */
63 #define M_WAITOK        0x0002  /* wait for resources / alloc from cache */
64 #define M_ZERO          0x0100  /* bzero() the allocation */
65 #define M_USE_RESERVE   0x0200  /* can eat into free list reserve */
66 #define M_NULLOK        0x0400  /* ok to return NULL in M_WAITOK case */
67 #define M_PASSIVE_ZERO  0x0800  /* (internal to the slab code only) */
68 #define M_USE_INTERRUPT_RESERVE \
69                         0x1000  /* can exhaust free list entirely */
70 #define M_FAILSAFE      0x2000  /* failsafe allocation attempt */
71
72 /*
73  * M_NOWAIT has to be a set of flags for equivalence to prior use. 
74  *
75  * M_INTALLOC should be used for any critical infrastructure allocations
76  * made from interrupts.
77  *
78  * M_SYSALLOC should be used for any critical infrastructure allocations
79  * made by the kernel proper.
80  *
81  * NOTE ON DRAGONFLY USE OF M_NOWAIT.  M_NOWAIT has traditionally been used
82  * when we did not wish to break spl protections or when we allocate memory
83  * from interrupts.  For the spl protection case we intend to move all
84  * such allocations outside of the spl blocks.  
85  *
86  * For the interrupt case the issue comes down to whether it is possible
87  * to allocate out of the VM page cache.  Since interrupts are threads it
88  * is theoretically possible to allocate out of the VM page cache as long
89  * as we determine that we are not preempting another thread.  This is a
90  * simple td->td_preempted check.  In DFly we can also theoretically do
91  * an lwkt_yield() to force the interrupt thread to be rescheduled (so it
92  * is no longer preempting a thread) and then allocate out of the cache.
93  * This is what the M_FAILSAFE flag does in M_INTALLOC and this is why
94  * M_INTALLOC should be used in interrupt-related situations where the
95  * allocation must absolutely succeed for the health of the machine.
96  */
97
98 #define M_INTNOWAIT     (M_RNOWAIT|M_USE_RESERVE|M_USE_INTERRUPT_RESERVE)
99 #define M_SYSNOWAIT     (M_RNOWAIT|M_USE_RESERVE)
100 #define M_INTWAIT       (M_WAITOK|M_USE_RESERVE|M_USE_INTERRUPT_RESERVE)
101 #define M_SYSWAIT       (M_WAITOK|M_USE_RESERVE)
102
103 #define M_NOWAIT        M_INTNOWAIT
104 #define M_INTALLOC      (M_INTNOWAIT|M_FAILSAFE)
105 #define M_SYSALLOC      M_SYSWAIT
106
107 #define M_MAGIC         877983977       /* time when first defined :-) */
108
109 /*
110  * The malloc tracking structure.  Note that per-cpu entries must be
111  * aggregated for accurate statistics, they do not actually break the
112  * stats down by cpu (e.g. the cpu freeing memory will subtract from
113  * its slot, not the originating cpu's slot).
114  *
115  * SMP_MAXCPU is used so modules which use malloc remain compatible
116  * between UP and SMP.
117  */
118 struct malloc_type {
119         struct malloc_type *ks_next;    /* next in list */
120         long    ks_memuse[SMP_MAXCPU];  /* total memory held in bytes */
121         long    ks_loosememuse;         /* (inaccurate) aggregate memuse */
122         long    ks_limit;       /* most that are allowed to exist */
123         long    ks_size;        /* sizes of this thing that are allocated */
124         long    ks_inuse[SMP_MAXCPU]; /* # of allocs currently in use */
125         __int64_t ks_calls;     /* total packets of this type ever allocated */
126         long    ks_maxused;     /* maximum number ever used */
127         __uint32_t ks_magic;    /* if it's not magic, don't touch it */
128         const char *ks_shortdesc;       /* short description */
129         __uint16_t ks_limblocks; /* number of times blocked for hitting limit */
130         __uint16_t ks_mapblocks; /* number of times blocked for kernel map */
131         long    ks_reserved[4]; /* future use (module compatibility) */
132 };
133
134 typedef struct malloc_type      *malloc_type_t;
135
136 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
137
138 #define MALLOC_DEFINE(type, shortdesc, longdesc)        \
139         struct malloc_type type[1] = {                  \
140             { NULL, { 0 }, 0, 0, 0, { 0 }, 0, 0, M_MAGIC, shortdesc, 0, 0, { 0 } } \
141         };                                                                  \
142         SYSINIT(type##_init, SI_SUB_KMEM, SI_ORDER_ANY, malloc_init, type); \
143         SYSUNINIT(type##_uninit, SI_SUB_KMEM, SI_ORDER_ANY, malloc_uninit, type)
144
145 #else
146
147 #define MALLOC_DEFINE(type, shortdesc, longdesc)        \
148         struct malloc_type type[1] = {                  \
149             { NULL, { 0 }, 0, 0, 0, { 0 }, 0, 0, M_MAGIC, shortdesc, 0, 0 } \
150         };
151
152 #endif
153
154 #define MALLOC_DECLARE(type) \
155         extern struct malloc_type type[1]
156
157 #ifdef _KERNEL
158
159 MALLOC_DECLARE(M_CACHE);
160 MALLOC_DECLARE(M_DEVBUF);
161 MALLOC_DECLARE(M_TEMP);
162
163 MALLOC_DECLARE(M_IP6OPT); /* for INET6 */
164 MALLOC_DECLARE(M_IP6NDP); /* for INET6 */
165
166 #endif /* _KERNEL */
167
168 /*
169  * Array of descriptors that describe the contents of each page
170  */
171 struct kmemusage {
172         short ku_cpu;           /* cpu index */
173         union {
174                 __int16_t freecnt;/* for small allocations, free pieces in page */
175                 __int16_t pagecnt;/* for large allocations, pages alloced */
176         } ku_un;
177 };
178 #define ku_freecnt ku_un.freecnt
179 #define ku_pagecnt ku_un.pagecnt
180
181 #ifdef _KERNEL
182
183 #define MINALLOCSIZE    sizeof(void *)
184
185 /*
186  * Turn virtual addresses into kmem map indices
187  */
188 #define btokup(addr)    (&kmemusage[((caddr_t)(addr) - (caddr_t)VM_MIN_KERNEL_ADDRESS) >> PAGE_SHIFT])
189
190 /*
191  * Deprecated macro versions of not-quite-malloc() and free().
192  */
193 #define MALLOC(space, cast, size, type, flags) \
194         (space) = (cast)malloc((u_long)(size), (type), (flags))
195 #define FREE(addr, type) free((addr), (type))
196
197 /*
198  * XXX this should be declared in <sys/uio.h>, but that tends to fail
199  * because <sys/uio.h> is included in a header before the source file
200  * has a chance to include <sys/malloc.h> to get MALLOC_DECLARE() defined.
201  */
202 MALLOC_DECLARE(M_IOV);
203
204 /* XXX struct malloc_type is unused for contig*(). */
205 void    contigfree (void *addr, unsigned long size,
206                         struct malloc_type *type);
207 void    *contigmalloc (unsigned long size, struct malloc_type *type,
208                            int flags, vm_paddr_t low, vm_paddr_t high,
209                            unsigned long alignment, unsigned long boundary);
210 void    free (void *addr, struct malloc_type *type);
211 void    *malloc (unsigned long size, struct malloc_type *type, int flags);
212 void    malloc_init (void *);
213 void    malloc_uninit (void *);
214 void    *realloc (void *addr, unsigned long size,
215                       struct malloc_type *type, int flags);
216 void    *reallocf (void *addr, unsigned long size,
217                       struct malloc_type *type, int flags);
218 char    *strdup (const char *, struct malloc_type *);
219
220 #endif /* _KERNEL */
221
222 #endif /* !_SYS_MALLOC_H_ */