sys/sys/malloc.h

   1 /*
   2  * Copyright (c) 1987, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  * 3. All advertising materials mentioning features or use of this software
  14  *    must display the following acknowledgement:
  15  *      This product includes software developed by the University of
  16  *      California, Berkeley and its contributors.
  17  * 4. Neither the name of the University nor the names of its contributors
  18  *    may be used to endorse or promote products derived from this software
  19  *    without specific prior written permission.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  31  * SUCH DAMAGE.
  32  *
  33  *      @(#)malloc.h    8.5 (Berkeley) 5/3/95
  34  * $FreeBSD: src/sys/sys/malloc.h,v 1.48.2.2 2002/03/16 02:19:16 archie Exp $
  35  * $DragonFly: src/sys/sys/malloc.h,v 1.18 2004/03/12 22:05:53 joerg Exp $
  36  */
  37
  38 #ifndef _SYS_MALLOC_H_
  39 #define _SYS_MALLOC_H_
  40
  41 #ifndef _MACHINE_PARAM_H_
  42 #include <machine/param.h>      /* for SMP_MAXCPU */
  43 #endif
  44
  45 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
  46
  47 #ifndef _MACHINE_VMPARAM_H_
  48 #include <machine/vmparam.h>    /* for VM_MIN_KERNEL_ADDRESS */
  49 #endif
  50
  51 #define splmem splhigh
  52
  53 #ifndef _MACHINE_TYPES_H_
  54 #include <machine/types.h>      /* vm_paddr_t */
  55 #endif
  56
  57 #endif  /* _KERNEL */
  58
  59 /*
  60  * flags to malloc.
  61  */
  62 #define M_RNOWAIT       0x0001  /* do not block */
  63 #define M_WAITOK        0x0002  /* wait for resources / alloc from cache */
  64 #define M_ZERO          0x0100  /* bzero() the allocation */
  65 #define M_USE_RESERVE   0x0200  /* can eat into free list reserve */
  66 #define M_NULLOK        0x0400  /* ok to return NULL in M_WAITOK case */
  67 #define M_PASSIVE_ZERO  0x0800  /* (internal to the slab code only) */
  68 #define M_USE_INTERRUPT_RESERVE \
  69                         0x1000  /* can exhaust free list entirely */
  70 #define M_FAILSAFE      0x2000  /* failsafe allocation attempt */
  71
  72 /*
  73  * M_NOWAIT has to be a set of flags for equivalence to prior use.
  74  *
  75  * M_INTALLOC should be used for any critical infrastructure allocations
  76  * made from interrupts.
  77  *
  78  * M_SYSALLOC should be used for any critical infrastructure allocations
  79  * made by the kernel proper.
  80  *
  81  * NOTE ON DRAGONFLY USE OF M_NOWAIT.  M_NOWAIT has traditionally been used
  82  * when we did not wish to break spl protections or when we allocate memory
  83  * from interrupts.  For the spl protection case we intend to move all
  84  * such allocations outside of the spl blocks.
  85  *
  86  * For the interrupt case the issue comes down to whether it is possible
  87  * to allocate out of the VM page cache.  Since interrupts are threads it
  88  * is theoretically possible to allocate out of the VM page cache as long
  89  * as we determine that we are not preempting another thread.  This is a
  90  * simple td->td_preempted check.  In DFly we can also theoretically do
  91  * an lwkt_yield() to force the interrupt thread to be rescheduled (so it
  92  * is no longer preempting a thread) and then allocate out of the cache.
  93  * This is what the M_FAILSAFE flag does in M_INTALLOC and this is why
  94  * M_INTALLOC should be used in interrupt-related situations where the
  95  * allocation must absolutely succeed for the health of the machine.
  96  */
  97
  98 #define M_INTNOWAIT     (M_RNOWAIT|M_USE_RESERVE|M_USE_INTERRUPT_RESERVE)
  99 #define M_SYSNOWAIT     (M_RNOWAIT|M_USE_RESERVE)
 100 #define M_INTWAIT       (M_WAITOK|M_USE_RESERVE|M_USE_INTERRUPT_RESERVE)
 101 #define M_SYSWAIT       (M_WAITOK|M_USE_RESERVE)
 102
 103 #define M_NOWAIT        M_INTNOWAIT
 104 #define M_INTALLOC      (M_INTNOWAIT|M_FAILSAFE)
 105 #define M_SYSALLOC      M_SYSWAIT
 106
 107 #define M_MAGIC         877983977       /* time when first defined :-) */
 108
 109 /*
 110  * The malloc tracking structure.  Note that per-cpu entries must be
 111  * aggregated for accurate statistics, they do not actually break the
 112  * stats down by cpu (e.g. the cpu freeing memory will subtract from
 113  * its slot, not the originating cpu's slot).
 114  *
 115  * SMP_MAXCPU is used so modules which use malloc remain compatible
 116  * between UP and SMP.
 117  */
 118 struct malloc_type {
 119         struct malloc_type *ks_next;    /* next in list */
 120         long    ks_memuse[SMP_MAXCPU];  /* total memory held in bytes */
 121         long    ks_loosememuse;         /* (inaccurate) aggregate memuse */
 122         long    ks_limit;       /* most that are allowed to exist */
 123         long    ks_size;        /* sizes of this thing that are allocated */
 124         long    ks_inuse[SMP_MAXCPU]; /* # of allocs currently in use */
 125         __int64_t ks_calls;     /* total packets of this type ever allocated */
 126         long    ks_maxused;     /* maximum number ever used */
 127         __uint32_t ks_magic;    /* if it's not magic, don't touch it */
 128         const char *ks_shortdesc;       /* short description */
 129         __uint16_t ks_limblocks; /* number of times blocked for hitting limit */
 130         __uint16_t ks_mapblocks; /* number of times blocked for kernel map */
 131         long    ks_reserved[4]; /* future use (module compatibility) */
 132 };
 133
 134 typedef struct malloc_type      *malloc_type_t;
 135
 136 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
 137
 138 #define MALLOC_DEFINE(type, shortdesc, longdesc)        \
 139         struct malloc_type type[1] = {                  \
 140             { NULL, { 0 }, 0, 0, 0, { 0 }, 0, 0, M_MAGIC, shortdesc, 0, 0, { 0 } } \
 141         };                                                                  \
 142         SYSINIT(type##_init, SI_SUB_KMEM, SI_ORDER_ANY, malloc_init, type); \
 143         SYSUNINIT(type##_uninit, SI_SUB_KMEM, SI_ORDER_ANY, malloc_uninit, type)
 144
 145 #else
 146
 147 #define MALLOC_DEFINE(type, shortdesc, longdesc)        \
 148         struct malloc_type type[1] = {                  \
 149             { NULL, { 0 }, 0, 0, 0, { 0 }, 0, 0, M_MAGIC, shortdesc, 0, 0 } \
 150         };
 151
 152 #endif
 153
 154 #define MALLOC_DECLARE(type) \
 155         extern struct malloc_type type[1]
 156
 157 #ifdef _KERNEL
 158
 159 MALLOC_DECLARE(M_CACHE);
 160 MALLOC_DECLARE(M_DEVBUF);
 161 MALLOC_DECLARE(M_TEMP);
 162
 163 MALLOC_DECLARE(M_IP6OPT); /* for INET6 */
 164 MALLOC_DECLARE(M_IP6NDP); /* for INET6 */
 165
 166 #endif /* _KERNEL */
 167
 168 /*
 169  * Array of descriptors that describe the contents of each page
 170  */
 171 struct kmemusage {
 172         short ku_cpu;           /* cpu index */
 173         union {
 174                 __int16_t freecnt;/* for small allocations, free pieces in page */
 175                 __int16_t pagecnt;/* for large allocations, pages alloced */
 176         } ku_un;
 177 };
 178 #define ku_freecnt ku_un.freecnt
 179 #define ku_pagecnt ku_un.pagecnt
 180
 181 #ifdef _KERNEL
 182
 183 #define MINALLOCSIZE    sizeof(void *)
 184
 185 /*
 186  * Turn virtual addresses into kmem map indices
 187  */
 188 #define btokup(addr)    (&kmemusage[((caddr_t)(addr) - (caddr_t)VM_MIN_KERNEL_ADDRESS) >> PAGE_SHIFT])
 189
 190 /*
 191  * Deprecated macro versions of not-quite-malloc() and free().
 192  */
 193 #define MALLOC(space, cast, size, type, flags) \
 194         (space) = (cast)malloc((u_long)(size), (type), (flags))
 195 #define FREE(addr, type) free((addr), (type))
 196
 197 /*
 198  * XXX this should be declared in <sys/uio.h>, but that tends to fail
 199  * because <sys/uio.h> is included in a header before the source file
 200  * has a chance to include <sys/malloc.h> to get MALLOC_DECLARE() defined.
 201  */
 202 MALLOC_DECLARE(M_IOV);
 203
 204 /* XXX struct malloc_type is unused for contig*(). */
 205 void    contigfree (void *addr, unsigned long size,
 206                         struct malloc_type *type);
 207 void    *contigmalloc (unsigned long size, struct malloc_type *type,
 208                            int flags, vm_paddr_t low, vm_paddr_t high,
 209                            unsigned long alignment, unsigned long boundary);
 210 void    free (void *addr, struct malloc_type *type);
 211 void    *malloc (unsigned long size, struct malloc_type *type, int flags);
 212 void    malloc_init (void *);
 213 void    malloc_uninit (void *);
 214 void    *realloc (void *addr, unsigned long size,
 215                       struct malloc_type *type, int flags);
 216 void    *reallocf (void *addr, unsigned long size,
 217                       struct malloc_type *type, int flags);
 218
 219 #endif /* _KERNEL */
 220
 221 #endif /* !_SYS_MALLOC_H_ */