sys/sys/malloc.h

   1 /*
   2  * Copyright (c) 1987, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  * 3. Neither the name of the University nor the names of its contributors
  14  *    may be used to endorse or promote products derived from this software
  15  *    without specific prior written permission.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  *
  29  *      @(#)malloc.h    8.5 (Berkeley) 5/3/95
  30  * $FreeBSD: src/sys/sys/malloc.h,v 1.48.2.2 2002/03/16 02:19:16 archie Exp $
  31  */
  32
  33 #ifndef _SYS_MALLOC_H_
  34 #define _SYS_MALLOC_H_
  35
  36 #ifndef _SYS_TYPES_H_
  37 #include <sys/types.h>
  38 #endif
  39 #ifndef _MACHINE_TYPES_H_
  40 #include <machine/types.h>      /* vm_paddr_t and __* types */
  41 #endif
  42
  43 #ifndef _MACHINE_PARAM_H_
  44 #include <machine/param.h>      /* for SMP_MAXCPU */
  45 #endif
  46
  47 /*
  48  * flags to malloc.
  49  */
  50 #define M_RNOWAIT       0x0001  /* do not block */
  51 #define M_WAITOK        0x0002  /* wait for resources / alloc from cache */
  52 #define M_ZERO          0x0100  /* bzero() the allocation */
  53 #define M_USE_RESERVE   0x0200  /* can eat into free list reserve */
  54 #define M_NULLOK        0x0400  /* ok to return NULL */
  55 #define M_PASSIVE_ZERO  0x0800  /* (internal to the slab code only) */
  56 #define M_USE_INTERRUPT_RESERVE \
  57                         0x1000  /* can exhaust free list entirely */
  58 #define M_POWEROF2      0x2000  /* roundup size to the nearest power of 2 */
  59
  60 /*
  61  * M_NOWAIT has to be a set of flags for equivalence to prior use.
  62  *
  63  * M_SYSALLOC should be used for any critical infrastructure allocations
  64  * made by the kernel proper.
  65  *
  66  * M_INTNOWAIT should be used for any critical infrastructure allocations
  67  * made by interrupts.  Such allocations can still fail but will not fail
  68  * as often as M_NOWAIT.
  69  *
  70  * NOTE ON DRAGONFLY USE OF M_NOWAIT.  In FreeBSD M_NOWAIT allocations
  71  * almost always succeed.  In DragonFly, however, there is a good chance
  72  * that an allocation will fail.  M_NOWAIT should only be used when
  73  * allocations can fail without any serious detriment to the system.
  74  *
  75  * Note that allocations made from (preempted) interrupts will attempt to
  76  * use pages from the VM PAGE CACHE (PQ_CACHE) (i.e. those associated with
  77  * objects).  This is automatic.
  78  */
  79
  80 #define M_INTNOWAIT     (M_RNOWAIT | M_NULLOK |                         \
  81                          M_USE_RESERVE | M_USE_INTERRUPT_RESERVE)
  82 #define M_SYSNOWAIT     (M_RNOWAIT | M_NULLOK | M_USE_RESERVE)
  83 #define M_INTWAIT       (M_WAITOK | M_USE_RESERVE | M_USE_INTERRUPT_RESERVE)
  84 #define M_SYSWAIT       (M_WAITOK | M_USE_RESERVE)
  85
  86 #define M_NOWAIT        (M_RNOWAIT | M_NULLOK | M_USE_RESERVE)
  87 #define M_SYSALLOC      M_SYSWAIT
  88
  89 #define M_MAGIC         877983977       /* time when first defined :-) */
  90
  91 /*
  92  * The malloc tracking structure.  Note that per-cpu entries must be
  93  * aggregated for accurate statistics, they do not actually break the
  94  * stats down by cpu (e.g. the cpu freeing memory will subtract from
  95  * its slot, not the originating cpu's slot).
  96  *
  97  * SMP_MAXCPU is used so modules which use malloc remain compatible
  98  * between UP and SMP.
  99  */
 100 struct malloc_use {
 101         size_t  memuse;
 102         size_t  inuse;
 103         __int64_t calls;        /* total packets of this type ever allocated */
 104
 105         /*
 106          * This value will be added to ks_loosememuse and resetted,
 107          * once it goes above certain threshold (ZoneSize).  This
 108          * is intended to reduce frequency of ks_loosememuse (global)
 109          * updates.
 110          */
 111         size_t  loosememuse;
 112 } __cachealign;
 113
 114 struct malloc_type {
 115         struct malloc_type *ks_next;    /* next in list */
 116         size_t  ks_loosememuse;         /* (inaccurate) aggregate memuse */
 117         size_t  ks_limit;       /* most that are allowed to exist */
 118         struct malloc_use  ks_use[SMP_MAXCPU];
 119         __uint32_t ks_magic;    /* if it's not magic, don't touch it */
 120         const char *ks_shortdesc;       /* short description */
 121         long    ks_reserved[4]; /* future use (module compatibility) */
 122 };
 123
 124 typedef struct malloc_type      *malloc_type_t;
 125
 126 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
 127 #define MALLOC_DEFINE(type, shortdesc, longdesc)                        \
 128         struct malloc_type type[1] = {                                  \
 129             { NULL, 0, 0, { { 0, 0, 0, 0 } }, M_MAGIC, shortdesc,       \
 130                 { 0 } }                                                 \
 131         };                                                              \
 132         SYSINIT(type##_init, SI_BOOT1_KMALLOC, SI_ORDER_ANY,            \
 133             malloc_init, type);                                         \
 134         SYSUNINIT(type##_uninit, SI_BOOT1_KMALLOC, SI_ORDER_ANY,        \
 135             malloc_uninit, type)
 136 #else
 137 #define MALLOC_DEFINE(type, shortdesc, longdesc)                        \
 138         struct malloc_type type[1] = {                                  \
 139             { NULL, 0, 0, { { 0, 0, 0, 0 } }, M_MAGIC, shortdesc,       \
 140                 { 0 } }                                                 \
 141         }
 142 #endif
 143
 144 #define MALLOC_DECLARE(type) \
 145         extern struct malloc_type type[1]
 146
 147 #ifdef _KERNEL
 148
 149 MALLOC_DECLARE(M_CACHE);
 150 MALLOC_DECLARE(M_DEVBUF);
 151 MALLOC_DECLARE(M_TEMP);
 152
 153 MALLOC_DECLARE(M_IP6OPT); /* for INET6 */
 154 MALLOC_DECLARE(M_IP6NDP); /* for INET6 */
 155
 156 #endif /* _KERNEL */
 157
 158 #ifdef _KERNEL
 159
 160 #define MINALLOCSIZE    sizeof(void *)
 161
 162 /*
 163  * XXX this should be declared in <sys/uio.h>, but that tends to fail
 164  * because <sys/uio.h> is included in a header before the source file
 165  * has a chance to include <sys/malloc.h> to get MALLOC_DECLARE() defined.
 166  */
 167 MALLOC_DECLARE(M_IOV);
 168
 169 /* XXX struct malloc_type is unused for contig*(). */
 170 size_t  kmem_lim_size(void);
 171 void    contigfree(void *addr, unsigned long size, struct malloc_type *type)
 172             __nonnull(1);
 173 void    *contigmalloc(unsigned long size, struct malloc_type *type, int flags,
 174                       vm_paddr_t low, vm_paddr_t high, unsigned long alignment,
 175                       unsigned long boundary) __malloclike __heedresult
 176                       __alloc_size(1) __alloc_align(6);
 177 void    malloc_init(void *);
 178 void    malloc_uninit(void *);
 179 void    kmalloc_raise_limit(struct malloc_type *type, size_t bytes);
 180 void    kmalloc_set_unlimited(struct malloc_type *type);
 181 void    kmalloc_create(struct malloc_type **typep, const char *descr);
 182 void    kmalloc_destroy(struct malloc_type **typep);
 183
 184 /*
 185  * Debug and non-debug kmalloc() prototypes.
 186  *
 187  * The kmalloc() macro allows M_ZERO to be optimized external to
 188  * the kmalloc() function.  When combined with the use a builtin
 189  * for bzero() this can get rid of a considerable amount of overhead
 190  * for M_ZERO based kmalloc() calls.
 191  */
 192 #ifdef SLAB_DEBUG
 193 void    *kmalloc_debug(unsigned long size, struct malloc_type *type, int flags,
 194                         const char *file, int line) __malloclike __heedresult
 195                         __alloc_size(1);
 196 void    *krealloc_debug(void *addr, unsigned long size,
 197                         struct malloc_type *type, int flags,
 198                         const char *file, int line) __heedresult __alloc_size(2);
 199 char    *kstrdup_debug(const char *, struct malloc_type *,
 200                         const char *file, int line) __malloclike __heedresult;
 201 char    *kstrndup_debug(const char *, size_t maxlen, struct malloc_type *,
 202                         const char *file, int line) __malloclike __heedresult;
 203 #if 1
 204 #define kmalloc(size, type, flags) ({                                   \
 205         void *_malloc_item;                                             \
 206         size_t _size = (size);                                          \
 207                                                                         \
 208         if (__builtin_constant_p(size) &&                               \
 209             __builtin_constant_p(flags) &&                              \
 210             ((flags) & M_ZERO)) {                                       \
 211                 _malloc_item = kmalloc_debug(_size, type,               \
 212                                             (flags) & ~M_ZERO,          \
 213                                             __FILE__, __LINE__);        \
 214                 if (((flags) & (M_WAITOK|M_NULLOK)) == M_WAITOK ||      \
 215                     __predict_true(_malloc_item != NULL)) {             \
 216                         bzero(_malloc_item, _size);                     \
 217                 }                                                       \
 218         } else {                                                        \
 219             _malloc_item = kmalloc_debug(_size, type, flags,            \
 220                                    __FILE__, __LINE__);                 \
 221         }                                                               \
 222         _malloc_item;                                                   \
 223 })
 224 #endif
 225 #define krealloc(addr, size, type, flags)       \
 226         krealloc_debug(addr, size, type, flags, __FILE__, __LINE__)
 227 #define kstrdup(str, type)                      \
 228         kstrdup_debug(str, type, __FILE__, __LINE__)
 229 #define kstrndup(str, maxlen, type)                     \
 230         kstrndup_debug(str, maxlen, type, __FILE__, __LINE__)
 231
 232 #else   /* !SLAB_DEBUG */
 233
 234 void    *kmalloc(unsigned long size, struct malloc_type *type, int flags)
 235                  __malloclike __heedresult __alloc_size(1);
 236 #if 1
 237 #define kmalloc(size, type, flags) ({                                   \
 238         void *_malloc_item;                                             \
 239         size_t _size = (size);                                          \
 240                                                                         \
 241         if (__builtin_constant_p(size) &&                               \
 242             __builtin_constant_p(flags) &&                              \
 243             ((flags) & M_ZERO)) {                                       \
 244                 _malloc_item = kmalloc(_size, type, (flags) & ~M_ZERO); \
 245                 if (((flags) & (M_WAITOK|M_NULLOK)) == M_WAITOK ||      \
 246                     __predict_true(_malloc_item != NULL)) {             \
 247                         bzero(_malloc_item, _size);                     \
 248                 }                                                       \
 249         } else {                                                        \
 250             _malloc_item = kmalloc(_size, type, flags);                 \
 251         }                                                               \
 252         _malloc_item;                                                   \
 253 })
 254 #endif
 255 void    *krealloc(void *addr, unsigned long size, struct malloc_type *type,
 256                   int flags) __heedresult __alloc_size(2);
 257 char    *kstrdup(const char *, struct malloc_type *)
 258                  __malloclike __heedresult;
 259 char    *kstrndup(const char *, size_t maxlen, struct malloc_type *)
 260                   __malloclike __heedresult;
 261 #define kmalloc_debug(size, type, flags, file, line)            \
 262         kmalloc(size, type, flags)
 263 #define krealloc_debug(addr, size, type, flags, file, line)     \
 264         krealloc(addr, size, type, flags)
 265 #define kstrdup_debug(str, type, file, line)                    \
 266         kstrdup(str, type)
 267 #define kstrndup_debug(str, maxlen, type, file, line)           \
 268         kstrndup(str, maxlen, type)
 269 #endif
 270 void    *kmalloc_cachealign(unsigned long size, struct malloc_type *type,
 271                             int flags) __heedresult;
 272 void    kfree(void *addr, struct malloc_type *type) __nonnull(2);
 273 long    kmalloc_limit(struct malloc_type *type);
 274 void    slab_cleanup(void);
 275
 276 #endif /* _KERNEL */
 277
 278 #endif /* !_SYS_MALLOC_H_ */