9a80068756db669e5ee447968cea89dbb7c887f3
[dragonfly.git] / sys / kern / kern_slaballoc.c
1 /*
2  * (MPSAFE)
3  *
4  * KERN_SLABALLOC.C     - Kernel SLAB memory allocator
5  * 
6  * Copyright (c) 2003,2004,2010 The DragonFly Project.  All rights reserved.
7  * 
8  * This code is derived from software contributed to The DragonFly Project
9  * by Matthew Dillon <dillon@backplane.com>
10  * 
11  * Redistribution and use in source and binary forms, with or without
12  * modification, are permitted provided that the following conditions
13  * are met:
14  * 
15  * 1. Redistributions of source code must retain the above copyright
16  *    notice, this list of conditions and the following disclaimer.
17  * 2. Redistributions in binary form must reproduce the above copyright
18  *    notice, this list of conditions and the following disclaimer in
19  *    the documentation and/or other materials provided with the
20  *    distribution.
21  * 3. Neither the name of The DragonFly Project nor the names of its
22  *    contributors may be used to endorse or promote products derived
23  *    from this software without specific, prior written permission.
24  * 
25  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
26  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
27  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
28  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
29  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
30  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
31  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
32  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
33  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
34  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
35  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
36  * SUCH DAMAGE.
37  *
38  * This module implements a slab allocator drop-in replacement for the
39  * kernel malloc().
40  *
41  * A slab allocator reserves a ZONE for each chunk size, then lays the
42  * chunks out in an array within the zone.  Allocation and deallocation
43  * is nearly instantanious, and fragmentation/overhead losses are limited
44  * to a fixed worst-case amount.
45  *
46  * The downside of this slab implementation is in the chunk size
47  * multiplied by the number of zones.  ~80 zones * 128K = 10MB of VM per cpu.
48  * In a kernel implementation all this memory will be physical so
49  * the zone size is adjusted downward on machines with less physical
50  * memory.  The upside is that overhead is bounded... this is the *worst*
51  * case overhead.
52  *
53  * Slab management is done on a per-cpu basis and no locking or mutexes
54  * are required, only a critical section.  When one cpu frees memory
55  * belonging to another cpu's slab manager an asynchronous IPI message
56  * will be queued to execute the operation.   In addition, both the
57  * high level slab allocator and the low level zone allocator optimize
58  * M_ZERO requests, and the slab allocator does not have to pre initialize
59  * the linked list of chunks.
60  *
61  * XXX Balancing is needed between cpus.  Balance will be handled through
62  * asynchronous IPIs primarily by reassigning the z_Cpu ownership of chunks.
63  *
64  * XXX If we have to allocate a new zone and M_USE_RESERVE is set, use of
65  * the new zone should be restricted to M_USE_RESERVE requests only.
66  *
67  *      Alloc Size      Chunking        Number of zones
68  *      0-127           8               16
69  *      128-255         16              8
70  *      256-511         32              8
71  *      512-1023        64              8
72  *      1024-2047       128             8
73  *      2048-4095       256             8
74  *      4096-8191       512             8
75  *      8192-16383      1024            8
76  *      16384-32767     2048            8
77  *      (if PAGE_SIZE is 4K the maximum zone allocation is 16383)
78  *
79  *      Allocations >= ZoneLimit go directly to kmem.
80  *
81  * Alignment properties:
82  * - All power-of-2 sized allocations are power-of-2 aligned.
83  * - Allocations with M_POWEROF2 are power-of-2 aligned on the nearest
84  *   power-of-2 round up of 'size'.
85  * - Non-power-of-2 sized allocations are zone chunk size aligned (see the
86  *   above table 'Chunking' column).
87  *
88  *                      API REQUIREMENTS AND SIDE EFFECTS
89  *
90  *    To operate as a drop-in replacement to the FreeBSD-4.x malloc() we
91  *    have remained compatible with the following API requirements:
92  *
93  *    + malloc(0) is allowed and returns non-NULL (ahc driver)
94  *    + ability to allocate arbitrarily large chunks of memory
95  */
96
97 #include "opt_vm.h"
98
99 #include <sys/param.h>
100 #include <sys/systm.h>
101 #include <sys/kernel.h>
102 #include <sys/slaballoc.h>
103 #include <sys/mbuf.h>
104 #include <sys/vmmeter.h>
105 #include <sys/lock.h>
106 #include <sys/thread.h>
107 #include <sys/globaldata.h>
108 #include <sys/sysctl.h>
109 #include <sys/ktr.h>
110
111 #include <vm/vm.h>
112 #include <vm/vm_param.h>
113 #include <vm/vm_kern.h>
114 #include <vm/vm_extern.h>
115 #include <vm/vm_object.h>
116 #include <vm/pmap.h>
117 #include <vm/vm_map.h>
118 #include <vm/vm_page.h>
119 #include <vm/vm_pageout.h>
120
121 #include <machine/cpu.h>
122
123 #include <sys/thread2.h>
124
125 #define btokup(z)       (&pmap_kvtom((vm_offset_t)(z))->ku_pagecnt)
126
127 #define MEMORY_STRING   "ptr=%p type=%p size=%lu flags=%04x"
128 #define MEMORY_ARGS     void *ptr, void *type, unsigned long size, int flags
129
130 #if !defined(KTR_MEMORY)
131 #define KTR_MEMORY      KTR_ALL
132 #endif
133 KTR_INFO_MASTER(memory);
134 KTR_INFO(KTR_MEMORY, memory, malloc_beg, 0, "malloc begin");
135 KTR_INFO(KTR_MEMORY, memory, malloc_end, 1, MEMORY_STRING, MEMORY_ARGS);
136 KTR_INFO(KTR_MEMORY, memory, free_zero, 2, MEMORY_STRING, MEMORY_ARGS);
137 KTR_INFO(KTR_MEMORY, memory, free_ovsz, 3, MEMORY_STRING, MEMORY_ARGS);
138 KTR_INFO(KTR_MEMORY, memory, free_ovsz_delayed, 4, MEMORY_STRING, MEMORY_ARGS);
139 KTR_INFO(KTR_MEMORY, memory, free_chunk, 5, MEMORY_STRING, MEMORY_ARGS);
140 #ifdef SMP
141 KTR_INFO(KTR_MEMORY, memory, free_request, 6, MEMORY_STRING, MEMORY_ARGS);
142 KTR_INFO(KTR_MEMORY, memory, free_rem_beg, 7, MEMORY_STRING, MEMORY_ARGS);
143 KTR_INFO(KTR_MEMORY, memory, free_rem_end, 8, MEMORY_STRING, MEMORY_ARGS);
144 #endif
145 KTR_INFO(KTR_MEMORY, memory, free_beg, 9, "free begin");
146 KTR_INFO(KTR_MEMORY, memory, free_end, 10, "free end");
147
148 #define logmemory(name, ptr, type, size, flags)                         \
149         KTR_LOG(memory_ ## name, ptr, type, size, flags)
150 #define logmemory_quick(name)                                           \
151         KTR_LOG(memory_ ## name)
152
153 /*
154  * Fixed globals (not per-cpu)
155  */
156 static int ZoneSize;
157 static int ZoneLimit;
158 static int ZonePageCount;
159 static uintptr_t ZoneMask;
160 static int ZoneBigAlloc;                /* in KB */
161 static int ZoneGenAlloc;                /* in KB */
162 struct malloc_type *kmemstatistics;     /* exported to vmstat */
163 static int32_t weirdary[16];
164
165 static void *kmem_slab_alloc(vm_size_t bytes, vm_offset_t align, int flags);
166 static void kmem_slab_free(void *ptr, vm_size_t bytes);
167
168 #if defined(INVARIANTS)
169 static void chunk_mark_allocated(SLZone *z, void *chunk);
170 static void chunk_mark_free(SLZone *z, void *chunk);
171 #else
172 #define chunk_mark_allocated(z, chunk)
173 #define chunk_mark_free(z, chunk)
174 #endif
175
176 /*
177  * Misc constants.  Note that allocations that are exact multiples of 
178  * PAGE_SIZE, or exceed the zone limit, fall through to the kmem module.
179  */
180 #define ZONE_RELS_THRESH        32              /* threshold number of zones */
181
182 /*
183  * The WEIRD_ADDR is used as known text to copy into free objects to
184  * try to create deterministic failure cases if the data is accessed after
185  * free.
186  */    
187 #define WEIRD_ADDR      0xdeadc0de
188 #define MAX_COPY        sizeof(weirdary)
189 #define ZERO_LENGTH_PTR ((void *)-8)
190
191 /*
192  * Misc global malloc buckets
193  */
194
195 MALLOC_DEFINE(M_CACHE, "cache", "Various Dynamically allocated caches");
196 MALLOC_DEFINE(M_DEVBUF, "devbuf", "device driver memory");
197 MALLOC_DEFINE(M_TEMP, "temp", "misc temporary data buffers");
198  
199 MALLOC_DEFINE(M_IP6OPT, "ip6opt", "IPv6 options");
200 MALLOC_DEFINE(M_IP6NDP, "ip6ndp", "IPv6 Neighbor Discovery");
201
202 /*
203  * Initialize the slab memory allocator.  We have to choose a zone size based
204  * on available physical memory.  We choose a zone side which is approximately
205  * 1/1024th of our memory, so if we have 128MB of ram we have a zone size of
206  * 128K.  The zone size is limited to the bounds set in slaballoc.h
207  * (typically 32K min, 128K max). 
208  */
209 static void kmeminit(void *dummy);
210
211 char *ZeroPage;
212
213 SYSINIT(kmem, SI_BOOT1_ALLOCATOR, SI_ORDER_FIRST, kmeminit, NULL)
214
215 #ifdef INVARIANTS
216 /*
217  * If enabled any memory allocated without M_ZERO is initialized to -1.
218  */
219 static int  use_malloc_pattern;
220 SYSCTL_INT(_debug, OID_AUTO, use_malloc_pattern, CTLFLAG_RW,
221     &use_malloc_pattern, 0,
222     "Initialize memory to -1 if M_ZERO not specified");
223 #endif
224
225 static int ZoneRelsThresh = ZONE_RELS_THRESH;
226 SYSCTL_INT(_kern, OID_AUTO, zone_big_alloc, CTLFLAG_RD, &ZoneBigAlloc, 0, "");
227 SYSCTL_INT(_kern, OID_AUTO, zone_gen_alloc, CTLFLAG_RD, &ZoneGenAlloc, 0, "");
228 SYSCTL_INT(_kern, OID_AUTO, zone_cache, CTLFLAG_RW, &ZoneRelsThresh, 0, "");
229
230 /*
231  * Returns the kernel memory size limit for the purposes of initializing
232  * various subsystem caches.  The smaller of available memory and the KVM
233  * memory space is returned.
234  *
235  * The size in megabytes is returned.
236  */
237 size_t
238 kmem_lim_size(void)
239 {
240     size_t limsize;
241
242     limsize = (size_t)vmstats.v_page_count * PAGE_SIZE;
243     if (limsize > KvaSize)
244         limsize = KvaSize;
245     return (limsize / (1024 * 1024));
246 }
247
248 static void
249 kmeminit(void *dummy)
250 {
251     size_t limsize;
252     int usesize;
253     int i;
254
255     limsize = kmem_lim_size();
256     usesize = (int)(limsize * 1024);    /* convert to KB */
257
258     /*
259      * If the machine has a large KVM space and more than 8G of ram,
260      * double the zone release threshold to reduce SMP invalidations.
261      * If more than 16G of ram, do it again.
262      *
263      * The BIOS eats a little ram so add some slop.  We want 8G worth of
264      * memory sticks to trigger the first adjustment.
265      */
266     if (ZoneRelsThresh == ZONE_RELS_THRESH) {
267             if (limsize >= 7 * 1024)
268                     ZoneRelsThresh *= 2;
269             if (limsize >= 15 * 1024)
270                     ZoneRelsThresh *= 2;
271     }
272
273     /*
274      * Calculate the zone size.  This typically calculates to
275      * ZALLOC_MAX_ZONE_SIZE
276      */
277     ZoneSize = ZALLOC_MIN_ZONE_SIZE;
278     while (ZoneSize < ZALLOC_MAX_ZONE_SIZE && (ZoneSize << 1) < usesize)
279         ZoneSize <<= 1;
280     ZoneLimit = ZoneSize / 4;
281     if (ZoneLimit > ZALLOC_ZONE_LIMIT)
282         ZoneLimit = ZALLOC_ZONE_LIMIT;
283     ZoneMask = ~(uintptr_t)(ZoneSize - 1);
284     ZonePageCount = ZoneSize / PAGE_SIZE;
285
286     for (i = 0; i < NELEM(weirdary); ++i)
287         weirdary[i] = WEIRD_ADDR;
288
289     ZeroPage = kmem_slab_alloc(PAGE_SIZE, PAGE_SIZE, M_WAITOK|M_ZERO);
290
291     if (bootverbose)
292         kprintf("Slab ZoneSize set to %dKB\n", ZoneSize / 1024);
293 }
294
295 /*
296  * Initialize a malloc type tracking structure.
297  */
298 void
299 malloc_init(void *data)
300 {
301     struct malloc_type *type = data;
302     size_t limsize;
303
304     if (type->ks_magic != M_MAGIC)
305         panic("malloc type lacks magic");
306                                            
307     if (type->ks_limit != 0)
308         return;
309
310     if (vmstats.v_page_count == 0)
311         panic("malloc_init not allowed before vm init");
312
313     limsize = kmem_lim_size() * (1024 * 1024);
314     type->ks_limit = limsize / 10;
315
316     type->ks_next = kmemstatistics;
317     kmemstatistics = type;
318 }
319
320 void
321 malloc_uninit(void *data)
322 {
323     struct malloc_type *type = data;
324     struct malloc_type *t;
325 #ifdef INVARIANTS
326     int i;
327     long ttl;
328 #endif
329
330     if (type->ks_magic != M_MAGIC)
331         panic("malloc type lacks magic");
332
333     if (vmstats.v_page_count == 0)
334         panic("malloc_uninit not allowed before vm init");
335
336     if (type->ks_limit == 0)
337         panic("malloc_uninit on uninitialized type");
338
339 #ifdef SMP
340     /* Make sure that all pending kfree()s are finished. */
341     lwkt_synchronize_ipiqs("muninit");
342 #endif
343
344 #ifdef INVARIANTS
345     /*
346      * memuse is only correct in aggregation.  Due to memory being allocated
347      * on one cpu and freed on another individual array entries may be 
348      * negative or positive (canceling each other out).
349      */
350     for (i = ttl = 0; i < ncpus; ++i)
351         ttl += type->ks_memuse[i];
352     if (ttl) {
353         kprintf("malloc_uninit: %ld bytes of '%s' still allocated on cpu %d\n",
354             ttl, type->ks_shortdesc, i);
355     }
356 #endif
357     if (type == kmemstatistics) {
358         kmemstatistics = type->ks_next;
359     } else {
360         for (t = kmemstatistics; t->ks_next != NULL; t = t->ks_next) {
361             if (t->ks_next == type) {
362                 t->ks_next = type->ks_next;
363                 break;
364             }
365         }
366     }
367     type->ks_next = NULL;
368     type->ks_limit = 0;
369 }
370
371 /*
372  * Increase the kmalloc pool limit for the specified pool.  No changes
373  * are the made if the pool would shrink.
374  */
375 void
376 kmalloc_raise_limit(struct malloc_type *type, size_t bytes)
377 {
378     if (type->ks_limit == 0)
379         malloc_init(type);
380     if (bytes == 0)
381         bytes = KvaSize;
382     if (type->ks_limit < bytes)
383         type->ks_limit = bytes;
384 }
385
386 /*
387  * Dynamically create a malloc pool.  This function is a NOP if *typep is
388  * already non-NULL.
389  */
390 void
391 kmalloc_create(struct malloc_type **typep, const char *descr)
392 {
393         struct malloc_type *type;
394
395         if (*typep == NULL) {
396                 type = kmalloc(sizeof(*type), M_TEMP, M_WAITOK | M_ZERO);
397                 type->ks_magic = M_MAGIC;
398                 type->ks_shortdesc = descr;
399                 malloc_init(type);
400                 *typep = type;
401         }
402 }
403
404 /*
405  * Destroy a dynamically created malloc pool.  This function is a NOP if
406  * the pool has already been destroyed.
407  */
408 void
409 kmalloc_destroy(struct malloc_type **typep)
410 {
411         if (*typep != NULL) {
412                 malloc_uninit(*typep);
413                 kfree(*typep, M_TEMP);
414                 *typep = NULL;
415         }
416 }
417
418 /*
419  * Calculate the zone index for the allocation request size and set the
420  * allocation request size to that particular zone's chunk size.
421  */
422 static __inline int
423 zoneindex(unsigned long *bytes, unsigned long *align)
424 {
425     unsigned int n = (unsigned int)*bytes;      /* unsigned for shift opt */
426     if (n < 128) {
427         *bytes = n = (n + 7) & ~7;
428         *align = 8;
429         return(n / 8 - 1);              /* 8 byte chunks, 16 zones */
430     }
431     if (n < 256) {
432         *bytes = n = (n + 15) & ~15;
433         *align = 16;
434         return(n / 16 + 7);
435     }
436     if (n < 8192) {
437         if (n < 512) {
438             *bytes = n = (n + 31) & ~31;
439             *align = 32;
440             return(n / 32 + 15);
441         }
442         if (n < 1024) {
443             *bytes = n = (n + 63) & ~63;
444             *align = 64;
445             return(n / 64 + 23);
446         } 
447         if (n < 2048) {
448             *bytes = n = (n + 127) & ~127;
449             *align = 128;
450             return(n / 128 + 31);
451         }
452         if (n < 4096) {
453             *bytes = n = (n + 255) & ~255;
454             *align = 256;
455             return(n / 256 + 39);
456         }
457         *bytes = n = (n + 511) & ~511;
458         *align = 512;
459         return(n / 512 + 47);
460     }
461 #if ZALLOC_ZONE_LIMIT > 8192
462     if (n < 16384) {
463         *bytes = n = (n + 1023) & ~1023;
464         *align = 1024;
465         return(n / 1024 + 55);
466     }
467 #endif
468 #if ZALLOC_ZONE_LIMIT > 16384
469     if (n < 32768) {
470         *bytes = n = (n + 2047) & ~2047;
471         *align = 2048;
472         return(n / 2048 + 63);
473     }
474 #endif
475     panic("Unexpected byte count %d", n);
476     return(0);
477 }
478
479 #ifdef SLAB_DEBUG
480 /*
481  * Used to debug memory corruption issues.  Record up to (typically 32)
482  * allocation sources for this zone (for a particular chunk size).
483  */
484
485 static void
486 slab_record_source(SLZone *z, const char *file, int line)
487 {
488     int i;
489     int b = line & (SLAB_DEBUG_ENTRIES - 1);
490
491     i = b;
492     do {
493         if (z->z_Sources[i].file == file && z->z_Sources[i].line == line)
494                 return;
495         if (z->z_Sources[i].file == NULL)
496                 break;
497         i = (i + 1) & (SLAB_DEBUG_ENTRIES - 1);
498     } while (i != b);
499     z->z_Sources[i].file = file;
500     z->z_Sources[i].line = line;
501 }
502
503 #endif
504
505 static __inline unsigned long
506 powerof2_size(unsigned long size)
507 {
508         int i;
509
510         if (size == 0 || powerof2(size))
511                 return size;
512
513         i = flsl(size);
514         return (1UL << i);
515 }
516
517 /*
518  * kmalloc()    (SLAB ALLOCATOR)
519  *
520  *      Allocate memory via the slab allocator.  If the request is too large,
521  *      or if it page-aligned beyond a certain size, we fall back to the
522  *      KMEM subsystem.  A SLAB tracking descriptor must be specified, use
523  *      &SlabMisc if you don't care.
524  *
525  *      M_RNOWAIT       - don't block.
526  *      M_NULLOK        - return NULL instead of blocking.
527  *      M_ZERO          - zero the returned memory.
528  *      M_USE_RESERVE   - allow greater drawdown of the free list
529  *      M_USE_INTERRUPT_RESERVE - allow the freelist to be exhausted
530  *      M_POWEROF2      - roundup size to the nearest power of 2
531  *
532  * MPSAFE
533  */
534
535 #ifdef SLAB_DEBUG
536 void *
537 kmalloc_debug(unsigned long size, struct malloc_type *type, int flags,
538               const char *file, int line)
539 #else
540 void *
541 kmalloc(unsigned long size, struct malloc_type *type, int flags)
542 #endif
543 {
544     SLZone *z;
545     SLChunk *chunk;
546 #ifdef SMP
547     SLChunk *bchunk;
548 #endif
549     SLGlobalData *slgd;
550     struct globaldata *gd;
551     unsigned long align;
552     int zi;
553 #ifdef INVARIANTS
554     int i;
555 #endif
556
557     logmemory_quick(malloc_beg);
558     gd = mycpu;
559     slgd = &gd->gd_slab;
560
561     /*
562      * XXX silly to have this in the critical path.
563      */
564     if (type->ks_limit == 0) {
565         crit_enter();
566         if (type->ks_limit == 0)
567             malloc_init(type);
568         crit_exit();
569     }
570     ++type->ks_calls;
571
572     if (flags & M_POWEROF2)
573         size = powerof2_size(size);
574
575     /*
576      * Handle the case where the limit is reached.  Panic if we can't return
577      * NULL.  The original malloc code looped, but this tended to
578      * simply deadlock the computer.
579      *
580      * ks_loosememuse is an up-only limit that is NOT MP-synchronized, used
581      * to determine if a more complete limit check should be done.  The
582      * actual memory use is tracked via ks_memuse[cpu].
583      */
584     while (type->ks_loosememuse >= type->ks_limit) {
585         int i;
586         long ttl;
587
588         for (i = ttl = 0; i < ncpus; ++i)
589             ttl += type->ks_memuse[i];
590         type->ks_loosememuse = ttl;     /* not MP synchronized */
591         if ((ssize_t)ttl < 0)           /* deal with occassional race */
592                 ttl = 0;
593         if (ttl >= type->ks_limit) {
594             if (flags & M_NULLOK) {
595                 logmemory(malloc_end, NULL, type, size, flags);
596                 return(NULL);
597             }
598             panic("%s: malloc limit exceeded", type->ks_shortdesc);
599         }
600     }
601
602     /*
603      * Handle the degenerate size == 0 case.  Yes, this does happen.
604      * Return a special pointer.  This is to maintain compatibility with
605      * the original malloc implementation.  Certain devices, such as the
606      * adaptec driver, not only allocate 0 bytes, they check for NULL and
607      * also realloc() later on.  Joy.
608      */
609     if (size == 0) {
610         logmemory(malloc_end, ZERO_LENGTH_PTR, type, size, flags);
611         return(ZERO_LENGTH_PTR);
612     }
613
614     /*
615      * Handle hysteresis from prior frees here in malloc().  We cannot
616      * safely manipulate the kernel_map in free() due to free() possibly
617      * being called via an IPI message or from sensitive interrupt code.
618      *
619      * NOTE: ku_pagecnt must be cleared before we free the slab or we
620      *       might race another cpu allocating the kva and setting
621      *       ku_pagecnt.
622      */
623     while (slgd->NFreeZones > ZoneRelsThresh && (flags & M_RNOWAIT) == 0) {
624         crit_enter();
625         if (slgd->NFreeZones > ZoneRelsThresh) {        /* crit sect race */
626             int *kup;
627
628             z = slgd->FreeZones;
629             slgd->FreeZones = z->z_Next;
630             --slgd->NFreeZones;
631             kup = btokup(z);
632             *kup = 0;
633             kmem_slab_free(z, ZoneSize);        /* may block */
634             atomic_add_int(&ZoneGenAlloc, -ZoneSize / 1024);
635         }
636         crit_exit();
637     }
638
639     /*
640      * XXX handle oversized frees that were queued from kfree().
641      */
642     while (slgd->FreeOvZones && (flags & M_RNOWAIT) == 0) {
643         crit_enter();
644         if ((z = slgd->FreeOvZones) != NULL) {
645             vm_size_t tsize;
646
647             KKASSERT(z->z_Magic == ZALLOC_OVSZ_MAGIC);
648             slgd->FreeOvZones = z->z_Next;
649             tsize = z->z_ChunkSize;
650             kmem_slab_free(z, tsize);   /* may block */
651             atomic_add_int(&ZoneBigAlloc, -(int)tsize / 1024);
652         }
653         crit_exit();
654     }
655
656     /*
657      * Handle large allocations directly.  There should not be very many of
658      * these so performance is not a big issue.
659      *
660      * The backend allocator is pretty nasty on a SMP system.   Use the
661      * slab allocator for one and two page-sized chunks even though we lose
662      * some efficiency.  XXX maybe fix mmio and the elf loader instead.
663      */
664     if (size >= ZoneLimit || ((size & PAGE_MASK) == 0 && size > PAGE_SIZE*2)) {
665         int *kup;
666
667         size = round_page(size);
668         chunk = kmem_slab_alloc(size, PAGE_SIZE, flags);
669         if (chunk == NULL) {
670             logmemory(malloc_end, NULL, type, size, flags);
671             return(NULL);
672         }
673         atomic_add_int(&ZoneBigAlloc, (int)size / 1024);
674         flags &= ~M_ZERO;       /* result already zero'd if M_ZERO was set */
675         flags |= M_PASSIVE_ZERO;
676         kup = btokup(chunk);
677         *kup = size / PAGE_SIZE;
678         crit_enter();
679         goto done;
680     }
681
682     /*
683      * Attempt to allocate out of an existing zone.  First try the free list,
684      * then allocate out of unallocated space.  If we find a good zone move
685      * it to the head of the list so later allocations find it quickly
686      * (we might have thousands of zones in the list).
687      *
688      * Note: zoneindex() will panic of size is too large.
689      */
690     zi = zoneindex(&size, &align);
691     KKASSERT(zi < NZONES);
692     crit_enter();
693
694     if ((z = slgd->ZoneAry[zi]) != NULL) {
695         /*
696          * Locate a chunk - we have to have at least one.  If this is the
697          * last chunk go ahead and do the work to retrieve chunks freed
698          * from remote cpus, and if the zone is still empty move it off
699          * the ZoneAry.
700          */
701         if (--z->z_NFree <= 0) {
702             KKASSERT(z->z_NFree == 0);
703
704 #ifdef SMP
705             /*
706              * WARNING! This code competes with other cpus.  It is ok
707              * for us to not drain RChunks here but we might as well, and
708              * it is ok if more accumulate after we're done.
709              *
710              * Set RSignal before pulling rchunks off, indicating that we
711              * will be moving ourselves off of the ZoneAry.  Remote ends will
712              * read RSignal before putting rchunks on thus interlocking
713              * their IPI signaling.
714              */
715             if (z->z_RChunks == NULL)
716                 atomic_swap_int(&z->z_RSignal, 1);
717
718             while ((bchunk = z->z_RChunks) != NULL) {
719                 cpu_ccfence();
720                 if (atomic_cmpset_ptr(&z->z_RChunks, bchunk, NULL)) {
721                     *z->z_LChunksp = bchunk;
722                     while (bchunk) {
723                         chunk_mark_free(z, bchunk);
724                         z->z_LChunksp = &bchunk->c_Next;
725                         bchunk = bchunk->c_Next;
726                         ++z->z_NFree;
727                     }
728                     break;
729                 }
730             }
731 #endif
732             /*
733              * Remove from the zone list if no free chunks remain.
734              * Clear RSignal
735              */
736             if (z->z_NFree == 0) {
737                 slgd->ZoneAry[zi] = z->z_Next;
738                 z->z_Next = NULL;
739             } else {
740                 z->z_RSignal = 0;
741             }
742         }
743
744         /*
745          * Fast path, we have chunks available in z_LChunks.
746          */
747         chunk = z->z_LChunks;
748         if (chunk) {
749                 chunk_mark_allocated(z, chunk);
750                 z->z_LChunks = chunk->c_Next;
751                 if (z->z_LChunks == NULL)
752                         z->z_LChunksp = &z->z_LChunks;
753 #ifdef SLAB_DEBUG
754                 slab_record_source(z, file, line);
755 #endif
756                 goto done;
757         }
758
759         /*
760          * No chunks are available in LChunks, the free chunk MUST be
761          * in the never-before-used memory area, controlled by UIndex.
762          *
763          * The consequences are very serious if our zone got corrupted so
764          * we use an explicit panic rather than a KASSERT.
765          */
766         if (z->z_UIndex + 1 != z->z_NMax)
767             ++z->z_UIndex;
768         else
769             z->z_UIndex = 0;
770
771         if (z->z_UIndex == z->z_UEndIndex)
772             panic("slaballoc: corrupted zone");
773
774         chunk = (SLChunk *)(z->z_BasePtr + z->z_UIndex * size);
775         if ((z->z_Flags & SLZF_UNOTZEROD) == 0) {
776             flags &= ~M_ZERO;
777             flags |= M_PASSIVE_ZERO;
778         }
779         chunk_mark_allocated(z, chunk);
780 #ifdef SLAB_DEBUG
781         slab_record_source(z, file, line);
782 #endif
783         goto done;
784     }
785
786     /*
787      * If all zones are exhausted we need to allocate a new zone for this
788      * index.  Use M_ZERO to take advantage of pre-zerod pages.  Also see
789      * UAlloc use above in regards to M_ZERO.  Note that when we are reusing
790      * a zone from the FreeZones list UAlloc'd data will not be zero'd, and
791      * we do not pre-zero it because we do not want to mess up the L1 cache.
792      *
793      * At least one subsystem, the tty code (see CROUND) expects power-of-2
794      * allocations to be power-of-2 aligned.  We maintain compatibility by
795      * adjusting the base offset below.
796      */
797     {
798         int off;
799         int *kup;
800
801         if ((z = slgd->FreeZones) != NULL) {
802             slgd->FreeZones = z->z_Next;
803             --slgd->NFreeZones;
804             bzero(z, sizeof(SLZone));
805             z->z_Flags |= SLZF_UNOTZEROD;
806         } else {
807             z = kmem_slab_alloc(ZoneSize, ZoneSize, flags|M_ZERO);
808             if (z == NULL)
809                 goto fail;
810             atomic_add_int(&ZoneGenAlloc, ZoneSize / 1024);
811         }
812
813         /*
814          * How big is the base structure?
815          */
816 #if defined(INVARIANTS)
817         /*
818          * Make room for z_Bitmap.  An exact calculation is somewhat more
819          * complicated so don't make an exact calculation.
820          */
821         off = offsetof(SLZone, z_Bitmap[(ZoneSize / size + 31) / 32]);
822         bzero(z->z_Bitmap, (ZoneSize / size + 31) / 8);
823 #else
824         off = sizeof(SLZone);
825 #endif
826
827         /*
828          * Guarentee power-of-2 alignment for power-of-2-sized chunks.
829          * Otherwise just 8-byte align the data.
830          */
831         if ((size | (size - 1)) + 1 == (size << 1))
832             off = (off + size - 1) & ~(size - 1);
833         else
834             off = (off + align - 1) & ~(align - 1);
835         z->z_Magic = ZALLOC_SLAB_MAGIC;
836         z->z_ZoneIndex = zi;
837         z->z_NMax = (ZoneSize - off) / size;
838         z->z_NFree = z->z_NMax - 1;
839         z->z_BasePtr = (char *)z + off;
840         z->z_UIndex = z->z_UEndIndex = slgd->JunkIndex % z->z_NMax;
841         z->z_ChunkSize = size;
842         z->z_CpuGd = gd;
843         z->z_Cpu = gd->gd_cpuid;
844         z->z_LChunksp = &z->z_LChunks;
845 #ifdef SLAB_DEBUG
846         bcopy(z->z_Sources, z->z_AltSources, sizeof(z->z_Sources));
847         bzero(z->z_Sources, sizeof(z->z_Sources));
848 #endif
849         chunk = (SLChunk *)(z->z_BasePtr + z->z_UIndex * size);
850         z->z_Next = slgd->ZoneAry[zi];
851         slgd->ZoneAry[zi] = z;
852         if ((z->z_Flags & SLZF_UNOTZEROD) == 0) {
853             flags &= ~M_ZERO;   /* already zero'd */
854             flags |= M_PASSIVE_ZERO;
855         }
856         kup = btokup(z);
857         *kup = -(z->z_Cpu + 1); /* -1 to -(N+1) */
858         chunk_mark_allocated(z, chunk);
859 #ifdef SLAB_DEBUG
860         slab_record_source(z, file, line);
861 #endif
862
863         /*
864          * Slide the base index for initial allocations out of the next
865          * zone we create so we do not over-weight the lower part of the
866          * cpu memory caches.
867          */
868         slgd->JunkIndex = (slgd->JunkIndex + ZALLOC_SLAB_SLIDE)
869                                 & (ZALLOC_MAX_ZONE_SIZE - 1);
870     }
871
872 done:
873     ++type->ks_inuse[gd->gd_cpuid];
874     type->ks_memuse[gd->gd_cpuid] += size;
875     type->ks_loosememuse += size;       /* not MP synchronized */
876     crit_exit();
877
878     if (flags & M_ZERO)
879         bzero(chunk, size);
880 #ifdef INVARIANTS
881     else if ((flags & (M_ZERO|M_PASSIVE_ZERO)) == 0) {
882         if (use_malloc_pattern) {
883             for (i = 0; i < size; i += sizeof(int)) {
884                 *(int *)((char *)chunk + i) = -1;
885             }
886         }
887         chunk->c_Next = (void *)-1; /* avoid accidental double-free check */
888     }
889 #endif
890     logmemory(malloc_end, chunk, type, size, flags);
891     return(chunk);
892 fail:
893     crit_exit();
894     logmemory(malloc_end, NULL, type, size, flags);
895     return(NULL);
896 }
897
898 /*
899  * kernel realloc.  (SLAB ALLOCATOR) (MP SAFE)
900  *
901  * Generally speaking this routine is not called very often and we do
902  * not attempt to optimize it beyond reusing the same pointer if the
903  * new size fits within the chunking of the old pointer's zone.
904  */
905 #ifdef SLAB_DEBUG
906 void *
907 krealloc_debug(void *ptr, unsigned long size,
908                struct malloc_type *type, int flags,
909                const char *file, int line)
910 #else
911 void *
912 krealloc(void *ptr, unsigned long size, struct malloc_type *type, int flags)
913 #endif
914 {
915     unsigned long osize;
916     unsigned long align;
917     SLZone *z;
918     void *nptr;
919     int *kup;
920
921     KKASSERT((flags & M_ZERO) == 0);    /* not supported */
922
923     if (ptr == NULL || ptr == ZERO_LENGTH_PTR)
924         return(kmalloc_debug(size, type, flags, file, line));
925     if (size == 0) {
926         kfree(ptr, type);
927         return(NULL);
928     }
929
930     /*
931      * Handle oversized allocations.  XXX we really should require that a
932      * size be passed to free() instead of this nonsense.
933      */
934     kup = btokup(ptr);
935     if (*kup > 0) {
936         osize = *kup << PAGE_SHIFT;
937         if (osize == round_page(size))
938             return(ptr);
939         if ((nptr = kmalloc_debug(size, type, flags, file, line)) == NULL)
940             return(NULL);
941         bcopy(ptr, nptr, min(size, osize));
942         kfree(ptr, type);
943         return(nptr);
944     }
945
946     /*
947      * Get the original allocation's zone.  If the new request winds up
948      * using the same chunk size we do not have to do anything.
949      */
950     z = (SLZone *)((uintptr_t)ptr & ZoneMask);
951     kup = btokup(z);
952     KKASSERT(*kup < 0);
953     KKASSERT(z->z_Magic == ZALLOC_SLAB_MAGIC);
954
955     /*
956      * Allocate memory for the new request size.  Note that zoneindex has
957      * already adjusted the request size to the appropriate chunk size, which
958      * should optimize our bcopy().  Then copy and return the new pointer.
959      *
960      * Resizing a non-power-of-2 allocation to a power-of-2 size does not
961      * necessary align the result.
962      *
963      * We can only zoneindex (to align size to the chunk size) if the new
964      * size is not too large.
965      */
966     if (size < ZoneLimit) {
967         zoneindex(&size, &align);
968         if (z->z_ChunkSize == size)
969             return(ptr);
970     }
971     if ((nptr = kmalloc_debug(size, type, flags, file, line)) == NULL)
972         return(NULL);
973     bcopy(ptr, nptr, min(size, z->z_ChunkSize));
974     kfree(ptr, type);
975     return(nptr);
976 }
977
978 /*
979  * Return the kmalloc limit for this type, in bytes.
980  */
981 long
982 kmalloc_limit(struct malloc_type *type)
983 {
984     if (type->ks_limit == 0) {
985         crit_enter();
986         if (type->ks_limit == 0)
987             malloc_init(type);
988         crit_exit();
989     }
990     return(type->ks_limit);
991 }
992
993 /*
994  * Allocate a copy of the specified string.
995  *
996  * (MP SAFE) (MAY BLOCK)
997  */
998 #ifdef SLAB_DEBUG
999 char *
1000 kstrdup_debug(const char *str, struct malloc_type *type,
1001               const char *file, int line)
1002 #else
1003 char *
1004 kstrdup(const char *str, struct malloc_type *type)
1005 #endif
1006 {
1007     int zlen;   /* length inclusive of terminating NUL */
1008     char *nstr;
1009
1010     if (str == NULL)
1011         return(NULL);
1012     zlen = strlen(str) + 1;
1013     nstr = kmalloc_debug(zlen, type, M_WAITOK, file, line);
1014     bcopy(str, nstr, zlen);
1015     return(nstr);
1016 }
1017
1018 #ifdef SMP
1019 /*
1020  * Notify our cpu that a remote cpu has freed some chunks in a zone that
1021  * we own.  RCount will be bumped so the memory should be good, but validate
1022  * that it really is.
1023  */
1024 static
1025 void
1026 kfree_remote(void *ptr)
1027 {
1028     SLGlobalData *slgd;
1029     SLChunk *bchunk;
1030     SLZone *z;
1031     int nfree;
1032     int *kup;
1033
1034     slgd = &mycpu->gd_slab;
1035     z = ptr;
1036     kup = btokup(z);
1037     KKASSERT(*kup == -((int)mycpuid + 1));
1038     KKASSERT(z->z_RCount > 0);
1039     atomic_subtract_int(&z->z_RCount, 1);
1040
1041     logmemory(free_rem_beg, z, NULL, 0L, 0);
1042     KKASSERT(z->z_Magic == ZALLOC_SLAB_MAGIC);
1043     KKASSERT(z->z_Cpu  == mycpu->gd_cpuid);
1044     nfree = z->z_NFree;
1045
1046     /*
1047      * Indicate that we will no longer be off of the ZoneAry by
1048      * clearing RSignal.
1049      */
1050     if (z->z_RChunks)
1051         z->z_RSignal = 0;
1052
1053     /*
1054      * Atomically extract the bchunks list and then process it back
1055      * into the lchunks list.  We want to append our bchunks to the
1056      * lchunks list and not prepend since we likely do not have
1057      * cache mastership of the related data (not that it helps since
1058      * we are using c_Next).
1059      */
1060     while ((bchunk = z->z_RChunks) != NULL) {
1061         cpu_ccfence();
1062         if (atomic_cmpset_ptr(&z->z_RChunks, bchunk, NULL)) {
1063             *z->z_LChunksp = bchunk;
1064             while (bchunk) {
1065                     chunk_mark_free(z, bchunk);
1066                     z->z_LChunksp = &bchunk->c_Next;
1067                     bchunk = bchunk->c_Next;
1068                     ++z->z_NFree;
1069             }
1070             break;
1071         }
1072     }
1073     if (z->z_NFree && nfree == 0) {
1074         z->z_Next = slgd->ZoneAry[z->z_ZoneIndex];
1075         slgd->ZoneAry[z->z_ZoneIndex] = z;
1076     }
1077
1078     /*
1079      * If the zone becomes totally free, and there are other zones we
1080      * can allocate from, move this zone to the FreeZones list.  Since
1081      * this code can be called from an IPI callback, do *NOT* try to mess
1082      * with kernel_map here.  Hysteresis will be performed at malloc() time.
1083      *
1084      * Do not move the zone if there is an IPI inflight, otherwise MP
1085      * races can result in our free_remote code accessing a destroyed
1086      * zone.
1087      */
1088     if (z->z_NFree == z->z_NMax &&
1089         (z->z_Next || slgd->ZoneAry[z->z_ZoneIndex] != z) &&
1090         z->z_RCount == 0
1091     ) {
1092         SLZone **pz;
1093         int *kup;
1094
1095         for (pz = &slgd->ZoneAry[z->z_ZoneIndex];
1096              z != *pz;
1097              pz = &(*pz)->z_Next) {
1098             ;
1099         }
1100         *pz = z->z_Next;
1101         z->z_Magic = -1;
1102         z->z_Next = slgd->FreeZones;
1103         slgd->FreeZones = z;
1104         ++slgd->NFreeZones;
1105         kup = btokup(z);
1106         *kup = 0;
1107     }
1108     logmemory(free_rem_end, z, bchunk, 0L, 0);
1109 }
1110
1111 #endif
1112
1113 /*
1114  * free (SLAB ALLOCATOR)
1115  *
1116  * Free a memory block previously allocated by malloc.  Note that we do not
1117  * attempt to update ks_loosememuse as MP races could prevent us from
1118  * checking memory limits in malloc.
1119  *
1120  * MPSAFE
1121  */
1122 void
1123 kfree(void *ptr, struct malloc_type *type)
1124 {
1125     SLZone *z;
1126     SLChunk *chunk;
1127     SLGlobalData *slgd;
1128     struct globaldata *gd;
1129     int *kup;
1130     unsigned long size;
1131 #ifdef SMP
1132     SLChunk *bchunk;
1133     int rsignal;
1134 #endif
1135
1136     logmemory_quick(free_beg);
1137     gd = mycpu;
1138     slgd = &gd->gd_slab;
1139
1140     if (ptr == NULL)
1141         panic("trying to free NULL pointer");
1142
1143     /*
1144      * Handle special 0-byte allocations
1145      */
1146     if (ptr == ZERO_LENGTH_PTR) {
1147         logmemory(free_zero, ptr, type, -1UL, 0);
1148         logmemory_quick(free_end);
1149         return;
1150     }
1151
1152     /*
1153      * Panic on bad malloc type
1154      */
1155     if (type->ks_magic != M_MAGIC)
1156         panic("free: malloc type lacks magic");
1157
1158     /*
1159      * Handle oversized allocations.  XXX we really should require that a
1160      * size be passed to free() instead of this nonsense.
1161      *
1162      * This code is never called via an ipi.
1163      */
1164     kup = btokup(ptr);
1165     if (*kup > 0) {
1166         size = *kup << PAGE_SHIFT;
1167         *kup = 0;
1168 #ifdef INVARIANTS
1169         KKASSERT(sizeof(weirdary) <= size);
1170         bcopy(weirdary, ptr, sizeof(weirdary));
1171 #endif
1172         /*
1173          * NOTE: For oversized allocations we do not record the
1174          *           originating cpu.  It gets freed on the cpu calling
1175          *           kfree().  The statistics are in aggregate.
1176          *
1177          * note: XXX we have still inherited the interrupts-can't-block
1178          * assumption.  An interrupt thread does not bump
1179          * gd_intr_nesting_level so check TDF_INTTHREAD.  This is
1180          * primarily until we can fix softupdate's assumptions about free().
1181          */
1182         crit_enter();
1183         --type->ks_inuse[gd->gd_cpuid];
1184         type->ks_memuse[gd->gd_cpuid] -= size;
1185         if (mycpu->gd_intr_nesting_level ||
1186             (gd->gd_curthread->td_flags & TDF_INTTHREAD))
1187         {
1188             logmemory(free_ovsz_delayed, ptr, type, size, 0);
1189             z = (SLZone *)ptr;
1190             z->z_Magic = ZALLOC_OVSZ_MAGIC;
1191             z->z_Next = slgd->FreeOvZones;
1192             z->z_ChunkSize = size;
1193             slgd->FreeOvZones = z;
1194             crit_exit();
1195         } else {
1196             crit_exit();
1197             logmemory(free_ovsz, ptr, type, size, 0);
1198             kmem_slab_free(ptr, size);  /* may block */
1199             atomic_add_int(&ZoneBigAlloc, -(int)size / 1024);
1200         }
1201         logmemory_quick(free_end);
1202         return;
1203     }
1204
1205     /*
1206      * Zone case.  Figure out the zone based on the fact that it is
1207      * ZoneSize aligned. 
1208      */
1209     z = (SLZone *)((uintptr_t)ptr & ZoneMask);
1210     kup = btokup(z);
1211     KKASSERT(*kup < 0);
1212     KKASSERT(z->z_Magic == ZALLOC_SLAB_MAGIC);
1213
1214     /*
1215      * If we do not own the zone then use atomic ops to free to the
1216      * remote cpu linked list and notify the target zone using a
1217      * passive message.
1218      *
1219      * The target zone cannot be deallocated while we own a chunk of it,
1220      * so the zone header's storage is stable until the very moment
1221      * we adjust z_RChunks.  After that we cannot safely dereference (z).
1222      *
1223      * (no critical section needed)
1224      */
1225     if (z->z_CpuGd != gd) {
1226 #ifdef SMP
1227         /*
1228          * Making these adjustments now allow us to avoid passing (type)
1229          * to the remote cpu.  Note that ks_inuse/ks_memuse is being
1230          * adjusted on OUR cpu, not the zone cpu, but it should all still
1231          * sum up properly and cancel out.
1232          */
1233         crit_enter();
1234         --type->ks_inuse[gd->gd_cpuid];
1235         type->ks_memuse[gd->gd_cpuid] -= z->z_ChunkSize;
1236         crit_exit();
1237
1238         /*
1239          * WARNING! This code competes with other cpus.  Once we
1240          *          successfully link the chunk to RChunks the remote
1241          *          cpu can rip z's storage out from under us.
1242          *
1243          *          Bumping RCount prevents z's storage from getting
1244          *          ripped out.
1245          */
1246         rsignal = z->z_RSignal;
1247         cpu_lfence();
1248         if (rsignal)
1249                 atomic_add_int(&z->z_RCount, 1);
1250
1251         chunk = ptr;
1252         for (;;) {
1253             bchunk = z->z_RChunks;
1254             cpu_ccfence();
1255             chunk->c_Next = bchunk;
1256             cpu_sfence();
1257
1258             if (atomic_cmpset_ptr(&z->z_RChunks, bchunk, chunk))
1259                 break;
1260         }
1261
1262         /*
1263          * We have to signal the remote cpu if our actions will cause
1264          * the remote zone to be placed back on ZoneAry so it can
1265          * move the zone back on.
1266          *
1267          * We only need to deal with NULL->non-NULL RChunk transitions
1268          * and only if z_RSignal is set.  We interlock by reading rsignal
1269          * before adding our chunk to RChunks.  This should result in
1270          * virtually no IPI traffic.
1271          *
1272          * We can use a passive IPI to reduce overhead even further.
1273          */
1274         if (bchunk == NULL && rsignal) {
1275                 logmemory(free_request, ptr, type, (unsigned long)z->z_ChunkSize, 0);
1276             lwkt_send_ipiq_passive(z->z_CpuGd, kfree_remote, z);
1277             /* z can get ripped out from under us from this point on */
1278         } else if (rsignal) {
1279             atomic_subtract_int(&z->z_RCount, 1);
1280             /* z can get ripped out from under us from this point on */
1281         }
1282 #else
1283         panic("Corrupt SLZone");
1284 #endif
1285         logmemory_quick(free_end);
1286         return;
1287     }
1288
1289     /*
1290      * kfree locally
1291      */
1292     logmemory(free_chunk, ptr, type, (unsigned long)z->z_ChunkSize, 0);
1293
1294     crit_enter();
1295     chunk = ptr;
1296     chunk_mark_free(z, chunk);
1297
1298     /*
1299      * Put weird data into the memory to detect modifications after freeing,
1300      * illegal pointer use after freeing (we should fault on the odd address),
1301      * and so forth.  XXX needs more work, see the old malloc code.
1302      */
1303 #ifdef INVARIANTS
1304     if (z->z_ChunkSize < sizeof(weirdary))
1305         bcopy(weirdary, chunk, z->z_ChunkSize);
1306     else
1307         bcopy(weirdary, chunk, sizeof(weirdary));
1308 #endif
1309
1310     /*
1311      * Add this free non-zero'd chunk to a linked list for reuse.  Add
1312      * to the front of the linked list so it is more likely to be
1313      * reallocated, since it is already in our L1 cache.
1314      */
1315 #ifdef INVARIANTS
1316     if ((vm_offset_t)chunk < KvaStart || (vm_offset_t)chunk >= KvaEnd)
1317         panic("BADFREE %p", chunk);
1318 #endif
1319     chunk->c_Next = z->z_LChunks;
1320     z->z_LChunks = chunk;
1321     if (chunk->c_Next == NULL)
1322             z->z_LChunksp = &chunk->c_Next;
1323
1324 #ifdef INVARIANTS
1325     if (chunk->c_Next && (vm_offset_t)chunk->c_Next < KvaStart)
1326         panic("BADFREE2");
1327 #endif
1328
1329     /*
1330      * Bump the number of free chunks.  If it becomes non-zero the zone
1331      * must be added back onto the appropriate list.
1332      */
1333     if (z->z_NFree++ == 0) {
1334         z->z_Next = slgd->ZoneAry[z->z_ZoneIndex];
1335         slgd->ZoneAry[z->z_ZoneIndex] = z;
1336     }
1337
1338     --type->ks_inuse[z->z_Cpu];
1339     type->ks_memuse[z->z_Cpu] -= z->z_ChunkSize;
1340
1341     /*
1342      * If the zone becomes totally free, and there are other zones we
1343      * can allocate from, move this zone to the FreeZones list.  Since
1344      * this code can be called from an IPI callback, do *NOT* try to mess
1345      * with kernel_map here.  Hysteresis will be performed at malloc() time.
1346      */
1347     if (z->z_NFree == z->z_NMax && 
1348         (z->z_Next || slgd->ZoneAry[z->z_ZoneIndex] != z) &&
1349         z->z_RCount == 0
1350     ) {
1351         SLZone **pz;
1352         int *kup;
1353
1354         for (pz = &slgd->ZoneAry[z->z_ZoneIndex]; z != *pz; pz = &(*pz)->z_Next)
1355             ;
1356         *pz = z->z_Next;
1357         z->z_Magic = -1;
1358         z->z_Next = slgd->FreeZones;
1359         slgd->FreeZones = z;
1360         ++slgd->NFreeZones;
1361         kup = btokup(z);
1362         *kup = 0;
1363     }
1364     logmemory_quick(free_end);
1365     crit_exit();
1366 }
1367
1368 #if defined(INVARIANTS)
1369
1370 /*
1371  * Helper routines for sanity checks
1372  */
1373 static
1374 void
1375 chunk_mark_allocated(SLZone *z, void *chunk)
1376 {
1377     int bitdex = ((char *)chunk - (char *)z->z_BasePtr) / z->z_ChunkSize;
1378     __uint32_t *bitptr;
1379
1380     KKASSERT((((intptr_t)chunk ^ (intptr_t)z) & ZoneMask) == 0);
1381     KASSERT(bitdex >= 0 && bitdex < z->z_NMax,
1382             ("memory chunk %p bit index %d is illegal", chunk, bitdex));
1383     bitptr = &z->z_Bitmap[bitdex >> 5];
1384     bitdex &= 31;
1385     KASSERT((*bitptr & (1 << bitdex)) == 0,
1386             ("memory chunk %p is already allocated!", chunk));
1387     *bitptr |= 1 << bitdex;
1388 }
1389
1390 static
1391 void
1392 chunk_mark_free(SLZone *z, void *chunk)
1393 {
1394     int bitdex = ((char *)chunk - (char *)z->z_BasePtr) / z->z_ChunkSize;
1395     __uint32_t *bitptr;
1396
1397     KKASSERT((((intptr_t)chunk ^ (intptr_t)z) & ZoneMask) == 0);
1398     KASSERT(bitdex >= 0 && bitdex < z->z_NMax,
1399             ("memory chunk %p bit index %d is illegal!", chunk, bitdex));
1400     bitptr = &z->z_Bitmap[bitdex >> 5];
1401     bitdex &= 31;
1402     KASSERT((*bitptr & (1 << bitdex)) != 0,
1403             ("memory chunk %p is already free!", chunk));
1404     *bitptr &= ~(1 << bitdex);
1405 }
1406
1407 #endif
1408
1409 /*
1410  * kmem_slab_alloc()
1411  *
1412  *      Directly allocate and wire kernel memory in PAGE_SIZE chunks with the
1413  *      specified alignment.  M_* flags are expected in the flags field.
1414  *
1415  *      Alignment must be a multiple of PAGE_SIZE.
1416  *
1417  *      NOTE! XXX For the moment we use vm_map_entry_reserve/release(),
1418  *      but when we move zalloc() over to use this function as its backend
1419  *      we will have to switch to kreserve/krelease and call reserve(0)
1420  *      after the new space is made available.
1421  *
1422  *      Interrupt code which has preempted other code is not allowed to
1423  *      use PQ_CACHE pages.  However, if an interrupt thread is run
1424  *      non-preemptively or blocks and then runs non-preemptively, then
1425  *      it is free to use PQ_CACHE pages.  <--- may not apply any longer XXX
1426  */
1427 static void *
1428 kmem_slab_alloc(vm_size_t size, vm_offset_t align, int flags)
1429 {
1430     vm_size_t i;
1431     vm_offset_t addr;
1432     int count, vmflags, base_vmflags;
1433     vm_page_t mbase = NULL;
1434     vm_page_t m;
1435     thread_t td;
1436
1437     size = round_page(size);
1438     addr = vm_map_min(&kernel_map);
1439
1440     count = vm_map_entry_reserve(MAP_RESERVE_COUNT);
1441     crit_enter();
1442     vm_map_lock(&kernel_map);
1443     if (vm_map_findspace(&kernel_map, addr, size, align, 0, &addr)) {
1444         vm_map_unlock(&kernel_map);
1445         if ((flags & M_NULLOK) == 0)
1446             panic("kmem_slab_alloc(): kernel_map ran out of space!");
1447         vm_map_entry_release(count);
1448         crit_exit();
1449         return(NULL);
1450     }
1451
1452     /*
1453      * kernel_object maps 1:1 to kernel_map.
1454      */
1455     vm_object_hold(&kernel_object);
1456     vm_object_reference_locked(&kernel_object);
1457     vm_map_insert(&kernel_map, &count, 
1458                     &kernel_object, addr, addr, addr + size,
1459                     VM_MAPTYPE_NORMAL,
1460                     VM_PROT_ALL, VM_PROT_ALL,
1461                     0);
1462     vm_object_drop(&kernel_object);
1463     vm_map_set_wired_quick(&kernel_map, addr, size, &count);
1464     vm_map_unlock(&kernel_map);
1465
1466     td = curthread;
1467
1468     base_vmflags = 0;
1469     if (flags & M_ZERO)
1470         base_vmflags |= VM_ALLOC_ZERO;
1471     if (flags & M_USE_RESERVE)
1472         base_vmflags |= VM_ALLOC_SYSTEM;
1473     if (flags & M_USE_INTERRUPT_RESERVE)
1474         base_vmflags |= VM_ALLOC_INTERRUPT;
1475     if ((flags & (M_RNOWAIT|M_WAITOK)) == 0) {
1476         panic("kmem_slab_alloc: bad flags %08x (%p)",
1477               flags, ((int **)&size)[-1]);
1478     }
1479
1480     /*
1481      * Allocate the pages.  Do not mess with the PG_ZERO flag or map
1482      * them yet.  VM_ALLOC_NORMAL can only be set if we are not preempting.
1483      *
1484      * VM_ALLOC_SYSTEM is automatically set if we are preempting and
1485      * M_WAITOK was specified as an alternative (i.e. M_USE_RESERVE is
1486      * implied in this case), though I'm not sure if we really need to
1487      * do that.
1488      */
1489     vmflags = base_vmflags;
1490     if (flags & M_WAITOK) {
1491         if (td->td_preempted)
1492             vmflags |= VM_ALLOC_SYSTEM;
1493         else
1494             vmflags |= VM_ALLOC_NORMAL;
1495     }
1496
1497     vm_object_hold(&kernel_object);
1498     for (i = 0; i < size; i += PAGE_SIZE) {
1499         m = vm_page_alloc(&kernel_object, OFF_TO_IDX(addr + i), vmflags);
1500         if (i == 0)
1501                 mbase = m;
1502
1503         /*
1504          * If the allocation failed we either return NULL or we retry.
1505          *
1506          * If M_WAITOK is specified we wait for more memory and retry.
1507          * If M_WAITOK is specified from a preemption we yield instead of
1508          * wait.  Livelock will not occur because the interrupt thread
1509          * will not be preempting anyone the second time around after the
1510          * yield.
1511          */
1512         if (m == NULL) {
1513             if (flags & M_WAITOK) {
1514                 if (td->td_preempted) {
1515                     lwkt_switch();
1516                 } else {
1517                     vm_wait(0);
1518                 }
1519                 i -= PAGE_SIZE; /* retry */
1520                 continue;
1521             }
1522             break;
1523         }
1524     }
1525
1526     /*
1527      * Check and deal with an allocation failure
1528      */
1529     if (i != size) {
1530         while (i != 0) {
1531             i -= PAGE_SIZE;
1532             m = vm_page_lookup(&kernel_object, OFF_TO_IDX(addr + i));
1533             /* page should already be busy */
1534             vm_page_free(m);
1535         }
1536         vm_map_lock(&kernel_map);
1537         vm_map_delete(&kernel_map, addr, addr + size, &count);
1538         vm_map_unlock(&kernel_map);
1539         vm_object_drop(&kernel_object);
1540
1541         vm_map_entry_release(count);
1542         crit_exit();
1543         return(NULL);
1544     }
1545
1546     /*
1547      * Success!
1548      *
1549      * NOTE: The VM pages are still busied.  mbase points to the first one
1550      *       but we have to iterate via vm_page_next()
1551      */
1552     vm_object_drop(&kernel_object);
1553     crit_exit();
1554
1555     /*
1556      * Enter the pages into the pmap and deal with PG_ZERO and M_ZERO.
1557      */
1558     m = mbase;
1559     i = 0;
1560
1561     while (i < size) {
1562         /*
1563          * page should already be busy
1564          */
1565         m->valid = VM_PAGE_BITS_ALL;
1566         vm_page_wire(m);
1567         pmap_enter(&kernel_pmap, addr + i, m, VM_PROT_ALL | VM_PROT_NOSYNC,
1568                    1, NULL);
1569         if ((m->flags & PG_ZERO) == 0 && (flags & M_ZERO))
1570             bzero((char *)addr + i, PAGE_SIZE);
1571         vm_page_flag_clear(m, PG_ZERO);
1572         KKASSERT(m->flags & (PG_WRITEABLE | PG_MAPPED));
1573         vm_page_flag_set(m, PG_REFERENCED);
1574         vm_page_wakeup(m);
1575
1576         i += PAGE_SIZE;
1577         vm_object_hold(&kernel_object);
1578         m = vm_page_next(m);
1579         vm_object_drop(&kernel_object);
1580     }
1581     smp_invltlb();
1582     vm_map_entry_release(count);
1583     return((void *)addr);
1584 }
1585
1586 /*
1587  * kmem_slab_free()
1588  */
1589 static void
1590 kmem_slab_free(void *ptr, vm_size_t size)
1591 {
1592     crit_enter();
1593     vm_map_remove(&kernel_map, (vm_offset_t)ptr, (vm_offset_t)ptr + size);
1594     crit_exit();
1595 }
1596
1597 void *
1598 kmalloc_cachealign(unsigned long size_alloc, struct malloc_type *type,
1599     int flags)
1600 {
1601 #if (__VM_CACHELINE_SIZE == 32)
1602 #define CAN_CACHEALIGN(sz)      ((sz) >= 256)
1603 #elif (__VM_CACHELINE_SIZE == 64)
1604 #define CAN_CACHEALIGN(sz)      ((sz) >= 512)
1605 #elif (__VM_CACHELINE_SIZE == 128)
1606 #define CAN_CACHEALIGN(sz)      ((sz) >= 1024)
1607 #else
1608 #error "unsupported cacheline size"
1609 #endif
1610
1611         void *ret;
1612
1613         if (size_alloc < __VM_CACHELINE_SIZE)
1614                 size_alloc = __VM_CACHELINE_SIZE;
1615         else if (!CAN_CACHEALIGN(size_alloc))
1616                 flags |= M_POWEROF2;
1617
1618         ret = kmalloc(size_alloc, type, flags);
1619         KASSERT(((uintptr_t)ret & (__VM_CACHELINE_SIZE - 1)) == 0,
1620             ("%p(%lu) not cacheline %d aligned",
1621              ret, size_alloc, __VM_CACHELINE_SIZE));
1622         return ret;
1623
1624 #undef CAN_CACHEALIGN
1625 }