362092f59bfa10dd3bb0183c655036a56644b6c0
[dragonfly.git] / sys / kern / kern_slaballoc.c
1 /*
2  * (MPSAFE)
3  *
4  * KERN_SLABALLOC.C     - Kernel SLAB memory allocator
5  * 
6  * Copyright (c) 2003,2004,2010 The DragonFly Project.  All rights reserved.
7  * 
8  * This code is derived from software contributed to The DragonFly Project
9  * by Matthew Dillon <dillon@backplane.com>
10  * 
11  * Redistribution and use in source and binary forms, with or without
12  * modification, are permitted provided that the following conditions
13  * are met:
14  * 
15  * 1. Redistributions of source code must retain the above copyright
16  *    notice, this list of conditions and the following disclaimer.
17  * 2. Redistributions in binary form must reproduce the above copyright
18  *    notice, this list of conditions and the following disclaimer in
19  *    the documentation and/or other materials provided with the
20  *    distribution.
21  * 3. Neither the name of The DragonFly Project nor the names of its
22  *    contributors may be used to endorse or promote products derived
23  *    from this software without specific, prior written permission.
24  * 
25  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
26  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
27  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
28  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
29  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
30  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
31  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
32  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
33  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
34  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
35  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
36  * SUCH DAMAGE.
37  *
38  * This module implements a slab allocator drop-in replacement for the
39  * kernel malloc().
40  *
41  * A slab allocator reserves a ZONE for each chunk size, then lays the
42  * chunks out in an array within the zone.  Allocation and deallocation
43  * is nearly instantanious, and fragmentation/overhead losses are limited
44  * to a fixed worst-case amount.
45  *
46  * The downside of this slab implementation is in the chunk size
47  * multiplied by the number of zones.  ~80 zones * 128K = 10MB of VM per cpu.
48  * In a kernel implementation all this memory will be physical so
49  * the zone size is adjusted downward on machines with less physical
50  * memory.  The upside is that overhead is bounded... this is the *worst*
51  * case overhead.
52  *
53  * Slab management is done on a per-cpu basis and no locking or mutexes
54  * are required, only a critical section.  When one cpu frees memory
55  * belonging to another cpu's slab manager an asynchronous IPI message
56  * will be queued to execute the operation.   In addition, both the
57  * high level slab allocator and the low level zone allocator optimize
58  * M_ZERO requests, and the slab allocator does not have to pre initialize
59  * the linked list of chunks.
60  *
61  * XXX Balancing is needed between cpus.  Balance will be handled through
62  * asynchronous IPIs primarily by reassigning the z_Cpu ownership of chunks.
63  *
64  * XXX If we have to allocate a new zone and M_USE_RESERVE is set, use of
65  * the new zone should be restricted to M_USE_RESERVE requests only.
66  *
67  *      Alloc Size      Chunking        Number of zones
68  *      0-127           8               16
69  *      128-255         16              8
70  *      256-511         32              8
71  *      512-1023        64              8
72  *      1024-2047       128             8
73  *      2048-4095       256             8
74  *      4096-8191       512             8
75  *      8192-16383      1024            8
76  *      16384-32767     2048            8
77  *      (if PAGE_SIZE is 4K the maximum zone allocation is 16383)
78  *
79  *      Allocations >= ZoneLimit go directly to kmem.
80  *
81  * Alignment properties:
82  * - All power-of-2 sized allocations are power-of-2 aligned.
83  * - Allocations with M_POWEROF2 are power-of-2 aligned on the nearest
84  *   power-of-2 round up of 'size'.
85  * - Non-power-of-2 sized allocations are zone chunk size aligned (see the
86  *   above table 'Chunking' column).
87  *
88  *                      API REQUIREMENTS AND SIDE EFFECTS
89  *
90  *    To operate as a drop-in replacement to the FreeBSD-4.x malloc() we
91  *    have remained compatible with the following API requirements:
92  *
93  *    + malloc(0) is allowed and returns non-NULL (ahc driver)
94  *    + ability to allocate arbitrarily large chunks of memory
95  */
96
97 #include "opt_vm.h"
98
99 #include <sys/param.h>
100 #include <sys/systm.h>
101 #include <sys/kernel.h>
102 #include <sys/slaballoc.h>
103 #include <sys/mbuf.h>
104 #include <sys/vmmeter.h>
105 #include <sys/lock.h>
106 #include <sys/thread.h>
107 #include <sys/globaldata.h>
108 #include <sys/sysctl.h>
109 #include <sys/ktr.h>
110
111 #include <vm/vm.h>
112 #include <vm/vm_param.h>
113 #include <vm/vm_kern.h>
114 #include <vm/vm_extern.h>
115 #include <vm/vm_object.h>
116 #include <vm/pmap.h>
117 #include <vm/vm_map.h>
118 #include <vm/vm_page.h>
119 #include <vm/vm_pageout.h>
120
121 #include <machine/cpu.h>
122
123 #include <sys/thread2.h>
124
125 #define btokup(z)       (&pmap_kvtom((vm_offset_t)(z))->ku_pagecnt)
126
127 #define MEMORY_STRING   "ptr=%p type=%p size=%lu flags=%04x"
128 #define MEMORY_ARGS     void *ptr, void *type, unsigned long size, int flags
129
130 #if !defined(KTR_MEMORY)
131 #define KTR_MEMORY      KTR_ALL
132 #endif
133 KTR_INFO_MASTER(memory);
134 KTR_INFO(KTR_MEMORY, memory, malloc_beg, 0, "malloc begin");
135 KTR_INFO(KTR_MEMORY, memory, malloc_end, 1, MEMORY_STRING, MEMORY_ARGS);
136 KTR_INFO(KTR_MEMORY, memory, free_zero, 2, MEMORY_STRING, MEMORY_ARGS);
137 KTR_INFO(KTR_MEMORY, memory, free_ovsz, 3, MEMORY_STRING, MEMORY_ARGS);
138 KTR_INFO(KTR_MEMORY, memory, free_ovsz_delayed, 4, MEMORY_STRING, MEMORY_ARGS);
139 KTR_INFO(KTR_MEMORY, memory, free_chunk, 5, MEMORY_STRING, MEMORY_ARGS);
140 #ifdef SMP
141 KTR_INFO(KTR_MEMORY, memory, free_request, 6, MEMORY_STRING, MEMORY_ARGS);
142 KTR_INFO(KTR_MEMORY, memory, free_rem_beg, 7, MEMORY_STRING, MEMORY_ARGS);
143 KTR_INFO(KTR_MEMORY, memory, free_rem_end, 8, MEMORY_STRING, MEMORY_ARGS);
144 #endif
145 KTR_INFO(KTR_MEMORY, memory, free_beg, 9, "free begin");
146 KTR_INFO(KTR_MEMORY, memory, free_end, 10, "free end");
147
148 #define logmemory(name, ptr, type, size, flags)                         \
149         KTR_LOG(memory_ ## name, ptr, type, size, flags)
150 #define logmemory_quick(name)                                           \
151         KTR_LOG(memory_ ## name)
152
153 /*
154  * Fixed globals (not per-cpu)
155  */
156 static int ZoneSize;
157 static int ZoneLimit;
158 static int ZonePageCount;
159 static uintptr_t ZoneMask;
160 static int ZoneBigAlloc;                /* in KB */
161 static int ZoneGenAlloc;                /* in KB */
162 struct malloc_type *kmemstatistics;     /* exported to vmstat */
163 static int32_t weirdary[16];
164
165 static void *kmem_slab_alloc(vm_size_t bytes, vm_offset_t align, int flags);
166 static void kmem_slab_free(void *ptr, vm_size_t bytes);
167
168 #if defined(INVARIANTS)
169 static void chunk_mark_allocated(SLZone *z, void *chunk);
170 static void chunk_mark_free(SLZone *z, void *chunk);
171 #else
172 #define chunk_mark_allocated(z, chunk)
173 #define chunk_mark_free(z, chunk)
174 #endif
175
176 /*
177  * Misc constants.  Note that allocations that are exact multiples of 
178  * PAGE_SIZE, or exceed the zone limit, fall through to the kmem module.
179  */
180 #define ZONE_RELS_THRESH        32              /* threshold number of zones */
181
182 /*
183  * The WEIRD_ADDR is used as known text to copy into free objects to
184  * try to create deterministic failure cases if the data is accessed after
185  * free.
186  */    
187 #define WEIRD_ADDR      0xdeadc0de
188 #define MAX_COPY        sizeof(weirdary)
189 #define ZERO_LENGTH_PTR ((void *)-8)
190
191 /*
192  * Misc global malloc buckets
193  */
194
195 MALLOC_DEFINE(M_CACHE, "cache", "Various Dynamically allocated caches");
196 MALLOC_DEFINE(M_DEVBUF, "devbuf", "device driver memory");
197 MALLOC_DEFINE(M_TEMP, "temp", "misc temporary data buffers");
198  
199 MALLOC_DEFINE(M_IP6OPT, "ip6opt", "IPv6 options");
200 MALLOC_DEFINE(M_IP6NDP, "ip6ndp", "IPv6 Neighbor Discovery");
201
202 /*
203  * Initialize the slab memory allocator.  We have to choose a zone size based
204  * on available physical memory.  We choose a zone side which is approximately
205  * 1/1024th of our memory, so if we have 128MB of ram we have a zone size of
206  * 128K.  The zone size is limited to the bounds set in slaballoc.h
207  * (typically 32K min, 128K max). 
208  */
209 static void kmeminit(void *dummy);
210
211 char *ZeroPage;
212
213 SYSINIT(kmem, SI_BOOT1_ALLOCATOR, SI_ORDER_FIRST, kmeminit, NULL)
214
215 #ifdef INVARIANTS
216 /*
217  * If enabled any memory allocated without M_ZERO is initialized to -1.
218  */
219 static int  use_malloc_pattern;
220 SYSCTL_INT(_debug, OID_AUTO, use_malloc_pattern, CTLFLAG_RW,
221     &use_malloc_pattern, 0,
222     "Initialize memory to -1 if M_ZERO not specified");
223 #endif
224
225 static int ZoneRelsThresh = ZONE_RELS_THRESH;
226 SYSCTL_INT(_kern, OID_AUTO, zone_big_alloc, CTLFLAG_RD, &ZoneBigAlloc, 0, "");
227 SYSCTL_INT(_kern, OID_AUTO, zone_gen_alloc, CTLFLAG_RD, &ZoneGenAlloc, 0, "");
228 SYSCTL_INT(_kern, OID_AUTO, zone_cache, CTLFLAG_RW, &ZoneRelsThresh, 0, "");
229
230 /*
231  * Returns the kernel memory size limit for the purposes of initializing
232  * various subsystem caches.  The smaller of available memory and the KVM
233  * memory space is returned.
234  *
235  * The size in megabytes is returned.
236  */
237 size_t
238 kmem_lim_size(void)
239 {
240     size_t limsize;
241
242     limsize = (size_t)vmstats.v_page_count * PAGE_SIZE;
243     if (limsize > KvaSize)
244         limsize = KvaSize;
245     return (limsize / (1024 * 1024));
246 }
247
248 static void
249 kmeminit(void *dummy)
250 {
251     size_t limsize;
252     int usesize;
253     int i;
254
255     limsize = kmem_lim_size();
256     usesize = (int)(limsize * 1024);    /* convert to KB */
257
258     /*
259      * If the machine has a large KVM space and more than 8G of ram,
260      * double the zone release threshold to reduce SMP invalidations.
261      * If more than 16G of ram, do it again.
262      *
263      * The BIOS eats a little ram so add some slop.  We want 8G worth of
264      * memory sticks to trigger the first adjustment.
265      */
266     if (ZoneRelsThresh == ZONE_RELS_THRESH) {
267             if (limsize >= 7 * 1024)
268                     ZoneRelsThresh *= 2;
269             if (limsize >= 15 * 1024)
270                     ZoneRelsThresh *= 2;
271     }
272
273     /*
274      * Calculate the zone size.  This typically calculates to
275      * ZALLOC_MAX_ZONE_SIZE
276      */
277     ZoneSize = ZALLOC_MIN_ZONE_SIZE;
278     while (ZoneSize < ZALLOC_MAX_ZONE_SIZE && (ZoneSize << 1) < usesize)
279         ZoneSize <<= 1;
280     ZoneLimit = ZoneSize / 4;
281     if (ZoneLimit > ZALLOC_ZONE_LIMIT)
282         ZoneLimit = ZALLOC_ZONE_LIMIT;
283     ZoneMask = ~(uintptr_t)(ZoneSize - 1);
284     ZonePageCount = ZoneSize / PAGE_SIZE;
285
286     for (i = 0; i < NELEM(weirdary); ++i)
287         weirdary[i] = WEIRD_ADDR;
288
289     ZeroPage = kmem_slab_alloc(PAGE_SIZE, PAGE_SIZE, M_WAITOK|M_ZERO);
290
291     if (bootverbose)
292         kprintf("Slab ZoneSize set to %dKB\n", ZoneSize / 1024);
293 }
294
295 /*
296  * Initialize a malloc type tracking structure.
297  */
298 void
299 malloc_init(void *data)
300 {
301     struct malloc_type *type = data;
302     size_t limsize;
303
304     if (type->ks_magic != M_MAGIC)
305         panic("malloc type lacks magic");
306                                            
307     if (type->ks_limit != 0)
308         return;
309
310     if (vmstats.v_page_count == 0)
311         panic("malloc_init not allowed before vm init");
312
313     limsize = kmem_lim_size() * (1024 * 1024);
314     type->ks_limit = limsize / 10;
315
316     type->ks_next = kmemstatistics;
317     kmemstatistics = type;
318 }
319
320 void
321 malloc_uninit(void *data)
322 {
323     struct malloc_type *type = data;
324     struct malloc_type *t;
325 #ifdef INVARIANTS
326     int i;
327     long ttl;
328 #endif
329
330     if (type->ks_magic != M_MAGIC)
331         panic("malloc type lacks magic");
332
333     if (vmstats.v_page_count == 0)
334         panic("malloc_uninit not allowed before vm init");
335
336     if (type->ks_limit == 0)
337         panic("malloc_uninit on uninitialized type");
338
339 #ifdef SMP
340     /* Make sure that all pending kfree()s are finished. */
341     lwkt_synchronize_ipiqs("muninit");
342 #endif
343
344 #ifdef INVARIANTS
345     /*
346      * memuse is only correct in aggregation.  Due to memory being allocated
347      * on one cpu and freed on another individual array entries may be 
348      * negative or positive (canceling each other out).
349      */
350     for (i = ttl = 0; i < ncpus; ++i)
351         ttl += type->ks_memuse[i];
352     if (ttl) {
353         kprintf("malloc_uninit: %ld bytes of '%s' still allocated on cpu %d\n",
354             ttl, type->ks_shortdesc, i);
355     }
356 #endif
357     if (type == kmemstatistics) {
358         kmemstatistics = type->ks_next;
359     } else {
360         for (t = kmemstatistics; t->ks_next != NULL; t = t->ks_next) {
361             if (t->ks_next == type) {
362                 t->ks_next = type->ks_next;
363                 break;
364             }
365         }
366     }
367     type->ks_next = NULL;
368     type->ks_limit = 0;
369 }
370
371 /*
372  * Increase the kmalloc pool limit for the specified pool.  No changes
373  * are the made if the pool would shrink.
374  */
375 void
376 kmalloc_raise_limit(struct malloc_type *type, size_t bytes)
377 {
378     if (type->ks_limit == 0)
379         malloc_init(type);
380     if (bytes == 0)
381         bytes = KvaSize;
382     if (type->ks_limit < bytes)
383         type->ks_limit = bytes;
384 }
385
386 /*
387  * Dynamically create a malloc pool.  This function is a NOP if *typep is
388  * already non-NULL.
389  */
390 void
391 kmalloc_create(struct malloc_type **typep, const char *descr)
392 {
393         struct malloc_type *type;
394
395         if (*typep == NULL) {
396                 type = kmalloc(sizeof(*type), M_TEMP, M_WAITOK | M_ZERO);
397                 type->ks_magic = M_MAGIC;
398                 type->ks_shortdesc = descr;
399                 malloc_init(type);
400                 *typep = type;
401         }
402 }
403
404 /*
405  * Destroy a dynamically created malloc pool.  This function is a NOP if
406  * the pool has already been destroyed.
407  */
408 void
409 kmalloc_destroy(struct malloc_type **typep)
410 {
411         if (*typep != NULL) {
412                 malloc_uninit(*typep);
413                 kfree(*typep, M_TEMP);
414                 *typep = NULL;
415         }
416 }
417
418 /*
419  * Calculate the zone index for the allocation request size and set the
420  * allocation request size to that particular zone's chunk size.
421  */
422 static __inline int
423 zoneindex(unsigned long *bytes, unsigned long *align)
424 {
425     unsigned int n = (unsigned int)*bytes;      /* unsigned for shift opt */
426     if (n < 128) {
427         *bytes = n = (n + 7) & ~7;
428         *align = 8;
429         return(n / 8 - 1);              /* 8 byte chunks, 16 zones */
430     }
431     if (n < 256) {
432         *bytes = n = (n + 15) & ~15;
433         *align = 16;
434         return(n / 16 + 7);
435     }
436     if (n < 8192) {
437         if (n < 512) {
438             *bytes = n = (n + 31) & ~31;
439             *align = 32;
440             return(n / 32 + 15);
441         }
442         if (n < 1024) {
443             *bytes = n = (n + 63) & ~63;
444             *align = 64;
445             return(n / 64 + 23);
446         } 
447         if (n < 2048) {
448             *bytes = n = (n + 127) & ~127;
449             *align = 128;
450             return(n / 128 + 31);
451         }
452         if (n < 4096) {
453             *bytes = n = (n + 255) & ~255;
454             *align = 256;
455             return(n / 256 + 39);
456         }
457         *bytes = n = (n + 511) & ~511;
458         *align = 512;
459         return(n / 512 + 47);
460     }
461 #if ZALLOC_ZONE_LIMIT > 8192
462     if (n < 16384) {
463         *bytes = n = (n + 1023) & ~1023;
464         *align = 1024;
465         return(n / 1024 + 55);
466     }
467 #endif
468 #if ZALLOC_ZONE_LIMIT > 16384
469     if (n < 32768) {
470         *bytes = n = (n + 2047) & ~2047;
471         *align = 2048;
472         return(n / 2048 + 63);
473     }
474 #endif
475     panic("Unexpected byte count %d", n);
476     return(0);
477 }
478
479 #ifdef SLAB_DEBUG
480 /*
481  * Used to debug memory corruption issues.  Record up to (typically 32)
482  * allocation sources for this zone (for a particular chunk size).
483  */
484
485 static void
486 slab_record_source(SLZone *z, const char *file, int line)
487 {
488     int i;
489     int b = line & (SLAB_DEBUG_ENTRIES - 1);
490
491     i = b;
492     do {
493         if (z->z_Sources[i].file == file && z->z_Sources[i].line == line)
494                 return;
495         if (z->z_Sources[i].file == NULL)
496                 break;
497         i = (i + 1) & (SLAB_DEBUG_ENTRIES - 1);
498     } while (i != b);
499     z->z_Sources[i].file = file;
500     z->z_Sources[i].line = line;
501 }
502
503 #endif
504
505 static __inline unsigned long
506 powerof2_size(unsigned long size)
507 {
508         int i, wt;
509
510         if (size == 0)
511                 return 0;
512
513         i = flsl(size);
514         wt = (size & ~(1 << (i - 1)));
515         if (!wt)
516                 --i;
517
518         return (1UL << i);
519 }
520
521 /*
522  * kmalloc()    (SLAB ALLOCATOR)
523  *
524  *      Allocate memory via the slab allocator.  If the request is too large,
525  *      or if it page-aligned beyond a certain size, we fall back to the
526  *      KMEM subsystem.  A SLAB tracking descriptor must be specified, use
527  *      &SlabMisc if you don't care.
528  *
529  *      M_RNOWAIT       - don't block.
530  *      M_NULLOK        - return NULL instead of blocking.
531  *      M_ZERO          - zero the returned memory.
532  *      M_USE_RESERVE   - allow greater drawdown of the free list
533  *      M_USE_INTERRUPT_RESERVE - allow the freelist to be exhausted
534  *      M_POWEROF2      - roundup size to the nearest power of 2
535  *
536  * MPSAFE
537  */
538
539 #ifdef SLAB_DEBUG
540 void *
541 kmalloc_debug(unsigned long size, struct malloc_type *type, int flags,
542               const char *file, int line)
543 #else
544 void *
545 kmalloc(unsigned long size, struct malloc_type *type, int flags)
546 #endif
547 {
548     SLZone *z;
549     SLChunk *chunk;
550 #ifdef SMP
551     SLChunk *bchunk;
552 #endif
553     SLGlobalData *slgd;
554     struct globaldata *gd;
555     unsigned long align;
556     int zi;
557 #ifdef INVARIANTS
558     int i;
559 #endif
560
561     logmemory_quick(malloc_beg);
562     gd = mycpu;
563     slgd = &gd->gd_slab;
564
565     /*
566      * XXX silly to have this in the critical path.
567      */
568     if (type->ks_limit == 0) {
569         crit_enter();
570         if (type->ks_limit == 0)
571             malloc_init(type);
572         crit_exit();
573     }
574     ++type->ks_calls;
575
576     if (flags & M_POWEROF2)
577         size = powerof2_size(size);
578
579     /*
580      * Handle the case where the limit is reached.  Panic if we can't return
581      * NULL.  The original malloc code looped, but this tended to
582      * simply deadlock the computer.
583      *
584      * ks_loosememuse is an up-only limit that is NOT MP-synchronized, used
585      * to determine if a more complete limit check should be done.  The
586      * actual memory use is tracked via ks_memuse[cpu].
587      */
588     while (type->ks_loosememuse >= type->ks_limit) {
589         int i;
590         long ttl;
591
592         for (i = ttl = 0; i < ncpus; ++i)
593             ttl += type->ks_memuse[i];
594         type->ks_loosememuse = ttl;     /* not MP synchronized */
595         if ((ssize_t)ttl < 0)           /* deal with occassional race */
596                 ttl = 0;
597         if (ttl >= type->ks_limit) {
598             if (flags & M_NULLOK) {
599                 logmemory(malloc_end, NULL, type, size, flags);
600                 return(NULL);
601             }
602             panic("%s: malloc limit exceeded", type->ks_shortdesc);
603         }
604     }
605
606     /*
607      * Handle the degenerate size == 0 case.  Yes, this does happen.
608      * Return a special pointer.  This is to maintain compatibility with
609      * the original malloc implementation.  Certain devices, such as the
610      * adaptec driver, not only allocate 0 bytes, they check for NULL and
611      * also realloc() later on.  Joy.
612      */
613     if (size == 0) {
614         logmemory(malloc_end, ZERO_LENGTH_PTR, type, size, flags);
615         return(ZERO_LENGTH_PTR);
616     }
617
618     /*
619      * Handle hysteresis from prior frees here in malloc().  We cannot
620      * safely manipulate the kernel_map in free() due to free() possibly
621      * being called via an IPI message or from sensitive interrupt code.
622      *
623      * NOTE: ku_pagecnt must be cleared before we free the slab or we
624      *       might race another cpu allocating the kva and setting
625      *       ku_pagecnt.
626      */
627     while (slgd->NFreeZones > ZoneRelsThresh && (flags & M_RNOWAIT) == 0) {
628         crit_enter();
629         if (slgd->NFreeZones > ZoneRelsThresh) {        /* crit sect race */
630             int *kup;
631
632             z = slgd->FreeZones;
633             slgd->FreeZones = z->z_Next;
634             --slgd->NFreeZones;
635             kup = btokup(z);
636             *kup = 0;
637             kmem_slab_free(z, ZoneSize);        /* may block */
638             atomic_add_int(&ZoneGenAlloc, -ZoneSize / 1024);
639         }
640         crit_exit();
641     }
642
643     /*
644      * XXX handle oversized frees that were queued from kfree().
645      */
646     while (slgd->FreeOvZones && (flags & M_RNOWAIT) == 0) {
647         crit_enter();
648         if ((z = slgd->FreeOvZones) != NULL) {
649             vm_size_t tsize;
650
651             KKASSERT(z->z_Magic == ZALLOC_OVSZ_MAGIC);
652             slgd->FreeOvZones = z->z_Next;
653             tsize = z->z_ChunkSize;
654             kmem_slab_free(z, tsize);   /* may block */
655             atomic_add_int(&ZoneBigAlloc, -(int)tsize / 1024);
656         }
657         crit_exit();
658     }
659
660     /*
661      * Handle large allocations directly.  There should not be very many of
662      * these so performance is not a big issue.
663      *
664      * The backend allocator is pretty nasty on a SMP system.   Use the
665      * slab allocator for one and two page-sized chunks even though we lose
666      * some efficiency.  XXX maybe fix mmio and the elf loader instead.
667      */
668     if (size >= ZoneLimit || ((size & PAGE_MASK) == 0 && size > PAGE_SIZE*2)) {
669         int *kup;
670
671         size = round_page(size);
672         chunk = kmem_slab_alloc(size, PAGE_SIZE, flags);
673         if (chunk == NULL) {
674             logmemory(malloc_end, NULL, type, size, flags);
675             return(NULL);
676         }
677         atomic_add_int(&ZoneBigAlloc, (int)size / 1024);
678         flags &= ~M_ZERO;       /* result already zero'd if M_ZERO was set */
679         flags |= M_PASSIVE_ZERO;
680         kup = btokup(chunk);
681         *kup = size / PAGE_SIZE;
682         crit_enter();
683         goto done;
684     }
685
686     /*
687      * Attempt to allocate out of an existing zone.  First try the free list,
688      * then allocate out of unallocated space.  If we find a good zone move
689      * it to the head of the list so later allocations find it quickly
690      * (we might have thousands of zones in the list).
691      *
692      * Note: zoneindex() will panic of size is too large.
693      */
694     zi = zoneindex(&size, &align);
695     KKASSERT(zi < NZONES);
696     crit_enter();
697
698     if ((z = slgd->ZoneAry[zi]) != NULL) {
699         /*
700          * Locate a chunk - we have to have at least one.  If this is the
701          * last chunk go ahead and do the work to retrieve chunks freed
702          * from remote cpus, and if the zone is still empty move it off
703          * the ZoneAry.
704          */
705         if (--z->z_NFree <= 0) {
706             KKASSERT(z->z_NFree == 0);
707
708 #ifdef SMP
709             /*
710              * WARNING! This code competes with other cpus.  It is ok
711              * for us to not drain RChunks here but we might as well, and
712              * it is ok if more accumulate after we're done.
713              *
714              * Set RSignal before pulling rchunks off, indicating that we
715              * will be moving ourselves off of the ZoneAry.  Remote ends will
716              * read RSignal before putting rchunks on thus interlocking
717              * their IPI signaling.
718              */
719             if (z->z_RChunks == NULL)
720                 atomic_swap_int(&z->z_RSignal, 1);
721
722             while ((bchunk = z->z_RChunks) != NULL) {
723                 cpu_ccfence();
724                 if (atomic_cmpset_ptr(&z->z_RChunks, bchunk, NULL)) {
725                     *z->z_LChunksp = bchunk;
726                     while (bchunk) {
727                         chunk_mark_free(z, bchunk);
728                         z->z_LChunksp = &bchunk->c_Next;
729                         bchunk = bchunk->c_Next;
730                         ++z->z_NFree;
731                     }
732                     break;
733                 }
734             }
735 #endif
736             /*
737              * Remove from the zone list if no free chunks remain.
738              * Clear RSignal
739              */
740             if (z->z_NFree == 0) {
741                 slgd->ZoneAry[zi] = z->z_Next;
742                 z->z_Next = NULL;
743             } else {
744                 z->z_RSignal = 0;
745             }
746         }
747
748         /*
749          * Fast path, we have chunks available in z_LChunks.
750          */
751         chunk = z->z_LChunks;
752         if (chunk) {
753                 chunk_mark_allocated(z, chunk);
754                 z->z_LChunks = chunk->c_Next;
755                 if (z->z_LChunks == NULL)
756                         z->z_LChunksp = &z->z_LChunks;
757 #ifdef SLAB_DEBUG
758                 slab_record_source(z, file, line);
759 #endif
760                 goto done;
761         }
762
763         /*
764          * No chunks are available in LChunks, the free chunk MUST be
765          * in the never-before-used memory area, controlled by UIndex.
766          *
767          * The consequences are very serious if our zone got corrupted so
768          * we use an explicit panic rather than a KASSERT.
769          */
770         if (z->z_UIndex + 1 != z->z_NMax)
771             ++z->z_UIndex;
772         else
773             z->z_UIndex = 0;
774
775         if (z->z_UIndex == z->z_UEndIndex)
776             panic("slaballoc: corrupted zone");
777
778         chunk = (SLChunk *)(z->z_BasePtr + z->z_UIndex * size);
779         if ((z->z_Flags & SLZF_UNOTZEROD) == 0) {
780             flags &= ~M_ZERO;
781             flags |= M_PASSIVE_ZERO;
782         }
783         chunk_mark_allocated(z, chunk);
784 #ifdef SLAB_DEBUG
785         slab_record_source(z, file, line);
786 #endif
787         goto done;
788     }
789
790     /*
791      * If all zones are exhausted we need to allocate a new zone for this
792      * index.  Use M_ZERO to take advantage of pre-zerod pages.  Also see
793      * UAlloc use above in regards to M_ZERO.  Note that when we are reusing
794      * a zone from the FreeZones list UAlloc'd data will not be zero'd, and
795      * we do not pre-zero it because we do not want to mess up the L1 cache.
796      *
797      * At least one subsystem, the tty code (see CROUND) expects power-of-2
798      * allocations to be power-of-2 aligned.  We maintain compatibility by
799      * adjusting the base offset below.
800      */
801     {
802         int off;
803         int *kup;
804
805         if ((z = slgd->FreeZones) != NULL) {
806             slgd->FreeZones = z->z_Next;
807             --slgd->NFreeZones;
808             bzero(z, sizeof(SLZone));
809             z->z_Flags |= SLZF_UNOTZEROD;
810         } else {
811             z = kmem_slab_alloc(ZoneSize, ZoneSize, flags|M_ZERO);
812             if (z == NULL)
813                 goto fail;
814             atomic_add_int(&ZoneGenAlloc, ZoneSize / 1024);
815         }
816
817         /*
818          * How big is the base structure?
819          */
820 #if defined(INVARIANTS)
821         /*
822          * Make room for z_Bitmap.  An exact calculation is somewhat more
823          * complicated so don't make an exact calculation.
824          */
825         off = offsetof(SLZone, z_Bitmap[(ZoneSize / size + 31) / 32]);
826         bzero(z->z_Bitmap, (ZoneSize / size + 31) / 8);
827 #else
828         off = sizeof(SLZone);
829 #endif
830
831         /*
832          * Guarentee power-of-2 alignment for power-of-2-sized chunks.
833          * Otherwise just 8-byte align the data.
834          */
835         if ((size | (size - 1)) + 1 == (size << 1))
836             off = (off + size - 1) & ~(size - 1);
837         else
838             off = (off + align - 1) & ~(align - 1);
839         z->z_Magic = ZALLOC_SLAB_MAGIC;
840         z->z_ZoneIndex = zi;
841         z->z_NMax = (ZoneSize - off) / size;
842         z->z_NFree = z->z_NMax - 1;
843         z->z_BasePtr = (char *)z + off;
844         z->z_UIndex = z->z_UEndIndex = slgd->JunkIndex % z->z_NMax;
845         z->z_ChunkSize = size;
846         z->z_CpuGd = gd;
847         z->z_Cpu = gd->gd_cpuid;
848         z->z_LChunksp = &z->z_LChunks;
849 #ifdef SLAB_DEBUG
850         bcopy(z->z_Sources, z->z_AltSources, sizeof(z->z_Sources));
851         bzero(z->z_Sources, sizeof(z->z_Sources));
852 #endif
853         chunk = (SLChunk *)(z->z_BasePtr + z->z_UIndex * size);
854         z->z_Next = slgd->ZoneAry[zi];
855         slgd->ZoneAry[zi] = z;
856         if ((z->z_Flags & SLZF_UNOTZEROD) == 0) {
857             flags &= ~M_ZERO;   /* already zero'd */
858             flags |= M_PASSIVE_ZERO;
859         }
860         kup = btokup(z);
861         *kup = -(z->z_Cpu + 1); /* -1 to -(N+1) */
862         chunk_mark_allocated(z, chunk);
863 #ifdef SLAB_DEBUG
864         slab_record_source(z, file, line);
865 #endif
866
867         /*
868          * Slide the base index for initial allocations out of the next
869          * zone we create so we do not over-weight the lower part of the
870          * cpu memory caches.
871          */
872         slgd->JunkIndex = (slgd->JunkIndex + ZALLOC_SLAB_SLIDE)
873                                 & (ZALLOC_MAX_ZONE_SIZE - 1);
874     }
875
876 done:
877     ++type->ks_inuse[gd->gd_cpuid];
878     type->ks_memuse[gd->gd_cpuid] += size;
879     type->ks_loosememuse += size;       /* not MP synchronized */
880     crit_exit();
881
882     if (flags & M_ZERO)
883         bzero(chunk, size);
884 #ifdef INVARIANTS
885     else if ((flags & (M_ZERO|M_PASSIVE_ZERO)) == 0) {
886         if (use_malloc_pattern) {
887             for (i = 0; i < size; i += sizeof(int)) {
888                 *(int *)((char *)chunk + i) = -1;
889             }
890         }
891         chunk->c_Next = (void *)-1; /* avoid accidental double-free check */
892     }
893 #endif
894     logmemory(malloc_end, chunk, type, size, flags);
895     return(chunk);
896 fail:
897     crit_exit();
898     logmemory(malloc_end, NULL, type, size, flags);
899     return(NULL);
900 }
901
902 /*
903  * kernel realloc.  (SLAB ALLOCATOR) (MP SAFE)
904  *
905  * Generally speaking this routine is not called very often and we do
906  * not attempt to optimize it beyond reusing the same pointer if the
907  * new size fits within the chunking of the old pointer's zone.
908  */
909 #ifdef SLAB_DEBUG
910 void *
911 krealloc_debug(void *ptr, unsigned long size,
912                struct malloc_type *type, int flags,
913                const char *file, int line)
914 #else
915 void *
916 krealloc(void *ptr, unsigned long size, struct malloc_type *type, int flags)
917 #endif
918 {
919     unsigned long osize;
920     unsigned long align;
921     SLZone *z;
922     void *nptr;
923     int *kup;
924
925     KKASSERT((flags & M_ZERO) == 0);    /* not supported */
926
927     if (ptr == NULL || ptr == ZERO_LENGTH_PTR)
928         return(kmalloc_debug(size, type, flags, file, line));
929     if (size == 0) {
930         kfree(ptr, type);
931         return(NULL);
932     }
933
934     /*
935      * Handle oversized allocations.  XXX we really should require that a
936      * size be passed to free() instead of this nonsense.
937      */
938     kup = btokup(ptr);
939     if (*kup > 0) {
940         osize = *kup << PAGE_SHIFT;
941         if (osize == round_page(size))
942             return(ptr);
943         if ((nptr = kmalloc_debug(size, type, flags, file, line)) == NULL)
944             return(NULL);
945         bcopy(ptr, nptr, min(size, osize));
946         kfree(ptr, type);
947         return(nptr);
948     }
949
950     /*
951      * Get the original allocation's zone.  If the new request winds up
952      * using the same chunk size we do not have to do anything.
953      */
954     z = (SLZone *)((uintptr_t)ptr & ZoneMask);
955     kup = btokup(z);
956     KKASSERT(*kup < 0);
957     KKASSERT(z->z_Magic == ZALLOC_SLAB_MAGIC);
958
959     /*
960      * Allocate memory for the new request size.  Note that zoneindex has
961      * already adjusted the request size to the appropriate chunk size, which
962      * should optimize our bcopy().  Then copy and return the new pointer.
963      *
964      * Resizing a non-power-of-2 allocation to a power-of-2 size does not
965      * necessary align the result.
966      *
967      * We can only zoneindex (to align size to the chunk size) if the new
968      * size is not too large.
969      */
970     if (size < ZoneLimit) {
971         zoneindex(&size, &align);
972         if (z->z_ChunkSize == size)
973             return(ptr);
974     }
975     if ((nptr = kmalloc_debug(size, type, flags, file, line)) == NULL)
976         return(NULL);
977     bcopy(ptr, nptr, min(size, z->z_ChunkSize));
978     kfree(ptr, type);
979     return(nptr);
980 }
981
982 /*
983  * Return the kmalloc limit for this type, in bytes.
984  */
985 long
986 kmalloc_limit(struct malloc_type *type)
987 {
988     if (type->ks_limit == 0) {
989         crit_enter();
990         if (type->ks_limit == 0)
991             malloc_init(type);
992         crit_exit();
993     }
994     return(type->ks_limit);
995 }
996
997 /*
998  * Allocate a copy of the specified string.
999  *
1000  * (MP SAFE) (MAY BLOCK)
1001  */
1002 #ifdef SLAB_DEBUG
1003 char *
1004 kstrdup_debug(const char *str, struct malloc_type *type,
1005               const char *file, int line)
1006 #else
1007 char *
1008 kstrdup(const char *str, struct malloc_type *type)
1009 #endif
1010 {
1011     int zlen;   /* length inclusive of terminating NUL */
1012     char *nstr;
1013
1014     if (str == NULL)
1015         return(NULL);
1016     zlen = strlen(str) + 1;
1017     nstr = kmalloc_debug(zlen, type, M_WAITOK, file, line);
1018     bcopy(str, nstr, zlen);
1019     return(nstr);
1020 }
1021
1022 #ifdef SMP
1023 /*
1024  * Notify our cpu that a remote cpu has freed some chunks in a zone that
1025  * we own.  RCount will be bumped so the memory should be good, but validate
1026  * that it really is.
1027  */
1028 static
1029 void
1030 kfree_remote(void *ptr)
1031 {
1032     SLGlobalData *slgd;
1033     SLChunk *bchunk;
1034     SLZone *z;
1035     int nfree;
1036     int *kup;
1037
1038     slgd = &mycpu->gd_slab;
1039     z = ptr;
1040     kup = btokup(z);
1041     KKASSERT(*kup == -((int)mycpuid + 1));
1042     KKASSERT(z->z_RCount > 0);
1043     atomic_subtract_int(&z->z_RCount, 1);
1044
1045     logmemory(free_rem_beg, z, NULL, 0L, 0);
1046     KKASSERT(z->z_Magic == ZALLOC_SLAB_MAGIC);
1047     KKASSERT(z->z_Cpu  == mycpu->gd_cpuid);
1048     nfree = z->z_NFree;
1049
1050     /*
1051      * Indicate that we will no longer be off of the ZoneAry by
1052      * clearing RSignal.
1053      */
1054     if (z->z_RChunks)
1055         z->z_RSignal = 0;
1056
1057     /*
1058      * Atomically extract the bchunks list and then process it back
1059      * into the lchunks list.  We want to append our bchunks to the
1060      * lchunks list and not prepend since we likely do not have
1061      * cache mastership of the related data (not that it helps since
1062      * we are using c_Next).
1063      */
1064     while ((bchunk = z->z_RChunks) != NULL) {
1065         cpu_ccfence();
1066         if (atomic_cmpset_ptr(&z->z_RChunks, bchunk, NULL)) {
1067             *z->z_LChunksp = bchunk;
1068             while (bchunk) {
1069                     chunk_mark_free(z, bchunk);
1070                     z->z_LChunksp = &bchunk->c_Next;
1071                     bchunk = bchunk->c_Next;
1072                     ++z->z_NFree;
1073             }
1074             break;
1075         }
1076     }
1077     if (z->z_NFree && nfree == 0) {
1078         z->z_Next = slgd->ZoneAry[z->z_ZoneIndex];
1079         slgd->ZoneAry[z->z_ZoneIndex] = z;
1080     }
1081
1082     /*
1083      * If the zone becomes totally free, and there are other zones we
1084      * can allocate from, move this zone to the FreeZones list.  Since
1085      * this code can be called from an IPI callback, do *NOT* try to mess
1086      * with kernel_map here.  Hysteresis will be performed at malloc() time.
1087      *
1088      * Do not move the zone if there is an IPI inflight, otherwise MP
1089      * races can result in our free_remote code accessing a destroyed
1090      * zone.
1091      */
1092     if (z->z_NFree == z->z_NMax &&
1093         (z->z_Next || slgd->ZoneAry[z->z_ZoneIndex] != z) &&
1094         z->z_RCount == 0
1095     ) {
1096         SLZone **pz;
1097         int *kup;
1098
1099         for (pz = &slgd->ZoneAry[z->z_ZoneIndex];
1100              z != *pz;
1101              pz = &(*pz)->z_Next) {
1102             ;
1103         }
1104         *pz = z->z_Next;
1105         z->z_Magic = -1;
1106         z->z_Next = slgd->FreeZones;
1107         slgd->FreeZones = z;
1108         ++slgd->NFreeZones;
1109         kup = btokup(z);
1110         *kup = 0;
1111     }
1112     logmemory(free_rem_end, z, bchunk, 0L, 0);
1113 }
1114
1115 #endif
1116
1117 /*
1118  * free (SLAB ALLOCATOR)
1119  *
1120  * Free a memory block previously allocated by malloc.  Note that we do not
1121  * attempt to update ks_loosememuse as MP races could prevent us from
1122  * checking memory limits in malloc.
1123  *
1124  * MPSAFE
1125  */
1126 void
1127 kfree(void *ptr, struct malloc_type *type)
1128 {
1129     SLZone *z;
1130     SLChunk *chunk;
1131     SLGlobalData *slgd;
1132     struct globaldata *gd;
1133     int *kup;
1134     unsigned long size;
1135 #ifdef SMP
1136     SLChunk *bchunk;
1137     int rsignal;
1138 #endif
1139
1140     logmemory_quick(free_beg);
1141     gd = mycpu;
1142     slgd = &gd->gd_slab;
1143
1144     if (ptr == NULL)
1145         panic("trying to free NULL pointer");
1146
1147     /*
1148      * Handle special 0-byte allocations
1149      */
1150     if (ptr == ZERO_LENGTH_PTR) {
1151         logmemory(free_zero, ptr, type, -1UL, 0);
1152         logmemory_quick(free_end);
1153         return;
1154     }
1155
1156     /*
1157      * Panic on bad malloc type
1158      */
1159     if (type->ks_magic != M_MAGIC)
1160         panic("free: malloc type lacks magic");
1161
1162     /*
1163      * Handle oversized allocations.  XXX we really should require that a
1164      * size be passed to free() instead of this nonsense.
1165      *
1166      * This code is never called via an ipi.
1167      */
1168     kup = btokup(ptr);
1169     if (*kup > 0) {
1170         size = *kup << PAGE_SHIFT;
1171         *kup = 0;
1172 #ifdef INVARIANTS
1173         KKASSERT(sizeof(weirdary) <= size);
1174         bcopy(weirdary, ptr, sizeof(weirdary));
1175 #endif
1176         /*
1177          * NOTE: For oversized allocations we do not record the
1178          *           originating cpu.  It gets freed on the cpu calling
1179          *           kfree().  The statistics are in aggregate.
1180          *
1181          * note: XXX we have still inherited the interrupts-can't-block
1182          * assumption.  An interrupt thread does not bump
1183          * gd_intr_nesting_level so check TDF_INTTHREAD.  This is
1184          * primarily until we can fix softupdate's assumptions about free().
1185          */
1186         crit_enter();
1187         --type->ks_inuse[gd->gd_cpuid];
1188         type->ks_memuse[gd->gd_cpuid] -= size;
1189         if (mycpu->gd_intr_nesting_level ||
1190             (gd->gd_curthread->td_flags & TDF_INTTHREAD))
1191         {
1192             logmemory(free_ovsz_delayed, ptr, type, size, 0);
1193             z = (SLZone *)ptr;
1194             z->z_Magic = ZALLOC_OVSZ_MAGIC;
1195             z->z_Next = slgd->FreeOvZones;
1196             z->z_ChunkSize = size;
1197             slgd->FreeOvZones = z;
1198             crit_exit();
1199         } else {
1200             crit_exit();
1201             logmemory(free_ovsz, ptr, type, size, 0);
1202             kmem_slab_free(ptr, size);  /* may block */
1203             atomic_add_int(&ZoneBigAlloc, -(int)size / 1024);
1204         }
1205         logmemory_quick(free_end);
1206         return;
1207     }
1208
1209     /*
1210      * Zone case.  Figure out the zone based on the fact that it is
1211      * ZoneSize aligned. 
1212      */
1213     z = (SLZone *)((uintptr_t)ptr & ZoneMask);
1214     kup = btokup(z);
1215     KKASSERT(*kup < 0);
1216     KKASSERT(z->z_Magic == ZALLOC_SLAB_MAGIC);
1217
1218     /*
1219      * If we do not own the zone then use atomic ops to free to the
1220      * remote cpu linked list and notify the target zone using a
1221      * passive message.
1222      *
1223      * The target zone cannot be deallocated while we own a chunk of it,
1224      * so the zone header's storage is stable until the very moment
1225      * we adjust z_RChunks.  After that we cannot safely dereference (z).
1226      *
1227      * (no critical section needed)
1228      */
1229     if (z->z_CpuGd != gd) {
1230 #ifdef SMP
1231         /*
1232          * Making these adjustments now allow us to avoid passing (type)
1233          * to the remote cpu.  Note that ks_inuse/ks_memuse is being
1234          * adjusted on OUR cpu, not the zone cpu, but it should all still
1235          * sum up properly and cancel out.
1236          */
1237         crit_enter();
1238         --type->ks_inuse[gd->gd_cpuid];
1239         type->ks_memuse[gd->gd_cpuid] -= z->z_ChunkSize;
1240         crit_exit();
1241
1242         /*
1243          * WARNING! This code competes with other cpus.  Once we
1244          *          successfully link the chunk to RChunks the remote
1245          *          cpu can rip z's storage out from under us.
1246          *
1247          *          Bumping RCount prevents z's storage from getting
1248          *          ripped out.
1249          */
1250         rsignal = z->z_RSignal;
1251         cpu_lfence();
1252         if (rsignal)
1253                 atomic_add_int(&z->z_RCount, 1);
1254
1255         chunk = ptr;
1256         for (;;) {
1257             bchunk = z->z_RChunks;
1258             cpu_ccfence();
1259             chunk->c_Next = bchunk;
1260             cpu_sfence();
1261
1262             if (atomic_cmpset_ptr(&z->z_RChunks, bchunk, chunk))
1263                 break;
1264         }
1265
1266         /*
1267          * We have to signal the remote cpu if our actions will cause
1268          * the remote zone to be placed back on ZoneAry so it can
1269          * move the zone back on.
1270          *
1271          * We only need to deal with NULL->non-NULL RChunk transitions
1272          * and only if z_RSignal is set.  We interlock by reading rsignal
1273          * before adding our chunk to RChunks.  This should result in
1274          * virtually no IPI traffic.
1275          *
1276          * We can use a passive IPI to reduce overhead even further.
1277          */
1278         if (bchunk == NULL && rsignal) {
1279                 logmemory(free_request, ptr, type, (unsigned long)z->z_ChunkSize, 0);
1280             lwkt_send_ipiq_passive(z->z_CpuGd, kfree_remote, z);
1281             /* z can get ripped out from under us from this point on */
1282         } else if (rsignal) {
1283             atomic_subtract_int(&z->z_RCount, 1);
1284             /* z can get ripped out from under us from this point on */
1285         }
1286 #else
1287         panic("Corrupt SLZone");
1288 #endif
1289         logmemory_quick(free_end);
1290         return;
1291     }
1292
1293     /*
1294      * kfree locally
1295      */
1296     logmemory(free_chunk, ptr, type, (unsigned long)z->z_ChunkSize, 0);
1297
1298     crit_enter();
1299     chunk = ptr;
1300     chunk_mark_free(z, chunk);
1301
1302     /*
1303      * Put weird data into the memory to detect modifications after freeing,
1304      * illegal pointer use after freeing (we should fault on the odd address),
1305      * and so forth.  XXX needs more work, see the old malloc code.
1306      */
1307 #ifdef INVARIANTS
1308     if (z->z_ChunkSize < sizeof(weirdary))
1309         bcopy(weirdary, chunk, z->z_ChunkSize);
1310     else
1311         bcopy(weirdary, chunk, sizeof(weirdary));
1312 #endif
1313
1314     /*
1315      * Add this free non-zero'd chunk to a linked list for reuse.  Add
1316      * to the front of the linked list so it is more likely to be
1317      * reallocated, since it is already in our L1 cache.
1318      */
1319 #ifdef INVARIANTS
1320     if ((vm_offset_t)chunk < KvaStart || (vm_offset_t)chunk >= KvaEnd)
1321         panic("BADFREE %p", chunk);
1322 #endif
1323     chunk->c_Next = z->z_LChunks;
1324     z->z_LChunks = chunk;
1325     if (chunk->c_Next == NULL)
1326             z->z_LChunksp = &chunk->c_Next;
1327
1328 #ifdef INVARIANTS
1329     if (chunk->c_Next && (vm_offset_t)chunk->c_Next < KvaStart)
1330         panic("BADFREE2");
1331 #endif
1332
1333     /*
1334      * Bump the number of free chunks.  If it becomes non-zero the zone
1335      * must be added back onto the appropriate list.
1336      */
1337     if (z->z_NFree++ == 0) {
1338         z->z_Next = slgd->ZoneAry[z->z_ZoneIndex];
1339         slgd->ZoneAry[z->z_ZoneIndex] = z;
1340     }
1341
1342     --type->ks_inuse[z->z_Cpu];
1343     type->ks_memuse[z->z_Cpu] -= z->z_ChunkSize;
1344
1345     /*
1346      * If the zone becomes totally free, and there are other zones we
1347      * can allocate from, move this zone to the FreeZones list.  Since
1348      * this code can be called from an IPI callback, do *NOT* try to mess
1349      * with kernel_map here.  Hysteresis will be performed at malloc() time.
1350      */
1351     if (z->z_NFree == z->z_NMax && 
1352         (z->z_Next || slgd->ZoneAry[z->z_ZoneIndex] != z) &&
1353         z->z_RCount == 0
1354     ) {
1355         SLZone **pz;
1356         int *kup;
1357
1358         for (pz = &slgd->ZoneAry[z->z_ZoneIndex]; z != *pz; pz = &(*pz)->z_Next)
1359             ;
1360         *pz = z->z_Next;
1361         z->z_Magic = -1;
1362         z->z_Next = slgd->FreeZones;
1363         slgd->FreeZones = z;
1364         ++slgd->NFreeZones;
1365         kup = btokup(z);
1366         *kup = 0;
1367     }
1368     logmemory_quick(free_end);
1369     crit_exit();
1370 }
1371
1372 #if defined(INVARIANTS)
1373
1374 /*
1375  * Helper routines for sanity checks
1376  */
1377 static
1378 void
1379 chunk_mark_allocated(SLZone *z, void *chunk)
1380 {
1381     int bitdex = ((char *)chunk - (char *)z->z_BasePtr) / z->z_ChunkSize;
1382     __uint32_t *bitptr;
1383
1384     KKASSERT((((intptr_t)chunk ^ (intptr_t)z) & ZoneMask) == 0);
1385     KASSERT(bitdex >= 0 && bitdex < z->z_NMax,
1386             ("memory chunk %p bit index %d is illegal", chunk, bitdex));
1387     bitptr = &z->z_Bitmap[bitdex >> 5];
1388     bitdex &= 31;
1389     KASSERT((*bitptr & (1 << bitdex)) == 0,
1390             ("memory chunk %p is already allocated!", chunk));
1391     *bitptr |= 1 << bitdex;
1392 }
1393
1394 static
1395 void
1396 chunk_mark_free(SLZone *z, void *chunk)
1397 {
1398     int bitdex = ((char *)chunk - (char *)z->z_BasePtr) / z->z_ChunkSize;
1399     __uint32_t *bitptr;
1400
1401     KKASSERT((((intptr_t)chunk ^ (intptr_t)z) & ZoneMask) == 0);
1402     KASSERT(bitdex >= 0 && bitdex < z->z_NMax,
1403             ("memory chunk %p bit index %d is illegal!", chunk, bitdex));
1404     bitptr = &z->z_Bitmap[bitdex >> 5];
1405     bitdex &= 31;
1406     KASSERT((*bitptr & (1 << bitdex)) != 0,
1407             ("memory chunk %p is already free!", chunk));
1408     *bitptr &= ~(1 << bitdex);
1409 }
1410
1411 #endif
1412
1413 /*
1414  * kmem_slab_alloc()
1415  *
1416  *      Directly allocate and wire kernel memory in PAGE_SIZE chunks with the
1417  *      specified alignment.  M_* flags are expected in the flags field.
1418  *
1419  *      Alignment must be a multiple of PAGE_SIZE.
1420  *
1421  *      NOTE! XXX For the moment we use vm_map_entry_reserve/release(),
1422  *      but when we move zalloc() over to use this function as its backend
1423  *      we will have to switch to kreserve/krelease and call reserve(0)
1424  *      after the new space is made available.
1425  *
1426  *      Interrupt code which has preempted other code is not allowed to
1427  *      use PQ_CACHE pages.  However, if an interrupt thread is run
1428  *      non-preemptively or blocks and then runs non-preemptively, then
1429  *      it is free to use PQ_CACHE pages.  <--- may not apply any longer XXX
1430  */
1431 static void *
1432 kmem_slab_alloc(vm_size_t size, vm_offset_t align, int flags)
1433 {
1434     vm_size_t i;
1435     vm_offset_t addr;
1436     int count, vmflags, base_vmflags;
1437     vm_page_t mbase = NULL;
1438     vm_page_t m;
1439     thread_t td;
1440
1441     size = round_page(size);
1442     addr = vm_map_min(&kernel_map);
1443
1444     count = vm_map_entry_reserve(MAP_RESERVE_COUNT);
1445     crit_enter();
1446     vm_map_lock(&kernel_map);
1447     if (vm_map_findspace(&kernel_map, addr, size, align, 0, &addr)) {
1448         vm_map_unlock(&kernel_map);
1449         if ((flags & M_NULLOK) == 0)
1450             panic("kmem_slab_alloc(): kernel_map ran out of space!");
1451         vm_map_entry_release(count);
1452         crit_exit();
1453         return(NULL);
1454     }
1455
1456     /*
1457      * kernel_object maps 1:1 to kernel_map.
1458      */
1459     vm_object_hold(&kernel_object);
1460     vm_object_reference_locked(&kernel_object);
1461     vm_map_insert(&kernel_map, &count, 
1462                     &kernel_object, addr, addr, addr + size,
1463                     VM_MAPTYPE_NORMAL,
1464                     VM_PROT_ALL, VM_PROT_ALL,
1465                     0);
1466     vm_object_drop(&kernel_object);
1467     vm_map_set_wired_quick(&kernel_map, addr, size, &count);
1468     vm_map_unlock(&kernel_map);
1469
1470     td = curthread;
1471
1472     base_vmflags = 0;
1473     if (flags & M_ZERO)
1474         base_vmflags |= VM_ALLOC_ZERO;
1475     if (flags & M_USE_RESERVE)
1476         base_vmflags |= VM_ALLOC_SYSTEM;
1477     if (flags & M_USE_INTERRUPT_RESERVE)
1478         base_vmflags |= VM_ALLOC_INTERRUPT;
1479     if ((flags & (M_RNOWAIT|M_WAITOK)) == 0) {
1480         panic("kmem_slab_alloc: bad flags %08x (%p)",
1481               flags, ((int **)&size)[-1]);
1482     }
1483
1484     /*
1485      * Allocate the pages.  Do not mess with the PG_ZERO flag or map
1486      * them yet.  VM_ALLOC_NORMAL can only be set if we are not preempting.
1487      *
1488      * VM_ALLOC_SYSTEM is automatically set if we are preempting and
1489      * M_WAITOK was specified as an alternative (i.e. M_USE_RESERVE is
1490      * implied in this case), though I'm not sure if we really need to
1491      * do that.
1492      */
1493     vmflags = base_vmflags;
1494     if (flags & M_WAITOK) {
1495         if (td->td_preempted)
1496             vmflags |= VM_ALLOC_SYSTEM;
1497         else
1498             vmflags |= VM_ALLOC_NORMAL;
1499     }
1500
1501     vm_object_hold(&kernel_object);
1502     for (i = 0; i < size; i += PAGE_SIZE) {
1503         m = vm_page_alloc(&kernel_object, OFF_TO_IDX(addr + i), vmflags);
1504         if (i == 0)
1505                 mbase = m;
1506
1507         /*
1508          * If the allocation failed we either return NULL or we retry.
1509          *
1510          * If M_WAITOK is specified we wait for more memory and retry.
1511          * If M_WAITOK is specified from a preemption we yield instead of
1512          * wait.  Livelock will not occur because the interrupt thread
1513          * will not be preempting anyone the second time around after the
1514          * yield.
1515          */
1516         if (m == NULL) {
1517             if (flags & M_WAITOK) {
1518                 if (td->td_preempted) {
1519                     lwkt_switch();
1520                 } else {
1521                     vm_wait(0);
1522                 }
1523                 i -= PAGE_SIZE; /* retry */
1524                 continue;
1525             }
1526             break;
1527         }
1528     }
1529
1530     /*
1531      * Check and deal with an allocation failure
1532      */
1533     if (i != size) {
1534         while (i != 0) {
1535             i -= PAGE_SIZE;
1536             m = vm_page_lookup(&kernel_object, OFF_TO_IDX(addr + i));
1537             /* page should already be busy */
1538             vm_page_free(m);
1539         }
1540         vm_map_lock(&kernel_map);
1541         vm_map_delete(&kernel_map, addr, addr + size, &count);
1542         vm_map_unlock(&kernel_map);
1543         vm_object_drop(&kernel_object);
1544
1545         vm_map_entry_release(count);
1546         crit_exit();
1547         return(NULL);
1548     }
1549
1550     /*
1551      * Success!
1552      *
1553      * NOTE: The VM pages are still busied.  mbase points to the first one
1554      *       but we have to iterate via vm_page_next()
1555      */
1556     vm_object_drop(&kernel_object);
1557     crit_exit();
1558
1559     /*
1560      * Enter the pages into the pmap and deal with PG_ZERO and M_ZERO.
1561      */
1562     m = mbase;
1563     i = 0;
1564
1565     while (i < size) {
1566         /*
1567          * page should already be busy
1568          */
1569         m->valid = VM_PAGE_BITS_ALL;
1570         vm_page_wire(m);
1571         pmap_enter(&kernel_pmap, addr + i, m, VM_PROT_ALL | VM_PROT_NOSYNC,
1572                    1, NULL);
1573         if ((m->flags & PG_ZERO) == 0 && (flags & M_ZERO))
1574             bzero((char *)addr + i, PAGE_SIZE);
1575         vm_page_flag_clear(m, PG_ZERO);
1576         KKASSERT(m->flags & (PG_WRITEABLE | PG_MAPPED));
1577         vm_page_flag_set(m, PG_REFERENCED);
1578         vm_page_wakeup(m);
1579
1580         i += PAGE_SIZE;
1581         vm_object_hold(&kernel_object);
1582         m = vm_page_next(m);
1583         vm_object_drop(&kernel_object);
1584     }
1585     smp_invltlb();
1586     vm_map_entry_release(count);
1587     return((void *)addr);
1588 }
1589
1590 /*
1591  * kmem_slab_free()
1592  */
1593 static void
1594 kmem_slab_free(void *ptr, vm_size_t size)
1595 {
1596     crit_enter();
1597     vm_map_remove(&kernel_map, (vm_offset_t)ptr, (vm_offset_t)ptr + size);
1598     crit_exit();
1599 }
1600
1601 void *
1602 kmalloc_cachealign(unsigned long size_alloc, struct malloc_type *type,
1603     int flags)
1604 {
1605 #if (__VM_CACHELINE_SIZE == 32)
1606 #define CAN_CACHEALIGN(sz)      ((sz) >= 256)
1607 #elif (__VM_CACHELINE_SIZE == 64)
1608 #define CAN_CACHEALIGN(sz)      ((sz) >= 512)
1609 #elif (__VM_CACHELINE_SIZE == 128)
1610 #define CAN_CACHEALIGN(sz)      ((sz) >= 1024)
1611 #else
1612 #error "unsupported cacheline size"
1613 #endif
1614
1615         void *ret;
1616
1617         if (size_alloc < __VM_CACHELINE_SIZE)
1618                 size_alloc = __VM_CACHELINE_SIZE;
1619         else if (!CAN_CACHEALIGN(size_alloc))
1620                 flags |= M_POWEROF2;
1621
1622         ret = kmalloc(size_alloc, type, flags);
1623         KASSERT(((uintptr_t)ret & (__VM_CACHELINE_SIZE - 1)) == 0,
1624             ("%p(%lu) not cacheline %d aligned",
1625              ret, size_alloc, __VM_CACHELINE_SIZE));
1626         return ret;
1627
1628 #undef CAN_CACHEALIGN
1629 }