sys/cpu/i386/misc/lwbuf.c

   1 /*
   2  * Copyright (c) 2010 by The DragonFly Project and Samuel J. Greear.
   3  * All rights reserved.
   4  *
   5  * This code is derived from software contributed to The DragonFly Project
   6  * by Samuel J. Greear <sjg@thesjg.com>
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  *
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in
  16  *    the documentation and/or other materials provided with the
  17  *    distribution.
  18  * 3. Neither the name of The DragonFly Project nor the names of its
  19  *    contributors may be used to endorse or promote products derived
  20  *    from this software without specific, prior written permission.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  23  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  24  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  25  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  26  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  27  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  28  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  30  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  31  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  32  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  */
  35
  36 #include <sys/types.h>
  37 #include <sys/kernel.h>
  38 #include <sys/objcache.h>
  39 #include <sys/sysctl.h>
  40 #include <sys/param.h>
  41 #include <sys/serialize.h>
  42 #include <sys/systm.h>
  43 #include <sys/proc.h>
  44 #include <sys/queue.h>
  45 #include <vm/vm.h>
  46 #include <vm/pmap.h>
  47 #include <vm/vm_extern.h>
  48 #include <vm/vm_kern.h>
  49 #include <vm/vm_page.h>
  50 #include <cpu/lwbuf.h>
  51 #include <machine/globaldata.h>
  52 #include <machine/atomic.h>
  53 #include <machine/param.h>
  54
  55 static void lwbuf_init(void *);
  56 SYSINIT(sock_lwb, SI_BOOT2_MACHDEP, SI_ORDER_ANY, lwbuf_init, NULL);
  57
  58 /* Number of pages of KVA to allocate at boot per cpu (1MB) */
  59 #define LWBUF_BOOT_PAGES        256
  60 /* Number to allocate incrementally (128KB) */
  61 #define LWBUF_ALLOC_PAGES       32
  62
  63 static struct objcache *lwbuf_cache;
  64
  65 MALLOC_DEFINE(M_LWBUF, "lwbuf", "Lightweight buffers");
  66 struct objcache_malloc_args lwbuf_malloc_args = { sizeof(struct lwbuf), M_LWBUF };
  67
  68
  69 static boolean_t
  70 lwbuf_cache_ctor(void *obj, void *pdata, int ocflags)
  71 {
  72     struct lwbuf *lwb = (struct lwbuf *)obj;
  73
  74     lwb->m = NULL;
  75     lwb->kva = 0;
  76     lwb->cpumask = 0;
  77
  78     return (TRUE);
  79 }
  80
  81 static boolean_t
  82 lwbuf_initpages(struct lwbuf_free_kvp_list *fkvpl, int pages)
  83 {
  84     struct lwbuf_free_kvp *free_kvp;
  85     vm_offset_t k;
  86     int i;
  87
  88     k = kmem_alloc_nofault(&kernel_map, PAGE_SIZE * pages, PAGE_SIZE);
  89     if (k == 0)
  90         return (FALSE);
  91
  92     for (i = 0; i < pages; ++i) {
  93         free_kvp = (struct lwbuf_free_kvp *)
  94             kmalloc(sizeof(*free_kvp), M_LWBUF, M_WAITOK | M_ZERO);
  95
  96         free_kvp->kva = k + (i * PAGE_SIZE);
  97         SLIST_INSERT_HEAD(fkvpl, free_kvp, next);
  98     }
  99
 100     return (TRUE);
 101 }
 102
 103 static void
 104 lwbuf_init(void *arg)
 105 {
 106     struct mdglobaldata *gd = mdcpu;
 107     int i;
 108
 109     lwbuf_cache = objcache_create("lwbuf", 0, 0,
 110         lwbuf_cache_ctor, NULL, NULL,
 111         objcache_malloc_alloc, objcache_malloc_free,
 112         &lwbuf_malloc_args);
 113
 114     /* Should probably be in cpu_gdinit */
 115     for (i = 0; i < SMP_MAXCPU; ++i) {
 116         SLIST_INIT(&gd->gd_lwbuf_fpages);
 117         lwbuf_initpages(&gd->gd_lwbuf_fpages, LWBUF_BOOT_PAGES);
 118     }
 119 }
 120
 121 struct lwbuf *
 122 lwbuf_alloc(vm_page_t m)
 123 {
 124     struct mdglobaldata *gd = mdcpu;
 125     struct lwbuf_free_kvp *free_kvp;
 126     struct lwbuf *lwb;
 127
 128     if ((lwb = objcache_get(lwbuf_cache, M_WAITOK)) == NULL)
 129         return (NULL);
 130
 131     lwb->m = m;
 132
 133     crit_enter_gd(&gd->mi);
 134 check_slist:
 135     if (!SLIST_EMPTY(&gd->gd_lwbuf_fpages)) {
 136         free_kvp = SLIST_FIRST(&gd->gd_lwbuf_fpages);
 137         SLIST_REMOVE_HEAD(&gd->gd_lwbuf_fpages, next);
 138
 139         lwb->kva = free_kvp->kva;
 140
 141         kfree(free_kvp, M_LWBUF);
 142     } else {
 143         if (lwbuf_initpages(&gd->gd_lwbuf_fpages,
 144                             LWBUF_ALLOC_PAGES) == FALSE)
 145             tsleep(&gd->gd_lwbuf_fpages, 0, "lwbuf", 0);
 146
 147         goto check_slist;
 148     }
 149     crit_exit_gd(&gd->mi);
 150
 151     pmap_kenter_quick(lwb->kva, lwb->m->phys_addr);
 152     lwb->cpumask |= gd->mi.gd_cpumask;
 153
 154     return (lwb);
 155 }
 156
 157 void
 158 lwbuf_free(struct lwbuf *lwb)
 159 {
 160     struct mdglobaldata *gd = mdcpu;
 161     struct lwbuf_free_kvp *free_kvp;
 162
 163     free_kvp = (struct lwbuf_free_kvp *)
 164         kmalloc(sizeof(*free_kvp), M_LWBUF, M_WAITOK);
 165     free_kvp->kva = lwb->kva;
 166     crit_enter_gd(&gd->mi);
 167     SLIST_INSERT_HEAD(&gd->gd_lwbuf_fpages, free_kvp, next);
 168     crit_exit_gd(&gd->mi);
 169     wakeup_one(&gd->gd_lwbuf_fpages);
 170
 171     lwb->m = NULL;
 172     lwb->kva = 0;
 173     lwb->cpumask = 0;
 174
 175     objcache_put(lwbuf_cache, lwb);
 176 }
 177
 178 void
 179 lwbuf_set_global(struct lwbuf *lwb)
 180 {
 181     pmap_kenter_sync(lwb->kva);
 182     lwb->cpumask = (cpumask_t)-1;
 183 }
 184
 185 static vm_offset_t
 186 _lwbuf_kva(struct lwbuf *lwb, struct mdglobaldata *gd)
 187 {
 188     cpumask_t old, new;
 189
 190     pmap_kenter_sync_quick(lwb->kva);
 191
 192     do {
 193         old = lwb->cpumask;
 194         new = old | gd->mi.gd_cpumask;
 195     } while (atomic_cmpset_int(&lwb->cpumask, old, new) == 0);
 196
 197     return (lwb->kva);
 198 }
 199
 200 __inline vm_offset_t
 201 lwbuf_kva(struct lwbuf *lwb)
 202 {
 203     struct mdglobaldata *gd = mdcpu;
 204
 205     if (lwb->cpumask & gd->mi.gd_cpumask)
 206         return (lwb->kva);
 207
 208     return (_lwbuf_kva(lwb, gd));
 209 }