kernel - Introduce lightweight buffers
[dragonfly.git] / sys / cpu / i386 / misc / lwbuf.c
1 /*
2  * Copyright (c) 2010 by The DragonFly Project and Samuel J. Greear.
3  * All rights reserved.
4  *
5  * This code is derived from software contributed to The DragonFly Project
6  * by Samuel J. Greear <sjg@thesjg.com>
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions
10  * are met:
11  *
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in
16  *    the documentation and/or other materials provided with the
17  *    distribution.
18  * 3. Neither the name of The DragonFly Project nor the names of its
19  *    contributors may be used to endorse or promote products derived
20  *    from this software without specific, prior written permission.
21  *
22  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
23  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
24  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
25  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
26  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
27  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
28  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
30  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
31  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
32  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
33  * SUCH DAMAGE.
34  */
35
36 #include <sys/types.h>
37 #include <sys/kernel.h>
38 #include <sys/objcache.h>
39 #include <sys/sysctl.h>
40 #include <sys/param.h>
41 #include <sys/serialize.h>
42 #include <sys/systm.h>
43 #include <sys/proc.h>
44 #include <sys/queue.h>
45 #include <vm/vm.h>
46 #include <vm/pmap.h>
47 #include <vm/vm_extern.h>
48 #include <vm/vm_kern.h>
49 #include <vm/vm_page.h>
50 #include <cpu/lwbuf.h>
51 #include <machine/globaldata.h>
52 #include <machine/atomic.h>
53 #include <machine/param.h>
54
55 static void lwbuf_init(void *);
56 SYSINIT(sock_lwb, SI_BOOT2_MACHDEP, SI_ORDER_ANY, lwbuf_init, NULL);
57
58 /* Number of pages of KVA to allocate at boot per cpu (1MB) */
59 #define LWBUF_BOOT_PAGES        256
60 /* Number to allocate incrementally (128KB) */
61 #define LWBUF_ALLOC_PAGES       32
62
63 static struct objcache *lwbuf_cache;
64
65 MALLOC_DEFINE(M_LWBUF, "lwbuf", "Lightweight buffers");
66 struct objcache_malloc_args lwbuf_malloc_args = { sizeof(struct lwbuf), M_LWBUF };
67
68
69 static boolean_t
70 lwbuf_cache_ctor(void *obj, void *pdata, int ocflags)
71 {
72     struct lwbuf *lwb = (struct lwbuf *)obj;
73
74     lwb->m = NULL;
75     lwb->kva = 0;
76     lwb->cpumask = 0;
77
78     return (TRUE);
79 }
80
81 static boolean_t
82 lwbuf_initpages(struct lwbuf_free_kvp_list *fkvpl, int pages)
83 {
84     struct lwbuf_free_kvp *free_kvp;
85     vm_offset_t k;
86     int i;
87
88     k = kmem_alloc_nofault(&kernel_map, PAGE_SIZE * pages, PAGE_SIZE);
89     if (k == 0)
90         return (FALSE);
91
92     for (i = 0; i < pages; ++i) {
93         free_kvp = (struct lwbuf_free_kvp *)
94             kmalloc(sizeof(*free_kvp), M_LWBUF, M_WAITOK | M_ZERO);
95
96         free_kvp->kva = k + (i * PAGE_SIZE);
97         SLIST_INSERT_HEAD(fkvpl, free_kvp, next);
98     }
99
100     return (TRUE);
101 }
102
103 static void
104 lwbuf_init(void *arg)
105 {
106     int i;
107
108     lwbuf_cache = objcache_create("lwbuf", 0, 0,
109         lwbuf_cache_ctor, NULL, NULL,
110         objcache_malloc_alloc, objcache_malloc_free,
111         &lwbuf_malloc_args);
112
113     /* Should probably be in cpu_gdinit */
114     for (i = 0; i < SMP_MAXCPU; ++i) {
115         SLIST_INIT(&mdcpu->gd_lwbuf_fpages);
116         lwbuf_initpages(&mdcpu->gd_lwbuf_fpages, LWBUF_BOOT_PAGES);
117     }
118 }
119
120 struct lwbuf *
121 lwbuf_alloc(vm_page_t m)
122 {
123     struct mdglobaldata *gd = mdcpu;
124     struct lwbuf_free_kvp *free_kvp;
125     struct lwbuf *lwb;
126
127     if ((lwb = objcache_get(lwbuf_cache, M_WAITOK)) == NULL)
128         return (NULL);
129
130     lwb->m = m;
131
132 check_slist:
133     if (!SLIST_EMPTY(&gd->gd_lwbuf_fpages)) {
134         free_kvp = SLIST_FIRST(&gd->gd_lwbuf_fpages);
135         SLIST_REMOVE_HEAD(&gd->gd_lwbuf_fpages, next);
136
137         lwb->kva = free_kvp->kva;
138
139         kfree(free_kvp, M_LWBUF);
140     } else {
141         if (lwbuf_initpages(&gd->gd_lwbuf_fpages,
142                             LWBUF_ALLOC_PAGES) == FALSE)
143             tsleep(&gd->gd_lwbuf_fpages, 0, "lwbuf", hz);
144
145         goto check_slist;
146     }
147
148     pmap_kenter_quick(lwb->kva, lwb->m->phys_addr);
149     lwb->cpumask |= gd->mi.gd_cpumask;
150
151     return (lwb);
152 }
153
154 void
155 lwbuf_free(struct lwbuf *lwb)
156 {
157     struct lwbuf_free_kvp *free_kvp;
158
159     free_kvp = (struct lwbuf_free_kvp *)
160         kmalloc(sizeof(*free_kvp), M_LWBUF, M_WAITOK);
161     free_kvp->kva = lwb->kva;
162     SLIST_INSERT_HEAD(&mdcpu->gd_lwbuf_fpages, free_kvp, next);
163     wakeup_one(&mdcpu->gd_lwbuf_fpages);
164
165     lwb->m = NULL;
166     lwb->kva = 0;
167     lwb->cpumask = 0;
168
169     objcache_put(lwbuf_cache, lwb);
170 }
171
172 void
173 lwbuf_set_global(struct lwbuf *lwb)
174 {
175     pmap_kenter_sync(lwb->kva);
176     lwb->cpumask = (cpumask_t)-1;
177 }
178
179 static vm_offset_t
180 _lwbuf_kva(struct lwbuf *lwb, struct mdglobaldata *gd)
181 {
182     cpumask_t old, new;
183
184     pmap_kenter_sync_quick(lwb->kva);
185
186     do {
187         old = lwb->cpumask;
188         new = old | gd->mi.gd_cpumask;
189     } while (atomic_cmpset_int(&lwb->cpumask, old, new) == 0);
190
191     return (lwb->kva);
192 }
193
194 __inline vm_offset_t
195 lwbuf_kva(struct lwbuf *lwb)
196 {
197     struct mdglobaldata *gd = mdcpu;
198
199     if (lwb->cpumask & gd->mi.gd_cpumask)
200         return (lwb->kva);
201
202     return (_lwbuf_kva(lwb, gd));
203 }