494e55bf53e0dffb5c662874415981404ff43275
[dragonfly.git] / sys / kern / kern_sfbuf.c
1 /*
2  * Copyright (c) 1998 David Greenman.  All rights reserved. 
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
14  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
16  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
17  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
18  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
19  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
20  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
21  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
22  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
23  * SUCH DAMAGE.
24  *
25  * $DragonFly: src/sys/kern/kern_sfbuf.c,v 1.15 2007/04/30 07:18:53 dillon Exp $
26  */
27
28 #include <sys/param.h>
29 #include <sys/types.h>
30 #include <sys/systm.h>
31 #include <sys/kernel.h>
32 #include <sys/malloc.h>
33 #include <sys/sfbuf.h>
34 #include <sys/ref.h>
35 #include <sys/objcache.h>
36
37 #include <cpu/lwbuf.h>
38
39 #include <vm/vm.h>
40 #include <vm/vm_extern.h>
41 #include <vm/vm_kern.h>
42 #include <vm/vm_page.h>
43 #include <vm/pmap.h>
44
45 static void sf_buf_init(void *arg);
46 SYSINIT(sock_sf, SI_BOOT2_MACHDEP, SI_ORDER_ANY, sf_buf_init, NULL)
47
48 LIST_HEAD(sf_buf_list, sf_buf);
49
50 static struct objcache *sf_buf_cache;
51
52 MALLOC_DEFINE(M_SFBUF, "sfbuf", "Sendfile buffer structures");
53 struct objcache_malloc_args sf_buf_malloc_args = { sizeof(struct sf_buf), M_SFBUF };
54
55
56 static boolean_t
57 sf_buf_cache_ctor(void *obj, void *pdata, int ocflags)
58 {
59         struct sf_buf *sf = (struct sf_buf *)obj;
60
61         sf->lwbuf = NULL;
62         kref_init(&sf->ref, 0);
63
64         return (TRUE);
65 }
66
67 /*
68  * Init objcache of sf_bufs (sendfile(2) or "super-fast" if you prefer. :-))
69  */
70 static void
71 sf_buf_init(void *arg)
72 {
73         sf_buf_cache = objcache_create("sf_buf", 0, 0,
74                 sf_buf_cache_ctor, NULL, NULL,
75                 objcache_malloc_alloc, objcache_malloc_free,
76                 &sf_buf_malloc_args);
77 }
78
79 /*
80  * Acquire an sf_buf reference for a vm_page.
81  */
82 struct sf_buf *
83 sf_buf_alloc(struct vm_page *m)
84 {
85         struct sf_buf *sf;
86
87         if ((sf = objcache_get(sf_buf_cache, M_WAITOK)) == NULL)
88                 goto done;
89
90         if ((sf->lwbuf = lwbuf_alloc(m)) == NULL) {
91                 objcache_put(sf_buf_cache, sf);
92                 sf = NULL;
93                 goto done;
94         }
95
96         /*
97          * Force invalidation of the TLB entry on all CPU's
98          */
99         lwbuf_set_global(sf->lwbuf);
100
101         kref_init(&sf->ref, 1);
102
103 done:
104         return (sf);
105 }
106
107 void
108 sf_buf_ref(void *arg)
109 {
110         struct sf_buf *sf = arg;
111         kref_inc(&sf->ref);
112 }
113
114 /*
115  * Detach mapped page and release resources back to the system.
116  */
117 int
118 sf_buf_free(void *arg)
119 {
120         struct sf_buf *sf = arg;
121         int rc;
122
123         rc = KREF_DEC((&sf->ref), {
124                 lwbuf_free(sf->lwbuf);
125                 objcache_put(sf_buf_cache, sf);
126                 sf = NULL;
127         });
128
129         return (rc);
130 }