Merge from vendor branch BZIP:
[dragonfly.git] / sys / kern / uipc_socket2.c
1 /*
2  * Copyright (c) 2005 Jeffrey M. Hsu.  All rights reserved.
3  * Copyright (c) 1982, 1986, 1988, 1990, 1993
4  *      The Regents of the University of California.  All rights reserved.
5  *
6  * Redistribution and use in source and binary forms, with or without
7  * modification, are permitted provided that the following conditions
8  * are met:
9  * 1. Redistributions of source code must retain the above copyright
10  *    notice, this list of conditions and the following disclaimer.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  * 3. All advertising materials mentioning features or use of this software
15  *    must display the following acknowledgement:
16  *      This product includes software developed by the University of
17  *      California, Berkeley and its contributors.
18  * 4. Neither the name of the University nor the names of its contributors
19  *    may be used to endorse or promote products derived from this software
20  *    without specific prior written permission.
21  *
22  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
23  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
24  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
25  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
26  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
27  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
28  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
29  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
31  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  *
34  *      @(#)uipc_socket2.c      8.1 (Berkeley) 6/10/93
35  * $FreeBSD: src/sys/kern/uipc_socket2.c,v 1.55.2.17 2002/08/31 19:04:55 dwmalone Exp $
36  * $DragonFly: src/sys/kern/uipc_socket2.c,v 1.29 2007/05/23 08:57:05 dillon Exp $
37  */
38
39 #include "opt_param.h"
40 #include <sys/param.h>
41 #include <sys/systm.h>
42 #include <sys/domain.h>
43 #include <sys/file.h>   /* for maxfiles */
44 #include <sys/kernel.h>
45 #include <sys/proc.h>
46 #include <sys/malloc.h>
47 #include <sys/mbuf.h>
48 #include <sys/protosw.h>
49 #include <sys/resourcevar.h>
50 #include <sys/stat.h>
51 #include <sys/socket.h>
52 #include <sys/socketvar.h>
53 #include <sys/signalvar.h>
54 #include <sys/sysctl.h>
55 #include <sys/aio.h> /* for aio_swake proto */
56 #include <sys/event.h>
57
58 #include <sys/thread2.h>
59 #include <sys/msgport2.h>
60
61 int     maxsockets;
62
63 /*
64  * Primitive routines for operating on sockets and socket buffers
65  */
66
67 u_long  sb_max = SB_MAX;
68 u_long  sb_max_adj =
69     SB_MAX * MCLBYTES / (MSIZE + MCLBYTES); /* adjusted sb_max */
70
71 static  u_long sb_efficiency = 8;       /* parameter for sbreserve() */
72
73 /************************************************************************
74  * signalsockbuf procedures                                             *
75  ************************************************************************/
76
77 /*
78  * Wait for data to arrive at/drain from a socket buffer.
79  */
80 int
81 ssb_wait(struct signalsockbuf *ssb)
82 {
83
84         ssb->ssb_flags |= SSB_WAIT;
85         return (tsleep((caddr_t)&ssb->ssb_cc,
86                         ((ssb->ssb_flags & SSB_NOINTR) ? 0 : PCATCH),
87                         "sbwait",
88                         ssb->ssb_timeo));
89 }
90
91 /*
92  * Lock a sockbuf already known to be locked;
93  * return any error returned from sleep (EINTR).
94  */
95 int
96 _ssb_lock(struct signalsockbuf *ssb)
97 {
98         int error;
99
100         while (ssb->ssb_flags & SSB_LOCK) {
101                 ssb->ssb_flags |= SSB_WANT;
102                 error = tsleep((caddr_t)&ssb->ssb_flags,
103                             ((ssb->ssb_flags & SSB_NOINTR) ? 0 : PCATCH),
104                             "sblock", 0);
105                 if (error)
106                         return (error);
107         }
108         ssb->ssb_flags |= SSB_LOCK;
109         return (0);
110 }
111
112 /*
113  * This does the same for sockbufs.  Note that the xsockbuf structure,
114  * since it is always embedded in a socket, does not include a self
115  * pointer nor a length.  We make this entry point public in case
116  * some other mechanism needs it.
117  */
118 void
119 ssbtoxsockbuf(struct signalsockbuf *ssb, struct xsockbuf *xsb)
120 {
121         xsb->sb_cc = ssb->ssb_cc;
122         xsb->sb_hiwat = ssb->ssb_hiwat;
123         xsb->sb_mbcnt = ssb->ssb_mbcnt;
124         xsb->sb_mbmax = ssb->ssb_mbmax;
125         xsb->sb_lowat = ssb->ssb_lowat;
126         xsb->sb_flags = ssb->ssb_flags;
127         xsb->sb_timeo = ssb->ssb_timeo;
128 }
129
130
131 /************************************************************************
132  * Procedures which manipulate socket state flags, wakeups, etc.        *
133  ************************************************************************
134  *
135  * Normal sequence from the active (originating) side is that
136  * soisconnecting() is called during processing of connect() call, resulting
137  * in an eventual call to soisconnected() if/when the connection is
138  * established.  When the connection is torn down soisdisconnecting() is
139  * called during processing of disconnect() call, and soisdisconnected() is
140  * called when the connection to the peer is totally severed.
141  *
142  * The semantics of these routines are such that connectionless protocols
143  * can call soisconnected() and soisdisconnected() only, bypassing the
144  * in-progress calls when setting up a ``connection'' takes no time.
145  *
146  * From the passive side, a socket is created with two queues of sockets:
147  * so_incomp for connections in progress and so_comp for connections
148  * already made and awaiting user acceptance.  As a protocol is preparing
149  * incoming connections, it creates a socket structure queued on so_incomp
150  * by calling sonewconn().  When the connection is established,
151  * soisconnected() is called, and transfers the socket structure to so_comp,
152  * making it available to accept().
153  *
154  * If a socket is closed with sockets on either so_incomp or so_comp, these
155  * sockets are dropped.
156  *
157  * If higher level protocols are implemented in the kernel, the wakeups
158  * done here will sometimes cause software-interrupt process scheduling.
159  */
160
161 void
162 soisconnecting(struct socket *so)
163 {
164         so->so_state &= ~(SS_ISCONNECTED|SS_ISDISCONNECTING);
165         so->so_state |= SS_ISCONNECTING;
166 }
167
168 void
169 soisconnected(struct socket *so)
170 {
171         struct socket *head = so->so_head;
172
173         so->so_state &= ~(SS_ISCONNECTING|SS_ISDISCONNECTING|SS_ISCONFIRMING);
174         so->so_state |= SS_ISCONNECTED;
175         if (head && (so->so_state & SS_INCOMP)) {
176                 if ((so->so_options & SO_ACCEPTFILTER) != 0) {
177                         so->so_upcall = head->so_accf->so_accept_filter->accf_callback;
178                         so->so_upcallarg = head->so_accf->so_accept_filter_arg;
179                         so->so_rcv.ssb_flags |= SSB_UPCALL;
180                         so->so_options &= ~SO_ACCEPTFILTER;
181                         so->so_upcall(so, so->so_upcallarg, 0);
182                         return;
183                 }
184                 TAILQ_REMOVE(&head->so_incomp, so, so_list);
185                 head->so_incqlen--;
186                 so->so_state &= ~SS_INCOMP;
187                 TAILQ_INSERT_TAIL(&head->so_comp, so, so_list);
188                 head->so_qlen++;
189                 so->so_state |= SS_COMP;
190                 sorwakeup(head);
191                 wakeup_one(&head->so_timeo);
192         } else {
193                 wakeup(&so->so_timeo);
194                 sorwakeup(so);
195                 sowwakeup(so);
196         }
197 }
198
199 void
200 soisdisconnecting(struct socket *so)
201 {
202         so->so_state &= ~SS_ISCONNECTING;
203         so->so_state |= (SS_ISDISCONNECTING|SS_CANTRCVMORE|SS_CANTSENDMORE);
204         wakeup((caddr_t)&so->so_timeo);
205         sowwakeup(so);
206         sorwakeup(so);
207 }
208
209 void
210 soisdisconnected(struct socket *so)
211 {
212         so->so_state &= ~(SS_ISCONNECTING|SS_ISCONNECTED|SS_ISDISCONNECTING);
213         so->so_state |= (SS_CANTRCVMORE|SS_CANTSENDMORE|SS_ISDISCONNECTED);
214         wakeup((caddr_t)&so->so_timeo);
215         sbdrop(&so->so_snd.sb, so->so_snd.ssb_cc);
216         sowwakeup(so);
217         sorwakeup(so);
218 }
219
220 /*
221  * When an attempt at a new connection is noted on a socket
222  * which accepts connections, sonewconn is called.  If the
223  * connection is possible (subject to space constraints, etc.)
224  * then we allocate a new structure, propoerly linked into the
225  * data structure of the original socket, and return this.
226  * Connstatus may be 0, or SO_ISCONFIRMING, or SO_ISCONNECTED.
227  */
228 struct socket *
229 sonewconn(struct socket *head, int connstatus)
230 {
231         struct socket *so;
232         struct pru_attach_info ai;
233
234         if (head->so_qlen > 3 * head->so_qlimit / 2)
235                 return ((struct socket *)0);
236         so = soalloc(1);
237         if (so == NULL)
238                 return (NULL);
239         if ((head->so_options & SO_ACCEPTFILTER) != 0)
240                 connstatus = 0;
241         so->so_head = head;
242         so->so_type = head->so_type;
243         so->so_options = head->so_options &~ SO_ACCEPTCONN;
244         so->so_linger = head->so_linger;
245         so->so_state = head->so_state | SS_NOFDREF;
246         so->so_proto = head->so_proto;
247         so->so_timeo = head->so_timeo;
248         so->so_cred = crhold(head->so_cred);
249         ai.sb_rlimit = NULL;
250         ai.p_ucred = NULL;
251         ai.fd_rdir = NULL;              /* jail code cruft XXX JH */
252         if (soreserve(so, head->so_snd.ssb_hiwat, head->so_rcv.ssb_hiwat, NULL) ||
253             /* Directly call function since we're already at protocol level. */
254             (*so->so_proto->pr_usrreqs->pru_attach)(so, 0, &ai)) {
255                 sodealloc(so);
256                 return ((struct socket *)0);
257         }
258
259         if (connstatus) {
260                 TAILQ_INSERT_TAIL(&head->so_comp, so, so_list);
261                 so->so_state |= SS_COMP;
262                 head->so_qlen++;
263         } else {
264                 if (head->so_incqlen > head->so_qlimit) {
265                         struct socket *sp;
266                         sp = TAILQ_FIRST(&head->so_incomp);
267                         (void) soabort(sp);
268                 }
269                 TAILQ_INSERT_TAIL(&head->so_incomp, so, so_list);
270                 so->so_state |= SS_INCOMP;
271                 head->so_incqlen++;
272         }
273         if (connstatus) {
274                 sorwakeup(head);
275                 wakeup((caddr_t)&head->so_timeo);
276                 so->so_state |= connstatus;
277         }
278         return (so);
279 }
280
281 /*
282  * Socantsendmore indicates that no more data will be sent on the
283  * socket; it would normally be applied to a socket when the user
284  * informs the system that no more data is to be sent, by the protocol
285  * code (in case PRU_SHUTDOWN).  Socantrcvmore indicates that no more data
286  * will be received, and will normally be applied to the socket by a
287  * protocol when it detects that the peer will send no more data.
288  * Data queued for reading in the socket may yet be read.
289  */
290 void
291 socantsendmore(struct socket *so)
292 {
293         so->so_state |= SS_CANTSENDMORE;
294         sowwakeup(so);
295 }
296
297 void
298 socantrcvmore(struct socket *so)
299 {
300         so->so_state |= SS_CANTRCVMORE;
301         sorwakeup(so);
302 }
303
304 /*
305  * Wakeup processes waiting on a socket buffer.  Do asynchronous notification
306  * via SIGIO if the socket has the SS_ASYNC flag set.
307  */
308 void
309 sowakeup(struct socket *so, struct signalsockbuf *ssb)
310 {
311         struct selinfo *selinfo = &ssb->ssb_sel;
312
313         selwakeup(selinfo);
314         ssb->ssb_flags &= ~SSB_SEL;
315         if (ssb->ssb_flags & SSB_WAIT) {
316                 ssb->ssb_flags &= ~SSB_WAIT;
317                 wakeup((caddr_t)&ssb->ssb_cc);
318         }
319         if ((so->so_state & SS_ASYNC) && so->so_sigio != NULL)
320                 pgsigio(so->so_sigio, SIGIO, 0);
321         if (ssb->ssb_flags & SSB_UPCALL)
322                 (*so->so_upcall)(so, so->so_upcallarg, MB_DONTWAIT);
323         if (ssb->ssb_flags & SSB_AIO)
324                 aio_swake(so, ssb);
325         KNOTE(&selinfo->si_note, 0);
326         if (ssb->ssb_flags & SSB_MEVENT) {
327                 struct netmsg_so_notify *msg, *nmsg;
328
329                 TAILQ_FOREACH_MUTABLE(msg, &selinfo->si_mlist, nm_list, nmsg) {
330                         if (msg->nm_predicate(&msg->nm_netmsg)) {
331                                 TAILQ_REMOVE(&selinfo->si_mlist, msg, nm_list);
332                                 lwkt_replymsg(&msg->nm_netmsg.nm_lmsg, 
333                                               msg->nm_netmsg.nm_lmsg.ms_error);
334                         }
335                 }
336                 if (TAILQ_EMPTY(&ssb->ssb_sel.si_mlist))
337                         ssb->ssb_flags &= ~SSB_MEVENT;
338         }
339 }
340
341 /*
342  * Socket buffer (struct signalsockbuf) utility routines.
343  *
344  * Each socket contains two socket buffers: one for sending data and
345  * one for receiving data.  Each buffer contains a queue of mbufs,
346  * information about the number of mbufs and amount of data in the
347  * queue, and other fields allowing select() statements and notification
348  * on data availability to be implemented.
349  *
350  * Data stored in a socket buffer is maintained as a list of records.
351  * Each record is a list of mbufs chained together with the m_next
352  * field.  Records are chained together with the m_nextpkt field. The upper
353  * level routine soreceive() expects the following conventions to be
354  * observed when placing information in the receive buffer:
355  *
356  * 1. If the protocol requires each message be preceded by the sender's
357  *    name, then a record containing that name must be present before
358  *    any associated data (mbuf's must be of type MT_SONAME).
359  * 2. If the protocol supports the exchange of ``access rights'' (really
360  *    just additional data associated with the message), and there are
361  *    ``rights'' to be received, then a record containing this data
362  *    should be present (mbuf's must be of type MT_RIGHTS).
363  * 3. If a name or rights record exists, then it must be followed by
364  *    a data record, perhaps of zero length.
365  *
366  * Before using a new socket structure it is first necessary to reserve
367  * buffer space to the socket, by calling sbreserve().  This should commit
368  * some of the available buffer space in the system buffer pool for the
369  * socket (currently, it does nothing but enforce limits).  The space
370  * should be released by calling ssb_release() when the socket is destroyed.
371  */
372 int
373 soreserve(struct socket *so, u_long sndcc, u_long rcvcc, struct rlimit *rl)
374 {
375         if (ssb_reserve(&so->so_snd, sndcc, so, rl) == 0)
376                 goto bad;
377         if (ssb_reserve(&so->so_rcv, rcvcc, so, rl) == 0)
378                 goto bad2;
379         if (so->so_rcv.ssb_lowat == 0)
380                 so->so_rcv.ssb_lowat = 1;
381         if (so->so_snd.ssb_lowat == 0)
382                 so->so_snd.ssb_lowat = MCLBYTES;
383         if (so->so_snd.ssb_lowat > so->so_snd.ssb_hiwat)
384                 so->so_snd.ssb_lowat = so->so_snd.ssb_hiwat;
385         return (0);
386 bad2:
387         ssb_release(&so->so_snd, so);
388 bad:
389         return (ENOBUFS);
390 }
391
392 static int
393 sysctl_handle_sb_max(SYSCTL_HANDLER_ARGS)
394 {
395         int error = 0;
396         u_long old_sb_max = sb_max;
397
398         error = SYSCTL_OUT(req, arg1, sizeof(int));
399         if (error || !req->newptr)
400                 return (error);
401         error = SYSCTL_IN(req, arg1, sizeof(int));
402         if (error)
403                 return (error);
404         if (sb_max < MSIZE + MCLBYTES) {
405                 sb_max = old_sb_max;
406                 return (EINVAL);
407         }
408         sb_max_adj = (u_quad_t)sb_max * MCLBYTES / (MSIZE + MCLBYTES);
409         return (0);
410 }
411         
412 /*
413  * Allot mbufs to a signalsockbuf.
414  * Attempt to scale mbmax so that mbcnt doesn't become limiting
415  * if buffering efficiency is near the normal case.
416  */
417 int
418 ssb_reserve(struct signalsockbuf *ssb, u_long cc, struct socket *so,
419             struct rlimit *rl)
420 {
421         /*
422          * rl will only be NULL when we're in an interrupt (eg, in tcp_input)
423          * or when called from netgraph (ie, ngd_attach)
424          */
425         if (cc > sb_max_adj)
426                 return (0);
427         if (!chgsbsize(so->so_cred->cr_uidinfo, &ssb->ssb_hiwat, cc,
428                        rl ? rl->rlim_cur : RLIM_INFINITY)) {
429                 return (0);
430         }
431         ssb->ssb_mbmax = min(cc * sb_efficiency, sb_max);
432         if (ssb->ssb_lowat > ssb->ssb_hiwat)
433                 ssb->ssb_lowat = ssb->ssb_hiwat;
434         return (1);
435 }
436
437 /*
438  * Free mbufs held by a socket, and reserved mbuf space.
439  */
440 void
441 ssb_release(struct signalsockbuf *ssb, struct socket *so)
442 {
443         sbflush(&ssb->sb);
444         (void)chgsbsize(so->so_cred->cr_uidinfo, &ssb->ssb_hiwat, 0,
445             RLIM_INFINITY);
446         ssb->ssb_mbmax = 0;
447 }
448
449 /*
450  * Some routines that return EOPNOTSUPP for entry points that are not
451  * supported by a protocol.  Fill in as needed.
452  */
453 int
454 pru_accept_notsupp(struct socket *so, struct sockaddr **nam)
455 {
456         return EOPNOTSUPP;
457 }
458
459 int
460 pru_connect_notsupp(struct socket *so, struct sockaddr *nam, struct thread *td)
461 {
462         return EOPNOTSUPP;
463 }
464
465 int
466 pru_connect2_notsupp(struct socket *so1, struct socket *so2)
467 {
468         return EOPNOTSUPP;
469 }
470
471 int
472 pru_control_notsupp(struct socket *so, u_long cmd, caddr_t data,
473                     struct ifnet *ifp, struct thread *td)
474 {
475         return EOPNOTSUPP;
476 }
477
478 int
479 pru_listen_notsupp(struct socket *so, struct thread *td)
480 {
481         return EOPNOTSUPP;
482 }
483
484 int
485 pru_rcvd_notsupp(struct socket *so, int flags)
486 {
487         return EOPNOTSUPP;
488 }
489
490 int
491 pru_rcvoob_notsupp(struct socket *so, struct mbuf *m, int flags)
492 {
493         return EOPNOTSUPP;
494 }
495
496 /*
497  * This isn't really a ``null'' operation, but it's the default one
498  * and doesn't do anything destructive.
499  */
500 int
501 pru_sense_null(struct socket *so, struct stat *sb)
502 {
503         sb->st_blksize = so->so_snd.ssb_hiwat;
504         return 0;
505 }
506
507 /*
508  * Make a copy of a sockaddr in a malloced buffer of type M_SONAME.  Callers
509  * of this routine assume that it always succeeds, so we have to use a 
510  * blockable allocation even though we might be called from a critical thread.
511  */
512 struct sockaddr *
513 dup_sockaddr(const struct sockaddr *sa)
514 {
515         struct sockaddr *sa2;
516
517         sa2 = kmalloc(sa->sa_len, M_SONAME, M_INTWAIT);
518         bcopy(sa, sa2, sa->sa_len);
519         return (sa2);
520 }
521
522 /*
523  * Create an external-format (``xsocket'') structure using the information
524  * in the kernel-format socket structure pointed to by so.  This is done
525  * to reduce the spew of irrelevant information over this interface,
526  * to isolate user code from changes in the kernel structure, and
527  * potentially to provide information-hiding if we decide that
528  * some of this information should be hidden from users.
529  */
530 void
531 sotoxsocket(struct socket *so, struct xsocket *xso)
532 {
533         xso->xso_len = sizeof *xso;
534         xso->xso_so = so;
535         xso->so_type = so->so_type;
536         xso->so_options = so->so_options;
537         xso->so_linger = so->so_linger;
538         xso->so_state = so->so_state;
539         xso->so_pcb = so->so_pcb;
540         xso->xso_protocol = so->so_proto->pr_protocol;
541         xso->xso_family = so->so_proto->pr_domain->dom_family;
542         xso->so_qlen = so->so_qlen;
543         xso->so_incqlen = so->so_incqlen;
544         xso->so_qlimit = so->so_qlimit;
545         xso->so_timeo = so->so_timeo;
546         xso->so_error = so->so_error;
547         xso->so_pgid = so->so_sigio ? so->so_sigio->sio_pgid : 0;
548         xso->so_oobmark = so->so_oobmark;
549         ssbtoxsockbuf(&so->so_snd, &xso->so_snd);
550         ssbtoxsockbuf(&so->so_rcv, &xso->so_rcv);
551         xso->so_uid = so->so_cred->cr_uid;
552 }
553
554 /*
555  * Here is the definition of some of the basic objects in the kern.ipc
556  * branch of the MIB.
557  */
558 SYSCTL_NODE(_kern, KERN_IPC, ipc, CTLFLAG_RW, 0, "IPC");
559
560 /* This takes the place of kern.maxsockbuf, which moved to kern.ipc. */
561 static int dummy;
562 SYSCTL_INT(_kern, KERN_DUMMY, dummy, CTLFLAG_RW, &dummy, 0, "");
563 SYSCTL_OID(_kern_ipc, KIPC_MAXSOCKBUF, maxsockbuf, CTLTYPE_INT|CTLFLAG_RW, 
564     &sb_max, 0, sysctl_handle_sb_max, "I", "Maximum socket buffer size");
565 SYSCTL_INT(_kern_ipc, OID_AUTO, maxsockets, CTLFLAG_RD, 
566     &maxsockets, 0, "Maximum number of sockets avaliable");
567 SYSCTL_INT(_kern_ipc, KIPC_SOCKBUF_WASTE, sockbuf_waste_factor, CTLFLAG_RW,
568     &sb_efficiency, 0, "");
569
570 /*
571  * Initialize maxsockets 
572  */
573 static void
574 init_maxsockets(void *ignored)
575 {
576     TUNABLE_INT_FETCH("kern.ipc.maxsockets", &maxsockets);
577     maxsockets = imax(maxsockets, imax(maxfiles, nmbclusters));
578 }
579 SYSINIT(param, SI_BOOT1_TUNABLES, SI_ORDER_ANY,
580         init_maxsockets, NULL);
581