kernel - Fix numerous MP issues with sockbuf's and ssb_flags part 1/2
[dragonfly.git] / sys / sys / socketvar.h
1 /*-
2  * Copyright (c) 1982, 1986, 1990, 1993
3  *      The Regents of the University of California.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. All advertising materials mentioning features or use of this software
14  *    must display the following acknowledgement:
15  *      This product includes software developed by the University of
16  *      California, Berkeley and its contributors.
17  * 4. Neither the name of the University nor the names of its contributors
18  *    may be used to endorse or promote products derived from this software
19  *    without specific prior written permission.
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31  * SUCH DAMAGE.
32  *
33  *      @(#)socketvar.h 8.3 (Berkeley) 2/19/95
34  * $FreeBSD: src/sys/sys/socketvar.h,v 1.46.2.10 2003/08/24 08:24:39 hsu Exp $
35  * $DragonFly: src/sys/sys/socketvar.h,v 1.35 2008/08/28 23:15:45 dillon Exp $
36  */
37
38 #ifndef _SYS_SOCKETVAR_H_
39 #define _SYS_SOCKETVAR_H_
40
41 #ifndef _SYS_TYPES_H_
42 #include <sys/types.h>
43 #endif
44 #ifndef _SYS_QUEUE_H_
45 #include <sys/queue.h>                  /* for TAILQ macros */
46 #endif
47 #ifndef _SYS_EVENT_H_
48 #include <sys/event.h>                  /* for struct kqinfo */
49 #endif
50 #ifndef _SYS_SOCKBUF_H_
51 #include <sys/sockbuf.h>
52 #endif
53
54 #if defined(_KERNEL) || defined(_KERNEL_STRUCTURES)
55
56 struct accept_filter;
57
58 /*
59  * Signaling socket buffers contain additional elements for locking
60  * and signaling conditions.  These are used primarily by sockets.
61  *
62  * WARNING: See partial clearing of fields in kern/uipc_socket.c
63  *          sorflush() and sowflush().
64  */
65 struct signalsockbuf {
66         struct sockbuf sb;
67         struct kqinfo ssb_kq;   /* process selecting read/write */
68         uint32_t ssb_flags;     /* flags, see below (use atomic ops) */
69         short   ssb_timeo;      /* timeout for read/write */
70         short   ssb_unused01;
71         long    ssb_lowat;      /* low water mark */
72         u_long  ssb_hiwat;      /* high water mark / max actual char count */
73         u_long  ssb_mbmax;      /* max chars of mbufs to use */
74 };
75
76 #define ssb_cc          sb.sb_cc        /* commonly used fields */
77 #define ssb_mb          sb.sb_mb        /* commonly used fields */
78 #define ssb_mbcnt       sb.sb_mbcnt     /* commonly used fields */
79
80 #define SSB_LOCK        0x0001          /* lock on data queue */
81 #define SSB_WANT        0x0002          /* someone is waiting to lock */
82 #define SSB_WAIT        0x0004          /* someone is waiting for data/space */
83 #define SSB_ASYNC       0x0010          /* ASYNC I/O, need signals */
84 #define SSB_UPCALL      0x0020          /* someone wants an upcall */
85 #define SSB_NOINTR      0x0040          /* operations not interruptible */
86 #define SSB_AIO         0x0080          /* AIO operations queued */
87 #define SSB_KNOTE       0x0100          /* kernel note attached */
88 #define SSB_MEVENT      0x0200          /* need message event notification */
89 #define SSB_STOP        0x0400          /* backpressure indicator */
90 #define SSB_AUTOSIZE    0x0800          /* automatically size socket buffer */
91 #define SSB_AUTOLOWAT   0x1000          /* automatically scale lowat */
92 #define SSB_WAKEUP      0x2000          /* wakeup event race */
93
94 #define SSB_CLEAR_MASK  (SSB_ASYNC | SSB_UPCALL | SSB_STOP | \
95                          SSB_AUTOSIZE | SSB_AUTOLOWAT)
96
97 #define SSB_NOTIFY_MASK (SSB_WAIT | SSB_ASYNC | SSB_UPCALL | \
98                          SSB_AIO | SSB_KNOTE | SSB_MEVENT)
99
100 /*
101  * Per-socket kernel structure.  Contains universal send and receive queues,
102  * protocol control handle, and error information.
103  */
104 struct socket {
105         short   so_type;                /* generic type, see socket.h */
106         short   so_options;             /* from socket call, see socket.h */
107         short   so_linger;              /* time to linger while closing */
108         short   so_state;               /* internal state flags SS_*, below */
109         void    *so_pcb;                /* protocol control block */
110         struct  protosw *so_proto;      /* protocol handle */
111         struct  socket *so_head;        /* back pointer to accept socket */
112         lwkt_port_t so_port;            /* message port */
113
114         /*
115          * These fields are used to manage sockets capable of accepting
116          * new connections.
117          */
118         TAILQ_HEAD(, socket) so_incomp; /* in-progress, incomplete */
119         TAILQ_HEAD(, socket) so_comp;   /* completed but not yet accepted */
120         TAILQ_ENTRY(socket) so_list;    /* list of unaccepted connections */
121         short   so_qlen;                /* so_comp count */
122         short   so_incqlen;             /* so_incomp count */
123         short   so_qlimit;              /* max number queued connections */
124
125         /*
126          * Misc socket support
127          */
128         short   so_timeo;               /* connection timeout */
129         u_short so_error;               /* error affecting connection */
130         struct  sigio *so_sigio;        /* information for async I/O or
131                                            out of band data (SIGURG) */
132         u_long  so_oobmark;             /* chars to oob mark */
133         TAILQ_HEAD(, aiocblist) so_aiojobq; /* AIO ops waiting on socket */
134         struct signalsockbuf so_rcv;
135         struct signalsockbuf so_snd;
136
137         void    (*so_upcall) (struct socket *, void *, int);
138         void    *so_upcallarg;
139         struct  ucred *so_cred;         /* user credentials */
140         /* NB: generation count must not be first; easiest to make it last. */
141         void    *so_emuldata;           /* private data for emulators */
142         struct  so_accf { 
143                 struct  accept_filter *so_accept_filter;
144                 void    *so_accept_filter_arg;  /* saved filter args */
145                 char    *so_accept_filter_str;  /* saved user args */
146         } *so_accf;
147 };
148
149 #endif
150
151 /*
152  * Socket state bits.
153  */
154 #define SS_NOFDREF              0x0001  /* no file table ref any more */
155 #define SS_ISCONNECTED          0x0002  /* socket connected to a peer */
156 #define SS_ISCONNECTING         0x0004  /* in process of connecting to peer */
157 #define SS_ISDISCONNECTING      0x0008  /* in process of disconnecting */
158 #define SS_CANTSENDMORE         0x0010  /* can't send more data to peer */
159 #define SS_CANTRCVMORE          0x0020  /* can't receive more data from peer */
160 #define SS_RCVATMARK            0x0040  /* at mark on input */
161
162 #define SS_ABORTING             0x0100  /* so_abort() in progress */
163 #define SS_ASYNC                0x0200  /* async i/o notify */
164 #define SS_ISCONFIRMING         0x0400  /* deciding to accept connection req */
165
166 #define SS_INCOMP               0x0800  /* unaccepted, incomplete connection */
167 #define SS_COMP                 0x1000  /* unaccepted, complete connection */
168 #define SS_ISDISCONNECTED       0x2000  /* socket disconnected from peer */
169
170 /*
171  * Externalized form of struct socket used by the sysctl(3) interface.
172  */
173 struct  xsocket {
174         size_t  xso_len;        /* length of this structure */
175         struct  socket *xso_so; /* makes a convenient handle sometimes */
176         short   so_type;
177         short   so_options;
178         short   so_linger;
179         short   so_state;
180         void    *so_pcb;                /* another convenient handle */
181         int     xso_protocol;
182         int     xso_family;
183         short   so_qlen;
184         short   so_incqlen;
185         short   so_qlimit;
186         short   so_timeo;
187         u_short so_error;
188         pid_t   so_pgid;
189         u_long  so_oobmark;
190         struct  xsockbuf {
191                 u_long  sb_cc;
192                 u_long  sb_hiwat;
193                 u_long  sb_mbcnt;
194                 u_long  sb_mbmax;
195                 long    sb_lowat;
196                 short   sb_flags;
197                 short   sb_timeo;
198         } so_rcv, so_snd;
199         uid_t   so_uid;         /* XXX */
200 };
201
202 /*
203  * Macros for sockets and socket buffering.
204  */
205
206 #define sosendallatonce(so) \
207     ((so)->so_proto->pr_flags & PR_ATOMIC)
208
209 /* can we read something from so? */
210 #define soreadable(so) \
211     ((so)->so_rcv.ssb_cc >= (so)->so_rcv.ssb_lowat || \
212         ((so)->so_state & SS_CANTRCVMORE) || \
213         !TAILQ_EMPTY(&(so)->so_comp) || (so)->so_error)
214
215 /* can we write something to so? */
216 #define sowriteable(so) \
217     ((ssb_space(&(so)->so_snd) >= (so)->so_snd.ssb_lowat && \
218         (((so)->so_state&SS_ISCONNECTED) || \
219           ((so)->so_proto->pr_flags&PR_CONNREQUIRED)==0)) || \
220      ((so)->so_state & SS_CANTSENDMORE) || \
221      (so)->so_error)
222
223 /*
224  * Do we need to notify the other side when I/O is possible?
225  *
226  * NOTE: Interlock for ssb_wait/wakeup.  The protocol side will set
227  *       SSB_WAKEUP asynchronously and this can race, so if it isn't
228  *       set we have to go through the full-on notification check.
229  *       If it is set but no waiting ever takes place it simply
230  *       remains set.
231  */
232 #define ssb_notify(ssb)                                 \
233             (((ssb)->ssb_flags & SSB_NOTIFY_MASK) ||    \
234              ((ssb)->ssb_flags & SSB_WAKEUP) == 0)
235
236 /* do we have to send all at once on a socket? */
237
238 #ifdef _KERNEL
239
240 /*
241  * How much space is there in a socket buffer (so->so_snd or so->so_rcv)?
242  * This is problematical if the fields are unsigned, as the space might
243  * still be negative (cc > hiwat or mbcnt > mbmax).  Should detect
244  * overflow and return 0.
245  *
246  * SSB_STOP ignores cc/hiwat and returns 0.  This is used by unix domain
247  * stream sockets to signal backpressure.
248  */
249 static __inline
250 long
251 ssb_space(struct signalsockbuf *ssb)
252 {
253         long bleft;
254         long mleft;
255
256         if (ssb->ssb_flags & SSB_STOP)
257                 return(0);
258         bleft = ssb->ssb_hiwat - ssb->ssb_cc;
259         mleft = ssb->ssb_mbmax - ssb->ssb_mbcnt;
260         return((bleft < mleft) ? bleft : mleft);
261 }
262
263 #endif
264
265 #define ssb_append(ssb, m)                                              \
266         sbappend(&(ssb)->sb, m)
267
268 #define ssb_appendstream(ssb, m)                                        \
269         sbappendstream(&(ssb)->sb, m)
270
271 #define ssb_appendrecord(ssb, m)                                        \
272         sbappendrecord(&(ssb)->sb, m)
273
274 #define ssb_appendaddr(ssb, src, m, control)                            \
275         ((ssb_space(ssb) <= 0) ? 0 : sbappendaddr(&(ssb)->sb, src, m, control))
276
277 #define ssb_appendcontrol(ssb, m, control)                              \
278         ((ssb_space(ssb) <= 0) ? 0 : sbappendcontrol(&(ssb)->sb, m, control))
279
280 #define ssb_insert_knote(ssb, kn) {                                     \
281         knote_insert(&(ssb)->ssb_kq.ki_note, kn);                       \
282         atomic_set_int(&(ssb)->ssb_flags, SSB_KNOTE);                   \
283 }
284
285 #define ssb_remove_knote(ssb, kn) {                                     \
286         knote_remove(&(ssb)->ssb_kq.ki_note, kn);                       \
287         if (SLIST_EMPTY(&(ssb)->ssb_kq.ki_note))                        \
288                 atomic_clear_int(&(ssb)->ssb_flags, SSB_KNOTE);         \
289 }
290
291 #define sorwakeup(so)                                           \
292         do {                                                    \
293                 if (ssb_notify(&(so)->so_rcv))                  \
294                         sowakeup((so), &(so)->so_rcv);          \
295         } while (0)
296
297 #define sowwakeup(so)                                           \
298         do {                                                    \
299                 if (ssb_notify(&(so)->so_snd))                  \
300                         sowakeup((so), &(so)->so_snd);          \
301         } while (0)
302
303 #ifdef _KERNEL
304
305 /*
306  * Argument structure for sosetopt et seq.  This is in the KERNEL
307  * section because it will never be visible to user code.
308  */
309 enum sopt_dir { SOPT_GET, SOPT_SET };
310 struct sockopt {
311         enum    sopt_dir sopt_dir; /* is this a get or a set? */
312         int     sopt_level;     /* second arg of [gs]etsockopt */
313         int     sopt_name;      /* third arg of [gs]etsockopt */
314         void   *sopt_val;       /* fourth arg of [gs]etsockopt */
315         size_t  sopt_valsize;   /* (almost) fifth arg of [gs]etsockopt */
316         struct  thread *sopt_td; /* calling thread or null if kernel */
317 };
318
319 struct accept_filter {
320         char    accf_name[16];
321         void    (*accf_callback)
322                 (struct socket *so, void *arg, int waitflag);
323         void *  (*accf_create)
324                 (struct socket *so, char *arg);
325         void    (*accf_destroy)
326                 (struct socket *so);
327         SLIST_ENTRY(accept_filter) accf_next;   /* next on the list */
328 };
329
330 #ifdef MALLOC_DECLARE
331 MALLOC_DECLARE(M_PCB);
332 MALLOC_DECLARE(M_SONAME);
333 MALLOC_DECLARE(M_ACCF);
334 #endif
335
336 extern int      maxsockets;
337 extern u_long   sb_max;         /* nominal limit */
338 extern u_long   sb_max_adj;     /* actual limit used by sbreserve() */
339
340 struct file;
341 struct filedesc;
342 struct mbuf;
343 struct rlimit;
344 struct sockaddr;
345 struct stat;
346 struct ucred;
347 struct uio;
348 struct knote;
349 struct sysmsg;
350
351 /*
352  * File operations on sockets.
353  */
354 int     soo_read (struct file *fp, struct uio *uio, struct ucred *cred,
355                         int flags);
356 int     soo_write (struct file *fp, struct uio *uio, struct ucred *cred,
357                         int flags);
358 int     soo_close (struct file *fp);
359 int     soo_shutdown (struct file *fp, int how);
360 int     soo_ioctl (struct file *fp, u_long cmd, caddr_t data,
361                         struct ucred *cred, struct sysmsg *msg);
362 int     soo_stat (struct file *fp, struct stat *ub, struct ucred *cred);
363 int     sokqfilter (struct file *fp, struct knote *kn);
364
365 /*
366  * From uipc_socket and friends
367  */
368 struct  sockaddr *dup_sockaddr (const struct sockaddr *sa);
369 int     getsockaddr (struct sockaddr **namp, caddr_t uaddr, size_t len);
370
371 void    ssb_release (struct signalsockbuf *ssb, struct socket *so);
372 int     ssb_reserve (struct signalsockbuf *ssb, u_long cc, struct socket *so,
373                    struct rlimit *rl);
374 void    ssbtoxsockbuf (struct signalsockbuf *sb, struct xsockbuf *xsb);
375 int     ssb_wait (struct signalsockbuf *sb);
376 int     _ssb_lock (struct signalsockbuf *sb);
377
378 void    soabort (struct socket *so);
379 void    soaborta (struct socket *so);
380 void    soabort_oncpu (struct socket *so);
381 int     soaccept (struct socket *so, struct sockaddr **nam);
382 struct  socket *soalloc (int waitok);
383 int     sobind (struct socket *so, struct sockaddr *nam, struct thread *td);
384 void    socantrcvmore (struct socket *so);
385 void    socantsendmore (struct socket *so);
386 int     socket_wait (struct socket *so, struct timespec *ts, int *res);
387 int     soclose (struct socket *so, int fflags);
388 int     soconnect (struct socket *so, struct sockaddr *nam, struct thread *td);
389 int     soconnect2 (struct socket *so1, struct socket *so2);
390 int     socreate (int dom, struct socket **aso, int type, int proto,
391             struct thread *td);
392 void    sodealloc (struct socket *so);
393 int     sodisconnect (struct socket *so);
394 void    sofree (struct socket *so);
395 int     sogetopt (struct socket *so, struct sockopt *sopt);
396 void    sohasoutofband (struct socket *so);
397 void    soisconnected (struct socket *so);
398 void    soisconnecting (struct socket *so);
399 void    soisdisconnected (struct socket *so);
400 void    soisdisconnecting (struct socket *so);
401 void    soisreconnected (struct socket *so);
402 void    soisreconnecting (struct socket *so);
403 void    sosetport (struct socket *so, struct lwkt_port *port);
404 int     solisten (struct socket *so, int backlog, struct thread *td);
405 struct socket *sonewconn (struct socket *head, int connstatus);
406 int     sooptcopyin (struct sockopt *sopt, void *buf, size_t len,
407                          size_t minlen);
408 int     soopt_to_kbuf (struct sockopt *sopt, void *buf, size_t len,
409                          size_t minlen);
410 int     sooptcopyout (struct sockopt *sopt, const void *buf, size_t len);
411 void    soopt_from_kbuf (struct sockopt *sopt, const void *buf, size_t len);
412
413 /* XXX; prepare mbuf for (__FreeBSD__ < 3) routines. */
414 int     soopt_getm (struct sockopt *sopt, struct mbuf **mp);
415 int     soopt_mcopyin (struct sockopt *sopt, struct mbuf *m);
416 void    soopt_to_mbuf (struct sockopt *sopt, struct mbuf *m);
417 int     soopt_mcopyout (struct sockopt *sopt, struct mbuf *m);
418 int     soopt_from_mbuf (struct sockopt *sopt, struct mbuf *m);
419
420 int     soreceive (struct socket *so, struct sockaddr **paddr,
421                        struct uio *uio, struct sockbuf *sio,
422                        struct mbuf **controlp, int *flagsp);
423 int     soreserve (struct socket *so, u_long sndcc, u_long rcvcc,
424                    struct rlimit *rl);
425 void    sorflush (struct socket *so);
426 int     sosend (struct socket *so, struct sockaddr *addr, struct uio *uio,
427                     struct mbuf *top, struct mbuf *control, int flags,
428                     struct thread *td);
429 int     sosendudp (struct socket *so, struct sockaddr *addr, struct uio *uio,
430                     struct mbuf *top, struct mbuf *control, int flags,
431                     struct thread *td);
432 int     sosetopt (struct socket *so, struct sockopt *sopt);
433 int     soshutdown (struct socket *so, int how);
434 void    sotoxsocket (struct socket *so, struct xsocket *xso);
435 void    sowakeup (struct socket *so, struct signalsockbuf *sb);
436
437 /* accept filter functions */
438 int     accept_filt_add (struct accept_filter *filt);
439 int     accept_filt_del (char *name);
440 struct accept_filter *  accept_filt_get (char *name);
441 #ifdef ACCEPT_FILTER_MOD
442 int accept_filt_generic_mod_event (module_t mod, int event, void *data);
443 SYSCTL_DECL(_net_inet_accf);
444 #endif /* ACCEPT_FILTER_MOD */
445
446 #endif /* _KERNEL */
447
448 #endif /* !_SYS_SOCKETVAR_H_ */