Merge branch 'vendor/MDOCML'
[dragonfly.git] / sys / netgraph / ksocket / ng_ksocket.c
1
2 /*
3  * ng_ksocket.c
4  *
5  * Copyright (c) 1996-1999 Whistle Communications, Inc.
6  * All rights reserved.
7  * 
8  * Subject to the following obligations and disclaimer of warranty, use and
9  * redistribution of this software, in source or object code forms, with or
10  * without modifications are expressly permitted by Whistle Communications;
11  * provided, however, that:
12  * 1. Any and all reproductions of the source or object code must include the
13  *    copyright notice above and the following disclaimer of warranties; and
14  * 2. No rights are granted, in any manner or form, to use Whistle
15  *    Communications, Inc. trademarks, including the mark "WHISTLE
16  *    COMMUNICATIONS" on advertising, endorsements, or otherwise except as
17  *    such appears in the above copyright notice or in the software.
18  * 
19  * THIS SOFTWARE IS BEING PROVIDED BY WHISTLE COMMUNICATIONS "AS IS", AND
20  * TO THE MAXIMUM EXTENT PERMITTED BY LAW, WHISTLE COMMUNICATIONS MAKES NO
21  * REPRESENTATIONS OR WARRANTIES, EXPRESS OR IMPLIED, REGARDING THIS SOFTWARE,
22  * INCLUDING WITHOUT LIMITATION, ANY AND ALL IMPLIED WARRANTIES OF
23  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE, OR NON-INFRINGEMENT.
24  * WHISTLE COMMUNICATIONS DOES NOT WARRANT, GUARANTEE, OR MAKE ANY
25  * REPRESENTATIONS REGARDING THE USE OF, OR THE RESULTS OF THE USE OF THIS
26  * SOFTWARE IN TERMS OF ITS CORRECTNESS, ACCURACY, RELIABILITY OR OTHERWISE.
27  * IN NO EVENT SHALL WHISTLE COMMUNICATIONS BE LIABLE FOR ANY DAMAGES
28  * RESULTING FROM OR ARISING OUT OF ANY USE OF THIS SOFTWARE, INCLUDING
29  * WITHOUT LIMITATION, ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY,
30  * PUNITIVE, OR CONSEQUENTIAL DAMAGES, PROCUREMENT OF SUBSTITUTE GOODS OR
31  * SERVICES, LOSS OF USE, DATA OR PROFITS, HOWEVER CAUSED AND UNDER ANY
32  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
33  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
34  * THIS SOFTWARE, EVEN IF WHISTLE COMMUNICATIONS IS ADVISED OF THE POSSIBILITY
35  * OF SUCH DAMAGE.
36  *
37  * Author: Archie Cobbs <archie@freebsd.org>
38  *
39  * $FreeBSD: src/sys/netgraph/ng_ksocket.c,v 1.5.2.14 2003/08/24 08:24:38 hsu Exp $
40  * $Whistle: ng_ksocket.c,v 1.1 1999/11/16 20:04:40 archie Exp $
41  */
42
43 /*
44  * Kernel socket node type.  This node type is basically a kernel-mode
45  * version of a socket... kindof like the reverse of the socket node type.
46  */
47
48 #include <sys/param.h>
49 #include <sys/systm.h>
50 #include <sys/kernel.h>
51 #include <sys/mbuf.h>
52 #include <sys/proc.h>
53 #include <sys/malloc.h>
54 #include <sys/ctype.h>
55 #include <sys/protosw.h>
56 #include <sys/errno.h>
57 #include <sys/fcntl.h>
58 #include <sys/socket.h>
59 #include <sys/socketvar.h>
60 #include <sys/socketops.h>
61 #include <sys/uio.h>
62 #include <sys/un.h>
63
64 #include <sys/thread2.h>
65 #include <sys/socketvar2.h>
66
67 #include <netgraph/ng_message.h>
68 #include <netgraph/netgraph.h>
69 #include <netgraph/ng_parse.h>
70 #include "ng_ksocket.h"
71
72 #include <netinet/in.h>
73
74 #define OFFSETOF(s, e) ((char *)&((s *)0)->e - (char *)((s *)0))
75 #define SADATA_OFFSET   (OFFSETOF(struct sockaddr, sa_data))
76
77 /* Node private data */
78 struct ng_ksocket_private {
79         node_p          node;
80         hook_p          hook;
81         struct socket   *so;
82         LIST_HEAD(, ng_ksocket_private) embryos;
83         LIST_ENTRY(ng_ksocket_private)  siblings;
84         u_int32_t       flags;
85         u_int32_t       response_token;
86         char            response_addr[NG_PATHSIZ];
87 };
88 typedef struct ng_ksocket_private *priv_p;
89
90 /* Flags for priv_p */
91 #define KSF_CONNECTING  0x00000001      /* Waiting for connection complete */
92 #define KSF_ACCEPTING   0x00000002      /* Waiting for accept complete */
93 #define KSF_EOFSEEN     0x00000004      /* Have sent 0-length EOF mbuf */
94 #define KSF_CLONED      0x00000008      /* Cloned from an accepting socket */
95 #define KSF_EMBRYONIC   0x00000010      /* Cloned node with no hooks yet */
96 #define KSF_SENDING     0x00000020      /* Sending on socket */
97
98 /* Internal commands which we send to ourselves */
99 #define NGM_KSOCKET_INTERNAL_COOKIE     (NGM_KSOCKET_COOKIE + 1)
100
101 enum {
102         NGM_KSOCKET_INTERNAL_UPCALL = 1
103 };
104
105 /* Netgraph node methods */
106 static ng_constructor_t ng_ksocket_constructor;
107 static ng_rcvmsg_t      ng_ksocket_rcvmsg;
108 static ng_shutdown_t    ng_ksocket_rmnode;
109 static ng_newhook_t     ng_ksocket_newhook;
110 static ng_rcvdata_t     ng_ksocket_rcvdata;
111 static ng_disconnect_t  ng_ksocket_disconnect;
112
113 /* Alias structure */
114 struct ng_ksocket_alias {
115         const char      *name;
116         const int       value;
117         const int       family;
118 };
119
120 /* Protocol family aliases */
121 static const struct ng_ksocket_alias ng_ksocket_families[] = {
122         { "local",      PF_LOCAL        },
123         { "inet",       PF_INET         },
124         { "inet6",      PF_INET6        },
125         { "ipx",        PF_IPX          },
126         { "atm",        PF_ATM          },
127         { NULL,         -1              },
128 };
129
130 /* Socket type aliases */
131 static const struct ng_ksocket_alias ng_ksocket_types[] = {
132         { "stream",     SOCK_STREAM     },
133         { "dgram",      SOCK_DGRAM      },
134         { "raw",        SOCK_RAW        },
135         { "rdm",        SOCK_RDM        },
136         { "seqpacket",  SOCK_SEQPACKET  },
137         { NULL,         -1              },
138 };
139
140 /* Protocol aliases */
141 static const struct ng_ksocket_alias ng_ksocket_protos[] = {
142         { "ip",         IPPROTO_IP,             PF_INET         },
143         { "raw",        IPPROTO_RAW,            PF_INET         },
144         { "icmp",       IPPROTO_ICMP,           PF_INET         },
145         { "igmp",       IPPROTO_IGMP,           PF_INET         },
146         { "tcp",        IPPROTO_TCP,            PF_INET         },
147         { "udp",        IPPROTO_UDP,            PF_INET         },
148         { "gre",        IPPROTO_GRE,            PF_INET         },
149         { "esp",        IPPROTO_ESP,            PF_INET         },
150         { "ah",         IPPROTO_AH,             PF_INET         },
151         { "swipe",      IPPROTO_SWIPE,          PF_INET         },
152         { "encap",      IPPROTO_ENCAP,          PF_INET         },
153         { "divert",     IPPROTO_DIVERT,         PF_INET         },
154         { "pim",        IPPROTO_PIM,            PF_INET         },
155         { NULL,         -1                                      },
156 };
157
158 /* Helper functions */
159 static int      ng_ksocket_check_accept(priv_p);
160 static void     ng_ksocket_finish_accept(priv_p, struct ng_mesg **);
161 static void     ng_ksocket_incoming(struct socket *so, void *arg, int waitflag);
162 static int      ng_ksocket_parse(const struct ng_ksocket_alias *aliases,
163                         const char *s, int family);
164
165 /************************************************************************
166                         STRUCT SOCKADDR PARSE TYPE
167  ************************************************************************/
168
169 /* Get the length of the data portion of a generic struct sockaddr */
170 static int
171 ng_parse_generic_sockdata_getLength(const struct ng_parse_type *type,
172         const u_char *start, const u_char *buf)
173 {
174         const struct sockaddr *sa;
175
176         sa = (const struct sockaddr *)(buf - SADATA_OFFSET);
177         return (sa->sa_len < SADATA_OFFSET) ? 0 : sa->sa_len - SADATA_OFFSET;
178 }
179
180 /* Type for the variable length data portion of a generic struct sockaddr */
181 static const struct ng_parse_type ng_ksocket_generic_sockdata_type = {
182         &ng_parse_bytearray_type,
183         &ng_parse_generic_sockdata_getLength
184 };
185
186 /* Type for a generic struct sockaddr */
187 static const struct ng_parse_struct_field
188     ng_parse_generic_sockaddr_type_fields[] = {
189           { "len",      &ng_parse_uint8_type                    },
190           { "family",   &ng_parse_uint8_type                    },
191           { "data",     &ng_ksocket_generic_sockdata_type       },
192           { NULL }
193 };
194 static const struct ng_parse_type ng_ksocket_generic_sockaddr_type = {
195         &ng_parse_struct_type,
196         &ng_parse_generic_sockaddr_type_fields
197 };
198
199 /* Convert a struct sockaddr from ASCII to binary.  If its a protocol
200    family that we specially handle, do that, otherwise defer to the
201    generic parse type ng_ksocket_generic_sockaddr_type. */
202 static int
203 ng_ksocket_sockaddr_parse(const struct ng_parse_type *type,
204         const char *s, int *off, const u_char *const start,
205         u_char *const buf, int *buflen)
206 {
207         struct sockaddr *const sa = (struct sockaddr *)buf;
208         enum ng_parse_token tok;
209         char fambuf[32];
210         int family, len;
211         char *t;
212
213         /* If next token is a left curly brace, use generic parse type */
214         if ((tok = ng_parse_get_token(s, off, &len)) == T_LBRACE) {
215                 return (*ng_ksocket_generic_sockaddr_type.supertype->parse)
216                     (&ng_ksocket_generic_sockaddr_type,
217                     s, off, start, buf, buflen);
218         }
219
220         /* Get socket address family followed by a slash */
221         while (isspace(s[*off]))
222                 (*off)++;
223         if ((t = index(s + *off, '/')) == NULL)
224                 return (EINVAL);
225         if ((len = t - (s + *off)) > sizeof(fambuf) - 1)
226                 return (EINVAL);
227         strncpy(fambuf, s + *off, len);
228         fambuf[len] = '\0';
229         *off += len + 1;
230         if ((family = ng_ksocket_parse(ng_ksocket_families, fambuf, 0)) == -1)
231                 return (EINVAL);
232
233         /* Set family */
234         if (*buflen < SADATA_OFFSET)
235                 return (ERANGE);
236         sa->sa_family = family;
237
238         /* Set family-specific data and length */
239         switch (sa->sa_family) {
240         case PF_LOCAL:          /* Get pathname */
241             {
242                 const int pathoff = OFFSETOF(struct sockaddr_un, sun_path);
243                 struct sockaddr_un *const sun = (struct sockaddr_un *)sa;
244                 int toklen, pathlen;
245                 char *path;
246
247                 if ((path = ng_get_string_token(s, off, &toklen)) == NULL)
248                         return (EINVAL);
249                 pathlen = strlen(path);
250                 if (pathlen > SOCK_MAXADDRLEN) {
251                         kfree(path, M_NETGRAPH);
252                         return (E2BIG);
253                 }
254                 if (*buflen < pathoff + pathlen) {
255                         kfree(path, M_NETGRAPH);
256                         return (ERANGE);
257                 }
258                 *off += toklen;
259                 bcopy(path, sun->sun_path, pathlen);
260                 sun->sun_len = pathoff + pathlen;
261                 kfree(path, M_NETGRAPH);
262                 break;
263             }
264
265         case PF_INET:           /* Get an IP address with optional port */
266             {
267                 struct sockaddr_in *const sin = (struct sockaddr_in *)sa;
268                 int i;
269
270                 /* Parse this: <ipaddress>[:port] */
271                 for (i = 0; i < 4; i++) {
272                         u_long val;
273                         char *eptr;
274
275                         val = strtoul(s + *off, &eptr, 10);
276                         if (val > 0xff || eptr == s + *off)
277                                 return (EINVAL);
278                         *off += (eptr - (s + *off));
279                         ((u_char *)&sin->sin_addr)[i] = (u_char)val;
280                         if (i < 3) {
281                                 if (s[*off] != '.')
282                                         return (EINVAL);
283                                 (*off)++;
284                         } else if (s[*off] == ':') {
285                                 (*off)++;
286                                 val = strtoul(s + *off, &eptr, 10);
287                                 if (val > 0xffff || eptr == s + *off)
288                                         return (EINVAL);
289                                 *off += (eptr - (s + *off));
290                                 sin->sin_port = htons(val);
291                         } else
292                                 sin->sin_port = 0;
293                 }
294                 bzero(&sin->sin_zero, sizeof(sin->sin_zero));
295                 sin->sin_len = sizeof(*sin);
296                 break;
297             }
298
299 #if 0
300         case PF_INET6:
301         case PF_IPX:
302 #endif
303
304         default:
305                 return (EINVAL);
306         }
307
308         /* Done */
309         *buflen = sa->sa_len;
310         return (0);
311 }
312
313 /* Convert a struct sockaddr from binary to ASCII */
314 static int
315 ng_ksocket_sockaddr_unparse(const struct ng_parse_type *type,
316         const u_char *data, int *off, char *cbuf, int cbuflen)
317 {
318         const struct sockaddr *sa = (const struct sockaddr *)(data + *off);
319         int slen = 0;
320
321         /* Output socket address, either in special or generic format */
322         switch (sa->sa_family) {
323         case PF_LOCAL:
324             {
325                 const int pathoff = OFFSETOF(struct sockaddr_un, sun_path);
326                 const struct sockaddr_un *sun = (const struct sockaddr_un *)sa;
327                 const int pathlen = sun->sun_len - pathoff;
328                 char pathbuf[SOCK_MAXADDRLEN + 1];
329                 char *pathtoken;
330
331                 bcopy(sun->sun_path, pathbuf, pathlen);
332                 pathbuf[pathlen] = '\0';
333                 if ((pathtoken = ng_encode_string(pathbuf)) == NULL)
334                         return (ENOMEM);
335                 slen += ksnprintf(cbuf, cbuflen, "local/%s", pathtoken);
336                 kfree(pathtoken, M_NETGRAPH);
337                 if (slen >= cbuflen)
338                         return (ERANGE);
339                 *off += sun->sun_len;
340                 return (0);
341             }
342
343         case PF_INET:
344             {
345                 const struct sockaddr_in *sin = (const struct sockaddr_in *)sa;
346
347                 slen += ksnprintf(cbuf, cbuflen, "inet/%d.%d.%d.%d",
348                   ((const u_char *)&sin->sin_addr)[0],
349                   ((const u_char *)&sin->sin_addr)[1],
350                   ((const u_char *)&sin->sin_addr)[2],
351                   ((const u_char *)&sin->sin_addr)[3]);
352                 if (sin->sin_port != 0) {
353                         slen += ksnprintf(cbuf + strlen(cbuf),
354                             cbuflen - strlen(cbuf), ":%d",
355                             (u_int)ntohs(sin->sin_port));
356                 }
357                 if (slen >= cbuflen)
358                         return (ERANGE);
359                 *off += sizeof(*sin);
360                 return(0);
361             }
362
363 #if 0
364         case PF_INET6:
365         case PF_IPX:
366 #endif
367
368         default:
369                 return (*ng_ksocket_generic_sockaddr_type.supertype->unparse)
370                     (&ng_ksocket_generic_sockaddr_type,
371                     data, off, cbuf, cbuflen);
372         }
373 }
374
375 /* Parse type for struct sockaddr */
376 static const struct ng_parse_type ng_ksocket_sockaddr_type = {
377         NULL,
378         NULL,
379         NULL,
380         &ng_ksocket_sockaddr_parse,
381         &ng_ksocket_sockaddr_unparse,
382         NULL            /* no such thing as a default struct sockaddr */
383 };
384
385 /************************************************************************
386                 STRUCT NG_KSOCKET_SOCKOPT PARSE TYPE
387  ************************************************************************/
388
389 /* Get length of the struct ng_ksocket_sockopt value field, which is the
390    just the excess of the message argument portion over the length of
391    the struct ng_ksocket_sockopt. */
392 static int
393 ng_parse_sockoptval_getLength(const struct ng_parse_type *type,
394         const u_char *start, const u_char *buf)
395 {
396         static const int offset = OFFSETOF(struct ng_ksocket_sockopt, value);
397         const struct ng_ksocket_sockopt *sopt;
398         const struct ng_mesg *msg;
399
400         sopt = (const struct ng_ksocket_sockopt *)(buf - offset);
401         msg = (const struct ng_mesg *)((const u_char *)sopt - sizeof(*msg));
402         return msg->header.arglen - sizeof(*sopt);
403 }
404
405 /* Parse type for the option value part of a struct ng_ksocket_sockopt
406    XXX Eventually, we should handle the different socket options specially.
407    XXX This would avoid byte order problems, eg an integer value of 1 is
408    XXX going to be "[1]" for little endian or "[3=1]" for big endian. */
409 static const struct ng_parse_type ng_ksocket_sockoptval_type = {
410         &ng_parse_bytearray_type,
411         &ng_parse_sockoptval_getLength
412 };
413
414 /* Parse type for struct ng_ksocket_sockopt */
415 static const struct ng_parse_struct_field ng_ksocket_sockopt_type_fields[]
416         = NG_KSOCKET_SOCKOPT_INFO(&ng_ksocket_sockoptval_type);
417 static const struct ng_parse_type ng_ksocket_sockopt_type = {
418         &ng_parse_struct_type,
419         &ng_ksocket_sockopt_type_fields
420 };
421
422 /* Parse type for struct ng_ksocket_accept */
423 static const struct ng_parse_struct_field ng_ksocket_accept_type_fields[]
424         = NGM_KSOCKET_ACCEPT_INFO;
425 static const struct ng_parse_type ng_ksocket_accept_type = {
426         &ng_parse_struct_type,
427         &ng_ksocket_accept_type_fields
428 };
429
430 /* List of commands and how to convert arguments to/from ASCII */
431 static const struct ng_cmdlist ng_ksocket_cmds[] = {
432         {
433           NGM_KSOCKET_COOKIE,
434           NGM_KSOCKET_BIND,
435           "bind",
436           &ng_ksocket_sockaddr_type,
437           NULL
438         },
439         {
440           NGM_KSOCKET_COOKIE,
441           NGM_KSOCKET_LISTEN,
442           "listen",
443           &ng_parse_int32_type,
444           NULL
445         },
446         {
447           NGM_KSOCKET_COOKIE,
448           NGM_KSOCKET_ACCEPT,
449           "accept",
450           NULL,
451           &ng_ksocket_accept_type
452         },
453         {
454           NGM_KSOCKET_COOKIE,
455           NGM_KSOCKET_CONNECT,
456           "connect",
457           &ng_ksocket_sockaddr_type,
458           &ng_parse_int32_type
459         },
460         {
461           NGM_KSOCKET_COOKIE,
462           NGM_KSOCKET_GETNAME,
463           "getname",
464           NULL,
465           &ng_ksocket_sockaddr_type
466         },
467         {
468           NGM_KSOCKET_COOKIE,
469           NGM_KSOCKET_GETPEERNAME,
470           "getpeername",
471           NULL,
472           &ng_ksocket_sockaddr_type
473         },
474         {
475           NGM_KSOCKET_COOKIE,
476           NGM_KSOCKET_SETOPT,
477           "setopt",
478           &ng_ksocket_sockopt_type,
479           NULL
480         },
481         {
482           NGM_KSOCKET_COOKIE,
483           NGM_KSOCKET_GETOPT,
484           "getopt",
485           &ng_ksocket_sockopt_type,
486           &ng_ksocket_sockopt_type
487         },
488
489         /* Internal commands */
490         {
491           NGM_KSOCKET_INTERNAL_COOKIE,
492           NGM_KSOCKET_INTERNAL_UPCALL,
493           "upcall",
494           NULL,
495           NULL
496         },
497         { 0 }
498 };
499
500 /* Node type descriptor */
501 static struct ng_type ng_ksocket_typestruct = {
502         NG_VERSION,
503         NG_KSOCKET_NODE_TYPE,
504         NULL,
505         ng_ksocket_constructor,
506         ng_ksocket_rcvmsg,
507         ng_ksocket_rmnode,
508         ng_ksocket_newhook,
509         NULL,
510         NULL,
511         ng_ksocket_rcvdata,
512         ng_ksocket_rcvdata,
513         ng_ksocket_disconnect,
514         ng_ksocket_cmds
515 };
516 NETGRAPH_INIT(ksocket, &ng_ksocket_typestruct);
517
518 #define ERROUT(x)       do { error = (x); goto done; } while (0)
519
520 /************************************************************************
521                         NETGRAPH NODE STUFF
522  ************************************************************************/
523
524 /*
525  * Node type constructor
526  */
527 static int
528 ng_ksocket_constructor(node_p *nodep)
529 {
530         priv_p priv;
531         int error;
532
533         /* Allocate private structure */
534         priv = kmalloc(sizeof(*priv), M_NETGRAPH, M_NOWAIT | M_ZERO);
535         if (priv == NULL)
536                 return (ENOMEM);
537
538         /* Call generic node constructor */
539         if ((error = ng_make_node_common(&ng_ksocket_typestruct, nodep))) {
540                 kfree(priv, M_NETGRAPH);
541                 return (error);
542         }
543         (*nodep)->private = priv;
544         priv->node = *nodep;
545         LIST_INIT(&priv->embryos);
546
547         /* Done */
548         return (0);
549 }
550
551 /*
552  * Give our OK for a hook to be added. The hook name is of the
553  * form "<family>/<type>/<proto>" where the three components may
554  * be decimal numbers or else aliases from the above lists.
555  *
556  * Connecting a hook amounts to opening the socket.  Disconnecting
557  * the hook closes the socket and destroys the node as well.
558  */
559 static int
560 ng_ksocket_newhook(node_p node, hook_p hook, const char *name0)
561 {
562         struct thread *td = curthread->td_proc ? curthread : &thread0;  /* XXX broken */
563         const priv_p priv = node->private;
564         struct ng_mesg *msg;
565         char *s1, *s2, name[NG_HOOKSIZ];
566         int family, type, protocol, error;
567
568         /* Check if we're already connected */
569         if (priv->hook != NULL)
570                 return (EISCONN);
571
572         if (priv->flags & KSF_CLONED) {
573                 if (priv->flags & KSF_EMBRYONIC) {
574                         /* Remove ourselves from our parent's embryo list */
575                         LIST_REMOVE(priv, siblings);
576                         priv->flags &= ~KSF_EMBRYONIC;
577                 }
578         } else {
579                 /* Extract family, type, and protocol from hook name */
580                 ksnprintf(name, sizeof(name), "%s", name0);
581                 s1 = name;
582                 if ((s2 = index(s1, '/')) == NULL)
583                         return (EINVAL);
584                 *s2++ = '\0';
585                 family = ng_ksocket_parse(ng_ksocket_families, s1, 0);
586                 if (family == -1)
587                         return (EINVAL);
588                 s1 = s2;
589                 if ((s2 = index(s1, '/')) == NULL)
590                         return (EINVAL);
591                 *s2++ = '\0';
592                 type = ng_ksocket_parse(ng_ksocket_types, s1, 0);
593                 if (type == -1)
594                         return (EINVAL);
595                 s1 = s2;
596                 protocol = ng_ksocket_parse(ng_ksocket_protos, s1, family);
597                 if (protocol == -1)
598                         return (EINVAL);
599
600                 /* Create the socket */
601                 error = socreate(family, &priv->so, type, protocol, td);
602                 if (error != 0)
603                         return (error);
604
605                 /* XXX call soreserve() ? */
606
607                 /* Add our hook for incoming data and other events */
608                 priv->so->so_upcallarg = (caddr_t)node;
609                 priv->so->so_upcall = ng_ksocket_incoming;
610                 atomic_set_int(&priv->so->so_rcv.ssb_flags, SSB_UPCALL);
611                 atomic_set_int(&priv->so->so_snd.ssb_flags, SSB_UPCALL);
612         }
613
614         /* OK */
615         priv->hook = hook;
616
617         /*
618          * On a cloned socket we may have already received one or more
619          * upcalls which we couldn't handle without a hook.  Handle
620          * those now.  We cannot call the upcall function directly
621          * from here, because until this function has returned our
622          * hook isn't connected.  So we queue a message to ourselves
623          * which will cause the upcall function to be called a bit
624          * later.
625          */
626         if (priv->flags & KSF_CLONED) {
627                 NG_MKMESSAGE(msg, NGM_KSOCKET_INTERNAL_COOKIE,
628                     NGM_KSOCKET_INTERNAL_UPCALL, 0, M_NOWAIT);
629                 if (msg != NULL)
630                         ng_queue_msg(node, msg, ".:");
631         }
632
633         return (0);
634 }
635
636 /*
637  * Receive a control message
638  */
639 static int
640 ng_ksocket_rcvmsg(node_p node, struct ng_mesg *msg,
641               const char *raddr, struct ng_mesg **rptr)
642 {
643         struct thread *td = curthread->td_proc ? curthread : &thread0;  /* XXX broken */
644         const priv_p priv = node->private;
645         struct socket *const so = priv->so;
646         struct ng_mesg *resp = NULL;
647         int error = 0;
648
649         switch (msg->header.typecookie) {
650         case NGM_KSOCKET_COOKIE:
651                 switch (msg->header.cmd) {
652                 case NGM_KSOCKET_BIND:
653                     {
654                         struct sockaddr *const sa
655                             = (struct sockaddr *)msg->data;
656
657                         /* Sanity check */
658                         if (msg->header.arglen < SADATA_OFFSET
659                             || msg->header.arglen < sa->sa_len)
660                                 ERROUT(EINVAL);
661                         if (so == NULL)
662                                 ERROUT(ENXIO);
663
664                         /* Bind */
665                         error = sobind(so, sa, td);
666                         break;
667                     }
668                 case NGM_KSOCKET_LISTEN:
669                     {
670                         /* Sanity check */
671                         if (msg->header.arglen != sizeof(int32_t))
672                                 ERROUT(EINVAL);
673                         if (so == NULL)
674                                 ERROUT(ENXIO);
675
676                         /* Listen */
677                         error = solisten(so, *((int32_t *)msg->data), td);
678                         break;
679                     }
680
681                 case NGM_KSOCKET_ACCEPT:
682                     {
683                         /* Sanity check */
684                         if (msg->header.arglen != 0)
685                                 ERROUT(EINVAL);
686                         if (so == NULL)
687                                 ERROUT(ENXIO);
688
689                         /* Make sure the socket is capable of accepting */
690                         if (!(so->so_options & SO_ACCEPTCONN))
691                                 ERROUT(EINVAL);
692                         if (priv->flags & KSF_ACCEPTING)
693                                 ERROUT(EALREADY);
694
695                         error = ng_ksocket_check_accept(priv);
696                         if (error != 0 && error != EWOULDBLOCK)
697                                 ERROUT(error);
698
699                         /*
700                          * If a connection is already complete, take it.
701                          * Otherwise let the upcall function deal with
702                          * the connection when it comes in.
703                          */
704                         priv->response_token = msg->header.token;
705                         strcpy(priv->response_addr, raddr);
706                         if (error == 0) {
707                                 ng_ksocket_finish_accept(priv,
708                                     rptr != NULL ? &resp : NULL);
709                         } else
710                                 priv->flags |= KSF_ACCEPTING;
711                         break;
712                     }
713
714                 case NGM_KSOCKET_CONNECT:
715                     {
716                         struct sockaddr *const sa
717                             = (struct sockaddr *)msg->data;
718
719                         /* Sanity check */
720                         if (msg->header.arglen < SADATA_OFFSET
721                             || msg->header.arglen < sa->sa_len)
722                                 ERROUT(EINVAL);
723                         if (so == NULL)
724                                 ERROUT(ENXIO);
725
726                         /* Do connect */
727                         if ((so->so_state & SS_ISCONNECTING) != 0)
728                                 ERROUT(EALREADY);
729                         if ((error = soconnect(so, sa, td)) != 0) {
730                                 soclrstate(so, SS_ISCONNECTING);
731                                 ERROUT(error);
732                         }
733                         if ((so->so_state & SS_ISCONNECTING) != 0) {
734                                 /* We will notify the sender when we connect */
735                                 priv->response_token = msg->header.token;
736                                 strcpy(priv->response_addr, raddr);
737                                 priv->flags |= KSF_CONNECTING;
738                                 ERROUT(EINPROGRESS);
739                         }
740                         break;
741                     }
742
743                 case NGM_KSOCKET_GETNAME:
744                 case NGM_KSOCKET_GETPEERNAME:
745                     {
746                         struct sockaddr *sa = NULL;
747                         int len;
748
749                         /* Sanity check */
750                         if (msg->header.arglen != 0)
751                                 ERROUT(EINVAL);
752                         if (so == NULL)
753                                 ERROUT(ENXIO);
754
755                         /* Get function */
756                         if (msg->header.cmd == NGM_KSOCKET_GETPEERNAME) {
757                                 if ((so->so_state
758                                     & (SS_ISCONNECTED|SS_ISCONFIRMING)) == 0) 
759                                         ERROUT(ENOTCONN);
760                                 error = so_pru_peeraddr(so, &sa);
761                         } else
762                                 error = so_pru_sockaddr(so, &sa);
763
764                         /* Get local or peer address */
765                         if (error != 0)
766                                 goto bail;
767                         len = (sa == NULL) ? 0 : sa->sa_len;
768
769                         /* Send it back in a response */
770                         NG_MKRESPONSE(resp, msg, len, M_NOWAIT);
771                         if (resp == NULL) {
772                                 error = ENOMEM;
773                                 goto bail;
774                         }
775                         bcopy(sa, resp->data, len);
776
777                 bail:
778                         /* Cleanup */
779                         if (sa != NULL)
780                                 kfree(sa, M_SONAME);
781                         break;
782                     }
783
784                 case NGM_KSOCKET_GETOPT:
785                     {
786                         struct ng_ksocket_sockopt *ksopt = 
787                             (struct ng_ksocket_sockopt *)msg->data;
788                         struct sockopt sopt;
789
790                         /* Sanity check */
791                         if (msg->header.arglen != sizeof(*ksopt))
792                                 ERROUT(EINVAL);
793                         if (so == NULL)
794                                 ERROUT(ENXIO);
795
796                         /* Get response with room for option value */
797                         NG_MKRESPONSE(resp, msg, sizeof(*ksopt)
798                             + NG_KSOCKET_MAX_OPTLEN, M_NOWAIT);
799                         if (resp == NULL)
800                                 ERROUT(ENOMEM);
801
802                         /* Get socket option, and put value in the response */
803                         sopt.sopt_dir = SOPT_GET;
804                         sopt.sopt_level = ksopt->level;
805                         sopt.sopt_name = ksopt->name;
806                         sopt.sopt_td = NULL;
807                         sopt.sopt_valsize = NG_KSOCKET_MAX_OPTLEN;
808                         ksopt = (struct ng_ksocket_sockopt *)resp->data;
809                         sopt.sopt_val = ksopt->value;
810                         if ((error = sogetopt(so, &sopt)) != 0) {
811                                 kfree(resp, M_NETGRAPH);
812                                 resp = NULL;
813                                 break;
814                         }
815
816                         /* Set actual value length */
817                         resp->header.arglen = sizeof(*ksopt)
818                             + sopt.sopt_valsize;
819                         break;
820                     }
821
822                 case NGM_KSOCKET_SETOPT:
823                     {
824                         struct ng_ksocket_sockopt *const ksopt = 
825                             (struct ng_ksocket_sockopt *)msg->data;
826                         const int valsize = msg->header.arglen - sizeof(*ksopt);
827                         struct sockopt sopt;
828
829                         /* Sanity check */
830                         if (valsize < 0)
831                                 ERROUT(EINVAL);
832                         if (so == NULL)
833                                 ERROUT(ENXIO);
834
835                         /* Set socket option */
836                         sopt.sopt_dir = SOPT_SET;
837                         sopt.sopt_level = ksopt->level;
838                         sopt.sopt_name = ksopt->name;
839                         sopt.sopt_val = ksopt->value;
840                         sopt.sopt_valsize = valsize;
841                         sopt.sopt_td = NULL;
842                         error = sosetopt(so, &sopt);
843                         break;
844                     }
845
846                 default:
847                         error = EINVAL;
848                         break;
849                 }
850                 break;
851         case NGM_KSOCKET_INTERNAL_COOKIE:
852                 switch (msg->header.cmd) {
853                 case NGM_KSOCKET_INTERNAL_UPCALL:
854                         if (so == NULL)
855                                 ERROUT(ENXIO);
856                         (*priv->so->so_upcall)(so, so->so_upcallarg, M_NOWAIT);
857                         break;
858                 default:
859                         error = EINVAL;
860                         break;
861                 }
862                 break;
863         default:
864                 error = EINVAL;
865                 break;
866         }
867         if (rptr)
868                 *rptr = resp;
869         else if (resp)
870                 kfree(resp, M_NETGRAPH);
871
872 done:
873         kfree(msg, M_NETGRAPH);
874         return (error);
875 }
876
877 /*
878  * Receive incoming data on our hook.  Send it out the socket.
879  */
880 static int
881 ng_ksocket_rcvdata(hook_p hook, struct mbuf *m, meta_p meta)
882 {
883         struct thread *td = curthread->td_proc ? curthread : &thread0;  /* XXX broken */
884         const node_p node = hook->node;
885         const priv_p priv = node->private;
886         struct socket *const so = priv->so;
887         struct sockaddr *sa = NULL;
888         int error;
889
890         /* Avoid reentrantly sending on the socket */
891         if ((priv->flags & KSF_SENDING) != 0) {
892                 NG_FREE_DATA(m, meta);
893                 return (EDEADLK);
894         }
895
896         /* If any meta info, look for peer socket address */
897         if (meta != NULL) {
898                 struct meta_field_header *field;
899
900                 /* Look for peer socket address */
901                 for (field = &meta->options[0];
902                     (caddr_t)field < (caddr_t)meta + meta->used_len;
903                     field = (struct meta_field_header *)
904                       ((caddr_t)field + field->len)) {
905                         if (field->cookie != NGM_KSOCKET_COOKIE
906                             || field->type != NG_KSOCKET_META_SOCKADDR)
907                                 continue;
908                         sa = (struct sockaddr *)field->data;
909                         break;
910                 }
911         }
912
913         /* Send packet */
914         priv->flags |= KSF_SENDING;
915         error = so_pru_sosend(so, sa, NULL, m, NULL, 0, td);
916         priv->flags &= ~KSF_SENDING;
917
918         /* Clean up and exit */
919         NG_FREE_META(meta);
920         return (error);
921 }
922
923 /*
924  * Destroy node
925  */
926 static int
927 ng_ksocket_rmnode(node_p node)
928 {
929         const priv_p priv = node->private;
930         priv_p embryo;
931
932         /* Close our socket (if any) */
933         if (priv->so != NULL) {
934                 priv->so->so_upcall = NULL;
935                 atomic_clear_int(&priv->so->so_rcv.ssb_flags, SSB_UPCALL);
936                 atomic_clear_int(&priv->so->so_snd.ssb_flags, SSB_UPCALL);
937                 soclose(priv->so, FNONBLOCK);
938                 priv->so = NULL;
939         }
940
941         /* If we are an embryo, take ourselves out of the parent's list */
942         if (priv->flags & KSF_EMBRYONIC) {
943                 LIST_REMOVE(priv, siblings);
944                 priv->flags &= ~KSF_EMBRYONIC;
945         }
946
947         /* Remove any embryonic children we have */
948         while (!LIST_EMPTY(&priv->embryos)) {
949                 embryo = LIST_FIRST(&priv->embryos);
950                 ng_rmnode(embryo->node);
951         }
952
953         /* Take down netgraph node */
954         node->flags |= NG_INVALID;
955         ng_cutlinks(node);
956         ng_unname(node);
957         bzero(priv, sizeof(*priv));
958         kfree(priv, M_NETGRAPH);
959         node->private = NULL;
960         ng_unref(node);         /* let the node escape */
961         return (0);
962 }
963
964 /*
965  * Hook disconnection
966  */
967 static int
968 ng_ksocket_disconnect(hook_p hook)
969 {
970         KASSERT(hook->node->numhooks == 0,
971             ("%s: numhooks=%d?", __func__, hook->node->numhooks));
972         ng_rmnode(hook->node);
973         return (0);
974 }
975
976 /************************************************************************
977                         HELPER STUFF
978  ************************************************************************/
979
980 /*
981  * When incoming data is appended to the socket, we get notified here.
982  * This is also called whenever a significant event occurs for the socket.
983  */
984 static void
985 ng_ksocket_incoming(struct socket *so, void *arg, int waitflag)
986 {
987         const node_p node = arg;
988         const priv_p priv = node->private;
989         struct ng_mesg *response;
990         int error;
991
992         crit_enter();
993
994         /* Sanity check */
995         if ((node->flags & NG_INVALID) != 0) {
996                 crit_exit();
997                 return;
998         }
999         KASSERT(so == priv->so, ("%s: wrong socket", __func__));
1000
1001         /* Check whether a pending connect operation has completed */
1002         if (priv->flags & KSF_CONNECTING) {
1003                 if ((error = so->so_error) != 0) {
1004                         so->so_error = 0;
1005                         soclrstate(so, SS_ISCONNECTING);
1006                 }
1007                 if (!(so->so_state & SS_ISCONNECTING)) {
1008                         NG_MKMESSAGE(response, NGM_KSOCKET_COOKIE,
1009                             NGM_KSOCKET_CONNECT, sizeof(int32_t), waitflag);
1010                         if (response != NULL) {
1011                                 response->header.flags |= NGF_RESP;
1012                                 response->header.token = priv->response_token;
1013                                 *(int32_t *)response->data = error;
1014                                 /*
1015                                  * XXX We use ng_queue_msg here because we are
1016                                  * being called from deep in the bowels of the TCP
1017                                  * stack.  Is this right, or should we let the
1018                                  * receiver of the message worry about that?
1019                                  */
1020                                 ng_queue_msg(node, response,
1021                                     priv->response_addr);
1022                         }
1023                         priv->flags &= ~KSF_CONNECTING;
1024                 }
1025         }
1026
1027         /* Check whether a pending accept operation has completed */
1028         if (priv->flags & KSF_ACCEPTING) {
1029                 error = ng_ksocket_check_accept(priv);
1030                 if (error != EWOULDBLOCK)
1031                         priv->flags &= ~KSF_ACCEPTING;
1032                 if (error == 0)
1033                         ng_ksocket_finish_accept(priv, NULL);
1034         }
1035
1036         /*
1037          * If we don't have a hook, we must handle data events later.  When
1038          * the hook gets created and is connected, this upcall function
1039          * will be called again.
1040          */
1041         if (priv->hook == NULL) {
1042                 crit_exit();
1043                 return;
1044         }
1045
1046         /* Read and forward available mbuf's */
1047         while (1) {
1048                 struct sockaddr *sa = NULL;
1049                 struct sockbuf sio;
1050                 meta_p meta = NULL;
1051                 struct mbuf *n;
1052                 int flags;
1053
1054                 sbinit(&sio, 1000000000);
1055                 flags = MSG_DONTWAIT;
1056
1057                 /* Try to get next packet from socket */
1058                 error = so_pru_soreceive(so,
1059                                 ((so->so_state & SS_ISCONNECTED) ? NULL : &sa),
1060                                 NULL, &sio, NULL, &flags);
1061                 if (error)
1062                         break;
1063
1064                 /* See if we got anything */
1065                 if (sio.sb_mb == NULL) {
1066                         if (sa != NULL)
1067                                 kfree(sa, M_SONAME);
1068                         break;
1069                 }
1070
1071                 /* Don't trust the various socket layers to get the
1072                    packet header and length correct (eg. kern/15175) */
1073                 sio.sb_mb->m_pkthdr.len = 0;
1074                 for (n = sio.sb_mb; n != NULL; n = n->m_next)
1075                         sio.sb_mb->m_pkthdr.len += n->m_len;
1076
1077                 /* Put peer's socket address (if any) into a meta info blob */
1078                 if (sa != NULL) {
1079                         struct meta_field_header *mhead;
1080                         u_int len;
1081
1082                         len = sizeof(*meta) + sizeof(*mhead) + sa->sa_len;
1083                         meta = kmalloc(len, M_NETGRAPH, M_NOWAIT);
1084                         if (meta == NULL) {
1085                                 kfree(sa, M_SONAME);
1086                                 goto sendit;
1087                         }
1088                         mhead = &meta->options[0];
1089                         bzero(meta, sizeof(*meta));
1090                         bzero(mhead, sizeof(*mhead));
1091                         meta->allocated_len = len;
1092                         meta->used_len = len;
1093                         mhead->cookie = NGM_KSOCKET_COOKIE;
1094                         mhead->type = NG_KSOCKET_META_SOCKADDR;
1095                         mhead->len = sizeof(*mhead) + sa->sa_len;
1096                         bcopy(sa, mhead->data, sa->sa_len);
1097                         kfree(sa, M_SONAME);
1098                 }
1099 sendit:         /* Forward data with optional peer sockaddr as meta info */
1100                 NG_SEND_DATA(error, priv->hook, sio.sb_mb, meta);
1101         }
1102
1103         /*
1104          * If the peer has closed the connection, forward a 0-length mbuf
1105          * to indicate end-of-file.
1106          */
1107         if (so->so_state & SS_CANTRCVMORE && !(priv->flags & KSF_EOFSEEN)) {
1108                 struct mbuf *m;
1109
1110                 MGETHDR(m, waitflag, MT_DATA);
1111                 if (m != NULL) {
1112                         m->m_len = m->m_pkthdr.len = 0;
1113                         NG_SEND_DATA_ONLY(error, priv->hook, m);
1114                 }
1115                 priv->flags |= KSF_EOFSEEN;
1116         }
1117
1118         crit_exit();
1119 }
1120
1121 /*
1122  * Check for a completed incoming connection and return 0 if one is found.
1123  * Otherwise return the appropriate error code.
1124  */
1125 static int
1126 ng_ksocket_check_accept(priv_p priv)
1127 {
1128         struct socket *const head = priv->so;
1129         int error;
1130
1131         lwkt_gettoken(&head->so_rcv.ssb_token);
1132         if ((error = head->so_error) != 0) {
1133                 head->so_error = 0;
1134                 lwkt_reltoken(&head->so_rcv.ssb_token);
1135                 return error;
1136         }
1137         if (TAILQ_EMPTY(&head->so_comp)) {
1138                 if (head->so_state & SS_CANTRCVMORE)
1139                         error = ECONNABORTED;
1140                 else
1141                         error = EWOULDBLOCK;
1142         }
1143         lwkt_reltoken(&head->so_rcv.ssb_token);
1144         return error;
1145 }
1146
1147 /*
1148  * Handle the first completed incoming connection, assumed to be already
1149  * on the socket's so_comp queue.
1150  */
1151 static void
1152 ng_ksocket_finish_accept(priv_p priv, struct ng_mesg **rptr)
1153 {
1154         struct socket *const head = priv->so;
1155         struct socket *so;
1156         struct sockaddr *sa = NULL;
1157         struct ng_mesg *resp;
1158         struct ng_ksocket_accept *resp_data;
1159         node_p node2;
1160         priv_p priv2;
1161         int len;
1162
1163         lwkt_getpooltoken(head);
1164         so = TAILQ_FIRST(&head->so_comp);
1165         if (so == NULL) {       /* Should never happen */
1166                 lwkt_relpooltoken(head);
1167                 return;
1168         }
1169         TAILQ_REMOVE(&head->so_comp, so, so_list);
1170         head->so_qlen--;
1171         soclrstate(so, SS_COMP);
1172         so->so_head = NULL;
1173         soreference(so);
1174
1175         lwkt_relpooltoken(head);
1176
1177         /* XXX KNOTE(&head->so_rcv.ssb_sel.si_note, 0); */
1178
1179         soaccept(so, &sa);
1180
1181         len = OFFSETOF(struct ng_ksocket_accept, addr);
1182         if (sa != NULL)
1183                 len += sa->sa_len;
1184
1185         NG_MKMESSAGE(resp, NGM_KSOCKET_COOKIE, NGM_KSOCKET_ACCEPT, len,
1186             M_NOWAIT);
1187         if (resp == NULL) {
1188                 soclose(so, FNONBLOCK);
1189                 goto out;
1190         }
1191         resp->header.flags |= NGF_RESP;
1192         resp->header.token = priv->response_token;
1193
1194         /* Clone a ksocket node to wrap the new socket */
1195         if (ng_ksocket_constructor(&node2) != 0) {
1196                 kfree(resp, M_NETGRAPH);
1197                 soclose(so, FNONBLOCK);
1198                 goto out;
1199         }
1200         priv2 = (priv_p)node2->private;
1201         priv2->so = so;
1202         priv2->flags |= KSF_CLONED | KSF_EMBRYONIC;
1203
1204         /*
1205          * Insert the cloned node into a list of embryonic children
1206          * on the parent node.  When a hook is created on the cloned
1207          * node it will be removed from this list.  When the parent
1208          * is destroyed it will destroy any embryonic children it has.
1209          */
1210         LIST_INSERT_HEAD(&priv->embryos, priv2, siblings);
1211
1212         so->so_upcallarg = (caddr_t)node2;
1213         so->so_upcall = ng_ksocket_incoming;
1214         atomic_set_int(&so->so_rcv.ssb_flags, SSB_UPCALL);
1215         atomic_set_int(&so->so_snd.ssb_flags, SSB_UPCALL);
1216
1217         /* Fill in the response data and send it or return it to the caller */
1218         resp_data = (struct ng_ksocket_accept *)resp->data;
1219         resp_data->nodeid = node2->ID;
1220         if (sa != NULL)
1221                 bcopy(sa, &resp_data->addr, sa->sa_len);
1222         if (rptr != NULL)
1223                 *rptr = resp;
1224         else
1225                 ng_queue_msg(priv->node, resp, priv->response_addr);
1226
1227 out:
1228         if (sa != NULL)
1229                 kfree(sa, M_SONAME);
1230 }
1231
1232 /*
1233  * Parse out either an integer value or an alias.
1234  */
1235 static int
1236 ng_ksocket_parse(const struct ng_ksocket_alias *aliases,
1237         const char *s, int family)
1238 {
1239         int k, val;
1240         char *eptr;
1241
1242         /* Try aliases */
1243         for (k = 0; aliases[k].name != NULL; k++) {
1244                 if (strcmp(s, aliases[k].name) == 0
1245                     && aliases[k].family == family)
1246                         return aliases[k].value;
1247         }
1248
1249         /* Try parsing as a number */
1250         val = (int)strtoul(s, &eptr, 10);
1251         if (val < 0 || *eptr != '\0')
1252                 return (-1);
1253         return (val);
1254 }
1255