sys/netinet/ip_demux.c

   1 /*
   2  * Copyright (c) 2003, 2004 Jeffrey M. Hsu.  All rights reserved.
   3  * Copyright (c) 2003, 2004 The DragonFly Project.  All rights reserved.
   4  *
   5  * This code is derived from software contributed to The DragonFly Project
   6  * by Jeffrey M. Hsu.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 3. Neither the name of The DragonFly Project nor the names of its
  17  *    contributors may be used to endorse or promote products derived
  18  *    from this software without specific, prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  21  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  22  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  23  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  24  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  25  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  26  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  27  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  28  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  29  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  30  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  31  * SUCH DAMAGE.
  32  *
  33  * $DragonFly: src/sys/netinet/ip_demux.c,v 1.43 2008/10/28 04:35:12 sephe Exp $
  34  */
  35
  36 #include "opt_inet.h"
  37
  38 #include <sys/param.h>
  39 #include <sys/systm.h>
  40 #include <sys/kernel.h>
  41 #include <sys/socket.h>
  42 #include <sys/socketvar.h>
  43 #include <sys/thread.h>
  44 #include <sys/sysctl.h>
  45 #include <sys/globaldata.h>
  46
  47 #include <net/if.h>
  48 #include <net/netisr.h>
  49
  50 #include <netinet/in_systm.h>
  51 #include <netinet/in.h>
  52 #include <netinet/in_var.h>
  53 #include <netinet/in_pcb.h>
  54 #include <netinet/ip.h>
  55 #include <netinet/ip_var.h>
  56 #include <netinet/tcp.h>
  57 #include <netinet/tcpip.h>
  58 #include <netinet/tcp_var.h>
  59 #include <netinet/udp.h>
  60 #include <netinet/udp_var.h>
  61
  62 extern struct thread netisr_cpu[];
  63 extern int udp_mpsafe_thread;
  64
  65 static struct thread tcp_thread[MAXCPU];
  66 static struct thread udp_thread[MAXCPU];
  67
  68 static __inline int
  69 INP_MPORT_HASH(in_addr_t faddr, in_addr_t laddr,
  70                in_port_t fport, in_port_t lport)
  71 {
  72         /*
  73          * Use low order bytes.
  74          */
  75
  76 #if (BYTE_ORDER == LITTLE_ENDIAN)
  77         KASSERT(ncpus2 < 256, ("need different hash function"));  /* XXX JH */
  78         return (((faddr >> 24) ^ (fport >> 8) ^ (laddr >> 24) ^ (lport >> 8)) &
  79                 ncpus2_mask);
  80 #else
  81         return ((faddr ^ fport ^ laddr ^ lport) & ncpus2_mask);
  82 #endif
  83 }
  84
  85 /*
  86  * If the packet is a valid IP datagram, upon returning of this function
  87  * following things are promised:
  88  *
  89  * o  IP header (including any possible IP options) is in one mbuf (m_len).
  90  * o  IP header length is not less than the minimum (sizeof(struct ip)).
  91  * o  IP total length is not less than IP header length.
  92  *
  93  * If the packet is a UDP datagram,
  94  * o  IP header (including any possible IP options) and UDP header are in
  95  *    one mbuf (m_len).
  96  * o  IP total length is not less than (IP header length + UDP header length).
  97  *
  98  * If the packet is a TCP segment,
  99  * o  IP header (including any possible IP options) and TCP header (including
 100  *    any possible TCP options) are in one mbuf (m_len).
 101  * o  TCP header length is not less than the minimum (sizeof(struct tcphdr)).
 102  * o  IP total length is not less than (IP header length + TCP header length).
 103  */
 104 boolean_t
 105 ip_lengthcheck(struct mbuf **mp)
 106 {
 107         struct mbuf *m = *mp;
 108         struct ip *ip;
 109         int iphlen, iplen;
 110         struct tcphdr *th;
 111         int thoff;                              /* TCP data offset */
 112
 113         /* The packet must be at least the size of an IP header. */
 114         if (m->m_pkthdr.len < sizeof(struct ip)) {
 115                 ipstat.ips_tooshort++;
 116                 goto fail;
 117         }
 118
 119         /* The fixed IP header must reside completely in the first mbuf. */
 120         if (m->m_len < sizeof(struct ip)) {
 121                 m = m_pullup(m, sizeof(struct ip));
 122                 if (m == NULL) {
 123                         ipstat.ips_toosmall++;
 124                         goto fail;
 125                 }
 126         }
 127
 128         ip = mtod(m, struct ip *);
 129
 130         /* Bound check the packet's stated IP header length. */
 131         iphlen = ip->ip_hl << 2;
 132         if (iphlen < sizeof(struct ip)) {       /* minimum header length */
 133                 ipstat.ips_badhlen++;
 134                 goto fail;
 135         }
 136
 137         /* The full IP header must reside completely in the one mbuf. */
 138         if (m->m_len < iphlen) {
 139                 m = m_pullup(m, iphlen);
 140                 if (m == NULL) {
 141                         ipstat.ips_badhlen++;
 142                         goto fail;
 143                 }
 144                 ip = mtod(m, struct ip *);
 145         }
 146
 147         iplen = ntohs(ip->ip_len);
 148
 149         /*
 150          * Fragments other than the first fragment don't have much
 151          * length information.
 152          */
 153         if (ntohs(ip->ip_off) & IP_OFFMASK)
 154                 goto ipcheckonly;
 155
 156         /*
 157          * The TCP/IP or UDP/IP header must be entirely contained within
 158          * the first fragment of a packet.  Packet filters will break if they
 159          * aren't.
 160          *
 161          * Since the packet will be trimmed to ip_len we must also make sure
 162          * the potentially trimmed down length is still sufficient to hold
 163          * the header(s).
 164          */
 165         switch (ip->ip_p) {
 166         case IPPROTO_TCP:
 167                 if (iplen < iphlen + sizeof(struct tcphdr)) {
 168                         ++tcpstat.tcps_rcvshort;
 169                         goto fail;
 170                 }
 171                 if (m->m_len < iphlen + sizeof(struct tcphdr)) {
 172                         m = m_pullup(m, iphlen + sizeof(struct tcphdr));
 173                         if (m == NULL) {
 174                                 tcpstat.tcps_rcvshort++;
 175                                 goto fail;
 176                         }
 177                         ip = mtod(m, struct ip *);
 178                 }
 179                 th = (struct tcphdr *)((caddr_t)ip + iphlen);
 180                 thoff = th->th_off << 2;
 181                 if (thoff < sizeof(struct tcphdr) ||
 182                     thoff + iphlen > ntohs(ip->ip_len)) {
 183                         tcpstat.tcps_rcvbadoff++;
 184                         goto fail;
 185                 }
 186                 if (m->m_len < iphlen + thoff) {
 187                         m = m_pullup(m, iphlen + thoff);
 188                         if (m == NULL) {
 189                                 tcpstat.tcps_rcvshort++;
 190                                 goto fail;
 191                         }
 192                 }
 193                 break;
 194         case IPPROTO_UDP:
 195                 if (iplen < iphlen + sizeof(struct udphdr)) {
 196                         ++udpstat.udps_hdrops;
 197                         goto fail;
 198                 }
 199                 if (m->m_len < iphlen + sizeof(struct udphdr)) {
 200                         m = m_pullup(m, iphlen + sizeof(struct udphdr));
 201                         if (m == NULL) {
 202                                 udpstat.udps_hdrops++;
 203                                 goto fail;
 204                         }
 205                 }
 206                 break;
 207         default:
 208 ipcheckonly:
 209                 if (iplen < iphlen) {
 210                         ++ipstat.ips_badlen;
 211                         goto fail;
 212                 }
 213                 break;
 214         }
 215
 216         *mp = m;
 217         return TRUE;
 218
 219 fail:
 220         if (m != NULL)
 221                 m_freem(m);
 222         *mp = NULL;
 223         return FALSE;
 224 }
 225
 226 /*
 227  * Map a packet to a protocol processing thread and return the thread's port.
 228  * If an error occurs, the passed mbuf will be freed, *mptr will be set
 229  * to NULL, and NULL will be returned.  If no error occurs, the passed mbuf
 230  * may be modified and a port pointer will be returned.
 231  */
 232 lwkt_port_t
 233 ip_mport(struct mbuf **mptr, int dir)
 234 {
 235         struct ip *ip;
 236         int iphlen;
 237         struct tcphdr *th;
 238         struct udphdr *uh;
 239         struct mbuf *m;
 240         int thoff;                              /* TCP data offset */
 241         lwkt_port_t port;
 242         int cpu;
 243
 244         if (!ip_lengthcheck(mptr))
 245                 return (NULL);
 246
 247         m = *mptr;
 248         ip = mtod(m, struct ip *);
 249         iphlen = ip->ip_hl << 2;
 250
 251         /*
 252          * XXX generic packet handling defrag on CPU 0 for now.
 253          */
 254         if (ntohs(ip->ip_off) & (IP_MF | IP_OFFMASK))
 255                 return (&netisr_cpu[0].td_msgport);
 256
 257         switch (ip->ip_p) {
 258         case IPPROTO_TCP:
 259                 th = (struct tcphdr *)((caddr_t)ip + iphlen);
 260                 thoff = th->th_off << 2;
 261                 cpu = INP_MPORT_HASH(ip->ip_src.s_addr, ip->ip_dst.s_addr,
 262                     th->th_sport, th->th_dport);
 263                 port = &tcp_thread[cpu].td_msgport;
 264                 break;
 265         case IPPROTO_UDP:
 266                 uh = (struct udphdr *)((caddr_t)ip + iphlen);
 267
 268                 if (IN_MULTICAST(ntohl(ip->ip_dst.s_addr)) ||
 269                     (dir == IP_MPORT_IN &&
 270                      in_broadcast(ip->ip_dst, m->m_pkthdr.rcvif))) {
 271                         cpu = 0;
 272                 } else {
 273                         cpu = INP_MPORT_HASH(ip->ip_src.s_addr,
 274                             ip->ip_dst.s_addr, uh->uh_sport, uh->uh_dport);
 275                 }
 276                 port = &udp_thread[cpu].td_msgport;
 277                 break;
 278         default:
 279                 port = &netisr_cpu[0].td_msgport;
 280                 break;
 281         }
 282
 283         return (port);
 284 }
 285
 286 lwkt_port_t
 287 ip_mport_in(struct mbuf **mptr)
 288 {
 289         return ip_mport(mptr, IP_MPORT_IN);
 290 }
 291
 292 /*
 293  * Map a TCP socket to a protocol processing thread.
 294  */
 295 lwkt_port_t
 296 tcp_soport(struct socket *so, struct sockaddr *nam __unused,
 297            struct mbuf **dummy __unused, int req)
 298 {
 299         struct inpcb *inp;
 300
 301         /* The following processing all take place on Protocol Thread 0. */
 302         if (req == PRU_BIND || req == PRU_CONNECT || req == PRU_ATTACH ||
 303             req == PRU_LISTEN)
 304                 return (&tcp_thread[0].td_msgport);
 305
 306         inp = so->so_pcb;
 307         if (!inp)               /* connection reset by peer */
 308                 return (&tcp_thread[0].td_msgport);
 309
 310         /*
 311          * Already bound and connected or listening.  For TCP connections,
 312          * the (faddr, fport, laddr, lport) association cannot change now.
 313          *
 314          * Note: T/TCP code needs some reorganization to fit into
 315          * this model.  XXX JH
 316          *
 317          * Rely on type-stable memory and check in protocol handler
 318          * to fix race condition here w/ deallocation of inp.  XXX JH
 319          */
 320         return (&tcp_thread[INP_MPORT_HASH(inp->inp_faddr.s_addr,
 321             inp->inp_laddr.s_addr, inp->inp_fport, inp->inp_lport)].td_msgport);
 322 }
 323
 324 /*
 325  * Used to route icmp messages to the proper protocol thread for ctlinput
 326  * operation.
 327  */
 328 lwkt_port_t
 329 tcp_ctlport(int cmd, struct sockaddr *sa, void *vip)
 330 {
 331         struct ip *ip = vip;
 332         struct tcphdr *th;
 333         struct in_addr faddr;
 334         int cpu;
 335
 336         faddr = ((struct sockaddr_in *)sa)->sin_addr;
 337         if (sa->sa_family != AF_INET || faddr.s_addr == INADDR_ANY)
 338                 return(NULL);
 339         if (ip == NULL) {
 340                 cpu = 0;
 341         } else {
 342                 th = (struct tcphdr *)((caddr_t)ip + (ip->ip_hl << 2));
 343                 cpu = tcp_addrcpu(faddr.s_addr, th->th_dport,
 344                                   ip->ip_src.s_addr, th->th_sport);
 345         }
 346         return(&tcp_thread[cpu].td_msgport);
 347 }
 348
 349 lwkt_port_t
 350 tcp_addrport(in_addr_t faddr, in_port_t fport, in_addr_t laddr, in_port_t lport)
 351 {
 352         return (&tcp_thread[tcp_addrcpu(faddr, fport,
 353                                         laddr, lport)].td_msgport);
 354 }
 355
 356 /*
 357  * Map a UDP socket to a protocol processing thread.
 358  */
 359 lwkt_port_t
 360 udp_soport(struct socket *so, struct sockaddr *nam __unused,
 361            struct mbuf **dummy __unused, int req)
 362 {
 363         struct inpcb *inp;
 364
 365         /*
 366          * The following processing all take place on Protocol Thread 0:
 367          *   bind()
 368          *   attach() has a null socket parameter
 369          *   Fast and slow timeouts pass in null socket parameter
 370          */
 371         if (req == PRU_BIND || so == NULL)
 372                 return (&udp_thread[0].td_msgport);
 373
 374         inp = so->so_pcb;
 375
 376         if (IN_MULTICAST(ntohl(inp->inp_laddr.s_addr)))
 377                 return (&udp_thread[0].td_msgport);
 378
 379         /*
 380          * Rely on type-stable memory and check in protocol handler
 381          * to fix race condition here w/ deallocation of inp.  XXX JH
 382          */
 383
 384         return (&udp_thread[INP_MPORT_HASH(inp->inp_faddr.s_addr,
 385             inp->inp_laddr.s_addr, inp->inp_fport, inp->inp_lport)].td_msgport);
 386 }
 387
 388 /*
 389  * Used to route icmp messages to the proper protocol thread for ctlinput
 390  * operation.
 391  */
 392 lwkt_port_t
 393 udp_ctlport(int cmd, struct sockaddr *sa, void *vip)
 394 {
 395         struct ip *ip = vip;
 396         struct udphdr *uh;
 397         struct in_addr faddr;
 398         int cpu;
 399
 400         faddr = ((struct sockaddr_in *)sa)->sin_addr;
 401         if (sa->sa_family != AF_INET || faddr.s_addr == INADDR_ANY)
 402                 return(NULL);
 403         if (ip == NULL) {
 404                 cpu = 0;
 405         } else {
 406                 uh = (struct udphdr *)((caddr_t)ip + (ip->ip_hl << 2));
 407
 408                 cpu = INP_MPORT_HASH(faddr.s_addr, ip->ip_src.s_addr,
 409                                      uh->uh_dport, uh->uh_sport);
 410         }
 411         return (&udp_thread[cpu].td_msgport);
 412 }
 413
 414 /*
 415  * Map a network address to a processor.
 416  */
 417 int
 418 tcp_addrcpu(in_addr_t faddr, in_port_t fport, in_addr_t laddr, in_port_t lport)
 419 {
 420         return (INP_MPORT_HASH(faddr, laddr, fport, lport));
 421 }
 422
 423 int
 424 udp_addrcpu(in_addr_t faddr, in_port_t fport, in_addr_t laddr, in_port_t lport)
 425 {
 426         if (IN_MULTICAST(ntohl(laddr)))
 427                 return (0);
 428         else
 429                 return (INP_MPORT_HASH(faddr, laddr, fport, lport));
 430 }
 431
 432 /*
 433  * Return LWKT port for cpu.
 434  */
 435 lwkt_port_t
 436 tcp_cport(int cpu)
 437 {
 438         return (&tcp_thread[cpu].td_msgport);
 439 }
 440
 441 void
 442 tcp_thread_init(void)
 443 {
 444         int cpu;
 445
 446         for (cpu = 0; cpu < ncpus2; cpu++) {
 447                 lwkt_create(tcpmsg_service_loop, NULL, NULL,
 448                             &tcp_thread[cpu], TDF_NETWORK | TDF_MPSAFE, cpu,
 449                             "tcp_thread %d", cpu);
 450                 netmsg_service_port_init(&tcp_thread[cpu].td_msgport);
 451         }
 452 }
 453
 454 void
 455 udp_thread_init(void)
 456 {
 457         int cpu;
 458
 459         for (cpu = 0; cpu < ncpus2; cpu++) {
 460                 lwkt_create(netmsg_service_loop, &udp_mpsafe_thread, NULL,
 461                             &udp_thread[cpu], TDF_NETWORK | TDF_MPSAFE, cpu,
 462                             "udp_thread %d", cpu);
 463                 netmsg_service_port_init(&udp_thread[cpu].td_msgport);
 464         }
 465 }