Only enter wildcard sockets into the wildcard hash table.
[dragonfly.git] / sys / netinet / tcp_subr.c
1 /*
2  * Copyright (c) 1982, 1986, 1988, 1990, 1993, 1995
3  *      The Regents of the University of California.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. All advertising materials mentioning features or use of this software
14  *    must display the following acknowledgement:
15  *      This product includes software developed by the University of
16  *      California, Berkeley and its contributors.
17  * 4. Neither the name of the University nor the names of its contributors
18  *    may be used to endorse or promote products derived from this software
19  *    without specific prior written permission.
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31  * SUCH DAMAGE.
32  *
33  *      @(#)tcp_subr.c  8.2 (Berkeley) 5/24/95
34  * $FreeBSD: src/sys/netinet/tcp_subr.c,v 1.73.2.31 2003/01/24 05:11:34 sam Exp $
35  * $DragonFly: src/sys/netinet/tcp_subr.c,v 1.18 2004/03/31 00:43:09 hsu Exp $
36  */
37
38 #include "opt_compat.h"
39 #include "opt_inet6.h"
40 #include "opt_ipsec.h"
41 #include "opt_tcpdebug.h"
42
43 #include <sys/param.h>
44 #include <sys/systm.h>
45 #include <sys/callout.h>
46 #include <sys/kernel.h>
47 #include <sys/sysctl.h>
48 #include <sys/malloc.h>
49 #include <sys/mbuf.h>
50 #ifdef INET6
51 #include <sys/domain.h>
52 #endif
53 #include <sys/proc.h>
54 #include <sys/socket.h>
55 #include <sys/socketvar.h>
56 #include <sys/protosw.h>
57 #include <sys/random.h>
58 #include <sys/in_cksum.h>
59
60 #include <vm/vm_zone.h>
61
62 #include <net/route.h>
63 #include <net/if.h>
64 #include <net/netisr.h>
65
66 #define _IP_VHL
67 #include <netinet/in.h>
68 #include <netinet/in_systm.h>
69 #include <netinet/ip.h>
70 #ifdef INET6
71 #include <netinet/ip6.h>
72 #endif
73 #include <netinet/in_pcb.h>
74 #ifdef INET6
75 #include <netinet6/in6_pcb.h>
76 #endif
77 #include <netinet/in_var.h>
78 #include <netinet/ip_var.h>
79 #ifdef INET6
80 #include <netinet6/ip6_var.h>
81 #endif
82 #include <netinet/tcp.h>
83 #include <netinet/tcp_fsm.h>
84 #include <netinet/tcp_seq.h>
85 #include <netinet/tcp_timer.h>
86 #include <netinet/tcp_var.h>
87 #ifdef INET6
88 #include <netinet6/tcp6_var.h>
89 #endif
90 #include <netinet/tcpip.h>
91 #ifdef TCPDEBUG
92 #include <netinet/tcp_debug.h>
93 #endif
94 #include <netinet6/ip6protosw.h>
95
96 #ifdef IPSEC
97 #include <netinet6/ipsec.h>
98 #ifdef INET6
99 #include <netinet6/ipsec6.h>
100 #endif
101 #endif /*IPSEC*/
102
103 #ifdef FAST_IPSEC
104 #include <netipsec/ipsec.h>
105 #ifdef INET6
106 #include <netipsec/ipsec6.h>
107 #endif
108 #define IPSEC
109 #endif /*FAST_IPSEC*/
110
111 #include <sys/md5.h>
112
113 #include <sys/msgport2.h>
114
115 int     tcp_mssdflt = TCP_MSS;
116 SYSCTL_INT(_net_inet_tcp, TCPCTL_MSSDFLT, mssdflt, CTLFLAG_RW, 
117     &tcp_mssdflt , 0, "Default TCP Maximum Segment Size");
118
119 #ifdef INET6
120 int     tcp_v6mssdflt = TCP6_MSS;
121 SYSCTL_INT(_net_inet_tcp, TCPCTL_V6MSSDFLT, v6mssdflt,
122         CTLFLAG_RW, &tcp_v6mssdflt , 0,
123         "Default TCP Maximum Segment Size for IPv6");
124 #endif
125
126 #if 0
127 static int      tcp_rttdflt = TCPTV_SRTTDFLT / PR_SLOWHZ;
128 SYSCTL_INT(_net_inet_tcp, TCPCTL_RTTDFLT, rttdflt, CTLFLAG_RW, 
129     &tcp_rttdflt , 0, "Default maximum TCP Round Trip Time");
130 #endif
131
132 int     tcp_do_rfc1323 = 1;
133 SYSCTL_INT(_net_inet_tcp, TCPCTL_DO_RFC1323, rfc1323, CTLFLAG_RW, 
134     &tcp_do_rfc1323 , 0, "Enable rfc1323 (high performance TCP) extensions");
135
136 int     tcp_do_rfc1644 = 0;
137 SYSCTL_INT(_net_inet_tcp, TCPCTL_DO_RFC1644, rfc1644, CTLFLAG_RW, 
138     &tcp_do_rfc1644 , 0, "Enable rfc1644 (TTCP) extensions");
139
140 static int      tcp_tcbhashsize = 0;
141 SYSCTL_INT(_net_inet_tcp, OID_AUTO, tcbhashsize, CTLFLAG_RD,
142      &tcp_tcbhashsize, 0, "Size of TCP control-block hashtable");
143
144 static int      do_tcpdrain = 1;
145 SYSCTL_INT(_net_inet_tcp, OID_AUTO, do_tcpdrain, CTLFLAG_RW, &do_tcpdrain, 0,
146      "Enable tcp_drain routine for extra help when low on mbufs");
147
148 /* XXX JH */
149 SYSCTL_INT(_net_inet_tcp, OID_AUTO, pcbcount, CTLFLAG_RD, 
150     &tcbinfo[0].ipi_count, 0, "Number of active PCBs");
151
152 static int      icmp_may_rst = 1;
153 SYSCTL_INT(_net_inet_tcp, OID_AUTO, icmp_may_rst, CTLFLAG_RW, &icmp_may_rst, 0, 
154     "Certain ICMP unreachable messages may abort connections in SYN_SENT");
155
156 static int      tcp_isn_reseed_interval = 0;
157 SYSCTL_INT(_net_inet_tcp, OID_AUTO, isn_reseed_interval, CTLFLAG_RW,
158     &tcp_isn_reseed_interval, 0, "Seconds between reseeding of ISN secret");
159
160 /*
161  * TCP bandwidth limiting sysctls.  Note that the default lower bound of 
162  * 1024 exists only for debugging.  A good production default would be 
163  * something like 6100.
164  */
165 static int     tcp_inflight_enable = 0;
166 SYSCTL_INT(_net_inet_tcp, OID_AUTO, inflight_enable, CTLFLAG_RW,
167     &tcp_inflight_enable, 0, "Enable automatic TCP inflight data limiting");
168
169 static int     tcp_inflight_debug = 0;
170 SYSCTL_INT(_net_inet_tcp, OID_AUTO, inflight_debug, CTLFLAG_RW,
171     &tcp_inflight_debug, 0, "Debug TCP inflight calculations");
172
173 static int     tcp_inflight_min = 6144;
174 SYSCTL_INT(_net_inet_tcp, OID_AUTO, inflight_min, CTLFLAG_RW,
175     &tcp_inflight_min, 0, "Lower-bound for TCP inflight window");
176
177 static int     tcp_inflight_max = TCP_MAXWIN << TCP_MAX_WINSHIFT;
178 SYSCTL_INT(_net_inet_tcp, OID_AUTO, inflight_max, CTLFLAG_RW,
179     &tcp_inflight_max, 0, "Upper-bound for TCP inflight window");
180
181 static int     tcp_inflight_stab = 20;
182 SYSCTL_INT(_net_inet_tcp, OID_AUTO, inflight_stab, CTLFLAG_RW,
183     &tcp_inflight_stab, 0, "Slop in maximal packets / 10 (20 = 2 packets)");
184
185 static void     tcp_cleartaocache (void);
186 static void     tcp_notify (struct inpcb *, int);
187
188 /*
189  * Target size of TCP PCB hash tables. Must be a power of two.
190  *
191  * Note that this can be overridden by the kernel environment
192  * variable net.inet.tcp.tcbhashsize
193  */
194 #ifndef TCBHASHSIZE
195 #define TCBHASHSIZE     512
196 #endif
197
198 /*
199  * This is the actual shape of what we allocate using the zone
200  * allocator.  Doing it this way allows us to protect both structures
201  * using the same generation count, and also eliminates the overhead
202  * of allocating tcpcbs separately.  By hiding the structure here,
203  * we avoid changing most of the rest of the code (although it needs
204  * to be changed, eventually, for greater efficiency).
205  */
206 #define ALIGNMENT       32
207 #define ALIGNM1         (ALIGNMENT - 1)
208 struct  inp_tp {
209         union {
210                 struct  inpcb inp;
211                 char    align[(sizeof(struct inpcb) + ALIGNM1) & ~ALIGNM1];
212         } inp_tp_u;
213         struct  tcpcb tcb;
214         struct  callout inp_tp_rexmt, inp_tp_persist, inp_tp_keep, inp_tp_2msl;
215         struct  callout inp_tp_delack;
216 };
217 #undef ALIGNMENT
218 #undef ALIGNM1
219
220 /*
221  * Tcp initialization
222  */
223 void
224 tcp_init()
225 {
226         struct inpcbporthead *porthashbase;
227         u_long porthashmask;
228         struct inpcbhead *wildcardhashbase;
229         u_long wildcardhashmask;
230         struct vm_zone *ipi_zone;
231         int hashsize = TCBHASHSIZE;
232         int cpu;
233
234         tcp_ccgen = 1;
235         tcp_cleartaocache();
236
237         tcp_delacktime = TCPTV_DELACK;
238         tcp_keepinit = TCPTV_KEEP_INIT;
239         tcp_keepidle = TCPTV_KEEP_IDLE;
240         tcp_keepintvl = TCPTV_KEEPINTVL;
241         tcp_maxpersistidle = TCPTV_KEEP_IDLE;
242         tcp_msl = TCPTV_MSL;
243         tcp_rexmit_min = TCPTV_MIN;
244         tcp_rexmit_slop = TCPTV_CPU_VAR;
245
246         TUNABLE_INT_FETCH("net.inet.tcp.tcbhashsize", &hashsize);
247         if (!powerof2(hashsize)) {
248                 printf("WARNING: TCB hash size not a power of 2\n");
249                 hashsize = 512; /* safe default */
250         }
251         tcp_tcbhashsize = hashsize;
252         porthashbase = hashinit(hashsize, M_PCB, &porthashmask);
253         wildcardhashbase = hashinit(hashsize, M_PCB, &wildcardhashmask);
254         ipi_zone = zinit("tcpcb", sizeof(struct inp_tp), maxsockets,
255                          ZONE_INTERRUPT, 0);
256
257         for (cpu = 0; cpu < ncpus2; cpu++) {
258                 LIST_INIT(&tcbinfo[cpu].listhead);
259                 tcbinfo[cpu].hashbase = hashinit(hashsize, M_PCB,
260                     &tcbinfo[cpu].hashmask);
261                 tcbinfo[cpu].porthashbase = porthashbase;
262                 tcbinfo[cpu].porthashmask = porthashmask;
263                 tcbinfo[cpu].wildcardhashbase = wildcardhashbase;
264                 tcbinfo[cpu].wildcardhashmask = wildcardhashmask;
265                 tcbinfo[cpu].ipi_zone = ipi_zone;
266         }
267
268         tcp_reass_maxseg = nmbclusters / 16;
269         TUNABLE_INT_FETCH("net.inet.tcp.reass.maxsegments",
270             &tcp_reass_maxseg);
271
272 #ifdef INET6
273 #define TCP_MINPROTOHDR (sizeof(struct ip6_hdr) + sizeof(struct tcphdr))
274 #else /* INET6 */
275 #define TCP_MINPROTOHDR (sizeof(struct tcpiphdr))
276 #endif /* INET6 */
277         if (max_protohdr < TCP_MINPROTOHDR)
278                 max_protohdr = TCP_MINPROTOHDR;
279         if (max_linkhdr + TCP_MINPROTOHDR > MHLEN)
280                 panic("tcp_init");
281 #undef TCP_MINPROTOHDR
282
283         syncache_init();
284         tcp_thread_init();
285 }
286
287 /*
288  * Fill in the IP and TCP headers for an outgoing packet, given the tcpcb.
289  * tcp_template used to store this data in mbufs, but we now recopy it out
290  * of the tcpcb each time to conserve mbufs.
291  */
292 void
293 tcp_fillheaders(tp, ip_ptr, tcp_ptr)
294         struct tcpcb *tp;
295         void *ip_ptr;
296         void *tcp_ptr;
297 {
298         struct inpcb *inp = tp->t_inpcb;
299         struct tcphdr *tcp_hdr = (struct tcphdr *)tcp_ptr;
300
301 #ifdef INET6
302         if ((inp->inp_vflag & INP_IPV6) != 0) {
303                 struct ip6_hdr *ip6;
304
305                 ip6 = (struct ip6_hdr *)ip_ptr;
306                 ip6->ip6_flow = (ip6->ip6_flow & ~IPV6_FLOWINFO_MASK) |
307                         (inp->in6p_flowinfo & IPV6_FLOWINFO_MASK);
308                 ip6->ip6_vfc = (ip6->ip6_vfc & ~IPV6_VERSION_MASK) |
309                         (IPV6_VERSION & IPV6_VERSION_MASK);
310                 ip6->ip6_nxt = IPPROTO_TCP;
311                 ip6->ip6_plen = sizeof(struct tcphdr);
312                 ip6->ip6_src = inp->in6p_laddr;
313                 ip6->ip6_dst = inp->in6p_faddr;
314                 tcp_hdr->th_sum = 0;
315         } else
316 #endif
317         {
318         struct ip *ip = (struct ip *) ip_ptr;
319
320         ip->ip_vhl = IP_VHL_BORING;
321         ip->ip_tos = 0;
322         ip->ip_len = 0;
323         ip->ip_id = 0;
324         ip->ip_off = 0;
325         ip->ip_ttl = 0;
326         ip->ip_sum = 0;
327         ip->ip_p = IPPROTO_TCP;
328         ip->ip_src = inp->inp_laddr;
329         ip->ip_dst = inp->inp_faddr;
330         tcp_hdr->th_sum = in_pseudo(ip->ip_src.s_addr, ip->ip_dst.s_addr,
331                 htons(sizeof(struct tcphdr) + IPPROTO_TCP));
332         }
333
334         tcp_hdr->th_sport = inp->inp_lport;
335         tcp_hdr->th_dport = inp->inp_fport;
336         tcp_hdr->th_seq = 0;
337         tcp_hdr->th_ack = 0;
338         tcp_hdr->th_x2 = 0;
339         tcp_hdr->th_off = 5;
340         tcp_hdr->th_flags = 0;
341         tcp_hdr->th_win = 0;
342         tcp_hdr->th_urp = 0;
343 }
344
345 /*
346  * Create template to be used to send tcp packets on a connection.
347  * Allocates an mbuf and fills in a skeletal tcp/ip header.  The only
348  * use for this function is in keepalives, which use tcp_respond.
349  */
350 struct tcptemp *
351 tcp_maketemplate(tp)
352         struct tcpcb *tp;
353 {
354         struct mbuf *m;
355         struct tcptemp *n;
356
357         m = m_get(M_DONTWAIT, MT_HEADER);
358         if (m == NULL)
359                 return (0);
360         m->m_len = sizeof(struct tcptemp);
361         n = mtod(m, struct tcptemp *);
362
363         tcp_fillheaders(tp, (void *)&n->tt_ipgen, (void *)&n->tt_t);
364         return (n);
365 }
366
367 /*
368  * Send a single message to the TCP at address specified by
369  * the given TCP/IP header.  If m == 0, then we make a copy
370  * of the tcpiphdr at ti and send directly to the addressed host.
371  * This is used to force keep alive messages out using the TCP
372  * template for a connection.  If flags are given then we send
373  * a message back to the TCP which originated the * segment ti,
374  * and discard the mbuf containing it and any other attached mbufs.
375  *
376  * In any case the ack and sequence number of the transmitted
377  * segment are as specified by the parameters.
378  *
379  * NOTE: If m != NULL, then ti must point to *inside* the mbuf.
380  */
381 void
382 tcp_respond(tp, ipgen, th, m, ack, seq, flags)
383         struct tcpcb *tp;
384         void *ipgen;
385         struct tcphdr *th;
386         struct mbuf *m;
387         tcp_seq ack, seq;
388         int flags;
389 {
390         int tlen;
391         int win = 0;
392         struct route *ro = 0;
393         struct route sro;
394         struct ip *ip;
395         struct tcphdr *nth;
396 #ifdef INET6
397         struct route_in6 *ro6 = 0;
398         struct route_in6 sro6;
399         struct ip6_hdr *ip6;
400         int isipv6;
401 #endif /* INET6 */
402         int ipflags = 0;
403
404 #ifdef INET6
405         isipv6 = IP_VHL_V(((struct ip *)ipgen)->ip_vhl) == 6;
406         ip6 = ipgen;
407 #endif /* INET6 */
408         ip = ipgen;
409
410         if (tp) {
411                 if (!(flags & TH_RST)) {
412                         win = sbspace(&tp->t_inpcb->inp_socket->so_rcv);
413                         if (win > (long)TCP_MAXWIN << tp->rcv_scale)
414                                 win = (long)TCP_MAXWIN << tp->rcv_scale;
415                 }
416 #ifdef INET6
417                 if (isipv6)
418                         ro6 = &tp->t_inpcb->in6p_route;
419                 else
420 #endif /* INET6 */
421                 ro = &tp->t_inpcb->inp_route;
422         } else {
423 #ifdef INET6
424                 if (isipv6) {
425                         ro6 = &sro6;
426                         bzero(ro6, sizeof *ro6);
427                 } else
428 #endif /* INET6 */
429               {
430                 ro = &sro;
431                 bzero(ro, sizeof *ro);
432               }
433         }
434         if (m == 0) {
435                 m = m_gethdr(M_DONTWAIT, MT_HEADER);
436                 if (m == NULL)
437                         return;
438                 tlen = 0;
439                 m->m_data += max_linkhdr;
440 #ifdef INET6
441                 if (isipv6) {
442                         bcopy((caddr_t)ip6, mtod(m, caddr_t), 
443                               sizeof(struct ip6_hdr));
444                         ip6 = mtod(m, struct ip6_hdr *);
445                         nth = (struct tcphdr *)(ip6 + 1);
446                 } else
447 #endif /* INET6 */
448               {
449                 bcopy((caddr_t)ip, mtod(m, caddr_t), sizeof(struct ip));
450                 ip = mtod(m, struct ip *);
451                 nth = (struct tcphdr *)(ip + 1);
452               }
453                 bcopy((caddr_t)th, (caddr_t)nth, sizeof(struct tcphdr));
454                 flags = TH_ACK;
455         } else {
456                 m_freem(m->m_next);
457                 m->m_next = 0;
458                 m->m_data = (caddr_t)ipgen;
459                 /* m_len is set later */
460                 tlen = 0;
461 #define xchg(a,b,type) { type t; t=a; a=b; b=t; }
462 #ifdef INET6
463                 if (isipv6) {
464                         xchg(ip6->ip6_dst, ip6->ip6_src, struct in6_addr);
465                         nth = (struct tcphdr *)(ip6 + 1);
466                 } else
467 #endif /* INET6 */
468               {
469                 xchg(ip->ip_dst.s_addr, ip->ip_src.s_addr, n_long);
470                 nth = (struct tcphdr *)(ip + 1);
471               }
472                 if (th != nth) {
473                         /*
474                          * this is usually a case when an extension header
475                          * exists between the IPv6 header and the
476                          * TCP header.
477                          */
478                         nth->th_sport = th->th_sport;
479                         nth->th_dport = th->th_dport;
480                 }
481                 xchg(nth->th_dport, nth->th_sport, n_short);
482 #undef xchg
483         }
484 #ifdef INET6
485         if (isipv6) {
486                 ip6->ip6_flow = 0;
487                 ip6->ip6_vfc = IPV6_VERSION;
488                 ip6->ip6_nxt = IPPROTO_TCP;
489                 ip6->ip6_plen = htons((u_short)(sizeof (struct tcphdr) +
490                                                 tlen));
491                 tlen += sizeof (struct ip6_hdr) + sizeof (struct tcphdr);
492         } else
493 #endif
494       {
495         tlen += sizeof (struct tcpiphdr);
496         ip->ip_len = tlen;
497         ip->ip_ttl = ip_defttl;
498       }
499         m->m_len = tlen;
500         m->m_pkthdr.len = tlen;
501         m->m_pkthdr.rcvif = (struct ifnet *) 0;
502         nth->th_seq = htonl(seq);
503         nth->th_ack = htonl(ack);
504         nth->th_x2 = 0;
505         nth->th_off = sizeof (struct tcphdr) >> 2;
506         nth->th_flags = flags;
507         if (tp)
508                 nth->th_win = htons((u_short) (win >> tp->rcv_scale));
509         else
510                 nth->th_win = htons((u_short)win);
511         nth->th_urp = 0;
512 #ifdef INET6
513         if (isipv6) {
514                 nth->th_sum = 0;
515                 nth->th_sum = in6_cksum(m, IPPROTO_TCP,
516                                         sizeof(struct ip6_hdr),
517                                         tlen - sizeof(struct ip6_hdr));
518                 ip6->ip6_hlim = in6_selecthlim(tp ? tp->t_inpcb : NULL,
519                                                ro6 && ro6->ro_rt ?
520                                                ro6->ro_rt->rt_ifp :
521                                                NULL);
522         } else
523 #endif /* INET6 */
524       {
525         nth->th_sum = in_pseudo(ip->ip_src.s_addr, ip->ip_dst.s_addr,
526             htons((u_short)(tlen - sizeof(struct ip) + ip->ip_p)));
527         m->m_pkthdr.csum_flags = CSUM_TCP;
528         m->m_pkthdr.csum_data = offsetof(struct tcphdr, th_sum);
529       }
530 #ifdef TCPDEBUG
531         if (tp == NULL || (tp->t_inpcb->inp_socket->so_options & SO_DEBUG))
532                 tcp_trace(TA_OUTPUT, 0, tp, mtod(m, void *), th, 0);
533 #endif
534 #ifdef INET6
535         if (isipv6) {
536                 (void)ip6_output(m, NULL, ro6, ipflags, NULL, NULL,
537                         tp ? tp->t_inpcb : NULL);
538                 if (ro6 == &sro6 && ro6->ro_rt) {
539                         RTFREE(ro6->ro_rt);
540                         ro6->ro_rt = NULL;
541                 }
542         } else
543 #endif /* INET6 */
544       {
545         (void) ip_output(m, NULL, ro, ipflags, NULL, tp ? tp->t_inpcb : NULL);
546         if (ro == &sro && ro->ro_rt) {
547                 RTFREE(ro->ro_rt);
548                 ro->ro_rt = NULL;
549         }
550       }
551 }
552
553 /*
554  * Create a new TCP control block, making an
555  * empty reassembly queue and hooking it to the argument
556  * protocol control block.  The `inp' parameter must have
557  * come from the zone allocator set up in tcp_init().
558  */
559 struct tcpcb *
560 tcp_newtcpcb(inp)
561         struct inpcb *inp;
562 {
563         struct inp_tp *it;
564         struct tcpcb *tp;
565 #ifdef INET6
566         int isipv6 = (inp->inp_vflag & INP_IPV6) != 0;
567 #endif /* INET6 */
568
569         it = (struct inp_tp *)inp;
570         tp = &it->tcb;
571         bzero((char *) tp, sizeof(struct tcpcb));
572         LIST_INIT(&tp->t_segq);
573         tp->t_maxseg = tp->t_maxopd =
574 #ifdef INET6
575                 isipv6 ? tcp_v6mssdflt :
576 #endif /* INET6 */
577                 tcp_mssdflt;
578
579         /* Set up our timeouts. */
580         callout_init(tp->tt_rexmt = &it->inp_tp_rexmt);
581         callout_init(tp->tt_persist = &it->inp_tp_persist);
582         callout_init(tp->tt_keep = &it->inp_tp_keep);
583         callout_init(tp->tt_2msl = &it->inp_tp_2msl);
584         callout_init(tp->tt_delack = &it->inp_tp_delack);
585
586         if (tcp_do_rfc1323)
587                 tp->t_flags = (TF_REQ_SCALE|TF_REQ_TSTMP);
588         if (tcp_do_rfc1644)
589                 tp->t_flags |= TF_REQ_CC;
590         tp->t_inpcb = inp;      /* XXX */
591         /*
592          * Init srtt to TCPTV_SRTTBASE (0), so we can tell that we have no
593          * rtt estimate.  Set rttvar so that srtt + 4 * rttvar gives
594          * reasonable initial retransmit time.
595          */
596         tp->t_srtt = TCPTV_SRTTBASE;
597         tp->t_rttvar = ((TCPTV_RTOBASE - TCPTV_SRTTBASE) << TCP_RTTVAR_SHIFT) / 4;
598         tp->t_rttmin = tcp_rexmit_min;
599         tp->t_rxtcur = TCPTV_RTOBASE;
600         tp->snd_cwnd = TCP_MAXWIN << TCP_MAX_WINSHIFT;
601         tp->snd_bwnd = TCP_MAXWIN << TCP_MAX_WINSHIFT;
602         tp->snd_ssthresh = TCP_MAXWIN << TCP_MAX_WINSHIFT;
603         tp->t_rcvtime = ticks;
604         tp->t_bw_rtttime = ticks;
605         /*
606          * IPv4 TTL initialization is necessary for an IPv6 socket as well,
607          * because the socket may be bound to an IPv6 wildcard address,
608          * which may match an IPv4-mapped IPv6 address.
609          */
610         inp->inp_ip_ttl = ip_defttl;
611         inp->inp_ppcb = (caddr_t)tp;
612         return (tp);            /* XXX */
613 }
614
615 /*
616  * Drop a TCP connection, reporting
617  * the specified error.  If connection is synchronized,
618  * then send a RST to peer.
619  */
620 struct tcpcb *
621 tcp_drop(tp, errno)
622         struct tcpcb *tp;
623         int errno;
624 {
625         struct socket *so = tp->t_inpcb->inp_socket;
626
627         if (TCPS_HAVERCVDSYN(tp->t_state)) {
628                 tp->t_state = TCPS_CLOSED;
629                 (void) tcp_output(tp);
630                 tcpstat.tcps_drops++;
631         } else
632                 tcpstat.tcps_conndrops++;
633         if (errno == ETIMEDOUT && tp->t_softerror)
634                 errno = tp->t_softerror;
635         so->so_error = errno;
636         return (tcp_close(tp));
637 }
638
639 /*
640  * Close a TCP control block:
641  *      discard all space held by the tcp
642  *      discard internet protocol block
643  *      wake up any sleepers
644  */
645 struct tcpcb *
646 tcp_close(tp)
647         struct tcpcb *tp;
648 {
649         struct tseg_qent *q;
650         struct inpcb *inp = tp->t_inpcb;
651         struct socket *so = inp->inp_socket;
652 #ifdef INET6
653         int isipv6 = (inp->inp_vflag & INP_IPV6) != 0;
654 #endif /* INET6 */
655         struct rtentry *rt;
656         int dosavessthresh;
657
658         /*
659          * Make sure that all of our timers are stopped before we
660          * delete the PCB.
661          */
662         callout_stop(tp->tt_rexmt);
663         callout_stop(tp->tt_persist);
664         callout_stop(tp->tt_keep);
665         callout_stop(tp->tt_2msl);
666         callout_stop(tp->tt_delack);
667
668         /*
669          * If we got enough samples through the srtt filter,
670          * save the rtt and rttvar in the routing entry.
671          * 'Enough' is arbitrarily defined as the 16 samples.
672          * 16 samples is enough for the srtt filter to converge
673          * to within 5% of the correct value; fewer samples and
674          * we could save a very bogus rtt.
675          *
676          * Don't update the default route's characteristics and don't
677          * update anything that the user "locked".
678          */
679         if (tp->t_rttupdated >= 16) {
680                 u_long i = 0;
681 #ifdef INET6
682                 if (isipv6) {
683                         struct sockaddr_in6 *sin6;
684
685                         if ((rt = inp->in6p_route.ro_rt) == NULL)
686                                 goto no_valid_rt;
687                         sin6 = (struct sockaddr_in6 *)rt_key(rt);
688                         if (IN6_IS_ADDR_UNSPECIFIED(&sin6->sin6_addr))
689                                 goto no_valid_rt;
690                 }
691                 else
692 #endif /* INET6 */              
693                 if ((rt = inp->inp_route.ro_rt) == NULL ||
694                     ((struct sockaddr_in *)rt_key(rt))->sin_addr.s_addr
695                     == INADDR_ANY)
696                         goto no_valid_rt;
697
698                 if ((rt->rt_rmx.rmx_locks & RTV_RTT) == 0) {
699                         i = tp->t_srtt *
700                             (RTM_RTTUNIT / (hz * TCP_RTT_SCALE));
701                         if (rt->rt_rmx.rmx_rtt && i)
702                                 /*
703                                  * filter this update to half the old & half
704                                  * the new values, converting scale.
705                                  * See route.h and tcp_var.h for a
706                                  * description of the scaling constants.
707                                  */
708                                 rt->rt_rmx.rmx_rtt =
709                                     (rt->rt_rmx.rmx_rtt + i) / 2;
710                         else
711                                 rt->rt_rmx.rmx_rtt = i;
712                         tcpstat.tcps_cachedrtt++;
713                 }
714                 if ((rt->rt_rmx.rmx_locks & RTV_RTTVAR) == 0) {
715                         i = tp->t_rttvar *
716                             (RTM_RTTUNIT / (hz * TCP_RTTVAR_SCALE));
717                         if (rt->rt_rmx.rmx_rttvar && i)
718                                 rt->rt_rmx.rmx_rttvar =
719                                     (rt->rt_rmx.rmx_rttvar + i) / 2;
720                         else
721                                 rt->rt_rmx.rmx_rttvar = i;
722                         tcpstat.tcps_cachedrttvar++;
723                 }
724                 /*
725                  * The old comment here said:
726                  * update the pipelimit (ssthresh) if it has been updated
727                  * already or if a pipesize was specified & the threshhold
728                  * got below half the pipesize.  I.e., wait for bad news
729                  * before we start updating, then update on both good
730                  * and bad news.
731                  *
732                  * But we want to save the ssthresh even if no pipesize is
733                  * specified explicitly in the route, because such
734                  * connections still have an implicit pipesize specified
735                  * by the global tcp_sendspace.  In the absence of a reliable
736                  * way to calculate the pipesize, it will have to do.
737                  */
738                 i = tp->snd_ssthresh;
739                 if (rt->rt_rmx.rmx_sendpipe != 0)
740                         dosavessthresh = (i < rt->rt_rmx.rmx_sendpipe / 2);
741                 else
742                         dosavessthresh = (i < so->so_snd.sb_hiwat / 2);
743                 if (((rt->rt_rmx.rmx_locks & RTV_SSTHRESH) == 0 &&
744                      i != 0 && rt->rt_rmx.rmx_ssthresh != 0)
745                     || dosavessthresh) {
746                         /*
747                          * convert the limit from user data bytes to
748                          * packets then to packet data bytes.
749                          */
750                         i = (i + tp->t_maxseg / 2) / tp->t_maxseg;
751                         if (i < 2)
752                                 i = 2;
753                         i *= (u_long)(tp->t_maxseg +
754 #ifdef INET6
755                                       (isipv6 ? sizeof (struct ip6_hdr) +
756                                                sizeof (struct tcphdr) :
757 #endif
758                                        sizeof (struct tcpiphdr)
759 #ifdef INET6
760                                        )
761 #endif
762                                       );
763                         if (rt->rt_rmx.rmx_ssthresh)
764                                 rt->rt_rmx.rmx_ssthresh =
765                                     (rt->rt_rmx.rmx_ssthresh + i) / 2;
766                         else
767                                 rt->rt_rmx.rmx_ssthresh = i;
768                         tcpstat.tcps_cachedssthresh++;
769                 }
770         }
771     no_valid_rt:
772         /* free the reassembly queue, if any */
773         while((q = LIST_FIRST(&tp->t_segq)) != NULL) {
774                 LIST_REMOVE(q, tqe_q);
775                 m_freem(q->tqe_m);
776                 FREE(q, M_TSEGQ);
777                 tcp_reass_qsize--;
778         }
779         inp->inp_ppcb = NULL;
780         soisdisconnected(so);
781 #ifdef INET6
782         if (INP_CHECK_SOCKAF(so, AF_INET6))
783                 in6_pcbdetach(inp);
784         else
785 #endif /* INET6 */
786         in_pcbdetach(inp);
787         tcpstat.tcps_closed++;
788         return ((struct tcpcb *)0);
789 }
790
791 static __inline void
792 tcp_drain_oncpu(struct inpcbhead *head)
793 {
794         struct inpcb *inpb;
795         struct tcpcb *tcpb;
796         struct tseg_qent *te;
797
798         LIST_FOREACH(inpb, head, inp_list) {
799                 if ((tcpb = intotcpcb(inpb))) {
800                         while ((te = LIST_FIRST(&tcpb->t_segq)) != NULL) {
801                                 LIST_REMOVE(te, tqe_q);
802                                 m_freem(te->tqe_m);
803                                 FREE(te, M_TSEGQ);
804                                 tcp_reass_qsize--;
805                         }
806                 }
807         }
808 }
809
810 #ifdef SMP
811 struct netmsg_tcp_drain {
812         struct lwkt_msg         nm_lmsg;
813         netisr_fn_t             nm_handler;
814         struct inpcbhead        *nm_head;
815 };
816
817 static int              /* really should be void XXX JH */
818 tcp_drain_handler(struct netmsg *msg0)
819 {
820         struct netmsg_tcp_drain *nm = (struct netmsg_tcp_drain *)msg0;
821
822         tcp_drain_oncpu(nm->nm_head);
823
824         return (0);     /* dummy return value */
825 }
826 #endif
827
828 void
829 tcp_drain()
830 {
831 #ifdef SMP
832         int cpu;
833 #endif
834
835         if (!do_tcpdrain)
836                 return;
837
838         /*
839          * Walk the tcpbs, if existing, and flush the reassembly queue,
840          * if there is one...
841          * XXX: The "Net/3" implementation doesn't imply that the TCP
842          *      reassembly queue should be flushed, but in a situation
843          *      where we're really low on mbufs, this is potentially
844          *      usefull.        
845          */
846 #ifdef SMP
847         for (cpu = 0; cpu < ncpus2; cpu++) {
848                 struct netmsg_tcp_drain *msg;
849
850                 if (cpu == mycpu->gd_cpuid) {
851                         tcp_drain_oncpu(&tcbinfo[cpu].listhead);
852                 } else {
853                         msg = malloc(sizeof(struct netmsg_tcp_drain),
854                             M_LWKTMSG, M_NOWAIT);
855                         if (!msg)
856                                 continue;
857                         lwkt_initmsg_rp(&msg->nm_lmsg, &netisr_afree_rport,
858                             CMD_NETMSG_ONCPU);
859                         msg->nm_handler = tcp_drain_handler;
860                         msg->nm_head = &tcbinfo[cpu].listhead;
861                         lwkt_sendmsg(tcp_cport(cpu), &msg->nm_lmsg);
862                 }
863         }
864 #else
865         tcp_drain_oncpu(&tcbinfo[0].listhead);
866 #endif
867 }
868
869 /*
870  * Notify a tcp user of an asynchronous error;
871  * store error as soft error, but wake up user
872  * (for now, won't do anything until can select for soft error).
873  *
874  * Do not wake up user since there currently is no mechanism for
875  * reporting soft errors (yet - a kqueue filter may be added).
876  */
877 static void
878 tcp_notify(inp, error)
879         struct inpcb *inp;
880         int error;
881 {
882         struct tcpcb *tp = (struct tcpcb *)inp->inp_ppcb;
883
884         /*
885          * Ignore some errors if we are hooked up.
886          * If connection hasn't completed, has retransmitted several times,
887          * and receives a second error, give up now.  This is better
888          * than waiting a long time to establish a connection that
889          * can never complete.
890          */
891         if (tp->t_state == TCPS_ESTABLISHED &&
892              (error == EHOSTUNREACH || error == ENETUNREACH ||
893               error == EHOSTDOWN)) {
894                 return;
895         } else if (tp->t_state < TCPS_ESTABLISHED && tp->t_rxtshift > 3 &&
896             tp->t_softerror)
897                 tcp_drop(tp, error);
898         else
899                 tp->t_softerror = error;
900 #if 0
901         wakeup((caddr_t) &so->so_timeo);
902         sorwakeup(so);
903         sowwakeup(so);
904 #endif
905 }
906
907 static int
908 tcp_pcblist(SYSCTL_HANDLER_ARGS)
909 {
910         int error, i, n, s;
911         struct inpcb *inp, **inp_list;
912         inp_gen_t gencnt;
913         struct xinpgen xig;
914
915         /*
916          * The process of preparing the TCB list is too time-consuming and
917          * resource-intensive to repeat twice on every request.
918          */
919         if (req->oldptr == 0) {
920                 n = tcbinfo[mycpu->gd_cpuid].ipi_count;
921                 req->oldidx = 2 * (sizeof xig)
922                         + (n + n/8) * sizeof(struct xtcpcb);
923                 return 0;
924         }
925
926         if (req->newptr != 0)
927                 return EPERM;
928
929         /*
930          * OK, now we're committed to doing something.
931          */
932         s = splnet();
933         gencnt = tcbinfo[mycpu->gd_cpuid].ipi_gencnt;
934         n = tcbinfo[mycpu->gd_cpuid].ipi_count;
935         splx(s);
936
937         xig.xig_len = sizeof xig;
938         xig.xig_count = n;
939         xig.xig_gen = gencnt;
940         xig.xig_sogen = so_gencnt;
941         error = SYSCTL_OUT(req, &xig, sizeof xig);
942         if (error)
943                 return error;
944
945         inp_list = malloc(n * sizeof *inp_list, M_TEMP, M_WAITOK);
946         if (inp_list == 0)
947                 return ENOMEM;
948         
949         s = splnet();
950         for (inp = LIST_FIRST(&tcbinfo[mycpu->gd_cpuid].listhead), i = 0;
951             inp && i < n; inp = LIST_NEXT(inp, inp_list)) {
952                 if (inp->inp_gencnt <= gencnt && !prison_xinpcb(req->td, inp))
953                         inp_list[i++] = inp;
954         }
955         splx(s);
956         n = i;
957
958         error = 0;
959         for (i = 0; i < n; i++) {
960                 inp = inp_list[i];
961                 if (inp->inp_gencnt <= gencnt) {
962                         struct xtcpcb xt;
963                         caddr_t inp_ppcb;
964                         xt.xt_len = sizeof xt;
965                         /* XXX should avoid extra copy */
966                         bcopy(inp, &xt.xt_inp, sizeof *inp);
967                         inp_ppcb = inp->inp_ppcb;
968                         if (inp_ppcb != NULL)
969                                 bcopy(inp_ppcb, &xt.xt_tp, sizeof xt.xt_tp);
970                         else
971                                 bzero((char *) &xt.xt_tp, sizeof xt.xt_tp);
972                         if (inp->inp_socket)
973                                 sotoxsocket(inp->inp_socket, &xt.xt_socket);
974                         error = SYSCTL_OUT(req, &xt, sizeof xt);
975                 }
976         }
977         if (!error) {
978                 /*
979                  * Give the user an updated idea of our state.
980                  * If the generation differs from what we told
981                  * her before, she knows that something happened
982                  * while we were processing this request, and it
983                  * might be necessary to retry.
984                  */
985                 s = splnet();
986                 xig.xig_gen = tcbinfo[mycpu->gd_cpuid].ipi_gencnt;
987                 xig.xig_sogen = so_gencnt;
988                 xig.xig_count = tcbinfo[mycpu->gd_cpuid].ipi_count;
989                 splx(s);
990                 error = SYSCTL_OUT(req, &xig, sizeof xig);
991         }
992         free(inp_list, M_TEMP);
993         return error;
994 }
995
996 SYSCTL_PROC(_net_inet_tcp, TCPCTL_PCBLIST, pcblist, CTLFLAG_RD, 0, 0,
997             tcp_pcblist, "S,xtcpcb", "List of active TCP connections");
998
999 static int
1000 tcp_getcred(SYSCTL_HANDLER_ARGS)
1001 {
1002         struct sockaddr_in addrs[2];
1003         struct inpcb *inp;
1004         int cpu;
1005         int error, s;
1006
1007         error = suser(req->td);
1008         if (error)
1009                 return (error);
1010         error = SYSCTL_IN(req, addrs, sizeof(addrs));
1011         if (error)
1012                 return (error);
1013         s = splnet();
1014         cpu = tcp_addrcpu(addrs[1].sin_addr.s_addr, addrs[1].sin_port,
1015             addrs[0].sin_addr.s_addr, addrs[0].sin_port);
1016         inp = in_pcblookup_hash(&tcbinfo[cpu], addrs[1].sin_addr,
1017             addrs[1].sin_port, addrs[0].sin_addr, addrs[0].sin_port, 0, NULL);
1018         if (inp == NULL || inp->inp_socket == NULL) {
1019                 error = ENOENT;
1020                 goto out;
1021         }
1022         error = SYSCTL_OUT(req, inp->inp_socket->so_cred, sizeof(struct ucred));
1023 out:
1024         splx(s);
1025         return (error);
1026 }
1027
1028 SYSCTL_PROC(_net_inet_tcp, OID_AUTO, getcred, CTLTYPE_OPAQUE|CTLFLAG_RW,
1029     0, 0, tcp_getcred, "S,ucred", "Get the ucred of a TCP connection");
1030
1031 #ifdef INET6
1032 static int
1033 tcp6_getcred(SYSCTL_HANDLER_ARGS)
1034 {
1035         struct sockaddr_in6 addrs[2];
1036         struct inpcb *inp;
1037         int error, s, mapped = 0;
1038
1039         error = suser(req->td);
1040         if (error)
1041                 return (error);
1042         error = SYSCTL_IN(req, addrs, sizeof(addrs));
1043         if (error)
1044                 return (error);
1045         if (IN6_IS_ADDR_V4MAPPED(&addrs[0].sin6_addr)) {
1046                 if (IN6_IS_ADDR_V4MAPPED(&addrs[1].sin6_addr))
1047                         mapped = 1;
1048                 else
1049                         return (EINVAL);
1050         }
1051         s = splnet();
1052         if (mapped == 1) {
1053                 inp = in_pcblookup_hash(&tcbinfo[0],
1054                     *(struct in_addr *)&addrs[1].sin6_addr.s6_addr[12],
1055                     addrs[1].sin6_port,
1056                     *(struct in_addr *)&addrs[0].sin6_addr.s6_addr[12],
1057                     addrs[0].sin6_port,
1058                     0, NULL);
1059         } else {
1060                 inp = in6_pcblookup_hash(&tcbinfo[0],
1061                     &addrs[1].sin6_addr, addrs[1].sin6_port,
1062                     &addrs[0].sin6_addr, addrs[0].sin6_port,
1063                     0, NULL);
1064         }
1065         if (inp == NULL || inp->inp_socket == NULL) {
1066                 error = ENOENT;
1067                 goto out;
1068         }
1069         error = SYSCTL_OUT(req, inp->inp_socket->so_cred, 
1070                            sizeof(struct ucred));
1071 out:
1072         splx(s);
1073         return (error);
1074 }
1075
1076 SYSCTL_PROC(_net_inet6_tcp6, OID_AUTO, getcred, CTLTYPE_OPAQUE|CTLFLAG_RW,
1077             0, 0,
1078             tcp6_getcred, "S,ucred", "Get the ucred of a TCP6 connection");
1079 #endif
1080
1081
1082 void
1083 tcp_ctlinput(cmd, sa, vip)
1084         int cmd;
1085         struct sockaddr *sa;
1086         void *vip;
1087 {
1088         struct ip *ip = vip;
1089         struct tcphdr *th;
1090         struct in_addr faddr;
1091         struct inpcb *inp;
1092         struct tcpcb *tp;
1093         void (*notify) (struct inpcb *, int) = tcp_notify;
1094         tcp_seq icmp_seq;
1095         int cpu;
1096         int s;
1097
1098         faddr = ((struct sockaddr_in *)sa)->sin_addr;
1099         if (sa->sa_family != AF_INET || faddr.s_addr == INADDR_ANY)
1100                 return;
1101
1102         if (cmd == PRC_QUENCH)
1103                 notify = tcp_quench;
1104         else if (icmp_may_rst && (cmd == PRC_UNREACH_ADMIN_PROHIB ||
1105                 cmd == PRC_UNREACH_PORT || cmd == PRC_TIMXCEED_INTRANS) && ip)
1106                 notify = tcp_drop_syn_sent;
1107         else if (cmd == PRC_MSGSIZE)
1108                 notify = tcp_mtudisc;
1109         else if (PRC_IS_REDIRECT(cmd)) {
1110                 ip = 0;
1111                 notify = in_rtchange;
1112         } else if (cmd == PRC_HOSTDEAD)
1113                 ip = 0;
1114         else if ((unsigned)cmd > PRC_NCMDS || inetctlerrmap[cmd] == 0)
1115                 return;
1116         if (ip) {
1117                 s = splnet();
1118                 th = (struct tcphdr *)((caddr_t)ip 
1119                                        + (IP_VHL_HL(ip->ip_vhl) << 2));
1120                 cpu = tcp_addrcpu(faddr.s_addr, th->th_dport,
1121                     ip->ip_src.s_addr, th->th_sport);
1122                 inp = in_pcblookup_hash(&tcbinfo[cpu], faddr, th->th_dport,
1123                     ip->ip_src, th->th_sport, 0, NULL);
1124                 if (inp != NULL && inp->inp_socket != NULL) {
1125                         icmp_seq = htonl(th->th_seq);
1126                         tp = intotcpcb(inp);
1127                         if (SEQ_GEQ(icmp_seq, tp->snd_una) &&
1128                             SEQ_LT(icmp_seq, tp->snd_max))
1129                                 (*notify)(inp, inetctlerrmap[cmd]);
1130                 } else {
1131                         struct in_conninfo inc;
1132
1133                         inc.inc_fport = th->th_dport;
1134                         inc.inc_lport = th->th_sport;
1135                         inc.inc_faddr = faddr;
1136                         inc.inc_laddr = ip->ip_src;
1137 #ifdef INET6
1138                         inc.inc_isipv6 = 0;
1139 #endif
1140                         syncache_unreach(&inc, th);
1141                 }
1142                 splx(s);
1143         } else {
1144                 for (cpu = 0; cpu < ncpus2; cpu++)
1145                         in_pcbnotifyall(&tcbinfo[cpu].listhead, faddr,
1146                                         inetctlerrmap[cmd], notify);
1147         }
1148 }
1149
1150 #ifdef INET6
1151 void
1152 tcp6_ctlinput(cmd, sa, d)
1153         int cmd;
1154         struct sockaddr *sa;
1155         void *d;
1156 {
1157         struct tcphdr th;
1158         void (*notify) (struct inpcb *, int) = tcp_notify;
1159         struct ip6_hdr *ip6;
1160         struct mbuf *m;
1161         struct ip6ctlparam *ip6cp = NULL;
1162         const struct sockaddr_in6 *sa6_src = NULL;
1163         int off;
1164         struct tcp_portonly {
1165                 u_int16_t th_sport;
1166                 u_int16_t th_dport;
1167         } *thp;
1168
1169         if (sa->sa_family != AF_INET6 ||
1170             sa->sa_len != sizeof(struct sockaddr_in6))
1171                 return;
1172
1173         if (cmd == PRC_QUENCH)
1174                 notify = tcp_quench;
1175         else if (cmd == PRC_MSGSIZE)
1176                 notify = tcp_mtudisc;
1177         else if (!PRC_IS_REDIRECT(cmd) &&
1178                  ((unsigned)cmd > PRC_NCMDS || inet6ctlerrmap[cmd] == 0))
1179                 return;
1180
1181         /* if the parameter is from icmp6, decode it. */
1182         if (d != NULL) {
1183                 ip6cp = (struct ip6ctlparam *)d;
1184                 m = ip6cp->ip6c_m;
1185                 ip6 = ip6cp->ip6c_ip6;
1186                 off = ip6cp->ip6c_off;
1187                 sa6_src = ip6cp->ip6c_src;
1188         } else {
1189                 m = NULL;
1190                 ip6 = NULL;
1191                 off = 0;        /* fool gcc */
1192                 sa6_src = &sa6_any;
1193         }
1194
1195         if (ip6) {
1196                 struct in_conninfo inc;
1197                 /*
1198                  * XXX: We assume that when IPV6 is non NULL,
1199                  * M and OFF are valid.
1200                  */
1201
1202                 /* check if we can safely examine src and dst ports */
1203                 if (m->m_pkthdr.len < off + sizeof(*thp))
1204                         return;
1205
1206                 bzero(&th, sizeof(th));
1207                 m_copydata(m, off, sizeof(*thp), (caddr_t)&th);
1208
1209                 in6_pcbnotify(&tcbinfo[0].listhead, sa, th.th_dport,
1210                     (struct sockaddr *)ip6cp->ip6c_src,
1211                     th.th_sport, cmd, notify);
1212
1213                 inc.inc_fport = th.th_dport;
1214                 inc.inc_lport = th.th_sport;
1215                 inc.inc6_faddr = ((struct sockaddr_in6 *)sa)->sin6_addr;
1216                 inc.inc6_laddr = ip6cp->ip6c_src->sin6_addr;
1217                 inc.inc_isipv6 = 1;
1218                 syncache_unreach(&inc, &th);
1219         } else
1220                 in6_pcbnotify(&tcbinfo[0].listhead, sa, 0,
1221                     (const struct sockaddr *)sa6_src, 0, cmd, notify);
1222 }
1223 #endif /* INET6 */
1224
1225
1226 /*
1227  * Following is where TCP initial sequence number generation occurs.
1228  *
1229  * There are two places where we must use initial sequence numbers:
1230  * 1.  In SYN-ACK packets.
1231  * 2.  In SYN packets.
1232  *
1233  * All ISNs for SYN-ACK packets are generated by the syncache.  See
1234  * tcp_syncache.c for details.
1235  *
1236  * The ISNs in SYN packets must be monotonic; TIME_WAIT recycling
1237  * depends on this property.  In addition, these ISNs should be
1238  * unguessable so as to prevent connection hijacking.  To satisfy
1239  * the requirements of this situation, the algorithm outlined in
1240  * RFC 1948 is used to generate sequence numbers.
1241  *
1242  * Implementation details:
1243  *
1244  * Time is based off the system timer, and is corrected so that it
1245  * increases by one megabyte per second.  This allows for proper
1246  * recycling on high speed LANs while still leaving over an hour
1247  * before rollover.
1248  *
1249  * net.inet.tcp.isn_reseed_interval controls the number of seconds
1250  * between seeding of isn_secret.  This is normally set to zero,
1251  * as reseeding should not be necessary.
1252  *
1253  */
1254
1255 #define ISN_BYTES_PER_SECOND 1048576
1256
1257 u_char isn_secret[32];
1258 int isn_last_reseed;
1259 MD5_CTX isn_ctx;
1260
1261 tcp_seq
1262 tcp_new_isn(tp)
1263         struct tcpcb *tp;
1264 {
1265         u_int32_t md5_buffer[4];
1266         tcp_seq new_isn;
1267
1268         /* Seed if this is the first use, reseed if requested. */
1269         if ((isn_last_reseed == 0) || ((tcp_isn_reseed_interval > 0) &&
1270              (((u_int)isn_last_reseed + (u_int)tcp_isn_reseed_interval*hz)
1271                 < (u_int)ticks))) {
1272                 read_random_unlimited(&isn_secret, sizeof(isn_secret));
1273                 isn_last_reseed = ticks;
1274         }
1275                 
1276         /* Compute the md5 hash and return the ISN. */
1277         MD5Init(&isn_ctx);
1278         MD5Update(&isn_ctx, (u_char *) &tp->t_inpcb->inp_fport, sizeof(u_short));
1279         MD5Update(&isn_ctx, (u_char *) &tp->t_inpcb->inp_lport, sizeof(u_short));
1280 #ifdef INET6
1281         if ((tp->t_inpcb->inp_vflag & INP_IPV6) != 0) {
1282                 MD5Update(&isn_ctx, (u_char *) &tp->t_inpcb->in6p_faddr,
1283                           sizeof(struct in6_addr));
1284                 MD5Update(&isn_ctx, (u_char *) &tp->t_inpcb->in6p_laddr,
1285                           sizeof(struct in6_addr));
1286         } else
1287 #endif
1288         {
1289                 MD5Update(&isn_ctx, (u_char *) &tp->t_inpcb->inp_faddr,
1290                           sizeof(struct in_addr));
1291                 MD5Update(&isn_ctx, (u_char *) &tp->t_inpcb->inp_laddr,
1292                           sizeof(struct in_addr));
1293         }
1294         MD5Update(&isn_ctx, (u_char *) &isn_secret, sizeof(isn_secret));
1295         MD5Final((u_char *) &md5_buffer, &isn_ctx);
1296         new_isn = (tcp_seq) md5_buffer[0];
1297         new_isn += ticks * (ISN_BYTES_PER_SECOND / hz);
1298         return new_isn;
1299 }
1300
1301 /*
1302  * When a source quench is received, close congestion window
1303  * to one segment.  We will gradually open it again as we proceed.
1304  */
1305 void
1306 tcp_quench(inp, errno)
1307         struct inpcb *inp;
1308         int errno;
1309 {
1310         struct tcpcb *tp = intotcpcb(inp);
1311
1312         if (tp)
1313                 tp->snd_cwnd = tp->t_maxseg;
1314 }
1315
1316 /*
1317  * When a specific ICMP unreachable message is received and the
1318  * connection state is SYN-SENT, drop the connection.  This behavior
1319  * is controlled by the icmp_may_rst sysctl.
1320  */
1321 void
1322 tcp_drop_syn_sent(inp, errno)
1323         struct inpcb *inp;
1324         int errno;
1325 {
1326         struct tcpcb *tp = intotcpcb(inp);
1327
1328         if (tp && tp->t_state == TCPS_SYN_SENT)
1329                 tcp_drop(tp, errno);
1330 }
1331
1332 /*
1333  * When `need fragmentation' ICMP is received, update our idea of the MSS
1334  * based on the new value in the route.  Also nudge TCP to send something,
1335  * since we know the packet we just sent was dropped.
1336  * This duplicates some code in the tcp_mss() function in tcp_input.c.
1337  */
1338 void
1339 tcp_mtudisc(inp, errno)
1340         struct inpcb *inp;
1341         int errno;
1342 {
1343         struct tcpcb *tp = intotcpcb(inp);
1344         struct rtentry *rt;
1345         struct rmxp_tao *taop;
1346         struct socket *so = inp->inp_socket;
1347         int offered;
1348         int mss;
1349 #ifdef INET6
1350         int isipv6 = (tp->t_inpcb->inp_vflag & INP_IPV6) != 0;
1351 #endif /* INET6 */
1352
1353         if (tp) {
1354 #ifdef INET6
1355                 if (isipv6)
1356                         rt = tcp_rtlookup6(&inp->inp_inc);
1357                 else
1358 #endif /* INET6 */
1359                 rt = tcp_rtlookup(&inp->inp_inc);
1360                 if (!rt || !rt->rt_rmx.rmx_mtu) {
1361                         tp->t_maxopd = tp->t_maxseg =
1362 #ifdef INET6
1363                                 isipv6 ? tcp_v6mssdflt :
1364 #endif /* INET6 */
1365                                 tcp_mssdflt;
1366                         return;
1367                 }
1368                 taop = rmx_taop(rt->rt_rmx);
1369                 offered = taop->tao_mssopt;
1370                 mss = rt->rt_rmx.rmx_mtu -
1371 #ifdef INET6
1372                         (isipv6 ?
1373                          sizeof(struct ip6_hdr) + sizeof(struct tcphdr) :
1374 #endif /* INET6 */
1375                          sizeof(struct tcpiphdr)
1376 #ifdef INET6
1377                          )
1378 #endif /* INET6 */
1379                         ;
1380
1381                 if (offered)
1382                         mss = min(mss, offered);
1383                 /*
1384                  * XXX - The above conditional probably violates the TCP
1385                  * spec.  The problem is that, since we don't know the
1386                  * other end's MSS, we are supposed to use a conservative
1387                  * default.  But, if we do that, then MTU discovery will
1388                  * never actually take place, because the conservative
1389                  * default is much less than the MTUs typically seen
1390                  * on the Internet today.  For the moment, we'll sweep
1391                  * this under the carpet.
1392                  *
1393                  * The conservative default might not actually be a problem
1394                  * if the only case this occurs is when sending an initial
1395                  * SYN with options and data to a host we've never talked
1396                  * to before.  Then, they will reply with an MSS value which
1397                  * will get recorded and the new parameters should get
1398                  * recomputed.  For Further Study.
1399                  */
1400                 if (tp->t_maxopd <= mss)
1401                         return;
1402                 tp->t_maxopd = mss;
1403
1404                 if ((tp->t_flags & (TF_REQ_TSTMP|TF_NOOPT)) == TF_REQ_TSTMP &&
1405                     (tp->t_flags & TF_RCVD_TSTMP) == TF_RCVD_TSTMP)
1406                         mss -= TCPOLEN_TSTAMP_APPA;
1407                 if ((tp->t_flags & (TF_REQ_CC|TF_NOOPT)) == TF_REQ_CC &&
1408                     (tp->t_flags & TF_RCVD_CC) == TF_RCVD_CC)
1409                         mss -= TCPOLEN_CC_APPA;
1410 #if     (MCLBYTES & (MCLBYTES - 1)) == 0
1411                 if (mss > MCLBYTES)
1412                         mss &= ~(MCLBYTES-1);
1413 #else
1414                 if (mss > MCLBYTES)
1415                         mss = mss / MCLBYTES * MCLBYTES;
1416 #endif
1417                 if (so->so_snd.sb_hiwat < mss)
1418                         mss = so->so_snd.sb_hiwat;
1419
1420                 tp->t_maxseg = mss;
1421
1422                 tcpstat.tcps_mturesent++;
1423                 tp->t_rtttime = 0;
1424                 tp->snd_nxt = tp->snd_una;
1425                 tcp_output(tp);
1426         }
1427 }
1428
1429 /*
1430  * Look-up the routing entry to the peer of this inpcb.  If no route
1431  * is found and it cannot be allocated the return NULL.  This routine
1432  * is called by TCP routines that access the rmx structure and by tcp_mss
1433  * to get the interface MTU.
1434  */
1435 struct rtentry *
1436 tcp_rtlookup(inc)
1437         struct in_conninfo *inc;
1438 {
1439         struct route *ro;
1440         struct rtentry *rt;
1441
1442         ro = &inc->inc_route;
1443         rt = ro->ro_rt;
1444         if (rt == NULL || !(rt->rt_flags & RTF_UP)) {
1445                 /* No route yet, so try to acquire one */
1446                 if (inc->inc_faddr.s_addr != INADDR_ANY) {
1447                         ro->ro_dst.sa_family = AF_INET;
1448                         ro->ro_dst.sa_len = sizeof(struct sockaddr_in);
1449                         ((struct sockaddr_in *) &ro->ro_dst)->sin_addr =
1450                             inc->inc_faddr;
1451                         rtalloc(ro);
1452                         rt = ro->ro_rt;
1453                 }
1454         }
1455         return rt;
1456 }
1457
1458 #ifdef INET6
1459 struct rtentry *
1460 tcp_rtlookup6(inc)
1461         struct in_conninfo *inc;
1462 {
1463         struct route_in6 *ro6;
1464         struct rtentry *rt;
1465
1466         ro6 = &inc->inc6_route;
1467         rt = ro6->ro_rt;
1468         if (rt == NULL || !(rt->rt_flags & RTF_UP)) {
1469                 /* No route yet, so try to acquire one */
1470                 if (!IN6_IS_ADDR_UNSPECIFIED(&inc->inc6_faddr)) {
1471                         ro6->ro_dst.sin6_family = AF_INET6;
1472                         ro6->ro_dst.sin6_len = sizeof(struct sockaddr_in6);
1473                         ro6->ro_dst.sin6_addr = inc->inc6_faddr;
1474                         rtalloc((struct route *)ro6);
1475                         rt = ro6->ro_rt;
1476                 }
1477         }
1478         return rt;
1479 }
1480 #endif /* INET6 */
1481
1482 #ifdef IPSEC
1483 /* compute ESP/AH header size for TCP, including outer IP header. */
1484 size_t
1485 ipsec_hdrsiz_tcp(tp)
1486         struct tcpcb *tp;
1487 {
1488         struct inpcb *inp;
1489         struct mbuf *m;
1490         size_t hdrsiz;
1491         struct ip *ip;
1492 #ifdef INET6
1493         struct ip6_hdr *ip6;
1494 #endif /* INET6 */
1495         struct tcphdr *th;
1496
1497         if ((tp == NULL) || ((inp = tp->t_inpcb) == NULL))
1498                 return 0;
1499         MGETHDR(m, M_DONTWAIT, MT_DATA);
1500         if (!m)
1501                 return 0;
1502
1503 #ifdef INET6
1504         if ((inp->inp_vflag & INP_IPV6) != 0) {
1505                 ip6 = mtod(m, struct ip6_hdr *);
1506                 th = (struct tcphdr *)(ip6 + 1);
1507                 m->m_pkthdr.len = m->m_len =
1508                         sizeof(struct ip6_hdr) + sizeof(struct tcphdr);
1509                 tcp_fillheaders(tp, ip6, th);
1510                 hdrsiz = ipsec6_hdrsiz(m, IPSEC_DIR_OUTBOUND, inp);
1511         } else
1512 #endif /* INET6 */
1513       {
1514         ip = mtod(m, struct ip *);
1515         th = (struct tcphdr *)(ip + 1);
1516         m->m_pkthdr.len = m->m_len = sizeof(struct tcpiphdr);
1517         tcp_fillheaders(tp, ip, th);
1518         hdrsiz = ipsec4_hdrsiz(m, IPSEC_DIR_OUTBOUND, inp);
1519       }
1520
1521         m_free(m);
1522         return hdrsiz;
1523 }
1524 #endif /*IPSEC*/
1525
1526 /*
1527  * Return a pointer to the cached information about the remote host.
1528  * The cached information is stored in the protocol specific part of
1529  * the route metrics.
1530  */
1531 struct rmxp_tao *
1532 tcp_gettaocache(inc)
1533         struct in_conninfo *inc;
1534 {
1535         struct rtentry *rt;
1536
1537 #ifdef INET6
1538         if (inc->inc_isipv6)
1539                 rt = tcp_rtlookup6(inc);
1540         else
1541 #endif /* INET6 */
1542         rt = tcp_rtlookup(inc);
1543
1544         /* Make sure this is a host route and is up. */
1545         if (rt == NULL ||
1546             (rt->rt_flags & (RTF_UP|RTF_HOST)) != (RTF_UP|RTF_HOST))
1547                 return NULL;
1548
1549         return rmx_taop(rt->rt_rmx);
1550 }
1551
1552 /*
1553  * Clear all the TAO cache entries, called from tcp_init.
1554  *
1555  * XXX
1556  * This routine is just an empty one, because we assume that the routing
1557  * routing tables are initialized at the same time when TCP, so there is
1558  * nothing in the cache left over.
1559  */
1560 static void
1561 tcp_cleartaocache()
1562 {
1563 }
1564
1565 /*
1566  * TCP BANDWIDTH DELAY PRODUCT WINDOW LIMITING
1567  *
1568  * This code attempts to calculate the bandwidth-delay product as a
1569  * means of determining the optimal window size to maximize bandwidth,
1570  * minimize RTT, and avoid the over-allocation of buffers on interfaces and
1571  * routers.  This code also does a fairly good job keeping RTTs in check
1572  * across slow links like modems.  We implement an algorithm which is very
1573  * similar (but not meant to be) TCP/Vegas.  The code operates on the
1574  * transmitter side of a TCP connection and so only effects the transmit
1575  * side of the connection.
1576  *
1577  * BACKGROUND:  TCP makes no provision for the management of buffer space
1578  * at the end points or at the intermediate routers and switches.  A TCP 
1579  * stream, whether using NewReno or not, will eventually buffer as
1580  * many packets as it is able and the only reason this typically works is
1581  * due to the fairly small default buffers made available for a connection
1582  * (typicaly 16K or 32K).  As machines use larger windows and/or window
1583  * scaling it is now fairly easy for even a single TCP connection to blow-out
1584  * all available buffer space not only on the local interface, but on 
1585  * intermediate routers and switches as well.  NewReno makes a misguided
1586  * attempt to 'solve' this problem by waiting for an actual failure to occur,
1587  * then backing off, then steadily increasing the window again until another
1588  * failure occurs, ad-infinitum.  This results in terrible oscillation that
1589  * is only made worse as network loads increase and the idea of intentionally
1590  * blowing out network buffers is, frankly, a terrible way to manage network
1591  * resources.
1592  *
1593  * It is far better to limit the transmit window prior to the failure
1594  * condition being achieved.  There are two general ways to do this:  First
1595  * you can 'scan' through different transmit window sizes and locate the
1596  * point where the RTT stops increasing, indicating that you have filled the
1597  * pipe, then scan backwards until you note that RTT stops decreasing, then
1598  * repeat ad-infinitum.  This method works in principle but has severe
1599  * implementation issues due to RTT variances, timer granularity, and
1600  * instability in the algorithm which can lead to many false positives and
1601  * create oscillations as well as interact badly with other TCP streams
1602  * implementing the same algorithm.
1603  *
1604  * The second method is to limit the window to the bandwidth delay product
1605  * of the link.  This is the method we implement.  RTT variances and our
1606  * own manipulation of the congestion window, bwnd, can potentially 
1607  * destabilize the algorithm.  For this reason we have to stabilize the
1608  * elements used to calculate the window.  We do this by using the minimum
1609  * observed RTT, the long term average of the observed bandwidth, and
1610  * by adding two segments worth of slop.  It isn't perfect but it is able
1611  * to react to changing conditions and gives us a very stable basis on
1612  * which to extend the algorithm.
1613  */
1614 void
1615 tcp_xmit_bandwidth_limit(struct tcpcb *tp, tcp_seq ack_seq)
1616 {
1617         u_long bw;
1618         u_long bwnd;
1619         int save_ticks;
1620
1621         /*
1622          * If inflight_enable is disabled in the middle of a tcp connection,
1623          * make sure snd_bwnd is effectively disabled.
1624          */
1625         if (tcp_inflight_enable == 0) {
1626                 tp->snd_bwnd = TCP_MAXWIN << TCP_MAX_WINSHIFT;
1627                 tp->snd_bandwidth = 0;
1628                 return;
1629         }
1630
1631         /*
1632          * Figure out the bandwidth.  Due to the tick granularity this
1633          * is a very rough number and it MUST be averaged over a fairly
1634          * long period of time.  XXX we need to take into account a link
1635          * that is not using all available bandwidth, but for now our
1636          * slop will ramp us up if this case occurs and the bandwidth later
1637          * increases.
1638          *
1639          * Note: if ticks rollover 'bw' may wind up negative.  We must
1640          * effectively reset t_bw_rtttime for this case.
1641          */
1642         save_ticks = ticks;
1643         if ((u_int)(save_ticks - tp->t_bw_rtttime) < 1)
1644                 return;
1645
1646         bw = (int64_t)(ack_seq - tp->t_bw_rtseq) * hz / 
1647             (save_ticks - tp->t_bw_rtttime);
1648         tp->t_bw_rtttime = save_ticks;
1649         tp->t_bw_rtseq = ack_seq;
1650         if (tp->t_bw_rtttime == 0 || (int)bw < 0)
1651                 return;
1652         bw = ((int64_t)tp->snd_bandwidth * 15 + bw) >> 4;
1653
1654         tp->snd_bandwidth = bw;
1655
1656         /*
1657          * Calculate the semi-static bandwidth delay product, plus two maximal
1658          * segments.  The additional slop puts us squarely in the sweet
1659          * spot and also handles the bandwidth run-up case.  Without the
1660          * slop we could be locking ourselves into a lower bandwidth.
1661          *
1662          * Situations Handled:
1663          *      (1) Prevents over-queueing of packets on LANs, especially on
1664          *          high speed LANs, allowing larger TCP buffers to be
1665          *          specified, and also does a good job preventing 
1666          *          over-queueing of packets over choke points like modems
1667          *          (at least for the transmit side).
1668          *
1669          *      (2) Is able to handle changing network loads (bandwidth
1670          *          drops so bwnd drops, bandwidth increases so bwnd
1671          *          increases).
1672          *
1673          *      (3) Theoretically should stabilize in the face of multiple
1674          *          connections implementing the same algorithm (this may need
1675          *          a little work).
1676          *
1677          *      (4) Stability value (defaults to 20 = 2 maximal packets) can 
1678          *          be adjusted with a sysctl but typically only needs to be on
1679          *          very slow connections.  A value no smaller then 5 should
1680          *          be used, but only reduce this default if you have no other
1681          *          choice.
1682          */
1683 #define USERTT  ((tp->t_srtt + tp->t_rttbest) / 2)
1684         bwnd = (int64_t)bw * USERTT / (hz << TCP_RTT_SHIFT) + tcp_inflight_stab * (int)tp->t_maxseg / 10;
1685 #undef USERTT
1686
1687         if (tcp_inflight_debug > 0) {
1688                 static int ltime;
1689                 if ((u_int)(ticks - ltime) >= hz / tcp_inflight_debug) {
1690                         ltime = ticks;
1691                         printf("%p bw %ld rttbest %d srtt %d bwnd %ld\n",
1692                             tp,
1693                             bw,
1694                             tp->t_rttbest,
1695                             tp->t_srtt,
1696                             bwnd
1697                         );
1698                 }
1699         }
1700         if ((long)bwnd < tcp_inflight_min)
1701                 bwnd = tcp_inflight_min;
1702         if (bwnd > tcp_inflight_max)
1703                 bwnd = tcp_inflight_max;
1704         if ((long)bwnd < tp->t_maxseg * 2)
1705                 bwnd = tp->t_maxseg * 2;
1706         tp->snd_bwnd = bwnd;
1707 }