Reduce ifnet.if_serializer contention on output path:
[dragonfly.git] / sys / net / if_loop.c
1 /*
2  * Copyright (c) 1982, 1986, 1993
3  *      The Regents of the University of California.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. All advertising materials mentioning features or use of this software
14  *    must display the following acknowledgement:
15  *      This product includes software developed by the University of
16  *      California, Berkeley and its contributors.
17  * 4. Neither the name of the University nor the names of its contributors
18  *    may be used to endorse or promote products derived from this software
19  *    without specific prior written permission.
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31  * SUCH DAMAGE.
32  *
33  *      @(#)if_loop.c   8.1 (Berkeley) 6/10/93
34  * $FreeBSD: src/sys/net/if_loop.c,v 1.47.2.8 2003/06/01 01:46:11 silby Exp $
35  * $DragonFly: src/sys/net/if_loop.c,v 1.21 2008/05/14 11:59:23 sephe Exp $
36  */
37
38 /*
39  * Loopback interface driver for protocol testing and timing.
40  */
41 #include "use_loop.h"
42
43 #include "opt_atalk.h"
44 #include "opt_inet.h"
45 #include "opt_inet6.h"
46 #include "opt_ipx.h"
47
48 #include <sys/param.h>
49 #include <sys/systm.h>
50 #include <sys/kernel.h>
51 #include <sys/mbuf.h>
52 #include <sys/socket.h>
53 #include <sys/sockio.h>
54
55 #include <net/if.h>
56 #include <net/if_types.h>
57 #include <net/ifq_var.h>
58 #include <net/netisr.h>
59 #include <net/route.h>
60 #include <net/bpf.h>
61 #include <net/bpfdesc.h>
62
63 #ifdef  INET
64 #include <netinet/in.h>
65 #include <netinet/in_var.h>
66 #endif
67
68 #ifdef IPX
69 #include <netproto/ipx/ipx.h>
70 #include <netproto/ipx/ipx_if.h>
71 #endif
72
73 #ifdef INET6
74 #ifndef INET
75 #include <netinet/in.h>
76 #endif
77 #include <netinet6/in6_var.h>
78 #include <netinet/ip6.h>
79 #endif
80
81 #ifdef NS
82 #include <netns/ns.h>
83 #include <netns/ns_if.h>
84 #endif
85
86 #ifdef NETATALK
87 #include <netproto/atalk/at.h>
88 #include <netproto/atalk/at_var.h>
89 #endif
90
91 int loioctl (struct ifnet *, u_long, caddr_t, struct ucred *);
92 static void lortrequest (int, struct rtentry *, struct rt_addrinfo *);
93
94 static void loopattach (void *);
95 #ifdef ALTQ
96 static void lo_altqstart(struct ifnet *);
97 #endif
98 PSEUDO_SET(loopattach, if_loop);
99
100 int looutput (struct ifnet *ifp,
101                 struct mbuf *m, struct sockaddr *dst, struct rtentry *rt);
102
103 #ifdef TINY_LOMTU
104 #define LOMTU   (1024+512)
105 #elif defined(LARGE_LOMTU)
106 #define LOMTU   131072
107 #else
108 #define LOMTU   16384
109 #endif
110
111 struct  ifnet loif[NLOOP];
112
113 /* ARGSUSED */
114 static void
115 loopattach(void *dummy)
116 {
117         struct ifnet *ifp;
118         int i;
119
120         for (i = 0, ifp = loif; i < NLOOP; i++, ifp++) {
121                 if_initname(ifp, "lo", i);
122                 ifp->if_mtu = LOMTU;
123                 ifp->if_flags = IFF_LOOPBACK | IFF_MULTICAST;
124                 ifp->if_ioctl = loioctl;
125                 ifp->if_output = looutput;
126                 ifp->if_type = IFT_LOOP;
127                 ifq_set_maxlen(&ifp->if_snd, ifqmaxlen);
128                 ifq_set_ready(&ifp->if_snd);
129 #ifdef ALTQ
130                 ifp->if_start = lo_altqstart;
131 #endif
132                 if_attach(ifp, NULL);
133                 bpfattach(ifp, DLT_NULL, sizeof(u_int));
134         }
135 }
136
137 int
138 looutput(
139         struct ifnet *ifp,
140         struct mbuf *m,
141         struct sockaddr *dst,
142         struct rtentry *rt)
143 {
144         struct mbuf *n;
145
146         if ((m->m_flags & M_PKTHDR) == 0)
147                 panic("looutput no HDR");
148
149         if (rt && rt->rt_flags & (RTF_REJECT|RTF_BLACKHOLE)) {
150                 m_freem(m);
151                 return (rt->rt_flags & RTF_BLACKHOLE ? 0 :
152                         rt->rt_flags & RTF_HOST ? EHOSTUNREACH : ENETUNREACH);
153         }
154         /*
155          * KAME requires that the packet to be contiguous on the
156          * mbuf.  We need to make that sure.
157          * this kind of code should be avoided.
158          *
159          * XXX: KAME may no longer need contiguous packets.  Once
160          * that has been verified, the following code _should_ be
161          * removed.
162          */
163         if (m && m->m_next != NULL) {
164
165                 n = m_defrag(m, MB_DONTWAIT);
166
167                 if (n == NULL) {
168                         m_freem(m);
169                         return (ENOBUFS);
170                 } else {
171                         m = n;
172                 }
173         }
174
175         ifp->if_opackets++;
176         ifp->if_obytes += m->m_pkthdr.len;
177 #if 1   /* XXX */
178         switch (dst->sa_family) {
179         case AF_INET:
180         case AF_INET6:
181         case AF_IPX:
182         case AF_NS:
183         case AF_APPLETALK:
184                 break;
185         default:
186                 kprintf("looutput: af=%d unexpected\n", dst->sa_family);
187                 m_freem(m);
188                 return (EAFNOSUPPORT);
189         }
190 #endif
191         return (if_simloop(ifp, m, dst->sa_family, 0));
192 }
193
194 /*
195  * if_simloop()
196  *
197  * This function is to support software emulation of hardware loopback,
198  * i.e., for interfaces with the IFF_SIMPLEX attribute. Since they can't
199  * hear their own broadcasts, we create a copy of the packet that we
200  * would normally receive via a hardware loopback.
201  *
202  * This function expects the packet to include the media header of length hlen.
203  */
204 int
205 if_simloop(struct ifnet *ifp, struct mbuf *m, int af, int hlen)
206 {
207         int isr;
208
209         KASSERT((m->m_flags & M_PKTHDR) != 0, ("if_simloop: no HDR"));
210         m->m_pkthdr.rcvif = ifp;
211
212         /* BPF write needs to be handled specially */
213         if (af == AF_UNSPEC) {
214                 KASSERT(m->m_len >= sizeof(int), ("if_simloop: m_len"));
215                 af = *(mtod(m, int *));
216                 m->m_len -= sizeof(int);
217                 m->m_pkthdr.len -= sizeof(int);
218                 m->m_data += sizeof(int);
219         }
220
221         if (ifp->if_bpf) {
222                 if (ifp->if_bpf->bif_dlt == DLT_NULL) {
223                         uint32_t bpf_af = (uint32_t)af;
224                         bpf_ptap(ifp->if_bpf, m, &bpf_af, 4);
225                 }
226                 else {
227                         bpf_mtap(ifp->if_bpf, m);
228                 }
229         }
230
231         /* Strip away media header */
232         if (hlen > 0)
233                 m_adj(m, hlen);
234  
235 #ifdef ALTQ
236         /*
237          * altq for loop is just for debugging.
238          * only used when called for loop interface (not for
239          * a simplex interface).
240          */
241         if (ifq_is_enabled(&ifp->if_snd) && ifp->if_start == lo_altqstart) {
242                 struct altq_pktattr pktattr;
243                 int32_t *afp;
244                 int error;
245
246                 /*
247                  * if the queueing discipline needs packet classification,
248                  * do it before prepending link headers.
249                  */
250                 ifq_classify(&ifp->if_snd, m, af, &pktattr);
251
252                 M_PREPEND(m, sizeof(int32_t), MB_DONTWAIT);
253                 if (m == 0)
254                         return(ENOBUFS);
255                 afp = mtod(m, int32_t *);
256                 *afp = (int32_t)af;
257
258                 /*
259                  * A critical section is needed for subsystems protected by
260                  * the MP lock, and the serializer is assumed to already
261                  * be held for MPSAFE subsystems.
262                  */
263                 crit_enter();
264                 error = ifq_enqueue(&ifp->if_snd, m, &pktattr);
265                 lwkt_serialize_enter(ifp->if_serializer);
266                 ifp->if_start(ifp);
267                 lwkt_serialize_exit(ifp->if_serializer);
268                 crit_exit();
269                 return (error);
270         }
271 #endif /* ALTQ */
272
273         /* Deliver to upper layer protocol */
274         switch (af) {
275 #ifdef INET
276         case AF_INET:
277                 isr = NETISR_IP;
278                 break;
279 #endif
280 #ifdef INET6
281         case AF_INET6:
282                 m->m_flags |= M_LOOP;
283                 isr = NETISR_IPV6;
284                 break;
285 #endif
286 #ifdef IPX
287         case AF_IPX:
288                 isr = NETISR_IPX;
289                 break;
290 #endif
291 #ifdef NS
292         case AF_NS:
293                 isr = NETISR_NS;
294                 break;
295 #endif
296 #ifdef NETATALK
297         case AF_APPLETALK:
298                 isr = NETISR_ATALK2;
299                 break;
300 #endif
301         default:
302                 kprintf("if_simloop: can't handle af=%d\n", af);
303                 m_freem(m);
304                 return (EAFNOSUPPORT);
305         }
306
307         ifp->if_ipackets++;
308         ifp->if_ibytes += m->m_pkthdr.len;
309         netisr_queue(isr, m);
310         return (0);
311 }
312
313 #ifdef ALTQ
314 static void
315 lo_altqstart(struct ifnet *ifp)
316 {
317         struct mbuf *m;
318         int32_t af, *afp;
319         int isr;
320         
321         while (1) {
322                 crit_enter();
323                 m = ifq_dequeue(&ifp->if_snd, NULL);
324                 crit_exit();
325                 if (m == NULL)
326                         return;
327
328                 afp = mtod(m, int32_t *);
329                 af = *afp;
330                 m_adj(m, sizeof(int32_t));
331
332                 switch (af) {
333 #ifdef INET
334                 case AF_INET:
335                         isr = NETISR_IP;
336                         break;
337 #endif
338 #ifdef INET6
339                 case AF_INET6:
340                         m->m_flags |= M_LOOP;
341                         isr = NETISR_IPV6;
342                         break;
343 #endif
344 #ifdef IPX
345                 case AF_IPX:
346                         isr = NETISR_IPX;
347                         break;
348 #endif
349 #ifdef NS
350                 case AF_NS:
351                         isr = NETISR_NS;
352                         break;
353 #endif
354 #ifdef ISO
355                 case AF_ISO:
356                         isr = NETISR_ISO;
357                         break;
358 #endif
359 #ifdef NETATALK
360                 case AF_APPLETALK:
361                         isr = NETISR_ATALK2;
362                         break;
363 #endif
364                 default:
365                         kprintf("lo_altqstart: can't handle af%d\n", af);
366                         m_freem(m);
367                         return;
368                 }
369
370                 ifp->if_ipackets++;
371                 ifp->if_ibytes += m->m_pkthdr.len;
372                 netisr_queue(isr, m);
373         }
374 }
375 #endif /* ALTQ */
376
377 /* ARGSUSED */
378 static void
379 lortrequest(int cmd, struct rtentry *rt, struct rt_addrinfo *info)
380 {
381         if (rt) {
382                 rt->rt_rmx.rmx_mtu = rt->rt_ifp->if_mtu; /* for ISO */
383                 /*
384                  * For optimal performance, the send and receive buffers
385                  * should be at least twice the MTU plus a little more for
386                  * overhead.
387                  */
388                 rt->rt_rmx.rmx_recvpipe = rt->rt_rmx.rmx_sendpipe = 3 * LOMTU;
389         }
390 }
391
392 /*
393  * Process an ioctl request.
394  */
395 /* ARGSUSED */
396 int
397 loioctl(struct ifnet *ifp, u_long cmd, caddr_t data, struct ucred *cr)
398 {
399         struct ifaddr *ifa;
400         struct ifreq *ifr = (struct ifreq *)data;
401         int error = 0;
402
403         switch (cmd) {
404
405         case SIOCSIFADDR:
406                 ifp->if_flags |= IFF_UP | IFF_RUNNING;
407                 ifa = (struct ifaddr *)data;
408                 ifa->ifa_rtrequest = lortrequest;
409                 /*
410                  * Everything else is done at a higher level.
411                  */
412                 break;
413
414         case SIOCADDMULTI:
415         case SIOCDELMULTI:
416                 if (ifr == 0) {
417                         error = EAFNOSUPPORT;           /* XXX */
418                         break;
419                 }
420                 switch (ifr->ifr_addr.sa_family) {
421
422 #ifdef INET
423                 case AF_INET:
424                         break;
425 #endif
426 #ifdef INET6
427                 case AF_INET6:
428                         break;
429 #endif
430
431                 default:
432                         error = EAFNOSUPPORT;
433                         break;
434                 }
435                 break;
436
437         case SIOCSIFMTU:
438                 ifp->if_mtu = ifr->ifr_mtu;
439                 break;
440
441         case SIOCSIFFLAGS:
442                 break;
443
444         default:
445                 error = EINVAL;
446         }
447         return (error);
448 }