sys/netgraph/fec/ng_fec.c

   1 /*
   2  * ng_fec.c
   3  *
   4  * Copyright (c) 2001 Berkeley Software Design, Inc.
   5  * Copyright (c) 2000, 2001
   6  *      Bill Paul <wpaul@osd.bsdi.com>.  All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 3. All advertising materials mentioning features or use of this software
  17  *    must display the following acknowledgement:
  18  *      This product includes software developed by Bill Paul.
  19  * 4. Neither the name of the author nor the names of any co-contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY Bill Paul AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL Bill Paul OR THE VOICES IN HIS HEAD
  27  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  28  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  29  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  30  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  31  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  32  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  33  * THE POSSIBILITY OF SUCH DAMAGE.
  34  *
  35  * $FreeBSD: src/sys/netgraph/ng_fec.c,v 1.1.2.1 2002/11/01 21:39:31 julian Exp $
  36  * $DragonFly: src/sys/netgraph/fec/ng_fec.c,v 1.22 2008/01/05 14:02:39 swildner Exp $
  37  */
  38 /*
  39  * Copyright (c) 1996-1999 Whistle Communications, Inc.
  40  * All rights reserved.
  41  *
  42  * Subject to the following obligations and disclaimer of warranty, use and
  43  * redistribution of this software, in source or object code forms, with or
  44  * without modifications are expressly permitted by Whistle Communications;
  45  * provided, however, that:
  46  * 1. Any and all reproductions of the source or object code must include the
  47  *    copyright notice above and the following disclaimer of warranties; and
  48  * 2. No rights are granted, in any manner or form, to use Whistle
  49  *    Communications, Inc. trademarks, including the mark "WHISTLE
  50  *    COMMUNICATIONS" on advertising, endorsements, or otherwise except as
  51  *    such appears in the above copyright notice or in the software.
  52  *
  53  * THIS SOFTWARE IS BEING PROVIDED BY WHISTLE COMMUNICATIONS "AS IS", AND
  54  * TO THE MAXIMUM EXTENT PERMITTED BY LAW, WHISTLE COMMUNICATIONS MAKES NO
  55  * REPRESENTATIONS OR WARRANTIES, EXPRESS OR IMPLIED, REGARDING THIS SOFTWARE,
  56  * INCLUDING WITHOUT LIMITATION, ANY AND ALL IMPLIED WARRANTIES OF
  57  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE, OR NON-INFRINGEMENT.
  58  * WHISTLE COMMUNICATIONS DOES NOT WARRANT, GUARANTEE, OR MAKE ANY
  59  * REPRESENTATIONS REGARDING THE USE OF, OR THE RESULTS OF THE USE OF THIS
  60  * SOFTWARE IN TERMS OF ITS CORRECTNESS, ACCURACY, RELIABILITY OR OTHERWISE.
  61  * IN NO EVENT SHALL WHISTLE COMMUNICATIONS BE LIABLE FOR ANY DAMAGES
  62  * RESULTING FROM OR ARISING OUT OF ANY USE OF THIS SOFTWARE, INCLUDING
  63  * WITHOUT LIMITATION, ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY,
  64  * PUNITIVE, OR CONSEQUENTIAL DAMAGES, PROCUREMENT OF SUBSTITUTE GOODS OR
  65  * SERVICES, LOSS OF USE, DATA OR PROFITS, HOWEVER CAUSED AND UNDER ANY
  66  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  67  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  68  * THIS SOFTWARE, EVEN IF WHISTLE COMMUNICATIONS IS ADVISED OF THE POSSIBILITY
  69  * OF SUCH DAMAGE.
  70  *
  71  * Author: Archie Cobbs <archie@freebsd.org>
  72  *
  73  * $Whistle: ng_fec.c,v 1.33 1999/11/01 09:24:51 julian Exp $
  74  */
  75
  76 /*
  77  * This module implements ethernet channel bonding using the Cisco
  78  * Fast EtherChannel mechanism. Two or four ports may be combined
  79  * into a single aggregate interface.
  80  *
  81  * Interfaces are named fec0, fec1, etc.  New nodes take the
  82  * first available interface name.
  83  *
  84  * This node also includes Berkeley packet filter support.
  85  *
  86  * Note that this node doesn't need to connect to any other
  87  * netgraph nodes in order to do its work.
  88  */
  89
  90 #include <sys/param.h>
  91 #include <sys/systm.h>
  92 #include <sys/errno.h>
  93 #include <sys/kernel.h>
  94 #include <sys/malloc.h>
  95 #include <sys/mbuf.h>
  96 #include <sys/errno.h>
  97 #include <sys/sockio.h>
  98 #include <sys/socket.h>
  99 #include <sys/syslog.h>
 100 #include <sys/libkern.h>
 101 #include <sys/queue.h>
 102 #include <sys/thread2.h>
 103
 104 #include <net/if.h>
 105 #include <net/if_types.h>
 106 #include <net/if_arp.h>
 107 #include <net/if_dl.h>
 108 #include <net/if_media.h>
 109 #include <net/bpf.h>
 110 #include <net/ethernet.h>
 111
 112 #include "opt_inet.h"
 113 #include "opt_inet6.h"
 114
 115 #include <netinet/in.h>
 116 #ifdef INET
 117 #include <netinet/in_systm.h>
 118 #include <netinet/ip.h>
 119 #endif
 120
 121 #ifdef INET6
 122 #include <netinet/ip6.h>
 123 #endif
 124
 125 #include <netgraph/ng_message.h>
 126 #include <netgraph/netgraph.h>
 127 #include <netgraph/ng_parse.h>
 128 #include "ng_fec.h"
 129
 130 #define IFP2NG(ifp)  ((struct ng_node *)((struct arpcom *)(ifp))->ac_netgraph)
 131 #define FEC_INC(x, y)   (x) = (x + 1) % y
 132
 133 /*
 134  * Current fast etherchannel implementations use either 2 or 4
 135  * ports, so for now we limit the maximum bundle size to 4 interfaces.
 136  */
 137 #define FEC_BUNDLESIZ   4
 138
 139 struct ng_fec_portlist {
 140         struct ifnet            *fec_if;
 141         int                     fec_idx;
 142         int                     fec_ifstat;
 143         struct ether_addr       fec_mac;
 144         TAILQ_ENTRY(ng_fec_portlist) fec_list;
 145 };
 146
 147 struct ng_fec_bundle {
 148         TAILQ_HEAD(,ng_fec_portlist) ng_fec_ports;
 149         int                     fec_ifcnt;
 150         int                     fec_btype;
 151 };
 152
 153 #define FEC_BTYPE_MAC           0x01
 154 #define FEC_BTYPE_INET          0x02
 155 #define FEC_BTYPE_INET6         0x03
 156
 157 /* Node private data */
 158 struct ng_fec_private {
 159         struct arpcom arpcom;
 160         struct ifmedia ifmedia;
 161         int     if_flags;
 162         int     if_error;               /* XXX */
 163         int     unit;                   /* Interface unit number */
 164         node_p  node;                   /* Our netgraph node */
 165         struct ng_fec_bundle fec_bundle;/* Aggregate bundle */
 166         struct callout fec_timeout;     /* callout for ticker */
 167         int     (*real_if_output)(struct ifnet *, struct mbuf *,
 168                                   struct sockaddr *, struct rtentry *);
 169 };
 170 typedef struct ng_fec_private *priv_p;
 171
 172 /* Interface methods */
 173 static void     ng_fec_input(struct ifnet *, struct mbuf **,
 174                         const struct ether_header *);
 175 static void     ng_fec_start(struct ifnet *ifp);
 176 static int      ng_fec_choose_port(struct ng_fec_bundle *b,
 177                         struct mbuf *m, struct ifnet **ifp);
 178 static int      ng_fec_setport(struct ifnet *ifp, u_long cmd, caddr_t data);
 179 static void     ng_fec_init(void *arg);
 180 static void     ng_fec_stop(struct ifnet *ifp);
 181 static int      ng_fec_ifmedia_upd(struct ifnet *ifp);
 182 static void     ng_fec_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr);
 183 static int      ng_fec_ioctl(struct ifnet *ifp, u_long cmd, caddr_t data,
 184                              struct ucred *);
 185 static int      ng_fec_output(struct ifnet *ifp, struct mbuf *m0,
 186                         struct sockaddr *dst, struct rtentry *rt0);
 187 static void     ng_fec_tick(void *arg);
 188 static int      ng_fec_addport(struct ng_fec_private *priv, char *iface);
 189 static int      ng_fec_delport(struct ng_fec_private *priv, char *iface);
 190
 191 #ifdef DEBUG
 192 static void     ng_fec_print_ioctl(struct ifnet *ifp, int cmd, caddr_t data);
 193 #endif
 194
 195 /* Netgraph methods */
 196 static ng_constructor_t ng_fec_constructor;
 197 static ng_rcvmsg_t      ng_fec_rcvmsg;
 198 static ng_shutdown_t    ng_fec_rmnode;
 199
 200 /* List of commands and how to convert arguments to/from ASCII */
 201 static const struct ng_cmdlist ng_fec_cmds[] = {
 202         {
 203           NGM_FEC_COOKIE,
 204           NGM_FEC_ADD_IFACE,
 205           "add_iface",
 206           &ng_parse_string_type,
 207           NULL,
 208         },
 209         {
 210           NGM_FEC_COOKIE,
 211           NGM_FEC_DEL_IFACE,
 212           "del_iface",
 213           &ng_parse_string_type,
 214           NULL,
 215         },
 216         {
 217           NGM_FEC_COOKIE,
 218           NGM_FEC_SET_MODE_MAC,
 219           "set_mode_mac",
 220           NULL,
 221           NULL,
 222         },
 223         {
 224           NGM_FEC_COOKIE,
 225           NGM_FEC_SET_MODE_INET,
 226           "set_mode_inet",
 227           NULL,
 228           NULL,
 229         },
 230         { 0 }
 231 };
 232
 233 /* Node type descriptor */
 234 static struct ng_type typestruct = {
 235         NG_VERSION,
 236         NG_FEC_NODE_TYPE,
 237         NULL,
 238         ng_fec_constructor,
 239         ng_fec_rcvmsg,
 240         ng_fec_rmnode,
 241         NULL,
 242         NULL,
 243         NULL,
 244         NULL,
 245         NULL,
 246         NULL,
 247         ng_fec_cmds
 248 };
 249 NETGRAPH_INIT(fec, &typestruct);
 250
 251 /* We keep a bitmap indicating which unit numbers are free.
 252    One means the unit number is free, zero means it's taken. */
 253 static int      *ng_fec_units = NULL;
 254 static int      ng_fec_units_len = 0;
 255 static int      ng_units_in_use = 0;
 256
 257 #define UNITS_BITSPERWORD       (sizeof(*ng_fec_units) * NBBY)
 258
 259 /*
 260  * Find the first free unit number for a new interface.
 261  * Increase the size of the unit bitmap as necessary.
 262  */
 263 static __inline__ int
 264 ng_fec_get_unit(int *unit)
 265 {
 266         int index, bit;
 267
 268         for (index = 0; index < ng_fec_units_len
 269             && ng_fec_units[index] == 0; index++);
 270         if (index == ng_fec_units_len) {                /* extend array */
 271                 int i, *newarray, newlen;
 272
 273                 newlen = (2 * ng_fec_units_len) + 4;
 274                 MALLOC(newarray, int *, newlen * sizeof(*ng_fec_units),
 275                     M_NETGRAPH, M_NOWAIT);
 276                 if (newarray == NULL)
 277                         return (ENOMEM);
 278                 bcopy(ng_fec_units, newarray,
 279                     ng_fec_units_len * sizeof(*ng_fec_units));
 280                 for (i = ng_fec_units_len; i < newlen; i++)
 281                         newarray[i] = ~0;
 282                 if (ng_fec_units != NULL)
 283                         FREE(ng_fec_units, M_NETGRAPH);
 284                 ng_fec_units = newarray;
 285                 ng_fec_units_len = newlen;
 286         }
 287         bit = ffs(ng_fec_units[index]) - 1;
 288         KASSERT(bit >= 0 && bit <= UNITS_BITSPERWORD - 1,
 289             ("%s: word=%d bit=%d", __func__, ng_fec_units[index], bit));
 290         ng_fec_units[index] &= ~(1 << bit);
 291         *unit = (index * UNITS_BITSPERWORD) + bit;
 292         ng_units_in_use++;
 293         return (0);
 294 }
 295
 296 /*
 297  * Free a no longer needed unit number.
 298  */
 299 static __inline__ void
 300 ng_fec_free_unit(int unit)
 301 {
 302         int index, bit;
 303
 304         index = unit / UNITS_BITSPERWORD;
 305         bit = unit % UNITS_BITSPERWORD;
 306         KASSERT(index < ng_fec_units_len,
 307             ("%s: unit=%d len=%d", __func__, unit, ng_fec_units_len));
 308         KASSERT((ng_fec_units[index] & (1 << bit)) == 0,
 309             ("%s: unit=%d is free", __func__, unit));
 310         ng_fec_units[index] |= (1 << bit);
 311         /*
 312          * XXX We could think about reducing the size of ng_fec_units[]
 313          * XXX here if the last portion is all ones
 314          * XXX At least free it if no more units.
 315          * Needed if we are eventually be able to unload.
 316          */
 317         ng_units_in_use++;
 318         if (ng_units_in_use == 0) { /* XXX make SMP safe */
 319                 FREE(ng_fec_units, M_NETGRAPH);
 320                 ng_fec_units_len = 0;
 321                 ng_fec_units = NULL;
 322         }
 323 }
 324
 325 /************************************************************************
 326                         INTERFACE STUFF
 327  ************************************************************************/
 328
 329 static int
 330 ng_fec_addport(struct ng_fec_private *priv, char *iface)
 331 {
 332         struct ng_fec_bundle    *b;
 333         struct ifnet            *ifp, *bifp;
 334         struct arpcom           *ac;
 335         struct sockaddr_dl      *sdl;
 336         struct ng_fec_portlist  *p, *new;
 337
 338         if (priv == NULL || iface == NULL)
 339                 return(EINVAL);
 340
 341         b = &priv->fec_bundle;
 342         ifp = &priv->arpcom.ac_if;
 343
 344         /* Find the interface */
 345         bifp = ifunit(iface);
 346         if (bifp == NULL) {
 347                 kprintf("fec%d: tried to add iface %s, which "
 348                     "doesn't seem to exist\n", priv->unit, iface);
 349                 return(ENOENT);
 350         }
 351
 352         /* See if we have room in the bundle */
 353         if (b->fec_ifcnt == FEC_BUNDLESIZ) {
 354                 kprintf("fec%d: can't add new iface; bundle is full\n",
 355                     priv->unit);
 356                 return(ENOSPC);
 357         }
 358
 359         /* See if the interface is already in the bundle */
 360         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 361                 if (p->fec_if == bifp) {
 362                         kprintf("fec%d: iface %s is already in this "
 363                             "bundle\n", priv->unit, iface);
 364                         return(EINVAL);
 365                 }
 366         }
 367
 368         /* Allocate new list entry. */
 369         MALLOC(new, struct ng_fec_portlist *,
 370             sizeof(struct ng_fec_portlist), M_NETGRAPH, M_NOWAIT);
 371         if (new == NULL)
 372                 return(ENOMEM);
 373
 374         ac = (struct arpcom *)bifp;
 375         ac->ac_netgraph = priv->node;
 376
 377         /*
 378          * If this is the first interface added to the bundle,
 379          * use its MAC address for the virtual interface (and,
 380          * by extension, all the other ports in the bundle).
 381          */
 382         if (b->fec_ifcnt == 0) {
 383                 sdl = IF_LLSOCKADDR(ifp);
 384                 bcopy((char *)ac->ac_enaddr,
 385                     priv->arpcom.ac_enaddr, ETHER_ADDR_LEN);
 386                 bcopy((char *)ac->ac_enaddr,
 387                     LLADDR(sdl), ETHER_ADDR_LEN);
 388         }
 389
 390         b->fec_btype = FEC_BTYPE_MAC;
 391         new->fec_idx = b->fec_ifcnt;
 392         b->fec_ifcnt++;
 393
 394         /* Save the real MAC address. */
 395         bcopy((char *)ac->ac_enaddr,
 396             (char *)&new->fec_mac, ETHER_ADDR_LEN);
 397
 398         /* Set up phony MAC address. */
 399         sdl = IF_LLSOCKADDR(bifp);
 400         bcopy(priv->arpcom.ac_enaddr, ac->ac_enaddr, ETHER_ADDR_LEN);
 401         bcopy(priv->arpcom.ac_enaddr, LLADDR(sdl), ETHER_ADDR_LEN);
 402
 403         /* Add to the queue */
 404         new->fec_if = bifp;
 405         TAILQ_INSERT_TAIL(&b->ng_fec_ports, new, fec_list);
 406
 407         return(0);
 408 }
 409
 410 static int
 411 ng_fec_delport(struct ng_fec_private *priv, char *iface)
 412 {
 413         struct ng_fec_bundle    *b;
 414         struct ifnet            *ifp, *bifp;
 415         struct arpcom           *ac;
 416         struct sockaddr_dl      *sdl;
 417         struct ng_fec_portlist  *p;
 418
 419         if (priv == NULL || iface == NULL)
 420                 return(EINVAL);
 421
 422         b = &priv->fec_bundle;
 423         ifp = &priv->arpcom.ac_if;
 424
 425         /* Find the interface */
 426         bifp = ifunit(iface);
 427         if (bifp == NULL) {
 428                 kprintf("fec%d: tried to remove iface %s, which "
 429                     "doesn't seem to exist\n", priv->unit, iface);
 430                 return(ENOENT);
 431         }
 432
 433         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 434                 if (p->fec_if == bifp)
 435                         break;
 436         }
 437
 438         if (p == NULL) {
 439                 kprintf("fec%d: tried to remove iface %s which "
 440                     "is not in our bundle\n", priv->unit, iface);
 441                 return(EINVAL);
 442         }
 443
 444         /* Stop interface */
 445         bifp->if_flags &= ~IFF_UP;
 446         bifp->if_ioctl(bifp, SIOCSIFFLAGS, NULL, NULL);
 447
 448         /* Restore MAC address. */
 449         ac = (struct arpcom *)bifp;
 450         sdl = IF_LLSOCKADDR(bifp);
 451         bcopy((char *)&p->fec_mac, ac->ac_enaddr, ETHER_ADDR_LEN);
 452         bcopy((char *)&p->fec_mac, LLADDR(sdl), ETHER_ADDR_LEN);
 453
 454         /* Delete port */
 455         TAILQ_REMOVE(&b->ng_fec_ports, p, fec_list);
 456         FREE(p, M_NETGRAPH);
 457         b->fec_ifcnt--;
 458
 459         return(0);
 460 }
 461
 462 /*
 463  * Pass an ioctl command down to all the underyling interfaces in a
 464  * bundle. Used for setting multicast filters and flags.
 465  */
 466 static int
 467 ng_fec_setport(struct ifnet *ifp, u_long command, caddr_t data)
 468 {
 469         struct ng_fec_private   *priv;
 470         struct ng_fec_bundle    *b;
 471         struct ifnet            *oifp;
 472         struct ng_fec_portlist  *p;
 473
 474         priv = ifp->if_softc;
 475         b = &priv->fec_bundle;
 476
 477         lwkt_serialize_exit(ifp->if_serializer);        /* XXX */
 478         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 479                 oifp = p->fec_if;
 480                 if (oifp != NULL) {
 481                         lwkt_serialize_enter(oifp->if_serializer);
 482                         oifp->if_ioctl(oifp, command, data, NULL);
 483                         lwkt_serialize_exit(oifp->if_serializer);
 484                 }
 485         }
 486         lwkt_serialize_enter(ifp->if_serializer);
 487
 488         return(0);
 489 }
 490
 491 static void
 492 ng_fec_init(void *arg)
 493 {
 494         struct ng_fec_private   *priv;
 495         struct ng_fec_bundle    *b;
 496         struct ifnet            *ifp, *bifp;
 497         struct ng_fec_portlist  *p;
 498
 499         ifp = arg;
 500         priv = ifp->if_softc;
 501         b = &priv->fec_bundle;
 502
 503         if (b->fec_ifcnt == 1 || b->fec_ifcnt == 3) {
 504                 kprintf("fec%d: invalid bundle "
 505                     "size: %d\n", priv->unit,
 506                     b->fec_ifcnt);
 507                 return;
 508         }
 509
 510         ng_fec_stop(ifp);
 511
 512         lwkt_serialize_exit(ifp->if_serializer);        /* XXX */
 513         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 514                 bifp = p->fec_if;
 515                 lwkt_serialize_enter(bifp->if_serializer);
 516                 bifp->if_flags |= IFF_UP;
 517                 bifp->if_ioctl(bifp, SIOCSIFFLAGS, NULL, NULL);
 518                 /* mark iface as up and let the monitor check it */
 519                 p->fec_ifstat = -1;
 520                 lwkt_serialize_exit(bifp->if_serializer);
 521         }
 522         lwkt_serialize_enter(ifp->if_serializer);
 523
 524         callout_reset(&priv->fec_timeout, hz, ng_fec_tick, priv);
 525 }
 526
 527 static void
 528 ng_fec_stop(struct ifnet *ifp)
 529 {
 530         struct ng_fec_private   *priv;
 531         struct ng_fec_bundle    *b;
 532         struct ifnet            *bifp;
 533         struct ng_fec_portlist  *p;
 534
 535         priv = ifp->if_softc;
 536         b = &priv->fec_bundle;
 537
 538         lwkt_serialize_exit(ifp->if_serializer);        /* XXX */
 539         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 540                 bifp = p->fec_if;
 541                 lwkt_serialize_enter(bifp->if_serializer);
 542                 bifp->if_flags &= ~IFF_UP;
 543                 bifp->if_ioctl(bifp, SIOCSIFFLAGS, NULL, NULL);
 544                 lwkt_serialize_exit(bifp->if_serializer);
 545         }
 546         callout_stop(&priv->fec_timeout);
 547         lwkt_serialize_enter(ifp->if_serializer);       /* XXX */
 548 }
 549
 550 static void
 551 ng_fec_tick(void *arg)
 552 {
 553         struct ng_fec_private   *priv;
 554         struct ng_fec_bundle    *b;
 555         struct ifmediareq       ifmr;
 556         struct ifnet            *ifp;
 557         struct ng_fec_portlist  *p;
 558         int                     error = 0;
 559
 560         priv = arg;
 561         b = &priv->fec_bundle;
 562
 563         /*
 564          * Note: serializer for parent interface not held on entry, and
 565          * cannot be held during the loop to avoid a deadlock.
 566          */
 567         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 568                 bzero((char *)&ifmr, sizeof(ifmr));
 569                 ifp = p->fec_if;
 570                 lwkt_serialize_enter(ifp->if_serializer);
 571                 error = ifp->if_ioctl(ifp, SIOCGIFMEDIA, (caddr_t)&ifmr, NULL);
 572                 if (error) {
 573                         kprintf("fec%d: failed to check status "
 574                             "of link %s\n", priv->unit, ifp->if_xname);
 575                         lwkt_serialize_exit(ifp->if_serializer);
 576                         continue;
 577                 }
 578
 579                 if (ifmr.ifm_status & IFM_AVALID &&
 580                     IFM_TYPE(ifmr.ifm_active) == IFM_ETHER) {
 581                         if (ifmr.ifm_status & IFM_ACTIVE) {
 582                                 if (p->fec_ifstat == -1 ||
 583                                     p->fec_ifstat == 0) {
 584                                         p->fec_ifstat = 1;
 585                                         kprintf("fec%d: port %s in bundle "
 586                                             "is up\n", priv->unit,
 587                                             ifp->if_xname);
 588                                 }
 589                         } else {
 590                                 if (p->fec_ifstat == -1 ||
 591                                     p->fec_ifstat == 1) {
 592                                         p->fec_ifstat = 0;
 593                                         kprintf("fec%d: port %s in bundle "
 594                                             "is down\n", priv->unit,
 595                                             ifp->if_xname);
 596                                 }
 597                         }
 598                 }
 599                 lwkt_serialize_exit(ifp->if_serializer);
 600         }
 601
 602         ifp = &priv->arpcom.ac_if;
 603         if (ifp->if_flags & IFF_RUNNING)
 604                 callout_reset(&priv->fec_timeout, hz, ng_fec_tick, priv);
 605 }
 606
 607 static int
 608 ng_fec_ifmedia_upd(struct ifnet *ifp)
 609 {
 610         return(0);
 611 }
 612
 613 static void
 614 ng_fec_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr)
 615 {
 616         struct ng_fec_private   *priv;
 617         struct ng_fec_bundle    *b;
 618         struct ng_fec_portlist  *p;
 619
 620         priv = ifp->if_softc;
 621         b = &priv->fec_bundle;
 622
 623         ifmr->ifm_status = IFM_AVALID;
 624         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 625                 if (p->fec_ifstat) {
 626                         ifmr->ifm_status |= IFM_ACTIVE;
 627                         break;
 628                 }
 629         }
 630 }
 631
 632 /*
 633  * Process an ioctl for the virtual interface
 634  */
 635 static int
 636 ng_fec_ioctl(struct ifnet *ifp, u_long command, caddr_t data, struct ucred *cr)
 637 {
 638         struct ifreq *const ifr = (struct ifreq *) data;
 639         int error = 0;
 640         struct ng_fec_private   *priv;
 641         struct ng_fec_bundle    *b;
 642
 643         priv = ifp->if_softc;
 644         b = &priv->fec_bundle;
 645
 646 #ifdef DEBUG
 647         ng_fec_print_ioctl(ifp, command, data);
 648 #endif
 649         crit_enter();
 650         switch (command) {
 651
 652         /* These two are mostly handled at a higher layer */
 653         case SIOCSIFADDR:
 654         case SIOCGIFADDR:
 655         case SIOCSIFMTU:
 656                 error = ether_ioctl(ifp, command, data);
 657                 break;
 658
 659         /* Set flags */
 660         case SIOCSIFFLAGS:
 661                 /*
 662                  * If the interface is marked up and stopped, then start it.
 663                  * If it is marked down and running, then stop it.
 664                  */
 665                 if (ifr->ifr_flags & IFF_UP) {
 666                         if (!(ifp->if_flags & IFF_RUNNING)) {
 667                                 /* Sanity. */
 668                                 if (b->fec_ifcnt == 1 || b->fec_ifcnt == 3) {
 669                                         kprintf("fec%d: invalid bundle "
 670                                             "size: %d\n", priv->unit,
 671                                             b->fec_ifcnt);
 672                                         error = EINVAL;
 673                                         break;
 674                                 }
 675                                 ifp->if_flags &= ~(IFF_OACTIVE);
 676                                 ifp->if_flags |= IFF_RUNNING;
 677                                 ng_fec_init(ifp);
 678                         }
 679                         /*
 680                          * Bubble down changes in promisc mode to
 681                          * underlying interfaces.
 682                          */
 683                         if ((ifp->if_flags & IFF_PROMISC) !=
 684                             (priv->if_flags & IFF_PROMISC)) {
 685                                 ng_fec_setport(ifp, command, data);
 686                                 priv->if_flags = ifp->if_flags;
 687                         }
 688                 } else {
 689                         if (ifp->if_flags & IFF_RUNNING)
 690                                 ifp->if_flags &= ~(IFF_RUNNING | IFF_OACTIVE);
 691                         ng_fec_stop(ifp);
 692                 }
 693                 break;
 694
 695         case SIOCADDMULTI:
 696         case SIOCDELMULTI:
 697                 ng_fec_setport(ifp, command, data);
 698                 error = 0;
 699                 break;
 700         case SIOCGIFMEDIA:
 701         case SIOCSIFMEDIA:
 702                 error = ifmedia_ioctl(ifp, ifr, &priv->ifmedia, command);
 703                 break;
 704         /* Stuff that's not supported */
 705         case SIOCSIFPHYS:
 706                 error = EOPNOTSUPP;
 707                 break;
 708
 709         default:
 710                 error = EINVAL;
 711                 break;
 712         }
 713         crit_exit();
 714         return (error);
 715 }
 716
 717 /*
 718  * This routine spies on mbufs passing through ether_input(). If
 719  * they come from one of the interfaces that are aggregated into
 720  * our bundle, we fix up the ifnet pointer and increment our
 721  * packet counters so that it looks like the frames are actually
 722  * coming from us.
 723  */
 724 static void
 725 ng_fec_input(struct ifnet *ifp, struct mbuf **m0,
 726                 const struct ether_header *eh)
 727 {
 728         struct ng_node          *node;
 729         struct ng_fec_private   *priv;
 730         struct ng_fec_bundle    *b;
 731         struct mbuf             *m;
 732         struct ifnet            *bifp;
 733         struct ng_fec_portlist  *p;
 734
 735         /* Sanity check */
 736         if (ifp == NULL || m0 == NULL || eh == NULL)
 737                 return;
 738
 739         node = IFP2NG(ifp);
 740
 741         /* Sanity check part II */
 742         if (node == NULL)
 743                 return;
 744
 745         priv = node->private;
 746         b = &priv->fec_bundle;
 747         bifp = &priv->arpcom.ac_if;
 748
 749         m = *m0;
 750         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 751                 if (p->fec_if == m->m_pkthdr.rcvif)
 752                         break;
 753         }
 754
 755         /* Wasn't meant for us; leave this frame alone. */
 756         if (p == NULL)
 757                 return;
 758
 759         /* Pretend this is our frame. */
 760         m->m_pkthdr.rcvif = bifp;
 761         bifp->if_ipackets++;
 762         bifp->if_ibytes += m->m_pkthdr.len + sizeof(struct ether_header);
 763
 764         if (bifp->if_bpf)
 765                 bpf_ptap(bifp->if_bpf, m, eh, ETHER_HDR_LEN);
 766 }
 767
 768 /*
 769  * Take a quick peek at the packet and see if it's ok for us to use
 770  * the inet or inet6 hash methods on it, if they're enabled. We do
 771  * this by setting flags in the mbuf header. Once we've made up our
 772  * mind what to do, we pass the frame to ether_output() for further
 773  * processing.
 774  */
 775
 776 static int
 777 ng_fec_output(struct ifnet *ifp, struct mbuf *m,
 778                 struct sockaddr *dst, struct rtentry *rt0)
 779 {
 780         const priv_p priv = (priv_p) ifp->if_softc;
 781         struct ng_fec_bundle *b;
 782         int error;
 783
 784         /* Check interface flags */
 785         if ((ifp->if_flags & (IFF_UP|IFF_RUNNING)) != (IFF_UP|IFF_RUNNING)) {
 786                 m_freem(m);
 787                 return (ENETDOWN);
 788         }
 789
 790         b = &priv->fec_bundle;
 791
 792         switch (b->fec_btype) {
 793         case FEC_BTYPE_MAC:
 794                 m->m_flags |= M_FEC_MAC;
 795                 break;
 796 #ifdef INET
 797         case FEC_BTYPE_INET:
 798                 /*
 799                  * We can't use the INET address port selection
 800                  * scheme if this isn't an INET packet.
 801                  */
 802                 if (dst->sa_family == AF_INET)
 803                         m->m_flags |= M_FEC_INET;
 804 #ifdef INET6
 805                 else if (dst->sa_family == AF_INET6)
 806                         m->m_flags |= M_FEC_INET6;
 807 #endif
 808                 else {
 809 #ifdef DEBUG
 810                         kprintf("%s: can't do inet aggregation of non "
 811                             "inet packet\n", ifp->if_xname);
 812 #endif
 813                         m->m_flags |= M_FEC_MAC;
 814                 }
 815                 break;
 816 #endif
 817         default:
 818                 kprintf("%s: bogus hash type: %d\n", ifp->if_xname,
 819                     b->fec_btype);
 820                 m_freem(m);
 821                 return(EINVAL);
 822                 break;
 823         }
 824
 825         /*
 826          * Pass the frame to ether_output() for all the protocol
 827          * handling. This will put the ethernet header on the packet
 828          * for us.
 829          */
 830         priv->if_error = 0;
 831         error = priv->real_if_output(ifp, m, dst, rt0);
 832         if (priv->if_error && !error)
 833                 error = priv->if_error;
 834
 835         return(error);
 836 }
 837
 838 /*
 839  * Apply a hash to the source and destination addresses in the packet
 840  * in order to select an interface. Also check link status and handle
 841  * dead links accordingly.
 842  */
 843
 844 static int
 845 ng_fec_choose_port(struct ng_fec_bundle *b,
 846         struct mbuf *m, struct ifnet **ifp)
 847 {
 848         struct ether_header     *eh;
 849         struct mbuf             *m0;
 850 #ifdef INET
 851         struct ip               *ip;
 852 #ifdef INET6
 853         struct ip6_hdr          *ip6;
 854 #endif
 855 #endif
 856
 857         struct ng_fec_portlist  *p;
 858         int                     port = 0, mask;
 859
 860         /*
 861          * If there are only two ports, mask off all but the
 862          * last bit for XORing. If there are 4, mask off all
 863          * but the last 2 bits.
 864          */
 865         mask = b->fec_ifcnt == 2 ? 0x1 : 0x3;
 866         eh = mtod(m, struct ether_header *);
 867 #ifdef INET
 868         ip = (struct ip *)(mtod(m, char *) +
 869             sizeof(struct ether_header));
 870 #ifdef INET6
 871         ip6 = (struct ip6_hdr *)(mtod(m, char *) +
 872             sizeof(struct ether_header));
 873 #endif
 874 #endif
 875
 876         /*
 877          * The fg_fec_output() routine is supposed to leave a
 878          * flag for us in the mbuf that tells us what hash to
 879          * use, but sometimes a new mbuf is prepended to the
 880          * chain, so we have to search every mbuf in the chain
 881          * to find the flags.
 882          */
 883         m0 = m;
 884         while (m0) {
 885                 if (m0->m_flags & (M_FEC_MAC|M_FEC_INET|M_FEC_INET6))
 886                         break;
 887                 m0 = m0->m_next;
 888         }
 889         if (m0 == NULL)
 890                 return(EINVAL);
 891
 892         switch (m0->m_flags & (M_FEC_MAC|M_FEC_INET|M_FEC_INET6)) {
 893         case M_FEC_MAC:
 894                 port = (eh->ether_dhost[5] ^
 895                     eh->ether_shost[5]) & mask;
 896                 break;
 897 #ifdef INET
 898         case M_FEC_INET:
 899                 port = (ntohl(ip->ip_dst.s_addr) ^
 900                     ntohl(ip->ip_src.s_addr)) & mask;
 901                 break;
 902 #ifdef INET6
 903         case M_FEC_INET6:
 904                 port = (ip6->ip6_dst.s6_addr[15] ^
 905                     ip6->ip6_dst.s6_addr[15]) & mask;
 906                 break;
 907 #endif
 908 #endif
 909         default:
 910                 return(EINVAL);
 911                         break;
 912         }
 913
 914         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 915                 if (port == p->fec_idx)
 916                         break;
 917         }
 918
 919         /*
 920          * Now that we've chosen a port, make sure it's
 921          * alive. If it's not alive, cycle through the bundle
 922          * looking for a port that is alive. If we don't find
 923          * any, return an error.
 924          */
 925         if (p->fec_ifstat != 1) {
 926                 struct ng_fec_portlist  *n = NULL;
 927
 928                 n = TAILQ_NEXT(p, fec_list);
 929                 if (n == NULL)
 930                         n = TAILQ_FIRST(&b->ng_fec_ports);
 931                 while (n != p) {
 932                         if (n->fec_ifstat == 1)
 933                                 break;
 934                         n = TAILQ_NEXT(n, fec_list);
 935                         if (n == NULL)
 936                                 n = TAILQ_FIRST(&b->ng_fec_ports);
 937                 }
 938                 if (n == p)
 939                         return(EAGAIN);
 940                 p = n;
 941         }
 942
 943         *ifp = p->fec_if;
 944
 945         return(0);
 946 }
 947
 948 /*
 949  * Now that the packet has been run through ether_output(), yank it
 950  * off our own send queue and stick it on the queue for the appropriate
 951  * underlying physical interface. Note that if the interface's send
 952  * queue is full, we save an error status in our private netgraph
 953  * space which will eventually be handed up to ng_fec_output(), which
 954  * will return it to the rest of the IP stack. We need to do this
 955  * in order to duplicate the effect of ether_output() returning ENOBUFS
 956  * when it detects that an interface's send queue is full. There's no
 957  * other way to signal the error status from here since the if_start()
 958  * routine is spec'ed to return void.
 959  *
 960  * Once the frame is queued, we call ether_output_frame() to initiate
 961  * transmission.
 962  */
 963 static void
 964 ng_fec_start(struct ifnet *ifp)
 965 {
 966         struct ng_fec_private   *priv;
 967         struct ng_fec_bundle    *b;
 968         struct ifnet            *oifp = NULL;
 969         struct mbuf             *m0;
 970         int                     error;
 971
 972         priv = ifp->if_softc;
 973         b = &priv->fec_bundle;
 974
 975         IF_DEQUEUE(&ifp->if_snd, m0);
 976         if (m0 == NULL)
 977                 return;
 978
 979         BPF_MTAP(ifp, m0);
 980
 981         /* Queue up packet on the proper port. */
 982         error = ng_fec_choose_port(b, m0, &oifp);
 983         if (error) {
 984                 ifp->if_ierrors++;
 985                 m_freem(m0);
 986                 priv->if_error = ENOBUFS;
 987                 return;
 988         }
 989         ifp->if_opackets++;
 990
 991         lwkt_serialize_exit(ifp->if_serializer);
 992         lwkt_serialize_enter(oifp->if_serializer);
 993         priv->if_error = ether_output_frame(oifp, m0);
 994         lwkt_serialize_exit(oifp->if_serializer);
 995         lwkt_serialize_enter(ifp->if_serializer);
 996 }
 997
 998 #ifdef DEBUG
 999 /*
1000  * Display an ioctl to the virtual interface
1001  */
1002
1003 static void
1004 ng_fec_print_ioctl(struct ifnet *ifp, int command, caddr_t data)
1005 {
1006         char   *str;
1007
1008         switch (command & IOC_DIRMASK) {
1009         case IOC_VOID:
1010                 str = "IO";
1011                 break;
1012         case IOC_OUT:
1013                 str = "IOR";
1014                 break;
1015         case IOC_IN:
1016                 str = "IOW";
1017                 break;
1018         case IOC_INOUT:
1019                 str = "IORW";
1020                 break;
1021         default:
1022                 str = "IO??";
1023         }
1024         log(LOG_DEBUG, "%s: %s('%c', %d, char[%d])\n",
1025                ifp->if_xname,
1026                str,
1027                IOCGROUP(command),
1028                command & 0xff,
1029                IOCPARM_LEN(command));
1030 }
1031 #endif /* DEBUG */
1032
1033 /************************************************************************
1034                         NETGRAPH NODE STUFF
1035  ************************************************************************/
1036
1037 /*
1038  * Constructor for a node
1039  */
1040 static int
1041 ng_fec_constructor(node_p *nodep)
1042 {
1043         char ifname[NG_FEC_FEC_NAME_MAX + 1];
1044         struct ifnet *ifp;
1045         node_p node;
1046         priv_p priv;
1047         struct ng_fec_bundle *b;
1048         int error = 0;
1049
1050         /* Allocate node and interface private structures */
1051         MALLOC(priv, priv_p, sizeof(*priv), M_NETGRAPH, M_NOWAIT | M_ZERO);
1052         if (priv == NULL)
1053                 return (ENOMEM);
1054
1055         ifp = &priv->arpcom.ac_if;
1056         b = &priv->fec_bundle;
1057
1058         /* Link them together */
1059         ifp->if_softc = priv;
1060
1061         /* Get an interface unit number */
1062         if ((error = ng_fec_get_unit(&priv->unit)) != 0) {
1063                 FREE(ifp, M_NETGRAPH);
1064                 FREE(priv, M_NETGRAPH);
1065                 return (error);
1066         }
1067
1068         /* Call generic node constructor */
1069         if ((error = ng_make_node_common(&typestruct, nodep)) != 0) {
1070                 ng_fec_free_unit(priv->unit);
1071                 FREE(ifp, M_NETGRAPH);
1072                 FREE(priv, M_NETGRAPH);
1073                 return (error);
1074         }
1075         node = *nodep;
1076
1077         /* Link together node and private info */
1078         node->private = priv;
1079         priv->node = node;
1080         priv->arpcom.ac_netgraph = node;
1081
1082         /* Initialize interface structure */
1083         if_initname(ifp, NG_FEC_FEC_NAME, priv->unit);
1084         ifp->if_start = ng_fec_start;
1085         ifp->if_ioctl = ng_fec_ioctl;
1086         ifp->if_init = ng_fec_init;
1087         ifp->if_watchdog = NULL;
1088         ifp->if_snd.ifq_maxlen = IFQ_MAXLEN;
1089         ifp->if_mtu = NG_FEC_MTU_DEFAULT;
1090         ifp->if_flags = (IFF_SIMPLEX|IFF_BROADCAST|IFF_MULTICAST);
1091         ifp->if_type = IFT_PROPVIRTUAL;         /* XXX */
1092         ifp->if_addrlen = 0;                    /* XXX */
1093         ifp->if_hdrlen = 0;                     /* XXX */
1094         ifp->if_baudrate = 100000000;           /* XXX */
1095         TAILQ_INIT(&ifp->if_addrhead);
1096
1097         /* Give this node the same name as the interface (if possible) */
1098         bzero(ifname, sizeof(ifname));
1099         strlcpy(ifname, ifp->if_xname, sizeof(ifname));
1100         if (ng_name_node(node, ifname) != 0)
1101                 log(LOG_WARNING, "%s: can't acquire netgraph name\n", ifname);
1102
1103         /* Grab hold of the ether_input pipe. */
1104         if (ng_ether_input_p == NULL)
1105                 ng_ether_input_p = ng_fec_input;
1106
1107         /* Attach the interface */
1108         ether_ifattach(ifp, priv->arpcom.ac_enaddr, NULL);
1109         priv->real_if_output = ifp->if_output;
1110         ifp->if_output = ng_fec_output;
1111         callout_init(&priv->fec_timeout);
1112
1113         TAILQ_INIT(&b->ng_fec_ports);
1114         b->fec_ifcnt = 0;
1115
1116         ifmedia_init(&priv->ifmedia, 0,
1117             ng_fec_ifmedia_upd, ng_fec_ifmedia_sts);
1118         ifmedia_add(&priv->ifmedia, IFM_ETHER|IFM_NONE, 0, NULL);
1119         ifmedia_set(&priv->ifmedia, IFM_ETHER|IFM_NONE);
1120
1121         /* Done */
1122         return (0);
1123 }
1124
1125 /*
1126  * Receive a control message
1127  */
1128 static int
1129 ng_fec_rcvmsg(node_p node, struct ng_mesg *msg,
1130                 const char *retaddr, struct ng_mesg **rptr)
1131 {
1132         const priv_p priv = node->private;
1133         struct ng_fec_bundle    *b;
1134         struct ng_mesg *resp = NULL;
1135         char *ifname;
1136         int error = 0;
1137
1138         b = &priv->fec_bundle;
1139
1140         switch (msg->header.typecookie) {
1141         case NGM_FEC_COOKIE:
1142                 switch (msg->header.cmd) {
1143                 case NGM_FEC_ADD_IFACE:
1144                         ifname = msg->data;
1145                         error = ng_fec_addport(priv, ifname);
1146                         break;
1147                 case NGM_FEC_DEL_IFACE:
1148                         ifname = msg->data;
1149                         error = ng_fec_delport(priv, ifname);
1150                         break;
1151                 case NGM_FEC_SET_MODE_MAC:
1152                         b->fec_btype = FEC_BTYPE_MAC;
1153                         break;
1154 #ifdef INET
1155                 case NGM_FEC_SET_MODE_INET:
1156                         b->fec_btype = FEC_BTYPE_INET;
1157                         break;
1158 #ifdef INET6
1159                 case NGM_FEC_SET_MODE_INET6:
1160                         b->fec_btype = FEC_BTYPE_INET6;
1161                         break;
1162 #endif
1163 #endif
1164                 default:
1165                         error = EINVAL;
1166                         break;
1167                 }
1168                 break;
1169         default:
1170                 error = EINVAL;
1171                 break;
1172         }
1173         if (rptr)
1174                 *rptr = resp;
1175         else if (resp)
1176                 FREE(resp, M_NETGRAPH);
1177         FREE(msg, M_NETGRAPH);
1178         return (error);
1179 }
1180
1181 /*
1182  * Shutdown and remove the node and its associated interface.
1183  */
1184 static int
1185 ng_fec_rmnode(node_p node)
1186 {
1187         const priv_p priv = node->private;
1188         struct ng_fec_bundle *b;
1189         struct ng_fec_portlist  *p;
1190         char ifname[IFNAMSIZ];
1191
1192         b = &priv->fec_bundle;
1193         ng_fec_stop(&priv->arpcom.ac_if);
1194
1195         while (!TAILQ_EMPTY(&b->ng_fec_ports)) {
1196                 p = TAILQ_FIRST(&b->ng_fec_ports);
1197                 ksprintf(ifname, "%s",
1198                     p->fec_if->if_xname); /* XXX: strings */
1199                 ng_fec_delport(priv, ifname);
1200         }
1201
1202         ng_cutlinks(node);
1203         ng_unname(node);
1204         if (ng_ether_input_p != NULL)
1205                 ng_ether_input_p = NULL;
1206         ether_ifdetach(&priv->arpcom.ac_if);
1207         ifmedia_removeall(&priv->ifmedia);
1208         ng_fec_free_unit(priv->unit);
1209         FREE(priv, M_NETGRAPH);
1210         node->private = NULL;
1211         ng_unref(node);
1212         return (0);
1213 }