sys/netgraph/fec/ng_fec.c

   1 /*
   2  * ng_fec.c
   3  *
   4  * Copyright (c) 2001 Berkeley Software Design, Inc.
   5  * Copyright (c) 2000, 2001
   6  *      Bill Paul <wpaul@osd.bsdi.com>.  All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 3. All advertising materials mentioning features or use of this software
  17  *    must display the following acknowledgement:
  18  *      This product includes software developed by Bill Paul.
  19  * 4. Neither the name of the author nor the names of any co-contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY Bill Paul AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL Bill Paul OR THE VOICES IN HIS HEAD
  27  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  28  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  29  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  30  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  31  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  32  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  33  * THE POSSIBILITY OF SUCH DAMAGE.
  34  *
  35  * $FreeBSD: src/sys/netgraph/ng_fec.c,v 1.1.2.1 2002/11/01 21:39:31 julian Exp $
  36  */
  37 /*
  38  * Copyright (c) 1996-1999 Whistle Communications, Inc.
  39  * All rights reserved.
  40  *
  41  * Subject to the following obligations and disclaimer of warranty, use and
  42  * redistribution of this software, in source or object code forms, with or
  43  * without modifications are expressly permitted by Whistle Communications;
  44  * provided, however, that:
  45  * 1. Any and all reproductions of the source or object code must include the
  46  *    copyright notice above and the following disclaimer of warranties; and
  47  * 2. No rights are granted, in any manner or form, to use Whistle
  48  *    Communications, Inc. trademarks, including the mark "WHISTLE
  49  *    COMMUNICATIONS" on advertising, endorsements, or otherwise except as
  50  *    such appears in the above copyright notice or in the software.
  51  *
  52  * THIS SOFTWARE IS BEING PROVIDED BY WHISTLE COMMUNICATIONS "AS IS", AND
  53  * TO THE MAXIMUM EXTENT PERMITTED BY LAW, WHISTLE COMMUNICATIONS MAKES NO
  54  * REPRESENTATIONS OR WARRANTIES, EXPRESS OR IMPLIED, REGARDING THIS SOFTWARE,
  55  * INCLUDING WITHOUT LIMITATION, ANY AND ALL IMPLIED WARRANTIES OF
  56  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE, OR NON-INFRINGEMENT.
  57  * WHISTLE COMMUNICATIONS DOES NOT WARRANT, GUARANTEE, OR MAKE ANY
  58  * REPRESENTATIONS REGARDING THE USE OF, OR THE RESULTS OF THE USE OF THIS
  59  * SOFTWARE IN TERMS OF ITS CORRECTNESS, ACCURACY, RELIABILITY OR OTHERWISE.
  60  * IN NO EVENT SHALL WHISTLE COMMUNICATIONS BE LIABLE FOR ANY DAMAGES
  61  * RESULTING FROM OR ARISING OUT OF ANY USE OF THIS SOFTWARE, INCLUDING
  62  * WITHOUT LIMITATION, ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY,
  63  * PUNITIVE, OR CONSEQUENTIAL DAMAGES, PROCUREMENT OF SUBSTITUTE GOODS OR
  64  * SERVICES, LOSS OF USE, DATA OR PROFITS, HOWEVER CAUSED AND UNDER ANY
  65  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  66  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  67  * THIS SOFTWARE, EVEN IF WHISTLE COMMUNICATIONS IS ADVISED OF THE POSSIBILITY
  68  * OF SUCH DAMAGE.
  69  *
  70  * Author: Archie Cobbs <archie@freebsd.org>
  71  *
  72  * $Whistle: ng_fec.c,v 1.33 1999/11/01 09:24:51 julian Exp $
  73  */
  74
  75 /*
  76  * This module implements ethernet channel bonding using the Cisco
  77  * Fast EtherChannel mechanism. Two or four ports may be combined
  78  * into a single aggregate interface.
  79  *
  80  * Interfaces are named fec0, fec1, etc.  New nodes take the
  81  * first available interface name.
  82  *
  83  * This node also includes Berkeley packet filter support.
  84  *
  85  * Note that this node doesn't need to connect to any other
  86  * netgraph nodes in order to do its work.
  87  */
  88
  89 #include <sys/param.h>
  90 #include <sys/systm.h>
  91 #include <sys/errno.h>
  92 #include <sys/kernel.h>
  93 #include <sys/malloc.h>
  94 #include <sys/mbuf.h>
  95 #include <sys/errno.h>
  96 #include <sys/sockio.h>
  97 #include <sys/socket.h>
  98 #include <sys/syslog.h>
  99 #include <sys/libkern.h>
 100 #include <sys/queue.h>
 101 #include <sys/thread2.h>
 102
 103 #include <net/if.h>
 104 #include <net/if_types.h>
 105 #include <net/if_arp.h>
 106 #include <net/if_dl.h>
 107 #include <net/if_media.h>
 108 #include <net/ifq_var.h>
 109 #include <net/bpf.h>
 110 #include <net/ethernet.h>
 111
 112 #include "opt_inet.h"
 113 #include "opt_inet6.h"
 114
 115 #include <netinet/in.h>
 116 #ifdef INET
 117 #include <netinet/in_systm.h>
 118 #include <netinet/ip.h>
 119 #endif
 120
 121 #ifdef INET6
 122 #include <netinet/ip6.h>
 123 #endif
 124
 125 #include <netgraph/ng_message.h>
 126 #include <netgraph/netgraph.h>
 127 #include <netgraph/ng_parse.h>
 128 #include "ng_fec.h"
 129
 130 #define IFP2NG(ifp)  ((struct ng_node *)((struct arpcom *)(ifp))->ac_netgraph)
 131 #define FEC_INC(x, y)   (x) = (x + 1) % y
 132
 133 /*
 134  * Current fast etherchannel implementations use either 2 or 4
 135  * ports, so for now we limit the maximum bundle size to 4 interfaces.
 136  */
 137 #define FEC_BUNDLESIZ   4
 138
 139 struct ng_fec_portlist {
 140         struct ifnet            *fec_if;
 141         int                     fec_idx;
 142         int                     fec_ifstat;
 143         struct ether_addr       fec_mac;
 144         TAILQ_ENTRY(ng_fec_portlist) fec_list;
 145 };
 146
 147 struct ng_fec_bundle {
 148         TAILQ_HEAD(,ng_fec_portlist) ng_fec_ports;
 149         int                     fec_ifcnt;
 150         int                     fec_btype;
 151 };
 152
 153 #define FEC_BTYPE_MAC           0x01
 154 #define FEC_BTYPE_INET          0x02
 155 #define FEC_BTYPE_INET6         0x03
 156
 157 /* Node private data */
 158 struct ng_fec_private {
 159         struct arpcom arpcom;
 160         struct ifmedia ifmedia;
 161         int     if_flags;
 162         int     if_error;               /* XXX */
 163         int     unit;                   /* Interface unit number */
 164         node_p  node;                   /* Our netgraph node */
 165         struct ng_fec_bundle fec_bundle;/* Aggregate bundle */
 166         struct callout fec_timeout;     /* callout for ticker */
 167         int     (*real_if_output)(struct ifnet *, struct mbuf *,
 168                                   struct sockaddr *, struct rtentry *);
 169 };
 170 typedef struct ng_fec_private *priv_p;
 171
 172 /* Interface methods */
 173 static void     ng_fec_input(struct ifnet *, struct mbuf **);
 174 static void     ng_fec_start(struct ifnet *ifp);
 175 static int      ng_fec_choose_port(struct ng_fec_bundle *b,
 176                         struct mbuf *m, struct ifnet **ifp);
 177 static int      ng_fec_setport(struct ifnet *ifp, u_long cmd, caddr_t data);
 178 static void     ng_fec_init(void *arg);
 179 static void     ng_fec_stop(struct ifnet *ifp);
 180 static int      ng_fec_ifmedia_upd(struct ifnet *ifp);
 181 static void     ng_fec_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr);
 182 static int      ng_fec_ioctl(struct ifnet *ifp, u_long cmd, caddr_t data,
 183                              struct ucred *);
 184 static int      ng_fec_output(struct ifnet *ifp, struct mbuf *m0,
 185                         struct sockaddr *dst, struct rtentry *rt0);
 186 static void     ng_fec_tick(void *arg);
 187 static int      ng_fec_addport(struct ng_fec_private *priv, char *iface);
 188 static int      ng_fec_delport(struct ng_fec_private *priv, char *iface);
 189
 190 #ifdef DEBUG
 191 static void     ng_fec_print_ioctl(struct ifnet *ifp, int cmd, caddr_t data);
 192 #endif
 193
 194 /* Netgraph methods */
 195 static ng_constructor_t ng_fec_constructor;
 196 static ng_rcvmsg_t      ng_fec_rcvmsg;
 197 static ng_shutdown_t    ng_fec_rmnode;
 198
 199 /* List of commands and how to convert arguments to/from ASCII */
 200 static const struct ng_cmdlist ng_fec_cmds[] = {
 201         {
 202           NGM_FEC_COOKIE,
 203           NGM_FEC_ADD_IFACE,
 204           "add_iface",
 205           &ng_parse_string_type,
 206           NULL,
 207         },
 208         {
 209           NGM_FEC_COOKIE,
 210           NGM_FEC_DEL_IFACE,
 211           "del_iface",
 212           &ng_parse_string_type,
 213           NULL,
 214         },
 215         {
 216           NGM_FEC_COOKIE,
 217           NGM_FEC_SET_MODE_MAC,
 218           "set_mode_mac",
 219           NULL,
 220           NULL,
 221         },
 222         {
 223           NGM_FEC_COOKIE,
 224           NGM_FEC_SET_MODE_INET,
 225           "set_mode_inet",
 226           NULL,
 227           NULL,
 228         },
 229         { 0 }
 230 };
 231
 232 /* Node type descriptor */
 233 static struct ng_type typestruct = {
 234         NG_VERSION,
 235         NG_FEC_NODE_TYPE,
 236         NULL,
 237         ng_fec_constructor,
 238         ng_fec_rcvmsg,
 239         ng_fec_rmnode,
 240         NULL,
 241         NULL,
 242         NULL,
 243         NULL,
 244         NULL,
 245         NULL,
 246         ng_fec_cmds
 247 };
 248 NETGRAPH_INIT(fec, &typestruct);
 249
 250 /* We keep a bitmap indicating which unit numbers are free.
 251    One means the unit number is free, zero means it's taken. */
 252 static int      *ng_fec_units = NULL;
 253 static int      ng_fec_units_len = 0;
 254 static int      ng_units_in_use = 0;
 255
 256 #define UNITS_BITSPERWORD       (sizeof(*ng_fec_units) * NBBY)
 257
 258 /*
 259  * Find the first free unit number for a new interface.
 260  * Increase the size of the unit bitmap as necessary.
 261  */
 262 static __inline__ int
 263 ng_fec_get_unit(int *unit)
 264 {
 265         int index, bit;
 266
 267         for (index = 0; index < ng_fec_units_len
 268             && ng_fec_units[index] == 0; index++);
 269         if (index == ng_fec_units_len) {                /* extend array */
 270                 int i, *newarray, newlen;
 271
 272                 newlen = (2 * ng_fec_units_len) + 4;
 273                 newarray = kmalloc(newlen * sizeof(*ng_fec_units),
 274                                    M_NETGRAPH, M_NOWAIT);
 275                 if (newarray == NULL)
 276                         return (ENOMEM);
 277                 bcopy(ng_fec_units, newarray,
 278                     ng_fec_units_len * sizeof(*ng_fec_units));
 279                 for (i = ng_fec_units_len; i < newlen; i++)
 280                         newarray[i] = ~0;
 281                 if (ng_fec_units != NULL)
 282                         kfree(ng_fec_units, M_NETGRAPH);
 283                 ng_fec_units = newarray;
 284                 ng_fec_units_len = newlen;
 285         }
 286         bit = ffs(ng_fec_units[index]) - 1;
 287         KASSERT(bit >= 0 && bit <= UNITS_BITSPERWORD - 1,
 288             ("%s: word=%d bit=%d", __func__, ng_fec_units[index], bit));
 289         ng_fec_units[index] &= ~(1 << bit);
 290         *unit = (index * UNITS_BITSPERWORD) + bit;
 291         ng_units_in_use++;
 292         return (0);
 293 }
 294
 295 /*
 296  * Free a no longer needed unit number.
 297  */
 298 static __inline__ void
 299 ng_fec_free_unit(int unit)
 300 {
 301         int index, bit;
 302
 303         index = unit / UNITS_BITSPERWORD;
 304         bit = unit % UNITS_BITSPERWORD;
 305         KASSERT(index < ng_fec_units_len,
 306             ("%s: unit=%d len=%d", __func__, unit, ng_fec_units_len));
 307         KASSERT((ng_fec_units[index] & (1 << bit)) == 0,
 308             ("%s: unit=%d is free", __func__, unit));
 309         ng_fec_units[index] |= (1 << bit);
 310         /*
 311          * XXX We could think about reducing the size of ng_fec_units[]
 312          * XXX here if the last portion is all ones
 313          * XXX At least free it if no more units.
 314          * Needed if we are eventually be able to unload.
 315          */
 316         ng_units_in_use++;
 317         if (ng_units_in_use == 0) { /* XXX make SMP safe */
 318                 kfree(ng_fec_units, M_NETGRAPH);
 319                 ng_fec_units_len = 0;
 320                 ng_fec_units = NULL;
 321         }
 322 }
 323
 324 /************************************************************************
 325                         INTERFACE STUFF
 326  ************************************************************************/
 327
 328 static int
 329 ng_fec_addport(struct ng_fec_private *priv, char *iface)
 330 {
 331         struct ng_fec_bundle    *b;
 332         struct ifnet            *ifp, *bifp;
 333         struct arpcom           *ac;
 334         struct sockaddr_dl      *sdl;
 335         struct ng_fec_portlist  *p, *new;
 336
 337         if (priv == NULL || iface == NULL)
 338                 return(EINVAL);
 339
 340         b = &priv->fec_bundle;
 341         ifp = &priv->arpcom.ac_if;
 342
 343         /* Find the interface */
 344         bifp = ifunit(iface);
 345         if (bifp == NULL) {
 346                 kprintf("fec%d: tried to add iface %s, which "
 347                     "doesn't seem to exist\n", priv->unit, iface);
 348                 return(ENOENT);
 349         }
 350
 351         /* See if we have room in the bundle */
 352         if (b->fec_ifcnt == FEC_BUNDLESIZ) {
 353                 kprintf("fec%d: can't add new iface; bundle is full\n",
 354                     priv->unit);
 355                 return(ENOSPC);
 356         }
 357
 358         /* See if the interface is already in the bundle */
 359         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 360                 if (p->fec_if == bifp) {
 361                         kprintf("fec%d: iface %s is already in this "
 362                             "bundle\n", priv->unit, iface);
 363                         return(EINVAL);
 364                 }
 365         }
 366
 367         /* Allocate new list entry. */
 368         new = kmalloc(sizeof(struct ng_fec_portlist), M_NETGRAPH, M_NOWAIT);
 369         if (new == NULL)
 370                 return(ENOMEM);
 371
 372         ac = (struct arpcom *)bifp;
 373         ac->ac_netgraph = priv->node;
 374
 375         /*
 376          * If this is the first interface added to the bundle,
 377          * use its MAC address for the virtual interface (and,
 378          * by extension, all the other ports in the bundle).
 379          */
 380         if (b->fec_ifcnt == 0) {
 381                 sdl = IF_LLSOCKADDR(ifp);
 382                 bcopy((char *)ac->ac_enaddr,
 383                     priv->arpcom.ac_enaddr, ETHER_ADDR_LEN);
 384                 bcopy((char *)ac->ac_enaddr,
 385                     LLADDR(sdl), ETHER_ADDR_LEN);
 386         }
 387
 388         b->fec_btype = FEC_BTYPE_MAC;
 389         new->fec_idx = b->fec_ifcnt;
 390         b->fec_ifcnt++;
 391
 392         /* Save the real MAC address. */
 393         bcopy((char *)ac->ac_enaddr,
 394             (char *)&new->fec_mac, ETHER_ADDR_LEN);
 395
 396         /* Set up phony MAC address. */
 397         sdl = IF_LLSOCKADDR(bifp);
 398         bcopy(priv->arpcom.ac_enaddr, ac->ac_enaddr, ETHER_ADDR_LEN);
 399         bcopy(priv->arpcom.ac_enaddr, LLADDR(sdl), ETHER_ADDR_LEN);
 400
 401         /* Add to the queue */
 402         new->fec_if = bifp;
 403         TAILQ_INSERT_TAIL(&b->ng_fec_ports, new, fec_list);
 404
 405         return(0);
 406 }
 407
 408 static int
 409 ng_fec_delport(struct ng_fec_private *priv, char *iface)
 410 {
 411         struct ng_fec_bundle    *b;
 412         struct ifnet            *ifp, *bifp;
 413         struct arpcom           *ac;
 414         struct sockaddr_dl      *sdl;
 415         struct ng_fec_portlist  *p;
 416
 417         if (priv == NULL || iface == NULL)
 418                 return(EINVAL);
 419
 420         b = &priv->fec_bundle;
 421         ifp = &priv->arpcom.ac_if;
 422
 423         /* Find the interface */
 424         bifp = ifunit(iface);
 425         if (bifp == NULL) {
 426                 kprintf("fec%d: tried to remove iface %s, which "
 427                     "doesn't seem to exist\n", priv->unit, iface);
 428                 return(ENOENT);
 429         }
 430
 431         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 432                 if (p->fec_if == bifp)
 433                         break;
 434         }
 435
 436         if (p == NULL) {
 437                 kprintf("fec%d: tried to remove iface %s which "
 438                     "is not in our bundle\n", priv->unit, iface);
 439                 return(EINVAL);
 440         }
 441
 442         /* Stop interface */
 443         bifp->if_flags &= ~IFF_UP;
 444         bifp->if_ioctl(bifp, SIOCSIFFLAGS, NULL, NULL);
 445
 446         /* Restore MAC address. */
 447         ac = (struct arpcom *)bifp;
 448         sdl = IF_LLSOCKADDR(bifp);
 449         bcopy((char *)&p->fec_mac, ac->ac_enaddr, ETHER_ADDR_LEN);
 450         bcopy((char *)&p->fec_mac, LLADDR(sdl), ETHER_ADDR_LEN);
 451
 452         /* Delete port */
 453         TAILQ_REMOVE(&b->ng_fec_ports, p, fec_list);
 454         kfree(p, M_NETGRAPH);
 455         b->fec_ifcnt--;
 456
 457         return(0);
 458 }
 459
 460 /*
 461  * Pass an ioctl command down to all the underyling interfaces in a
 462  * bundle. Used for setting multicast filters and flags.
 463  */
 464 static int
 465 ng_fec_setport(struct ifnet *ifp, u_long command, caddr_t data)
 466 {
 467         struct ng_fec_private   *priv;
 468         struct ng_fec_bundle    *b;
 469         struct ifnet            *oifp;
 470         struct ng_fec_portlist  *p;
 471
 472         priv = ifp->if_softc;
 473         b = &priv->fec_bundle;
 474
 475         ifnet_deserialize_all(ifp);     /* XXX */
 476         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 477                 oifp = p->fec_if;
 478                 if (oifp != NULL) {
 479                         ifnet_serialize_all(oifp);
 480                         oifp->if_ioctl(oifp, command, data, NULL);
 481                         ifnet_deserialize_all(oifp);
 482                 }
 483         }
 484         ifnet_serialize_all(ifp);
 485
 486         return(0);
 487 }
 488
 489 static void
 490 ng_fec_init(void *arg)
 491 {
 492         struct ng_fec_private   *priv;
 493         struct ng_fec_bundle    *b;
 494         struct ifnet            *ifp, *bifp;
 495         struct ng_fec_portlist  *p;
 496
 497         ifp = arg;
 498         priv = ifp->if_softc;
 499         b = &priv->fec_bundle;
 500
 501         if (b->fec_ifcnt == 1 || b->fec_ifcnt == 3) {
 502                 kprintf("fec%d: invalid bundle "
 503                     "size: %d\n", priv->unit,
 504                     b->fec_ifcnt);
 505                 return;
 506         }
 507
 508         ng_fec_stop(ifp);
 509
 510         ifnet_deserialize_all(ifp);     /* XXX */
 511         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 512                 bifp = p->fec_if;
 513                 ifnet_serialize_all(bifp);
 514                 bifp->if_flags |= IFF_UP;
 515                 bifp->if_ioctl(bifp, SIOCSIFFLAGS, NULL, NULL);
 516                 /* mark iface as up and let the monitor check it */
 517                 p->fec_ifstat = -1;
 518                 ifnet_deserialize_all(bifp);
 519         }
 520         ifnet_serialize_all(ifp);
 521
 522         callout_reset(&priv->fec_timeout, hz, ng_fec_tick, priv);
 523 }
 524
 525 static void
 526 ng_fec_stop(struct ifnet *ifp)
 527 {
 528         struct ng_fec_private   *priv;
 529         struct ng_fec_bundle    *b;
 530         struct ifnet            *bifp;
 531         struct ng_fec_portlist  *p;
 532
 533         priv = ifp->if_softc;
 534         b = &priv->fec_bundle;
 535
 536         ifnet_deserialize_all(ifp);     /* XXX */
 537         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 538                 bifp = p->fec_if;
 539                 ifnet_serialize_all(bifp);
 540                 bifp->if_flags &= ~IFF_UP;
 541                 bifp->if_ioctl(bifp, SIOCSIFFLAGS, NULL, NULL);
 542                 ifnet_deserialize_all(bifp);
 543         }
 544         ifnet_serialize_all(ifp);
 545
 546         callout_stop(&priv->fec_timeout);
 547 }
 548
 549 static void
 550 ng_fec_tick(void *arg)
 551 {
 552         struct ng_fec_private   *priv;
 553         struct ng_fec_bundle    *b;
 554         struct ifmediareq       ifmr;
 555         struct ifnet            *ifp;
 556         struct ng_fec_portlist  *p;
 557         int                     error = 0;
 558
 559         priv = arg;
 560         b = &priv->fec_bundle;
 561
 562         /*
 563          * Note: serializer for parent interface not held on entry, and
 564          * cannot be held during the loop to avoid a deadlock.
 565          */
 566         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 567                 bzero((char *)&ifmr, sizeof(ifmr));
 568                 ifp = p->fec_if;
 569                 ifnet_serialize_all(ifp);
 570                 error = ifp->if_ioctl(ifp, SIOCGIFMEDIA, (caddr_t)&ifmr, NULL);
 571                 if (error) {
 572                         kprintf("fec%d: failed to check status "
 573                             "of link %s\n", priv->unit, ifp->if_xname);
 574                         ifnet_deserialize_all(ifp);
 575                         continue;
 576                 }
 577
 578                 if (ifmr.ifm_status & IFM_AVALID &&
 579                     IFM_TYPE(ifmr.ifm_active) == IFM_ETHER) {
 580                         if (ifmr.ifm_status & IFM_ACTIVE) {
 581                                 if (p->fec_ifstat == -1 ||
 582                                     p->fec_ifstat == 0) {
 583                                         p->fec_ifstat = 1;
 584                                         kprintf("fec%d: port %s in bundle "
 585                                             "is up\n", priv->unit,
 586                                             ifp->if_xname);
 587                                 }
 588                         } else {
 589                                 if (p->fec_ifstat == -1 ||
 590                                     p->fec_ifstat == 1) {
 591                                         p->fec_ifstat = 0;
 592                                         kprintf("fec%d: port %s in bundle "
 593                                             "is down\n", priv->unit,
 594                                             ifp->if_xname);
 595                                 }
 596                         }
 597                 }
 598                 ifnet_deserialize_all(ifp);
 599         }
 600
 601         ifp = &priv->arpcom.ac_if;
 602         if (ifp->if_flags & IFF_RUNNING)
 603                 callout_reset(&priv->fec_timeout, hz, ng_fec_tick, priv);
 604 }
 605
 606 static int
 607 ng_fec_ifmedia_upd(struct ifnet *ifp)
 608 {
 609         return(0);
 610 }
 611
 612 static void
 613 ng_fec_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr)
 614 {
 615         struct ng_fec_private   *priv;
 616         struct ng_fec_bundle    *b;
 617         struct ng_fec_portlist  *p;
 618
 619         priv = ifp->if_softc;
 620         b = &priv->fec_bundle;
 621
 622         ifmr->ifm_status = IFM_AVALID;
 623         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 624                 if (p->fec_ifstat) {
 625                         ifmr->ifm_status |= IFM_ACTIVE;
 626                         break;
 627                 }
 628         }
 629 }
 630
 631 /*
 632  * Process an ioctl for the virtual interface
 633  */
 634 static int
 635 ng_fec_ioctl(struct ifnet *ifp, u_long command, caddr_t data, struct ucred *cr)
 636 {
 637         struct ifreq *const ifr = (struct ifreq *) data;
 638         int error = 0;
 639         struct ng_fec_private   *priv;
 640         struct ng_fec_bundle    *b;
 641
 642         priv = ifp->if_softc;
 643         b = &priv->fec_bundle;
 644
 645 #ifdef DEBUG
 646         ng_fec_print_ioctl(ifp, command, data);
 647 #endif
 648         crit_enter();
 649         switch (command) {
 650
 651         /* These two are mostly handled at a higher layer */
 652         case SIOCSIFADDR:
 653         case SIOCGIFADDR:
 654         case SIOCSIFMTU:
 655                 error = ether_ioctl(ifp, command, data);
 656                 break;
 657
 658         /* Set flags */
 659         case SIOCSIFFLAGS:
 660                 /*
 661                  * If the interface is marked up and stopped, then start it.
 662                  * If it is marked down and running, then stop it.
 663                  */
 664                 if (ifr->ifr_flags & IFF_UP) {
 665                         if (!(ifp->if_flags & IFF_RUNNING)) {
 666                                 /* Sanity. */
 667                                 if (b->fec_ifcnt == 1 || b->fec_ifcnt == 3) {
 668                                         kprintf("fec%d: invalid bundle "
 669                                             "size: %d\n", priv->unit,
 670                                             b->fec_ifcnt);
 671                                         error = EINVAL;
 672                                         break;
 673                                 }
 674                                 ifp->if_flags &= ~(IFF_OACTIVE);
 675                                 ifp->if_flags |= IFF_RUNNING;
 676                                 ng_fec_init(ifp);
 677                         }
 678                         /*
 679                          * Bubble down changes in promisc mode to
 680                          * underlying interfaces.
 681                          */
 682                         if ((ifp->if_flags & IFF_PROMISC) !=
 683                             (priv->if_flags & IFF_PROMISC)) {
 684                                 ng_fec_setport(ifp, command, data);
 685                                 priv->if_flags = ifp->if_flags;
 686                         }
 687                 } else {
 688                         if (ifp->if_flags & IFF_RUNNING)
 689                                 ifp->if_flags &= ~(IFF_RUNNING | IFF_OACTIVE);
 690                         ng_fec_stop(ifp);
 691                 }
 692                 break;
 693
 694         case SIOCADDMULTI:
 695         case SIOCDELMULTI:
 696                 ng_fec_setport(ifp, command, data);
 697                 error = 0;
 698                 break;
 699         case SIOCGIFMEDIA:
 700         case SIOCSIFMEDIA:
 701                 error = ifmedia_ioctl(ifp, ifr, &priv->ifmedia, command);
 702                 break;
 703         /* Stuff that's not supported */
 704         case SIOCSIFPHYS:
 705                 error = EOPNOTSUPP;
 706                 break;
 707
 708         default:
 709                 error = EINVAL;
 710                 break;
 711         }
 712         crit_exit();
 713         return (error);
 714 }
 715
 716 /*
 717  * This routine spies on mbufs passing through ether_input(). If
 718  * they come from one of the interfaces that are aggregated into
 719  * our bundle, we fix up the ifnet pointer and increment our
 720  * packet counters so that it looks like the frames are actually
 721  * coming from us.
 722  */
 723 static void
 724 ng_fec_input(struct ifnet *ifp, struct mbuf **m0)
 725 {
 726         struct ng_node          *node;
 727         struct ng_fec_private   *priv;
 728         struct ng_fec_bundle    *b;
 729         struct mbuf             *m;
 730         struct ifnet            *bifp;
 731         struct ng_fec_portlist  *p;
 732
 733         /* Sanity check */
 734         if (ifp == NULL || m0 == NULL)
 735                 return;
 736
 737         node = IFP2NG(ifp);
 738
 739         /* Sanity check part II */
 740         if (node == NULL)
 741                 return;
 742
 743         priv = node->private;
 744         b = &priv->fec_bundle;
 745         bifp = &priv->arpcom.ac_if;
 746
 747         m = *m0;
 748         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 749                 if (p->fec_if == m->m_pkthdr.rcvif)
 750                         break;
 751         }
 752
 753         /* Wasn't meant for us; leave this frame alone. */
 754         if (p == NULL)
 755                 return;
 756
 757         /* Pretend this is our frame. */
 758         m->m_pkthdr.rcvif = bifp;
 759         bifp->if_ipackets++;
 760         bifp->if_ibytes += m->m_pkthdr.len;
 761
 762         if (bifp->if_bpf) {
 763                 bpf_gettoken();
 764                 if (bifp->if_bpf)
 765                         bpf_mtap(bifp->if_bpf, m);
 766                 bpf_reltoken();
 767         }
 768 }
 769
 770 /*
 771  * Take a quick peek at the packet and see if it's ok for us to use
 772  * the inet or inet6 hash methods on it, if they're enabled. We do
 773  * this by setting flags in the mbuf header. Once we've made up our
 774  * mind what to do, we pass the frame to ether_output() for further
 775  * processing.
 776  */
 777
 778 static int
 779 ng_fec_output_serialized(struct ifnet *ifp, struct mbuf *m,
 780                          struct sockaddr *dst, struct rtentry *rt0)
 781 {
 782         const priv_p priv = (priv_p) ifp->if_softc;
 783         struct ng_fec_bundle *b;
 784         int error;
 785
 786         /* Check interface flags */
 787         if ((ifp->if_flags & (IFF_UP|IFF_RUNNING)) != (IFF_UP|IFF_RUNNING)) {
 788                 m_freem(m);
 789                 return (ENETDOWN);
 790         }
 791
 792         b = &priv->fec_bundle;
 793
 794         switch (b->fec_btype) {
 795         case FEC_BTYPE_MAC:
 796                 m->m_flags |= M_FEC_MAC;
 797                 break;
 798 #ifdef INET
 799         case FEC_BTYPE_INET:
 800                 /*
 801                  * We can't use the INET address port selection
 802                  * scheme if this isn't an INET packet.
 803                  */
 804                 if (dst->sa_family == AF_INET)
 805                         m->m_flags |= M_FEC_INET;
 806 #ifdef INET6
 807                 else if (dst->sa_family == AF_INET6)
 808                         m->m_flags |= M_FEC_INET6;
 809 #endif
 810                 else {
 811 #ifdef DEBUG
 812                         kprintf("%s: can't do inet aggregation of non "
 813                             "inet packet\n", ifp->if_xname);
 814 #endif
 815                         m->m_flags |= M_FEC_MAC;
 816                 }
 817                 break;
 818 #endif
 819         default:
 820                 kprintf("%s: bogus hash type: %d\n", ifp->if_xname,
 821                     b->fec_btype);
 822                 m_freem(m);
 823                 return(EINVAL);
 824                 break;
 825         }
 826
 827         /*
 828          * Pass the frame to ether_output() for all the protocol
 829          * handling. This will put the ethernet header on the packet
 830          * for us.
 831          */
 832         priv->if_error = 0;
 833         error = priv->real_if_output(ifp, m, dst, rt0);
 834         if (priv->if_error && !error)
 835                 error = priv->if_error;
 836
 837         return(error);
 838 }
 839
 840 static int
 841 ng_fec_output(struct ifnet *ifp, struct mbuf *m,
 842               struct sockaddr *dst, struct rtentry *rt0)
 843 {
 844         int error;
 845
 846         ifnet_serialize_tx(ifp);
 847         error = ng_fec_output_serialized(ifp, m, dst, rt0);
 848         ifnet_deserialize_tx(ifp);
 849
 850         return error;
 851 }
 852
 853 /*
 854  * Apply a hash to the source and destination addresses in the packet
 855  * in order to select an interface. Also check link status and handle
 856  * dead links accordingly.
 857  */
 858
 859 static int
 860 ng_fec_choose_port(struct ng_fec_bundle *b,
 861         struct mbuf *m, struct ifnet **ifp)
 862 {
 863         struct ether_header     *eh;
 864         struct mbuf             *m0;
 865 #ifdef INET
 866         struct ip               *ip;
 867 #ifdef INET6
 868         struct ip6_hdr          *ip6;
 869 #endif
 870 #endif
 871
 872         struct ng_fec_portlist  *p;
 873         int                     port = 0, mask;
 874
 875         /*
 876          * If there are only two ports, mask off all but the
 877          * last bit for XORing. If there are 4, mask off all
 878          * but the last 2 bits.
 879          */
 880         mask = b->fec_ifcnt == 2 ? 0x1 : 0x3;
 881         eh = mtod(m, struct ether_header *);
 882 #ifdef INET
 883         ip = (struct ip *)(mtod(m, char *) +
 884             sizeof(struct ether_header));
 885 #ifdef INET6
 886         ip6 = (struct ip6_hdr *)(mtod(m, char *) +
 887             sizeof(struct ether_header));
 888 #endif
 889 #endif
 890
 891         /*
 892          * The fg_fec_output() routine is supposed to leave a
 893          * flag for us in the mbuf that tells us what hash to
 894          * use, but sometimes a new mbuf is prepended to the
 895          * chain, so we have to search every mbuf in the chain
 896          * to find the flags.
 897          */
 898         m0 = m;
 899         while (m0) {
 900                 if (m0->m_flags & (M_FEC_MAC|M_FEC_INET|M_FEC_INET6))
 901                         break;
 902                 m0 = m0->m_next;
 903         }
 904         if (m0 == NULL)
 905                 return(EINVAL);
 906
 907         switch (m0->m_flags & (M_FEC_MAC|M_FEC_INET|M_FEC_INET6)) {
 908         case M_FEC_MAC:
 909                 port = (eh->ether_dhost[5] ^
 910                     eh->ether_shost[5]) & mask;
 911                 break;
 912 #ifdef INET
 913         case M_FEC_INET:
 914                 port = (ntohl(ip->ip_dst.s_addr) ^
 915                     ntohl(ip->ip_src.s_addr)) & mask;
 916                 break;
 917 #ifdef INET6
 918         case M_FEC_INET6:
 919                 port = (ip6->ip6_dst.s6_addr[15] ^
 920                     ip6->ip6_dst.s6_addr[15]) & mask;
 921                 break;
 922 #endif
 923 #endif
 924         default:
 925                 return(EINVAL);
 926                         break;
 927         }
 928
 929         TAILQ_FOREACH(p, &b->ng_fec_ports, fec_list) {
 930                 if (port == p->fec_idx)
 931                         break;
 932         }
 933
 934         /*
 935          * Now that we've chosen a port, make sure it's
 936          * alive. If it's not alive, cycle through the bundle
 937          * looking for a port that is alive. If we don't find
 938          * any, return an error.
 939          */
 940         if (p->fec_ifstat != 1) {
 941                 struct ng_fec_portlist  *n = NULL;
 942
 943                 n = TAILQ_NEXT(p, fec_list);
 944                 if (n == NULL)
 945                         n = TAILQ_FIRST(&b->ng_fec_ports);
 946                 while (n != p) {
 947                         if (n->fec_ifstat == 1)
 948                                 break;
 949                         n = TAILQ_NEXT(n, fec_list);
 950                         if (n == NULL)
 951                                 n = TAILQ_FIRST(&b->ng_fec_ports);
 952                 }
 953                 if (n == p)
 954                         return(EAGAIN);
 955                 p = n;
 956         }
 957
 958         *ifp = p->fec_if;
 959
 960         return(0);
 961 }
 962
 963 /*
 964  * Now that the packet has been run through ether_output(), yank it
 965  * off our own send queue and stick it on the queue for the appropriate
 966  * underlying physical interface. Note that if the interface's send
 967  * queue is full, we save an error status in our private netgraph
 968  * space which will eventually be handed up to ng_fec_output(), which
 969  * will return it to the rest of the IP stack. We need to do this
 970  * in order to duplicate the effect of ether_output() returning ENOBUFS
 971  * when it detects that an interface's send queue is full. There's no
 972  * other way to signal the error status from here since the if_start()
 973  * routine is spec'ed to return void.
 974  *
 975  * Once the frame is queued, we call ether_output_frame() to initiate
 976  * transmission.
 977  */
 978 static void
 979 ng_fec_start(struct ifnet *ifp)
 980 {
 981         struct ng_fec_private   *priv;
 982         struct ng_fec_bundle    *b;
 983         struct ifnet            *oifp = NULL;
 984         struct mbuf             *m0;
 985         int                     error;
 986
 987         priv = ifp->if_softc;
 988         b = &priv->fec_bundle;
 989
 990         IF_DEQUEUE(&ifp->if_snd, m0);
 991         if (m0 == NULL)
 992                 return;
 993
 994         BPF_MTAP(ifp, m0);
 995
 996         /* Queue up packet on the proper port. */
 997         error = ng_fec_choose_port(b, m0, &oifp);
 998         if (error) {
 999                 ifp->if_ierrors++;
1000                 m_freem(m0);
1001                 priv->if_error = ENOBUFS;
1002                 return;
1003         }
1004         ifp->if_opackets++;
1005
1006         /*
1007          * Release current iface's serializer to avoid possible dead lock
1008          */
1009         priv->if_error = ether_output_frame(oifp, m0);
1010 }
1011
1012 #ifdef DEBUG
1013 /*
1014  * Display an ioctl to the virtual interface
1015  */
1016
1017 static void
1018 ng_fec_print_ioctl(struct ifnet *ifp, int command, caddr_t data)
1019 {
1020         char   *str;
1021
1022         switch (command & IOC_DIRMASK) {
1023         case IOC_VOID:
1024                 str = "IO";
1025                 break;
1026         case IOC_OUT:
1027                 str = "IOR";
1028                 break;
1029         case IOC_IN:
1030                 str = "IOW";
1031                 break;
1032         case IOC_INOUT:
1033                 str = "IORW";
1034                 break;
1035         default:
1036                 str = "IO??";
1037         }
1038         log(LOG_DEBUG, "%s: %s('%c', %d, char[%d])\n",
1039                ifp->if_xname,
1040                str,
1041                IOCGROUP(command),
1042                command & 0xff,
1043                IOCPARM_LEN(command));
1044 }
1045 #endif /* DEBUG */
1046
1047 /************************************************************************
1048                         NETGRAPH NODE STUFF
1049  ************************************************************************/
1050
1051 /*
1052  * Constructor for a node
1053  */
1054 static int
1055 ng_fec_constructor(node_p *nodep)
1056 {
1057         char ifname[NG_FEC_FEC_NAME_MAX + 1];
1058         struct ifnet *ifp;
1059         node_p node;
1060         priv_p priv;
1061         struct ng_fec_bundle *b;
1062         int error = 0;
1063
1064         /* Allocate node and interface private structures */
1065         priv = kmalloc(sizeof(*priv), M_NETGRAPH, M_NOWAIT | M_ZERO);
1066         if (priv == NULL)
1067                 return (ENOMEM);
1068
1069         ifp = &priv->arpcom.ac_if;
1070         b = &priv->fec_bundle;
1071
1072         /* Link them together */
1073         ifp->if_softc = priv;
1074
1075         /* Get an interface unit number */
1076         if ((error = ng_fec_get_unit(&priv->unit)) != 0) {
1077                 kfree(ifp, M_NETGRAPH);
1078                 kfree(priv, M_NETGRAPH);
1079                 return (error);
1080         }
1081
1082         /* Call generic node constructor */
1083         if ((error = ng_make_node_common(&typestruct, nodep)) != 0) {
1084                 ng_fec_free_unit(priv->unit);
1085                 kfree(ifp, M_NETGRAPH);
1086                 kfree(priv, M_NETGRAPH);
1087                 return (error);
1088         }
1089         node = *nodep;
1090
1091         /* Link together node and private info */
1092         node->private = priv;
1093         priv->node = node;
1094         priv->arpcom.ac_netgraph = node;
1095
1096         /* Initialize interface structure */
1097         if_initname(ifp, NG_FEC_FEC_NAME, priv->unit);
1098         ifp->if_start = ng_fec_start;
1099         ifp->if_ioctl = ng_fec_ioctl;
1100         ifp->if_init = ng_fec_init;
1101         ifp->if_watchdog = NULL;
1102         ifq_set_maxlen(&ifp->if_snd, IFQ_MAXLEN);
1103         ifp->if_mtu = NG_FEC_MTU_DEFAULT;
1104         ifp->if_flags = (IFF_SIMPLEX|IFF_BROADCAST|IFF_MULTICAST);
1105         ifp->if_type = IFT_PROPVIRTUAL;         /* XXX */
1106         ifp->if_addrlen = 0;                    /* XXX */
1107         ifp->if_hdrlen = 0;                     /* XXX */
1108         ifp->if_baudrate = 100000000;           /* XXX */
1109
1110         /* Give this node the same name as the interface (if possible) */
1111         bzero(ifname, sizeof(ifname));
1112         strlcpy(ifname, ifp->if_xname, sizeof(ifname));
1113         if (ng_name_node(node, ifname) != 0)
1114                 log(LOG_WARNING, "%s: can't acquire netgraph name\n", ifname);
1115
1116         /* Grab hold of the ether_input pipe. */
1117         if (ng_ether_input_p == NULL)
1118                 ng_ether_input_p = ng_fec_input;
1119
1120         /* Attach the interface */
1121         ether_ifattach(ifp, priv->arpcom.ac_enaddr, NULL);
1122         priv->real_if_output = ifp->if_output;
1123         ifp->if_output = ng_fec_output;
1124         callout_init(&priv->fec_timeout);
1125
1126         TAILQ_INIT(&b->ng_fec_ports);
1127         b->fec_ifcnt = 0;
1128
1129         ifmedia_init(&priv->ifmedia, 0,
1130             ng_fec_ifmedia_upd, ng_fec_ifmedia_sts);
1131         ifmedia_add(&priv->ifmedia, IFM_ETHER|IFM_NONE, 0, NULL);
1132         ifmedia_set(&priv->ifmedia, IFM_ETHER|IFM_NONE);
1133
1134         /* Done */
1135         return (0);
1136 }
1137
1138 /*
1139  * Receive a control message
1140  */
1141 static int
1142 ng_fec_rcvmsg(node_p node, struct ng_mesg *msg,
1143                 const char *retaddr, struct ng_mesg **rptr)
1144 {
1145         const priv_p priv = node->private;
1146         struct ng_fec_bundle    *b;
1147         struct ng_mesg *resp = NULL;
1148         char *ifname;
1149         int error = 0;
1150
1151         b = &priv->fec_bundle;
1152
1153         switch (msg->header.typecookie) {
1154         case NGM_FEC_COOKIE:
1155                 switch (msg->header.cmd) {
1156                 case NGM_FEC_ADD_IFACE:
1157                         ifname = msg->data;
1158                         error = ng_fec_addport(priv, ifname);
1159                         break;
1160                 case NGM_FEC_DEL_IFACE:
1161                         ifname = msg->data;
1162                         error = ng_fec_delport(priv, ifname);
1163                         break;
1164                 case NGM_FEC_SET_MODE_MAC:
1165                         b->fec_btype = FEC_BTYPE_MAC;
1166                         break;
1167 #ifdef INET
1168                 case NGM_FEC_SET_MODE_INET:
1169                         b->fec_btype = FEC_BTYPE_INET;
1170                         break;
1171 #ifdef INET6
1172                 case NGM_FEC_SET_MODE_INET6:
1173                         b->fec_btype = FEC_BTYPE_INET6;
1174                         break;
1175 #endif
1176 #endif
1177                 default:
1178                         error = EINVAL;
1179                         break;
1180                 }
1181                 break;
1182         default:
1183                 error = EINVAL;
1184                 break;
1185         }
1186         if (rptr)
1187                 *rptr = resp;
1188         else if (resp)
1189                 kfree(resp, M_NETGRAPH);
1190         kfree(msg, M_NETGRAPH);
1191         return (error);
1192 }
1193
1194 /*
1195  * Shutdown and remove the node and its associated interface.
1196  */
1197 static int
1198 ng_fec_rmnode(node_p node)
1199 {
1200         const priv_p priv = node->private;
1201         struct ng_fec_bundle *b;
1202         struct ng_fec_portlist  *p;
1203         char ifname[IFNAMSIZ];
1204
1205         b = &priv->fec_bundle;
1206         ng_fec_stop(&priv->arpcom.ac_if);
1207
1208         while (!TAILQ_EMPTY(&b->ng_fec_ports)) {
1209                 p = TAILQ_FIRST(&b->ng_fec_ports);
1210                 ksprintf(ifname, "%s",
1211                     p->fec_if->if_xname); /* XXX: strings */
1212                 ng_fec_delport(priv, ifname);
1213         }
1214
1215         ng_cutlinks(node);
1216         ng_unname(node);
1217         if (ng_ether_input_p != NULL)
1218                 ng_ether_input_p = NULL;
1219         ether_ifdetach(&priv->arpcom.ac_if);
1220         ifmedia_removeall(&priv->ifmedia);
1221         ng_fec_free_unit(priv->unit);
1222         kfree(priv, M_NETGRAPH);
1223         node->private = NULL;
1224         ng_unref(node);
1225         return (0);
1226 }