sys/dev/netif/vr/if_vr.c

   1 /*
   2  * Copyright (c) 1997, 1998
   3  *      Bill Paul <wpaul@ctr.columbia.edu>.  All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  * 3. All advertising materials mentioning features or use of this software
  14  *    must display the following acknowledgement:
  15  *      This product includes software developed by Bill Paul.
  16  * 4. Neither the name of the author nor the names of any co-contributors
  17  *    may be used to endorse or promote products derived from this software
  18  *    without specific prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY Bill Paul AND CONTRIBUTORS ``AS IS'' AND
  21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  23  * ARE DISCLAIMED.  IN NO EVENT SHALL Bill Paul OR THE VOICES IN HIS HEAD
  24  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  25  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  26  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  27  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  28  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  29  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  30  * THE POSSIBILITY OF SUCH DAMAGE.
  31  *
  32  * $FreeBSD: src/sys/pci/if_vr.c,v 1.26.2.13 2003/02/06 04:46:20 silby Exp $
  33  * $DragonFly: src/sys/dev/netif/vr/if_vr.c,v 1.41 2005/12/31 14:08:00 sephe Exp $
  34  */
  35
  36 /*
  37  * VIA Rhine fast ethernet PCI NIC driver
  38  *
  39  * Supports various network adapters based on the VIA Rhine
  40  * and Rhine II PCI controllers, including the D-Link DFE530TX.
  41  * Datasheets are available at http://www.via.com.tw.
  42  *
  43  * Written by Bill Paul <wpaul@ctr.columbia.edu>
  44  * Electrical Engineering Department
  45  * Columbia University, New York City
  46  */
  47
  48 /*
  49  * The VIA Rhine controllers are similar in some respects to the
  50  * the DEC tulip chips, except less complicated. The controller
  51  * uses an MII bus and an external physical layer interface. The
  52  * receiver has a one entry perfect filter and a 64-bit hash table
  53  * multicast filter. Transmit and receive descriptors are similar
  54  * to the tulip.
  55  *
  56  * The Rhine has a serious flaw in its transmit DMA mechanism:
  57  * transmit buffers must be longword aligned. Unfortunately,
  58  * FreeBSD doesn't guarantee that mbufs will be filled in starting
  59  * at longword boundaries, so we have to do a buffer copy before
  60  * transmission.
  61  */
  62
  63 #include "opt_polling.h"
  64
  65 #include <sys/param.h>
  66 #include <sys/systm.h>
  67 #include <sys/sockio.h>
  68 #include <sys/mbuf.h>
  69 #include <sys/malloc.h>
  70 #include <sys/kernel.h>
  71 #include <sys/socket.h>
  72 #include <sys/serialize.h>
  73 #include <sys/thread2.h>
  74
  75 #include <net/if.h>
  76 #include <net/ifq_var.h>
  77 #include <net/if_arp.h>
  78 #include <net/ethernet.h>
  79 #include <net/if_dl.h>
  80 #include <net/if_media.h>
  81
  82 #include <net/bpf.h>
  83
  84 #include <vm/vm.h>              /* for vtophys */
  85 #include <vm/pmap.h>            /* for vtophys */
  86 #include <machine/bus_pio.h>
  87 #include <machine/bus_memio.h>
  88 #include <machine/bus.h>
  89 #include <machine/resource.h>
  90 #include <sys/bus.h>
  91 #include <sys/rman.h>
  92
  93 #include <dev/netif/mii_layer/mii.h>
  94 #include <dev/netif/mii_layer/miivar.h>
  95
  96 #include <bus/pci/pcireg.h>
  97 #include <bus/pci/pcivar.h>
  98
  99 #define VR_USEIOSPACE
 100
 101 #include <dev/netif/vr/if_vrreg.h>
 102
 103 /* "controller miibus0" required.  See GENERIC if you get errors here. */
 104 #include "miibus_if.h"
 105
 106 #undef VR_USESWSHIFT
 107
 108 /*
 109  * Various supported device vendors/types and their names.
 110  */
 111 static struct vr_type vr_devs[] = {
 112         { VIA_VENDORID, VIA_DEVICEID_RHINE,
 113                 "VIA VT3043 Rhine I 10/100BaseTX" },
 114         { VIA_VENDORID, VIA_DEVICEID_RHINE_II,
 115                 "VIA VT86C100A Rhine II 10/100BaseTX" },
 116         { VIA_VENDORID, VIA_DEVICEID_RHINE_II_2,
 117                 "VIA VT6102 Rhine II 10/100BaseTX" },
 118         { VIA_VENDORID, VIA_DEVICEID_RHINE_III,
 119                 "VIA VT6105 Rhine III 10/100BaseTX" },
 120         { VIA_VENDORID, VIA_DEVICEID_RHINE_III_M,
 121                 "VIA VT6105M Rhine III 10/100BaseTX" },
 122         { DELTA_VENDORID, DELTA_DEVICEID_RHINE_II,
 123                 "Delta Electronics Rhine II 10/100BaseTX" },
 124         { ADDTRON_VENDORID, ADDTRON_DEVICEID_RHINE_II,
 125                 "Addtron Technology Rhine II 10/100BaseTX" },
 126         { 0, 0, NULL }
 127 };
 128
 129 static int      vr_probe(device_t);
 130 static int      vr_attach(device_t);
 131 static int      vr_detach(device_t);
 132
 133 static int      vr_newbuf(struct vr_softc *, struct vr_chain_onefrag *,
 134                           struct mbuf *);
 135 static int      vr_encap(struct vr_softc *, int, struct mbuf * );
 136
 137 static void     vr_rxeof(struct vr_softc *);
 138 static void     vr_rxeoc(struct vr_softc *);
 139 static void     vr_txeof(struct vr_softc *);
 140 static void     vr_txeoc(struct vr_softc *);
 141 static void     vr_tick(void *);
 142 static void     vr_intr(void *);
 143 static void     vr_start(struct ifnet *);
 144 static int      vr_ioctl(struct ifnet *, u_long, caddr_t, struct ucred *);
 145 static void     vr_init(void *);
 146 static void     vr_stop(struct vr_softc *);
 147 static void     vr_watchdog(struct ifnet *);
 148 static void     vr_shutdown(device_t);
 149 static int      vr_ifmedia_upd(struct ifnet *);
 150 static void     vr_ifmedia_sts(struct ifnet *, struct ifmediareq *);
 151
 152 #ifdef VR_USESWSHIFT
 153 static void     vr_mii_sync(struct vr_softc *);
 154 static void     vr_mii_send(struct vr_softc *, uint32_t, int);
 155 #endif
 156 static int      vr_mii_readreg(struct vr_softc *, struct vr_mii_frame *);
 157 static int      vr_mii_writereg(struct vr_softc *, struct vr_mii_frame *);
 158 static int      vr_miibus_readreg(device_t, int, int);
 159 static int      vr_miibus_writereg(device_t, int, int, int);
 160 static void     vr_miibus_statchg(device_t);
 161
 162 static void     vr_setcfg(struct vr_softc *, int);
 163 static void     vr_setmulti(struct vr_softc *);
 164 static void     vr_reset(struct vr_softc *);
 165 static int      vr_list_rx_init(struct vr_softc *);
 166 static int      vr_list_tx_init(struct vr_softc *);
 167 #ifdef DEVICE_POLLING
 168 static void     vr_poll(struct ifnet *ifp, enum poll_cmd cmd, int count);
 169 #endif
 170
 171 #ifdef VR_USEIOSPACE
 172 #define VR_RES                  SYS_RES_IOPORT
 173 #define VR_RID                  VR_PCI_LOIO
 174 #else
 175 #define VR_RES                  SYS_RES_MEMORY
 176 #define VR_RID                  VR_PCI_LOMEM
 177 #endif
 178
 179 static device_method_t vr_methods[] = {
 180         /* Device interface */
 181         DEVMETHOD(device_probe,         vr_probe),
 182         DEVMETHOD(device_attach,        vr_attach),
 183         DEVMETHOD(device_detach,        vr_detach),
 184         DEVMETHOD(device_shutdown,      vr_shutdown),
 185
 186         /* bus interface */
 187         DEVMETHOD(bus_print_child,      bus_generic_print_child),
 188         DEVMETHOD(bus_driver_added,     bus_generic_driver_added),
 189
 190         /* MII interface */
 191         DEVMETHOD(miibus_readreg,       vr_miibus_readreg),
 192         DEVMETHOD(miibus_writereg,      vr_miibus_writereg),
 193         DEVMETHOD(miibus_statchg,       vr_miibus_statchg),
 194
 195         { 0, 0 }
 196 };
 197
 198 static driver_t vr_driver = {
 199         "vr",
 200         vr_methods,
 201         sizeof(struct vr_softc)
 202 };
 203
 204 static devclass_t vr_devclass;
 205
 206 DECLARE_DUMMY_MODULE(if_vr);
 207 DRIVER_MODULE(if_vr, pci, vr_driver, vr_devclass, 0, 0);
 208 DRIVER_MODULE(miibus, vr, miibus_driver, miibus_devclass, 0, 0);
 209
 210 #define VR_SETBIT(sc, reg, x)                           \
 211         CSR_WRITE_1(sc, reg,                            \
 212                 CSR_READ_1(sc, reg) | (x))
 213
 214 #define VR_CLRBIT(sc, reg, x)                           \
 215         CSR_WRITE_1(sc, reg,                            \
 216                 CSR_READ_1(sc, reg) & ~(x))
 217
 218 #define VR_SETBIT16(sc, reg, x)                         \
 219         CSR_WRITE_2(sc, reg,                            \
 220                 CSR_READ_2(sc, reg) | (x))
 221
 222 #define VR_CLRBIT16(sc, reg, x)                         \
 223         CSR_WRITE_2(sc, reg,                            \
 224                 CSR_READ_2(sc, reg) & ~(x))
 225
 226 #define VR_SETBIT32(sc, reg, x)                         \
 227         CSR_WRITE_4(sc, reg,                            \
 228                 CSR_READ_4(sc, reg) | (x))
 229
 230 #define VR_CLRBIT32(sc, reg, x)                         \
 231         CSR_WRITE_4(sc, reg,                            \
 232                 CSR_READ_4(sc, reg) & ~(x))
 233
 234 #define SIO_SET(x)                                      \
 235         CSR_WRITE_1(sc, VR_MIICMD,                      \
 236                 CSR_READ_1(sc, VR_MIICMD) | (x))
 237
 238 #define SIO_CLR(x)                                      \
 239         CSR_WRITE_1(sc, VR_MIICMD,                      \
 240                 CSR_READ_1(sc, VR_MIICMD) & ~(x))
 241
 242 #ifdef VR_USESWSHIFT
 243 /*
 244  * Sync the PHYs by setting data bit and strobing the clock 32 times.
 245  */
 246 static void
 247 vr_mii_sync(struct vr_softc *sc)
 248 {
 249         int i;
 250
 251         SIO_SET(VR_MIICMD_DIR|VR_MIICMD_DATAIN);
 252
 253         for (i = 0; i < 32; i++) {
 254                 SIO_SET(VR_MIICMD_CLK);
 255                 DELAY(1);
 256                 SIO_CLR(VR_MIICMD_CLK);
 257                 DELAY(1);
 258         }
 259 }
 260
 261 /*
 262  * Clock a series of bits through the MII.
 263  */
 264 static void
 265 vr_mii_send(struct vr_softc *sc, uint32_t bits, int cnt)
 266 {
 267         int i;
 268
 269         SIO_CLR(VR_MIICMD_CLK);
 270
 271         for (i = (0x1 << (cnt - 1)); i; i >>= 1) {
 272                 if (bits & i)
 273                         SIO_SET(VR_MIICMD_DATAIN);
 274                 else
 275                         SIO_CLR(VR_MIICMD_DATAIN);
 276                 DELAY(1);
 277                 SIO_CLR(VR_MIICMD_CLK);
 278                 DELAY(1);
 279                 SIO_SET(VR_MIICMD_CLK);
 280         }
 281 }
 282 #endif
 283
 284 /*
 285  * Read an PHY register through the MII.
 286  */
 287 static int
 288 vr_mii_readreg(struct vr_softc *sc, struct vr_mii_frame *frame)
 289 #ifdef VR_USESWSHIFT
 290 {
 291         int i, ack;
 292
 293         /* Set up frame for RX. */
 294         frame->mii_stdelim = VR_MII_STARTDELIM;
 295         frame->mii_opcode = VR_MII_READOP;
 296         frame->mii_turnaround = 0;
 297         frame->mii_data = 0;
 298
 299         CSR_WRITE_1(sc, VR_MIICMD, 0);
 300         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_DIRECTPGM);
 301
 302         /* Turn on data xmit. */
 303         SIO_SET(VR_MIICMD_DIR);
 304
 305         vr_mii_sync(sc);
 306
 307         /* Send command/address info. */
 308         vr_mii_send(sc, frame->mii_stdelim, 2);
 309         vr_mii_send(sc, frame->mii_opcode, 2);
 310         vr_mii_send(sc, frame->mii_phyaddr, 5);
 311         vr_mii_send(sc, frame->mii_regaddr, 5);
 312
 313         /* Idle bit. */
 314         SIO_CLR((VR_MIICMD_CLK|VR_MIICMD_DATAIN));
 315         DELAY(1);
 316         SIO_SET(VR_MIICMD_CLK);
 317         DELAY(1);
 318
 319         /* Turn off xmit. */
 320         SIO_CLR(VR_MIICMD_DIR);
 321
 322         /* Check for ack */
 323         SIO_CLR(VR_MIICMD_CLK);
 324         DELAY(1);
 325         ack = CSR_READ_4(sc, VR_MIICMD) & VR_MIICMD_DATAOUT;
 326         SIO_SET(VR_MIICMD_CLK);
 327         DELAY(1);
 328
 329         /*
 330          * Now try reading data bits. If the ack failed, we still
 331          * need to clock through 16 cycles to keep the PHY(s) in sync.
 332          */
 333         if (ack) {
 334                 for(i = 0; i < 16; i++) {
 335                         SIO_CLR(VR_MIICMD_CLK);
 336                         DELAY(1);
 337                         SIO_SET(VR_MIICMD_CLK);
 338                         DELAY(1);
 339                 }
 340                 goto fail;
 341         }
 342
 343         for (i = 0x8000; i; i >>= 1) {
 344                 SIO_CLR(VR_MIICMD_CLK);
 345                 DELAY(1);
 346                 if (!ack) {
 347                         if (CSR_READ_4(sc, VR_MIICMD) & VR_MIICMD_DATAOUT)
 348                                 frame->mii_data |= i;
 349                         DELAY(1);
 350                 }
 351                 SIO_SET(VR_MIICMD_CLK);
 352                 DELAY(1);
 353         }
 354
 355 fail:
 356         SIO_CLR(VR_MIICMD_CLK);
 357         DELAY(1);
 358         SIO_SET(VR_MIICMD_CLK);
 359         DELAY(1);
 360
 361         if (ack)
 362                 return(1);
 363         return(0);
 364 }
 365 #else
 366 {
 367         int i;
 368
 369         /* Set the PHY address. */
 370         CSR_WRITE_1(sc, VR_PHYADDR, (CSR_READ_1(sc, VR_PHYADDR)& 0xe0)|
 371             frame->mii_phyaddr);
 372
 373         /* Set the register address. */
 374         CSR_WRITE_1(sc, VR_MIIADDR, frame->mii_regaddr);
 375         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_READ_ENB);
 376
 377         for (i = 0; i < 10000; i++) {
 378                 if ((CSR_READ_1(sc, VR_MIICMD) & VR_MIICMD_READ_ENB) == 0)
 379                         break;
 380                 DELAY(1);
 381         }
 382         frame->mii_data = CSR_READ_2(sc, VR_MIIDATA);
 383
 384         return(0);
 385 }
 386 #endif
 387
 388
 389 /*
 390  * Write to a PHY register through the MII.
 391  */
 392 static int
 393 vr_mii_writereg(struct vr_softc *sc, struct vr_mii_frame *frame)
 394 #ifdef VR_USESWSHIFT
 395 {
 396         CSR_WRITE_1(sc, VR_MIICMD, 0);
 397         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_DIRECTPGM);
 398
 399         /* Set up frame for TX. */
 400         frame->mii_stdelim = VR_MII_STARTDELIM;
 401         frame->mii_opcode = VR_MII_WRITEOP;
 402         frame->mii_turnaround = VR_MII_TURNAROUND;
 403
 404         /* Turn on data output. */
 405         SIO_SET(VR_MIICMD_DIR);
 406
 407         vr_mii_sync(sc);
 408
 409         vr_mii_send(sc, frame->mii_stdelim, 2);
 410         vr_mii_send(sc, frame->mii_opcode, 2);
 411         vr_mii_send(sc, frame->mii_phyaddr, 5);
 412         vr_mii_send(sc, frame->mii_regaddr, 5);
 413         vr_mii_send(sc, frame->mii_turnaround, 2);
 414         vr_mii_send(sc, frame->mii_data, 16);
 415
 416         /* Idle bit. */
 417         SIO_SET(VR_MIICMD_CLK);
 418         DELAY(1);
 419         SIO_CLR(VR_MIICMD_CLK);
 420         DELAY(1);
 421
 422         /* Turn off xmit. */
 423         SIO_CLR(VR_MIICMD_DIR);
 424
 425         return(0);
 426 }
 427 #else
 428 {
 429         int i;
 430
 431         /* Set the PHY-adress */
 432         CSR_WRITE_1(sc, VR_PHYADDR, (CSR_READ_1(sc, VR_PHYADDR)& 0xe0)|
 433                     frame->mii_phyaddr);
 434
 435         /* Set the register address and data to write. */
 436         CSR_WRITE_1(sc, VR_MIIADDR, frame->mii_regaddr);
 437         CSR_WRITE_2(sc, VR_MIIDATA, frame->mii_data);
 438
 439         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_WRITE_ENB);
 440
 441         for (i = 0; i < 10000; i++) {
 442                 if ((CSR_READ_1(sc, VR_MIICMD) & VR_MIICMD_WRITE_ENB) == 0)
 443                         break;
 444                 DELAY(1);
 445         }
 446         return(0);
 447 }
 448 #endif
 449
 450 static int
 451 vr_miibus_readreg(device_t dev, int phy, int reg)
 452 {
 453         struct vr_mii_frame frame;
 454         struct vr_softc *sc;
 455
 456         sc = device_get_softc(dev);
 457
 458         switch (sc->vr_revid) {
 459         case REV_ID_VT6102_APOLLO:
 460                 if (phy != 1)
 461                         return(0);
 462                 break;
 463         default:
 464                 break;
 465         }
 466
 467         bzero(&frame, sizeof(frame));
 468
 469         frame.mii_phyaddr = phy;
 470         frame.mii_regaddr = reg;
 471         vr_mii_readreg(sc, &frame);
 472
 473         return(frame.mii_data);
 474 }
 475
 476 static int
 477 vr_miibus_writereg(device_t dev, int phy, int reg, int data)
 478 {
 479         struct vr_mii_frame frame;
 480         struct vr_softc *sc;
 481
 482         sc = device_get_softc(dev);
 483
 484         switch (sc->vr_revid) {
 485         case REV_ID_VT6102_APOLLO:
 486                 if (phy != 1)
 487                         return 0;
 488                 break;
 489         default:
 490                 break;
 491         }
 492
 493         bzero(&frame, sizeof(frame));
 494
 495         frame.mii_phyaddr = phy;
 496         frame.mii_regaddr = reg;
 497         frame.mii_data = data;
 498
 499         vr_mii_writereg(sc, &frame);
 500
 501         return(0);
 502 }
 503
 504 static void
 505 vr_miibus_statchg(device_t dev)
 506 {
 507         struct mii_data *mii;
 508         struct vr_softc *sc;
 509
 510         sc = device_get_softc(dev);
 511         mii = device_get_softc(sc->vr_miibus);
 512         vr_setcfg(sc, mii->mii_media_active);
 513 }
 514
 515 /*
 516  * Program the 64-bit multicast hash filter.
 517  */
 518 static void
 519 vr_setmulti(struct vr_softc *sc)
 520 {
 521         struct ifnet *ifp;
 522         uint32_t hashes[2] = { 0, 0 };
 523         struct ifmultiaddr *ifma;
 524         uint8_t rxfilt;
 525         int mcnt = 0;
 526
 527         ifp = &sc->arpcom.ac_if;
 528
 529         rxfilt = CSR_READ_1(sc, VR_RXCFG);
 530
 531         if (ifp->if_flags & IFF_ALLMULTI || ifp->if_flags & IFF_PROMISC) {
 532                 rxfilt |= VR_RXCFG_RX_MULTI;
 533                 CSR_WRITE_1(sc, VR_RXCFG, rxfilt);
 534                 CSR_WRITE_4(sc, VR_MAR0, 0xFFFFFFFF);
 535                 CSR_WRITE_4(sc, VR_MAR1, 0xFFFFFFFF);
 536                 return;
 537         }
 538
 539         /* First, zero out all the existing hash bits. */
 540         CSR_WRITE_4(sc, VR_MAR0, 0);
 541         CSR_WRITE_4(sc, VR_MAR1, 0);
 542
 543         /* Now program new ones. */
 544         LIST_FOREACH(ifma, &ifp->if_multiaddrs, ifma_link) {
 545                 int h;
 546
 547                 if (ifma->ifma_addr->sa_family != AF_LINK)
 548                         continue;
 549
 550                 /* use the lower 6 bits */
 551                 h = (ether_crc32_be(
 552                         LLADDR((struct sockaddr_dl *)ifma->ifma_addr),
 553                         ETHER_ADDR_LEN) >> 26) & 0x0000003F;
 554                 if (h < 32)
 555                         hashes[0] |= (1 << h);
 556                 else
 557                         hashes[1] |= (1 << (h - 32));
 558                 mcnt++;
 559         }
 560
 561         if (mcnt)
 562                 rxfilt |= VR_RXCFG_RX_MULTI;
 563         else
 564                 rxfilt &= ~VR_RXCFG_RX_MULTI;
 565
 566         CSR_WRITE_4(sc, VR_MAR0, hashes[0]);
 567         CSR_WRITE_4(sc, VR_MAR1, hashes[1]);
 568         CSR_WRITE_1(sc, VR_RXCFG, rxfilt);
 569 }
 570
 571 /*
 572  * In order to fiddle with the
 573  * 'full-duplex' and '100Mbps' bits in the netconfig register, we
 574  * first have to put the transmit and/or receive logic in the idle state.
 575  */
 576 static void
 577 vr_setcfg(struct vr_softc *sc, int media)
 578 {
 579         int restart = 0;
 580
 581         if (CSR_READ_2(sc, VR_COMMAND) & (VR_CMD_TX_ON|VR_CMD_RX_ON)) {
 582                 restart = 1;
 583                 VR_CLRBIT16(sc, VR_COMMAND, (VR_CMD_TX_ON|VR_CMD_RX_ON));
 584         }
 585
 586         if ((media & IFM_GMASK) == IFM_FDX)
 587                 VR_SETBIT16(sc, VR_COMMAND, VR_CMD_FULLDUPLEX);
 588         else
 589                 VR_CLRBIT16(sc, VR_COMMAND, VR_CMD_FULLDUPLEX);
 590
 591         if (restart)
 592                 VR_SETBIT16(sc, VR_COMMAND, VR_CMD_TX_ON|VR_CMD_RX_ON);
 593 }
 594
 595 static void
 596 vr_reset(struct vr_softc *sc)
 597 {
 598         int i;
 599
 600         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_RESET);
 601
 602         for (i = 0; i < VR_TIMEOUT; i++) {
 603                 DELAY(10);
 604                 if (!(CSR_READ_2(sc, VR_COMMAND) & VR_CMD_RESET))
 605                         break;
 606         }
 607         if (i == VR_TIMEOUT) {
 608                 struct ifnet *ifp = &sc->arpcom.ac_if;
 609
 610                 if (sc->vr_revid < REV_ID_VT3065_A) {
 611                         if_printf(ifp, "reset never completed!\n");
 612                 } else {
 613                         /* Use newer force reset command */
 614                         if_printf(ifp, "Using force reset command.\n");
 615                         VR_SETBIT(sc, VR_MISC_CR1, VR_MISCCR1_FORSRST);
 616                 }
 617         }
 618
 619         /* Wait a little while for the chip to get its brains in order. */
 620         DELAY(1000);
 621 }
 622
 623 /*
 624  * Probe for a VIA Rhine chip. Check the PCI vendor and device
 625  * IDs against our list and return a device name if we find a match.
 626  */
 627 static int
 628 vr_probe(device_t dev)
 629 {
 630         struct vr_type *t;
 631         uint16_t vid, did;
 632
 633         vid = pci_get_vendor(dev);
 634         did = pci_get_device(dev);
 635
 636         for (t = vr_devs; t->vr_name != NULL; ++t) {
 637                 if (vid == t->vr_vid && did == t->vr_did) {
 638                         device_set_desc(dev, t->vr_name);
 639                         return(0);
 640                 }
 641         }
 642
 643         return(ENXIO);
 644 }
 645
 646 /*
 647  * Attach the interface. Allocate softc structures, do ifmedia
 648  * setup and ethernet/BPF attach.
 649  */
 650 static int
 651 vr_attach(device_t dev)
 652 {
 653         int i;
 654         uint8_t eaddr[ETHER_ADDR_LEN];
 655         struct vr_softc *sc;
 656         struct ifnet *ifp;
 657         int error = 0, rid;
 658
 659         sc = device_get_softc(dev);
 660         callout_init(&sc->vr_stat_timer);
 661
 662         /*
 663          * Handle power management nonsense.
 664          */
 665         if (pci_get_powerstate(dev) != PCI_POWERSTATE_D0) {
 666                 uint32_t iobase, membase, irq;
 667
 668                 /* Save important PCI config data. */
 669                 iobase = pci_read_config(dev, VR_PCI_LOIO, 4);
 670                 membase = pci_read_config(dev, VR_PCI_LOMEM, 4);
 671                 irq = pci_read_config(dev, VR_PCI_INTLINE, 4);
 672
 673                 /* Reset the power state. */
 674                 device_printf(dev, "chip is in D%d power mode "
 675                 "-- setting to D0\n", pci_get_powerstate(dev));
 676                 pci_set_powerstate(dev, PCI_POWERSTATE_D0);
 677
 678                 /* Restore PCI config data. */
 679                 pci_write_config(dev, VR_PCI_LOIO, iobase, 4);
 680                 pci_write_config(dev, VR_PCI_LOMEM, membase, 4);
 681                 pci_write_config(dev, VR_PCI_INTLINE, irq, 4);
 682         }
 683
 684         pci_enable_busmaster(dev);
 685
 686         sc->vr_revid = pci_get_revid(dev);
 687
 688         rid = VR_RID;
 689         sc->vr_res = bus_alloc_resource_any(dev, VR_RES, &rid, RF_ACTIVE);
 690
 691         if (sc->vr_res == NULL) {
 692                 device_printf(dev, "couldn't map ports/memory\n");
 693                 return ENXIO;
 694         }
 695
 696         sc->vr_btag = rman_get_bustag(sc->vr_res);
 697         sc->vr_bhandle = rman_get_bushandle(sc->vr_res);
 698
 699         /* Allocate interrupt */
 700         rid = 0;
 701         sc->vr_irq = bus_alloc_resource_any(dev, SYS_RES_IRQ, &rid,
 702                                             RF_SHAREABLE | RF_ACTIVE);
 703
 704         if (sc->vr_irq == NULL) {
 705                 device_printf(dev, "couldn't map interrupt\n");
 706                 error = ENXIO;
 707                 goto fail;
 708         }
 709
 710         /*
 711          * Windows may put the chip in suspend mode when it
 712          * shuts down. Be sure to kick it in the head to wake it
 713          * up again.
 714          */
 715         VR_CLRBIT(sc, VR_STICKHW, (VR_STICKHW_DS0|VR_STICKHW_DS1));
 716
 717         ifp = &sc->arpcom.ac_if;
 718         if_initname(ifp, device_get_name(dev), device_get_unit(dev));
 719
 720         /* Reset the adapter. */
 721         vr_reset(sc);
 722
 723         /*
 724          * Turn on bit2 (MIION) in PCI configuration register 0x53 during
 725          * initialization and disable AUTOPOLL.
 726          */
 727         pci_write_config(dev, VR_PCI_MODE,
 728             pci_read_config(dev, VR_PCI_MODE, 4) | (VR_MODE3_MIION << 24), 4);
 729         VR_CLRBIT(sc, VR_MIICMD, VR_MIICMD_AUTOPOLL);
 730
 731         /*
 732          * Get station address. The way the Rhine chips work,
 733          * you're not allowed to directly access the EEPROM once
 734          * they've been programmed a special way. Consequently,
 735          * we need to read the node address from the PAR0 and PAR1
 736          * registers.
 737          */
 738         VR_SETBIT(sc, VR_EECSR, VR_EECSR_LOAD);
 739         DELAY(200);
 740         for (i = 0; i < ETHER_ADDR_LEN; i++)
 741                 eaddr[i] = CSR_READ_1(sc, VR_PAR0 + i);
 742
 743         sc->vr_ldata = contigmalloc(sizeof(struct vr_list_data), M_DEVBUF,
 744             M_WAITOK | M_ZERO, 0, 0xffffffff, PAGE_SIZE, 0);
 745
 746         if (sc->vr_ldata == NULL) {
 747                 device_printf(dev, "no memory for list buffers!\n");
 748                 error = ENXIO;
 749                 goto fail;
 750         }
 751
 752         /* Initialize TX buffer */
 753         sc->vr_cdata.vr_tx_buf = contigmalloc(VR_TX_BUF_SIZE, M_DEVBUF,
 754             M_WAITOK, 0, 0xffffffff, PAGE_SIZE, 0);
 755         if (sc->vr_cdata.vr_tx_buf == NULL) {
 756                 device_printf(dev, "can't allocate tx buffer!\n");
 757                 error = ENXIO;
 758                 goto fail;
 759         }
 760
 761         /* Set various TX indexes to invalid value */
 762         sc->vr_cdata.vr_tx_free_idx = -1;
 763         sc->vr_cdata.vr_tx_tail_idx = -1;
 764         sc->vr_cdata.vr_tx_head_idx = -1;
 765
 766
 767         ifp->if_softc = sc;
 768         ifp->if_mtu = ETHERMTU;
 769         ifp->if_flags = IFF_BROADCAST | IFF_SIMPLEX | IFF_MULTICAST;
 770         ifp->if_ioctl = vr_ioctl;
 771         ifp->if_start = vr_start;
 772 #ifdef DEVICE_POLLING
 773         ifp->if_poll = vr_poll;
 774 #endif
 775         ifp->if_watchdog = vr_watchdog;
 776         ifp->if_init = vr_init;
 777         ifp->if_baudrate = 10000000;
 778         ifq_set_maxlen(&ifp->if_snd, VR_TX_LIST_CNT - 1);
 779         ifq_set_ready(&ifp->if_snd);
 780
 781         /*
 782          * Do MII setup.
 783          */
 784         if (mii_phy_probe(dev, &sc->vr_miibus,
 785             vr_ifmedia_upd, vr_ifmedia_sts)) {
 786                 if_printf(ifp, "MII without any phy!\n");
 787                 error = ENXIO;
 788                 goto fail;
 789         }
 790
 791         /* Call MI attach routine. */
 792         ether_ifattach(ifp, eaddr, NULL);
 793
 794         error = bus_setup_intr(dev, sc->vr_irq, INTR_NETSAFE,
 795                                vr_intr, sc, &sc->vr_intrhand,
 796                                ifp->if_serializer);
 797
 798         if (error) {
 799                 device_printf(dev, "couldn't set up irq\n");
 800                 ether_ifdetach(ifp);
 801                 goto fail;
 802         }
 803         return 0;
 804
 805 fail:
 806         vr_detach(dev);
 807         return(error);
 808 }
 809
 810 static int
 811 vr_detach(device_t dev)
 812 {
 813         struct vr_softc *sc = device_get_softc(dev);
 814         struct ifnet *ifp = &sc->arpcom.ac_if;
 815
 816         if (device_is_attached(dev)) {
 817                 lwkt_serialize_enter(ifp->if_serializer);
 818                 vr_stop(sc);
 819                 bus_teardown_intr(dev, sc->vr_irq, sc->vr_intrhand);
 820                 lwkt_serialize_exit(ifp->if_serializer);
 821
 822                 ether_ifdetach(ifp);
 823         }
 824         if (sc->vr_miibus != NULL)
 825                 device_delete_child(dev, sc->vr_miibus);
 826         bus_generic_detach(dev);
 827
 828         if (sc->vr_irq != NULL)
 829                 bus_release_resource(dev, SYS_RES_IRQ, 0, sc->vr_irq);
 830         if (sc->vr_res != NULL)
 831                 bus_release_resource(dev, VR_RES, VR_RID, sc->vr_res);
 832         if (sc->vr_ldata != NULL)
 833                 contigfree(sc->vr_ldata, sizeof(struct vr_list_data), M_DEVBUF);
 834         if (sc->vr_cdata.vr_tx_buf != NULL)
 835                 contigfree(sc->vr_cdata.vr_tx_buf, VR_TX_BUF_SIZE, M_DEVBUF);
 836
 837         return(0);
 838 }
 839
 840 /*
 841  * Initialize the transmit descriptors.
 842  */
 843 static int
 844 vr_list_tx_init(struct vr_softc *sc)
 845 {
 846         struct vr_chain_data *cd;
 847         struct vr_list_data *ld;
 848         struct vr_chain *tx_chain;
 849         int i;
 850
 851         cd = &sc->vr_cdata;
 852         ld = sc->vr_ldata;
 853         tx_chain = cd->vr_tx_chain;
 854
 855         for (i = 0; i < VR_TX_LIST_CNT; i++) {
 856                 tx_chain[i].vr_ptr = &ld->vr_tx_list[i];
 857                 if (i == (VR_TX_LIST_CNT - 1))
 858                         tx_chain[i].vr_next_idx = 0;
 859                 else
 860                         tx_chain[i].vr_next_idx = i + 1;
 861         }
 862
 863         for (i = 0; i < VR_TX_LIST_CNT; ++i) {
 864                 void *tx_buf;
 865                 int next_idx;
 866
 867                 tx_buf = VR_TX_BUF(sc, i);
 868                 next_idx = tx_chain[i].vr_next_idx;
 869
 870                 tx_chain[i].vr_next_desc_paddr =
 871                         vtophys(tx_chain[next_idx].vr_ptr);
 872                 tx_chain[i].vr_buf_paddr = vtophys(tx_buf);
 873         }
 874
 875         cd->vr_tx_free_idx = 0;
 876         cd->vr_tx_tail_idx = cd->vr_tx_head_idx = -1;
 877
 878         return 0;
 879 }
 880
 881
 882 /*
 883  * Initialize the RX descriptors and allocate mbufs for them. Note that
 884  * we arrange the descriptors in a closed ring, so that the last descriptor
 885  * points back to the first.
 886  */
 887 static int
 888 vr_list_rx_init(struct vr_softc *sc)
 889 {
 890         struct vr_chain_data *cd;
 891         struct vr_list_data *ld;
 892         int i, nexti;
 893
 894         cd = &sc->vr_cdata;
 895         ld = sc->vr_ldata;
 896
 897         for (i = 0; i < VR_RX_LIST_CNT; i++) {
 898                 cd->vr_rx_chain[i].vr_ptr = (struct vr_desc *)&ld->vr_rx_list[i];
 899                 if (vr_newbuf(sc, &cd->vr_rx_chain[i], NULL) == ENOBUFS)
 900                         return(ENOBUFS);
 901                 if (i == (VR_RX_LIST_CNT - 1))
 902                         nexti = 0;
 903                 else
 904                         nexti = i + 1;
 905                 cd->vr_rx_chain[i].vr_nextdesc = &cd->vr_rx_chain[nexti];
 906                 ld->vr_rx_list[i].vr_next = vtophys(&ld->vr_rx_list[nexti]);
 907         }
 908
 909         cd->vr_rx_head = &cd->vr_rx_chain[0];
 910
 911         return(0);
 912 }
 913
 914 /*
 915  * Initialize an RX descriptor and attach an MBUF cluster.
 916  * Note: the length fields are only 11 bits wide, which means the
 917  * largest size we can specify is 2047. This is important because
 918  * MCLBYTES is 2048, so we have to subtract one otherwise we'll
 919  * overflow the field and make a mess.
 920  */
 921 static int
 922 vr_newbuf(struct vr_softc *sc, struct vr_chain_onefrag *c, struct mbuf *m)
 923 {
 924         struct mbuf *m_new = NULL;
 925
 926         if (m == NULL) {
 927                 m_new = m_getcl(MB_DONTWAIT, MT_DATA, M_PKTHDR);
 928                 if (m_new == NULL)
 929                         return (ENOBUFS);
 930                 m_new->m_len = m_new->m_pkthdr.len = MCLBYTES;
 931         } else {
 932                 m_new = m;
 933                 m_new->m_len = m_new->m_pkthdr.len = MCLBYTES;
 934                 m_new->m_data = m_new->m_ext.ext_buf;
 935         }
 936
 937         m_adj(m_new, sizeof(uint64_t));
 938
 939         c->vr_mbuf = m_new;
 940         c->vr_ptr->vr_status = VR_RXSTAT;
 941         c->vr_ptr->vr_data = vtophys(mtod(m_new, caddr_t));
 942         c->vr_ptr->vr_ctl = VR_RXCTL | VR_RXLEN;
 943
 944         return(0);
 945 }
 946
 947 /*
 948  * A frame has been uploaded: pass the resulting mbuf chain up to
 949  * the higher level protocols.
 950  */
 951 static void
 952 vr_rxeof(struct vr_softc *sc)
 953 {
 954         struct mbuf *m;
 955         struct ifnet *ifp;
 956         struct vr_chain_onefrag *cur_rx;
 957         int total_len = 0;
 958         uint32_t rxstat;
 959
 960         ifp = &sc->arpcom.ac_if;
 961
 962         while(!((rxstat = sc->vr_cdata.vr_rx_head->vr_ptr->vr_status) &
 963                                                         VR_RXSTAT_OWN)) {
 964                 struct mbuf *m0 = NULL;
 965
 966                 cur_rx = sc->vr_cdata.vr_rx_head;
 967                 sc->vr_cdata.vr_rx_head = cur_rx->vr_nextdesc;
 968                 m = cur_rx->vr_mbuf;
 969
 970                 /*
 971                  * If an error occurs, update stats, clear the
 972                  * status word and leave the mbuf cluster in place:
 973                  * it should simply get re-used next time this descriptor
 974                  * comes up in the ring.
 975                  */
 976                 if (rxstat & VR_RXSTAT_RXERR) {
 977                         ifp->if_ierrors++;
 978                         if_printf(ifp, "rx error (%02x):", rxstat & 0x000000ff);
 979                         if (rxstat & VR_RXSTAT_CRCERR)
 980                                 printf(" crc error");
 981                         if (rxstat & VR_RXSTAT_FRAMEALIGNERR)
 982                                 printf(" frame alignment error\n");
 983                         if (rxstat & VR_RXSTAT_FIFOOFLOW)
 984                                 printf(" FIFO overflow");
 985                         if (rxstat & VR_RXSTAT_GIANT)
 986                                 printf(" received giant packet");
 987                         if (rxstat & VR_RXSTAT_RUNT)
 988                                 printf(" received runt packet");
 989                         if (rxstat & VR_RXSTAT_BUSERR)
 990                                 printf(" system bus error");
 991                         if (rxstat & VR_RXSTAT_BUFFERR)
 992                                 printf("rx buffer error");
 993                         printf("\n");
 994                         vr_newbuf(sc, cur_rx, m);
 995                         continue;
 996                 }
 997
 998                 /* No errors; receive the packet. */
 999                 total_len = VR_RXBYTES(cur_rx->vr_ptr->vr_status);
1000
1001                 /*
1002                  * XXX The VIA Rhine chip includes the CRC with every
1003                  * received frame, and there's no way to turn this
1004                  * behavior off (at least, I can't find anything in
1005                  * the manual that explains how to do it) so we have
1006                  * to trim off the CRC manually.
1007                  */
1008                 total_len -= ETHER_CRC_LEN;
1009
1010                 m0 = m_devget(mtod(m, char *) - ETHER_ALIGN,
1011                     total_len + ETHER_ALIGN, 0, ifp, NULL);
1012                 vr_newbuf(sc, cur_rx, m);
1013                 if (m0 == NULL) {
1014                         ifp->if_ierrors++;
1015                         continue;
1016                 }
1017                 m_adj(m0, ETHER_ALIGN);
1018                 m = m0;
1019
1020                 ifp->if_ipackets++;
1021                 ifp->if_input(ifp, m);
1022         }
1023 }
1024
1025 static void
1026 vr_rxeoc(struct vr_softc *sc)
1027 {
1028         struct ifnet *ifp;
1029         int i;
1030
1031         ifp = &sc->arpcom.ac_if;
1032
1033         ifp->if_ierrors++;
1034
1035         VR_CLRBIT16(sc, VR_COMMAND, VR_CMD_RX_ON);
1036         DELAY(10000);
1037
1038         /* Wait for receiver to stop */
1039         for (i = 0x400;
1040              i && (CSR_READ_2(sc, VR_COMMAND) & VR_CMD_RX_ON);
1041              i--)
1042                 ;       /* Wait for receiver to stop */
1043
1044         if (i == 0) {
1045                 if_printf(ifp, "rx shutdown error!\n");
1046                 sc->vr_flags |= VR_F_RESTART;
1047                 return;
1048         }
1049
1050         vr_rxeof(sc);
1051
1052         CSR_WRITE_4(sc, VR_RXADDR, vtophys(sc->vr_cdata.vr_rx_head->vr_ptr));
1053         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_RX_ON);
1054         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_RX_GO);
1055 }
1056
1057 /*
1058  * A frame was downloaded to the chip. It's safe for us to clean up
1059  * the list buffers.
1060  */
1061 static void
1062 vr_txeof(struct vr_softc *sc)
1063 {
1064         struct vr_chain_data *cd;
1065         struct vr_chain *tx_chain;
1066         struct ifnet *ifp;
1067
1068         ifp = &sc->arpcom.ac_if;
1069         cd = &sc->vr_cdata;
1070
1071         /* Reset the timeout timer; if_txeoc will clear it. */
1072         ifp->if_timer = 5;
1073
1074         /* Sanity check. */
1075         if (cd->vr_tx_head_idx == -1)
1076                 return;
1077
1078         tx_chain = cd->vr_tx_chain;
1079
1080         /*
1081          * Go through our tx list and free mbufs for those
1082          * frames that have been transmitted.
1083          */
1084         while(tx_chain[cd->vr_tx_head_idx].vr_buf != NULL) {
1085                 struct vr_chain *cur_tx;
1086                 uint32_t txstat;
1087                 int i;
1088
1089                 cur_tx = &tx_chain[cd->vr_tx_head_idx];
1090                 txstat = cur_tx->vr_ptr->vr_status;
1091
1092                 if ((txstat & VR_TXSTAT_ABRT) ||
1093                     (txstat & VR_TXSTAT_UDF)) {
1094                         for (i = 0x400;
1095                              i && (CSR_READ_2(sc, VR_COMMAND) & VR_CMD_TX_ON);
1096                              i--)
1097                                 ;       /* Wait for chip to shutdown */
1098                         if (i == 0) {
1099                                 if_printf(ifp, "tx shutdown timeout\n");
1100                                 sc->vr_flags |= VR_F_RESTART;
1101                                 break;
1102                         }
1103                         VR_TXOWN(cur_tx) = VR_TXSTAT_OWN;
1104                         CSR_WRITE_4(sc, VR_TXADDR, vtophys(cur_tx->vr_ptr));
1105                         break;
1106                 }
1107
1108                 if (txstat & VR_TXSTAT_OWN)
1109                         break;
1110
1111                 if (txstat & VR_TXSTAT_ERRSUM) {
1112                         ifp->if_oerrors++;
1113                         if (txstat & VR_TXSTAT_DEFER)
1114                                 ifp->if_collisions++;
1115                         if (txstat & VR_TXSTAT_LATECOLL)
1116                                 ifp->if_collisions++;
1117                 }
1118
1119                 ifp->if_collisions += (txstat & VR_TXSTAT_COLLCNT) >> 3;
1120
1121                 ifp->if_opackets++;
1122                 cur_tx->vr_buf = NULL;
1123
1124                 if (cd->vr_tx_head_idx == cd->vr_tx_tail_idx) {
1125                         cd->vr_tx_head_idx = -1;
1126                         cd->vr_tx_tail_idx = -1;
1127                         break;
1128                 }
1129
1130                 cd->vr_tx_head_idx = cur_tx->vr_next_idx;
1131         }
1132 }
1133
1134 /*
1135  * TX 'end of channel' interrupt handler.
1136  */
1137 static void
1138 vr_txeoc(struct vr_softc *sc)
1139 {
1140         struct ifnet *ifp;
1141
1142         ifp = &sc->arpcom.ac_if;
1143
1144         if (sc->vr_cdata.vr_tx_head_idx == -1) {
1145                 ifp->if_flags &= ~IFF_OACTIVE;
1146                 sc->vr_cdata.vr_tx_tail_idx = -1;
1147                 ifp->if_timer = 0;
1148         }
1149 }
1150
1151 static void
1152 vr_tick(void *xsc)
1153 {
1154         struct vr_softc *sc = xsc;
1155         struct ifnet *ifp = &sc->arpcom.ac_if;
1156         struct mii_data *mii;
1157
1158         lwkt_serialize_enter(ifp->if_serializer);
1159
1160         if (sc->vr_flags & VR_F_RESTART) {
1161                 if_printf(&sc->arpcom.ac_if, "restarting\n");
1162                 vr_stop(sc);
1163                 vr_reset(sc);
1164                 vr_init(sc);
1165                 sc->vr_flags &= ~VR_F_RESTART;
1166         }
1167
1168         mii = device_get_softc(sc->vr_miibus);
1169         mii_tick(mii);
1170
1171         callout_reset(&sc->vr_stat_timer, hz, vr_tick, sc);
1172
1173         lwkt_serialize_exit(ifp->if_serializer);
1174 }
1175
1176 static void
1177 vr_intr(void *arg)
1178 {
1179         struct vr_softc *sc;
1180         struct ifnet *ifp;
1181         uint16_t status;
1182
1183         sc = arg;
1184         ifp = &sc->arpcom.ac_if;
1185
1186         /* Supress unwanted interrupts. */
1187         if (!(ifp->if_flags & IFF_UP)) {
1188                 vr_stop(sc);
1189                 return;
1190         }
1191
1192         /* Disable interrupts. */
1193         if ((ifp->if_flags & IFF_POLLING) == 0)
1194                 CSR_WRITE_2(sc, VR_IMR, 0x0000);
1195
1196         for (;;) {
1197                 status = CSR_READ_2(sc, VR_ISR);
1198                 if (status)
1199                         CSR_WRITE_2(sc, VR_ISR, status);
1200
1201                 if ((status & VR_INTRS) == 0)
1202                         break;
1203
1204                 if (status & VR_ISR_RX_OK)
1205                         vr_rxeof(sc);
1206
1207                 if (status & VR_ISR_RX_DROPPED) {
1208                         if_printf(ifp, "rx packet lost\n");
1209                         ifp->if_ierrors++;
1210                         }
1211
1212                 if ((status & VR_ISR_RX_ERR) || (status & VR_ISR_RX_NOBUF) ||
1213                     (status & VR_ISR_RX_NOBUF) || (status & VR_ISR_RX_OFLOW)) {
1214                         if_printf(ifp, "receive error (%04x)", status);
1215                         if (status & VR_ISR_RX_NOBUF)
1216                                 printf(" no buffers");
1217                         if (status & VR_ISR_RX_OFLOW)
1218                                 printf(" overflow");
1219                         if (status & VR_ISR_RX_DROPPED)
1220                                 printf(" packet lost");
1221                         printf("\n");
1222                         vr_rxeoc(sc);
1223                 }
1224
1225                 if ((status & VR_ISR_BUSERR) || (status & VR_ISR_TX_UNDERRUN)) {
1226                         vr_reset(sc);
1227                         vr_init(sc);
1228                         break;
1229                 }
1230
1231                 if ((status & VR_ISR_TX_OK) || (status & VR_ISR_TX_ABRT) ||
1232                     (status & VR_ISR_TX_ABRT2) || (status & VR_ISR_UDFI)) {
1233                         vr_txeof(sc);
1234                         if ((status & VR_ISR_UDFI) ||
1235                             (status & VR_ISR_TX_ABRT2) ||
1236                             (status & VR_ISR_TX_ABRT)) {
1237                                 ifp->if_oerrors++;
1238                                 if (sc->vr_cdata.vr_tx_head_idx != -1) {
1239                                         VR_SETBIT16(sc, VR_COMMAND,
1240                                                     VR_CMD_TX_ON);
1241                                         VR_SETBIT16(sc, VR_COMMAND,
1242                                                     VR_CMD_TX_GO);
1243                                 }
1244                         } else {
1245                                 vr_txeoc(sc);
1246                         }
1247                 }
1248
1249         }
1250
1251         /* Re-enable interrupts. */
1252         if ((ifp->if_flags & IFF_POLLING) == 0)
1253                 CSR_WRITE_2(sc, VR_IMR, VR_INTRS);
1254
1255         if (!ifq_is_empty(&ifp->if_snd))
1256                 vr_start(ifp);
1257 }
1258
1259 /*
1260  * Encapsulate an mbuf chain in a descriptor by coupling the mbuf data
1261  * pointers to the fragment pointers.
1262  */
1263 static int
1264 vr_encap(struct vr_softc *sc, int chain_idx, struct mbuf *m_head)
1265 {
1266         struct vr_chain *c;
1267         struct vr_desc *f;
1268         caddr_t tx_buf;
1269         int len;
1270
1271         KASSERT(chain_idx >= 0 && chain_idx < VR_TX_LIST_CNT,
1272                 ("%s: chain idx(%d) out of range 0-%d",
1273                  sc->arpcom.ac_if.if_xname, chain_idx, VR_TX_LIST_CNT));
1274
1275         /*
1276          * The VIA Rhine wants packet buffers to be longword
1277          * aligned, but very often our mbufs aren't. Rather than
1278          * waste time trying to decide when to copy and when not
1279          * to copy, just do it all the time.
1280          */
1281         tx_buf = VR_TX_BUF(sc, chain_idx);
1282         m_copydata(m_head, 0, m_head->m_pkthdr.len, tx_buf);
1283         len = m_head->m_pkthdr.len;
1284
1285         /*
1286          * The Rhine chip doesn't auto-pad, so we have to make
1287          * sure to pad short frames out to the minimum frame length
1288          * ourselves.
1289          */
1290         if (len < VR_MIN_FRAMELEN) {
1291                 bzero(tx_buf + len, VR_MIN_FRAMELEN - len);
1292                 len = VR_MIN_FRAMELEN;
1293         }
1294
1295         c = &sc->vr_cdata.vr_tx_chain[chain_idx];
1296         c->vr_buf = tx_buf;
1297
1298         f = c->vr_ptr;
1299         f->vr_data = c->vr_buf_paddr;
1300         f->vr_ctl = len;
1301         f->vr_ctl |= (VR_TXCTL_TLINK | VR_TXCTL_FIRSTFRAG);
1302         f->vr_ctl |= (VR_TXCTL_LASTFRAG | VR_TXCTL_FINT);
1303         f->vr_status = 0;
1304         f->vr_next = c->vr_next_desc_paddr;
1305
1306         return(0);
1307 }
1308
1309 /*
1310  * Main transmit routine. To avoid having to do mbuf copies, we put pointers
1311  * to the mbuf data regions directly in the transmit lists. We also save a
1312  * copy of the pointers since the transmit list fragment pointers are
1313  * physical addresses.
1314  */
1315 static void
1316 vr_start(struct ifnet *ifp)
1317 {
1318         struct vr_softc *sc;
1319         struct vr_chain_data *cd;
1320         struct vr_chain *tx_chain;
1321         int cur_tx_idx, start_tx_idx, prev_tx_idx;
1322
1323         if (ifp->if_flags & IFF_OACTIVE)
1324                 return;
1325
1326         sc = ifp->if_softc;
1327         cd = &sc->vr_cdata;
1328         tx_chain = cd->vr_tx_chain;
1329
1330         start_tx_idx = cd->vr_tx_free_idx;
1331         cur_tx_idx = prev_tx_idx = -1;
1332
1333         /* Check for an available queue slot. If there are none, punt. */
1334         if (tx_chain[start_tx_idx].vr_buf != NULL) {
1335                 ifp->if_flags |= IFF_OACTIVE;
1336                 return;
1337         }
1338
1339         while(tx_chain[cd->vr_tx_free_idx].vr_buf == NULL) {
1340                 struct mbuf *m_head;
1341                 struct vr_chain *cur_tx;
1342
1343                 m_head = ifq_poll(&ifp->if_snd);
1344                 if (m_head == NULL)
1345                         break;
1346
1347                 /* Pick a descriptor off the free list. */
1348                 cur_tx_idx = cd->vr_tx_free_idx;
1349                 cur_tx = &tx_chain[cur_tx_idx];
1350
1351                 /* Pack the data into the descriptor. */
1352                 if (vr_encap(sc, cur_tx_idx, m_head)) {
1353                         ifp->if_flags |= IFF_OACTIVE;
1354                         cur_tx_idx = prev_tx_idx;
1355                         break;
1356                 }
1357
1358                 ifq_dequeue(&ifp->if_snd, m_head);
1359
1360                 /* XXX */
1361                 if (cur_tx_idx != start_tx_idx)
1362                         VR_TXOWN(cur_tx) = VR_TXSTAT_OWN;
1363
1364                 BPF_MTAP(ifp, m_head);
1365                 m_freem(m_head);
1366
1367                 VR_TXOWN(cur_tx) = VR_TXSTAT_OWN;
1368                 VR_SETBIT16(sc, VR_COMMAND, /*VR_CMD_TX_ON|*/VR_CMD_TX_GO);
1369
1370                 /* Iff everything went OK, we bump up free index. */
1371                 prev_tx_idx = cur_tx_idx;
1372                 cd->vr_tx_free_idx = cur_tx->vr_next_idx;
1373         }
1374
1375         /* If there are no frames queued, bail. */
1376         if (cur_tx_idx == -1)
1377                 return;
1378
1379         sc->vr_cdata.vr_tx_tail_idx = cur_tx_idx;
1380
1381         if (sc->vr_cdata.vr_tx_head_idx == -1)
1382                 sc->vr_cdata.vr_tx_head_idx = start_tx_idx;
1383
1384         /*
1385          * Set a timeout in case the chip goes out to lunch.
1386          */
1387         ifp->if_timer = 5;
1388 }
1389
1390 static void
1391 vr_init(void *xsc)
1392 {
1393         struct vr_softc *sc = xsc;
1394         struct ifnet *ifp = &sc->arpcom.ac_if;
1395         struct mii_data *mii;
1396         int i;
1397
1398         mii = device_get_softc(sc->vr_miibus);
1399
1400         /* Cancel pending I/O and free all RX/TX buffers. */
1401         vr_stop(sc);
1402         vr_reset(sc);
1403
1404         /* Set our station address. */
1405         for (i = 0; i < ETHER_ADDR_LEN; i++)
1406                 CSR_WRITE_1(sc, VR_PAR0 + i, sc->arpcom.ac_enaddr[i]);
1407
1408         /* Set DMA size. */
1409         VR_CLRBIT(sc, VR_BCR0, VR_BCR0_DMA_LENGTH);
1410         VR_SETBIT(sc, VR_BCR0, VR_BCR0_DMA_STORENFWD);
1411
1412         /*
1413          * BCR0 and BCR1 can override the RXCFG and TXCFG registers,
1414          * so we must set both.
1415          */
1416         VR_CLRBIT(sc, VR_BCR0, VR_BCR0_RX_THRESH);
1417         VR_SETBIT(sc, VR_BCR0, VR_BCR0_RXTHRESH128BYTES);
1418
1419         VR_CLRBIT(sc, VR_BCR1, VR_BCR1_TX_THRESH);
1420         VR_SETBIT(sc, VR_BCR1, VR_BCR1_TXTHRESHSTORENFWD);
1421
1422         VR_CLRBIT(sc, VR_RXCFG, VR_RXCFG_RX_THRESH);
1423         VR_SETBIT(sc, VR_RXCFG, VR_RXTHRESH_128BYTES);
1424
1425         VR_CLRBIT(sc, VR_TXCFG, VR_TXCFG_TX_THRESH);
1426         VR_SETBIT(sc, VR_TXCFG, VR_TXTHRESH_STORENFWD);
1427
1428         /* Init circular RX list. */
1429         if (vr_list_rx_init(sc) == ENOBUFS) {
1430                 vr_stop(sc);
1431                 if_printf(ifp, "initialization failed: no memory for rx buffers\n");
1432                 return;
1433         }
1434
1435         /* Init tx descriptors. */
1436         vr_list_tx_init(sc);
1437
1438         /* If we want promiscuous mode, set the allframes bit. */
1439         if (ifp->if_flags & IFF_PROMISC)
1440                 VR_SETBIT(sc, VR_RXCFG, VR_RXCFG_RX_PROMISC);
1441         else
1442                 VR_CLRBIT(sc, VR_RXCFG, VR_RXCFG_RX_PROMISC);
1443
1444         /* Set capture broadcast bit to capture broadcast frames. */
1445         if (ifp->if_flags & IFF_BROADCAST)
1446                 VR_SETBIT(sc, VR_RXCFG, VR_RXCFG_RX_BROAD);
1447         else
1448                 VR_CLRBIT(sc, VR_RXCFG, VR_RXCFG_RX_BROAD);
1449
1450         /*
1451          * Program the multicast filter, if necessary.
1452          */
1453         vr_setmulti(sc);
1454
1455         /*
1456          * Load the address of the RX list.
1457          */
1458         CSR_WRITE_4(sc, VR_RXADDR, vtophys(sc->vr_cdata.vr_rx_head->vr_ptr));
1459
1460         /* Enable receiver and transmitter. */
1461         CSR_WRITE_2(sc, VR_COMMAND, VR_CMD_TX_NOPOLL|VR_CMD_START|
1462                                     VR_CMD_TX_ON|VR_CMD_RX_ON|
1463                                     VR_CMD_RX_GO);
1464
1465         CSR_WRITE_4(sc, VR_TXADDR, vtophys(&sc->vr_ldata->vr_tx_list[0]));
1466
1467         /*
1468          * Enable interrupts, unless we are polling.
1469          */
1470         CSR_WRITE_2(sc, VR_ISR, 0xFFFF);
1471         if ((ifp->if_flags & IFF_POLLING) == 0)
1472                 CSR_WRITE_2(sc, VR_IMR, VR_INTRS);
1473
1474         mii_mediachg(mii);
1475
1476         ifp->if_flags |= IFF_RUNNING;
1477         ifp->if_flags &= ~IFF_OACTIVE;
1478
1479         callout_reset(&sc->vr_stat_timer, hz, vr_tick, sc);
1480 }
1481
1482 /*
1483  * Set media options.
1484  */
1485 static int
1486 vr_ifmedia_upd(struct ifnet *ifp)
1487 {
1488         struct vr_softc *sc;
1489
1490         sc = ifp->if_softc;
1491
1492         if (ifp->if_flags & IFF_UP)
1493                 vr_init(sc);
1494
1495         return(0);
1496 }
1497
1498 /*
1499  * Report current media status.
1500  */
1501 static void
1502 vr_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr)
1503 {
1504         struct vr_softc *sc;
1505         struct mii_data *mii;
1506
1507         sc = ifp->if_softc;
1508         mii = device_get_softc(sc->vr_miibus);
1509         mii_pollstat(mii);
1510         ifmr->ifm_active = mii->mii_media_active;
1511         ifmr->ifm_status = mii->mii_media_status;
1512 }
1513
1514 static int
1515 vr_ioctl(struct ifnet *ifp, u_long command, caddr_t data, struct ucred *cr)
1516 {
1517         struct vr_softc *sc = ifp->if_softc;
1518         struct ifreq *ifr = (struct ifreq *) data;
1519         struct mii_data *mii;
1520         int error = 0;
1521
1522         switch(command) {
1523         case SIOCSIFFLAGS:
1524                 if (ifp->if_flags & IFF_UP) {
1525                         vr_init(sc);
1526                 } else {
1527                         if (ifp->if_flags & IFF_RUNNING)
1528                                 vr_stop(sc);
1529                 }
1530                 error = 0;
1531                 break;
1532         case SIOCADDMULTI:
1533         case SIOCDELMULTI:
1534                 vr_setmulti(sc);
1535                 error = 0;
1536                 break;
1537         case SIOCGIFMEDIA:
1538         case SIOCSIFMEDIA:
1539                 mii = device_get_softc(sc->vr_miibus);
1540                 error = ifmedia_ioctl(ifp, ifr, &mii->mii_media, command);
1541                 break;
1542         default:
1543                 error = ether_ioctl(ifp, command, data);
1544                 break;
1545         }
1546         return(error);
1547 }
1548
1549 #ifdef DEVICE_POLLING
1550
1551 static void
1552 vr_poll(struct ifnet *ifp, enum poll_cmd cmd, int count)
1553 {
1554         struct vr_softc *sc = ifp->if_softc;
1555
1556         switch(cmd) {
1557         case POLL_REGISTER:
1558                 /* disable interrupts */
1559                 CSR_WRITE_2(sc, VR_IMR, 0x0000);
1560                 break;
1561         case POLL_DEREGISTER:
1562                 /* enable interrupts */
1563                 CSR_WRITE_2(sc, VR_IMR, VR_INTRS);
1564                 break;
1565         default:
1566                 vr_intr(sc);
1567                 break;
1568         }
1569 }
1570 #endif
1571
1572 static void
1573 vr_watchdog(struct ifnet *ifp)
1574 {
1575         struct vr_softc *sc;
1576
1577         sc = ifp->if_softc;
1578
1579         ifp->if_oerrors++;
1580         if_printf(ifp, "watchdog timeout\n");
1581
1582 #ifdef DEVICE_POLLING
1583         if (++sc->vr_wdogerrors == 1 && (ifp->if_flags & IFF_POLLING) == 0) {
1584                 if_printf(ifp, "ints don't seem to be working, "
1585                         "emergency switch to polling\n");
1586                 emergency_poll_enable("if_vr");
1587                 ether_poll_register(ifp);       /* XXX illegal */
1588         } else
1589 #endif
1590         {
1591                 vr_stop(sc);
1592                 vr_reset(sc);
1593                 vr_init(sc);
1594         }
1595
1596         if (!ifq_is_empty(&ifp->if_snd))
1597                 vr_start(ifp);
1598 }
1599
1600 /*
1601  * Stop the adapter and free any mbufs allocated to the
1602  * RX and TX lists.
1603  */
1604 static void
1605 vr_stop(struct vr_softc *sc)
1606 {
1607         int i;
1608         struct ifnet *ifp;
1609
1610         ifp = &sc->arpcom.ac_if;
1611         ifp->if_timer = 0;
1612
1613         callout_stop(&sc->vr_stat_timer);
1614
1615         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_STOP);
1616         VR_CLRBIT16(sc, VR_COMMAND, (VR_CMD_RX_ON|VR_CMD_TX_ON));
1617         CSR_WRITE_2(sc, VR_IMR, 0x0000);
1618         CSR_WRITE_4(sc, VR_TXADDR, 0x00000000);
1619         CSR_WRITE_4(sc, VR_RXADDR, 0x00000000);
1620
1621         /*
1622          * Free data in the RX lists.
1623          */
1624         for (i = 0; i < VR_RX_LIST_CNT; i++) {
1625                 if (sc->vr_cdata.vr_rx_chain[i].vr_mbuf != NULL) {
1626                         m_freem(sc->vr_cdata.vr_rx_chain[i].vr_mbuf);
1627                         sc->vr_cdata.vr_rx_chain[i].vr_mbuf = NULL;
1628                 }
1629         }
1630         bzero(&sc->vr_ldata->vr_rx_list, sizeof(sc->vr_ldata->vr_rx_list));
1631
1632         /*
1633          * Reset the TX list buffer pointers.
1634          */
1635         for (i = 0; i < VR_TX_LIST_CNT; i++)
1636                 sc->vr_cdata.vr_tx_chain[i].vr_buf = NULL;
1637
1638         bzero(&sc->vr_ldata->vr_tx_list, sizeof(sc->vr_ldata->vr_tx_list));
1639
1640         ifp->if_flags &= ~(IFF_RUNNING | IFF_OACTIVE);
1641 }
1642
1643 /*
1644  * Stop all chip I/O so that the kernel's probe routines don't
1645  * get confused by errant DMAs when rebooting.
1646  */
1647 static void
1648 vr_shutdown(device_t dev)
1649 {
1650         struct vr_softc *sc;
1651
1652         sc = device_get_softc(dev);
1653
1654         vr_stop(sc);
1655 }