Make all network interrupt service routines MPSAFE part 1/3.
[dragonfly.git] / sys / dev / netif / vr / if_vr.c
1 /*
2  * Copyright (c) 1997, 1998
3  *      Bill Paul <wpaul@ctr.columbia.edu>.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. All advertising materials mentioning features or use of this software
14  *    must display the following acknowledgement:
15  *      This product includes software developed by Bill Paul.
16  * 4. Neither the name of the author nor the names of any co-contributors
17  *    may be used to endorse or promote products derived from this software
18  *    without specific prior written permission.
19  *
20  * THIS SOFTWARE IS PROVIDED BY Bill Paul AND CONTRIBUTORS ``AS IS'' AND
21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
23  * ARE DISCLAIMED.  IN NO EVENT SHALL Bill Paul OR THE VOICES IN HIS HEAD
24  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
25  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
26  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
27  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
28  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
29  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
30  * THE POSSIBILITY OF SUCH DAMAGE.
31  *
32  * $FreeBSD: src/sys/pci/if_vr.c,v 1.26.2.13 2003/02/06 04:46:20 silby Exp $
33  * $DragonFly: src/sys/dev/netif/vr/if_vr.c,v 1.40 2005/11/28 17:13:44 dillon Exp $
34  */
35
36 /*
37  * VIA Rhine fast ethernet PCI NIC driver
38  *
39  * Supports various network adapters based on the VIA Rhine
40  * and Rhine II PCI controllers, including the D-Link DFE530TX.
41  * Datasheets are available at http://www.via.com.tw.
42  *
43  * Written by Bill Paul <wpaul@ctr.columbia.edu>
44  * Electrical Engineering Department
45  * Columbia University, New York City
46  */
47
48 /*
49  * The VIA Rhine controllers are similar in some respects to the
50  * the DEC tulip chips, except less complicated. The controller
51  * uses an MII bus and an external physical layer interface. The
52  * receiver has a one entry perfect filter and a 64-bit hash table
53  * multicast filter. Transmit and receive descriptors are similar
54  * to the tulip.
55  *
56  * The Rhine has a serious flaw in its transmit DMA mechanism:
57  * transmit buffers must be longword aligned. Unfortunately,
58  * FreeBSD doesn't guarantee that mbufs will be filled in starting
59  * at longword boundaries, so we have to do a buffer copy before
60  * transmission.
61  */
62
63 #include "opt_polling.h"
64
65 #include <sys/param.h>
66 #include <sys/systm.h>
67 #include <sys/sockio.h>
68 #include <sys/mbuf.h>
69 #include <sys/malloc.h>
70 #include <sys/kernel.h>
71 #include <sys/socket.h>
72 #include <sys/serialize.h>
73 #include <sys/thread2.h>
74
75 #include <net/if.h>
76 #include <net/ifq_var.h>
77 #include <net/if_arp.h>
78 #include <net/ethernet.h>
79 #include <net/if_dl.h>
80 #include <net/if_media.h>
81
82 #include <net/bpf.h>
83
84 #include <vm/vm.h>              /* for vtophys */
85 #include <vm/pmap.h>            /* for vtophys */
86 #include <machine/bus_pio.h>
87 #include <machine/bus_memio.h>
88 #include <machine/bus.h>
89 #include <machine/resource.h>
90 #include <sys/bus.h>
91 #include <sys/rman.h>
92
93 #include <dev/netif/mii_layer/mii.h>
94 #include <dev/netif/mii_layer/miivar.h>
95
96 #include <bus/pci/pcireg.h>
97 #include <bus/pci/pcivar.h>
98
99 #define VR_USEIOSPACE
100
101 #include <dev/netif/vr/if_vrreg.h>
102
103 /* "controller miibus0" required.  See GENERIC if you get errors here. */
104 #include "miibus_if.h"
105
106 #undef VR_USESWSHIFT
107
108 /*
109  * Various supported device vendors/types and their names.
110  */
111 static struct vr_type vr_devs[] = {
112         { VIA_VENDORID, VIA_DEVICEID_RHINE,
113                 "VIA VT3043 Rhine I 10/100BaseTX" },
114         { VIA_VENDORID, VIA_DEVICEID_RHINE_II,
115                 "VIA VT86C100A Rhine II 10/100BaseTX" },
116         { VIA_VENDORID, VIA_DEVICEID_RHINE_II_2,
117                 "VIA VT6102 Rhine II 10/100BaseTX" },
118         { VIA_VENDORID, VIA_DEVICEID_RHINE_III,
119                 "VIA VT6105 Rhine III 10/100BaseTX" },
120         { VIA_VENDORID, VIA_DEVICEID_RHINE_III_M,
121                 "VIA VT6105M Rhine III 10/100BaseTX" },
122         { DELTA_VENDORID, DELTA_DEVICEID_RHINE_II,
123                 "Delta Electronics Rhine II 10/100BaseTX" },
124         { ADDTRON_VENDORID, ADDTRON_DEVICEID_RHINE_II,
125                 "Addtron Technology Rhine II 10/100BaseTX" },
126         { 0, 0, NULL }
127 };
128
129 static int      vr_probe(device_t);
130 static int      vr_attach(device_t);
131 static int      vr_detach(device_t);
132
133 static int      vr_newbuf(struct vr_softc *, struct vr_chain_onefrag *,
134                           struct mbuf *);
135 static int      vr_encap(struct vr_softc *, int, struct mbuf * );
136
137 static void     vr_rxeof(struct vr_softc *);
138 static void     vr_rxeoc(struct vr_softc *);
139 static void     vr_txeof(struct vr_softc *);
140 static void     vr_txeoc(struct vr_softc *);
141 static void     vr_tick(void *);
142 static void     vr_intr(void *);
143 static void     vr_start(struct ifnet *);
144 static int      vr_ioctl(struct ifnet *, u_long, caddr_t, struct ucred *);
145 static void     vr_init(void *);
146 static void     vr_stop(struct vr_softc *);
147 static void     vr_watchdog(struct ifnet *);
148 static void     vr_shutdown(device_t);
149 static int      vr_ifmedia_upd(struct ifnet *);
150 static void     vr_ifmedia_sts(struct ifnet *, struct ifmediareq *);
151
152 #ifdef VR_USESWSHIFT
153 static void     vr_mii_sync(struct vr_softc *);
154 static void     vr_mii_send(struct vr_softc *, uint32_t, int);
155 #endif
156 static int      vr_mii_readreg(struct vr_softc *, struct vr_mii_frame *);
157 static int      vr_mii_writereg(struct vr_softc *, struct vr_mii_frame *);
158 static int      vr_miibus_readreg(device_t, int, int);
159 static int      vr_miibus_writereg(device_t, int, int, int);
160 static void     vr_miibus_statchg(device_t);
161
162 static void     vr_setcfg(struct vr_softc *, int);
163 static void     vr_setmulti(struct vr_softc *);
164 static void     vr_reset(struct vr_softc *);
165 static int      vr_list_rx_init(struct vr_softc *);
166 static int      vr_list_tx_init(struct vr_softc *);
167 #ifdef DEVICE_POLLING
168 static void     vr_poll(struct ifnet *ifp, enum poll_cmd cmd, int count);
169 #endif
170
171 #ifdef VR_USEIOSPACE
172 #define VR_RES                  SYS_RES_IOPORT
173 #define VR_RID                  VR_PCI_LOIO
174 #else
175 #define VR_RES                  SYS_RES_MEMORY
176 #define VR_RID                  VR_PCI_LOMEM
177 #endif
178
179 static device_method_t vr_methods[] = {
180         /* Device interface */
181         DEVMETHOD(device_probe,         vr_probe),
182         DEVMETHOD(device_attach,        vr_attach),
183         DEVMETHOD(device_detach,        vr_detach),
184         DEVMETHOD(device_shutdown,      vr_shutdown),
185
186         /* bus interface */
187         DEVMETHOD(bus_print_child,      bus_generic_print_child),
188         DEVMETHOD(bus_driver_added,     bus_generic_driver_added),
189
190         /* MII interface */
191         DEVMETHOD(miibus_readreg,       vr_miibus_readreg),
192         DEVMETHOD(miibus_writereg,      vr_miibus_writereg),
193         DEVMETHOD(miibus_statchg,       vr_miibus_statchg),
194
195         { 0, 0 }
196 };
197
198 static driver_t vr_driver = {
199         "vr",
200         vr_methods,
201         sizeof(struct vr_softc)
202 };
203
204 static devclass_t vr_devclass;
205
206 DECLARE_DUMMY_MODULE(if_vr);
207 DRIVER_MODULE(if_vr, pci, vr_driver, vr_devclass, 0, 0);
208 DRIVER_MODULE(miibus, vr, miibus_driver, miibus_devclass, 0, 0);
209
210 #define VR_SETBIT(sc, reg, x)                           \
211         CSR_WRITE_1(sc, reg,                            \
212                 CSR_READ_1(sc, reg) | (x))
213
214 #define VR_CLRBIT(sc, reg, x)                           \
215         CSR_WRITE_1(sc, reg,                            \
216                 CSR_READ_1(sc, reg) & ~(x))
217
218 #define VR_SETBIT16(sc, reg, x)                         \
219         CSR_WRITE_2(sc, reg,                            \
220                 CSR_READ_2(sc, reg) | (x))
221
222 #define VR_CLRBIT16(sc, reg, x)                         \
223         CSR_WRITE_2(sc, reg,                            \
224                 CSR_READ_2(sc, reg) & ~(x))
225
226 #define VR_SETBIT32(sc, reg, x)                         \
227         CSR_WRITE_4(sc, reg,                            \
228                 CSR_READ_4(sc, reg) | (x))
229
230 #define VR_CLRBIT32(sc, reg, x)                         \
231         CSR_WRITE_4(sc, reg,                            \
232                 CSR_READ_4(sc, reg) & ~(x))
233
234 #define SIO_SET(x)                                      \
235         CSR_WRITE_1(sc, VR_MIICMD,                      \
236                 CSR_READ_1(sc, VR_MIICMD) | (x))
237
238 #define SIO_CLR(x)                                      \
239         CSR_WRITE_1(sc, VR_MIICMD,                      \
240                 CSR_READ_1(sc, VR_MIICMD) & ~(x))
241
242 #ifdef VR_USESWSHIFT
243 /*
244  * Sync the PHYs by setting data bit and strobing the clock 32 times.
245  */
246 static void
247 vr_mii_sync(struct vr_softc *sc)
248 {
249         int i;
250
251         SIO_SET(VR_MIICMD_DIR|VR_MIICMD_DATAIN);
252
253         for (i = 0; i < 32; i++) {
254                 SIO_SET(VR_MIICMD_CLK);
255                 DELAY(1);
256                 SIO_CLR(VR_MIICMD_CLK);
257                 DELAY(1);
258         }
259 }
260
261 /*
262  * Clock a series of bits through the MII.
263  */
264 static void
265 vr_mii_send(struct vr_softc *sc, uint32_t bits, int cnt)
266 {
267         int i;
268
269         SIO_CLR(VR_MIICMD_CLK);
270
271         for (i = (0x1 << (cnt - 1)); i; i >>= 1) {
272                 if (bits & i)
273                         SIO_SET(VR_MIICMD_DATAIN);
274                 else
275                         SIO_CLR(VR_MIICMD_DATAIN);
276                 DELAY(1);
277                 SIO_CLR(VR_MIICMD_CLK);
278                 DELAY(1);
279                 SIO_SET(VR_MIICMD_CLK);
280         }
281 }
282 #endif
283
284 /*
285  * Read an PHY register through the MII.
286  */
287 static int
288 vr_mii_readreg(struct vr_softc *sc, struct vr_mii_frame *frame)
289 #ifdef VR_USESWSHIFT    
290 {
291         int i, ack;
292
293         /* Set up frame for RX. */
294         frame->mii_stdelim = VR_MII_STARTDELIM;
295         frame->mii_opcode = VR_MII_READOP;
296         frame->mii_turnaround = 0;
297         frame->mii_data = 0;
298         
299         CSR_WRITE_1(sc, VR_MIICMD, 0);
300         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_DIRECTPGM);
301
302         /* Turn on data xmit. */
303         SIO_SET(VR_MIICMD_DIR);
304
305         vr_mii_sync(sc);
306
307         /* Send command/address info. */
308         vr_mii_send(sc, frame->mii_stdelim, 2);
309         vr_mii_send(sc, frame->mii_opcode, 2);
310         vr_mii_send(sc, frame->mii_phyaddr, 5);
311         vr_mii_send(sc, frame->mii_regaddr, 5);
312
313         /* Idle bit. */
314         SIO_CLR((VR_MIICMD_CLK|VR_MIICMD_DATAIN));
315         DELAY(1);
316         SIO_SET(VR_MIICMD_CLK);
317         DELAY(1);
318
319         /* Turn off xmit. */
320         SIO_CLR(VR_MIICMD_DIR);
321
322         /* Check for ack */
323         SIO_CLR(VR_MIICMD_CLK);
324         DELAY(1);
325         ack = CSR_READ_4(sc, VR_MIICMD) & VR_MIICMD_DATAOUT;
326         SIO_SET(VR_MIICMD_CLK);
327         DELAY(1);
328
329         /*
330          * Now try reading data bits. If the ack failed, we still
331          * need to clock through 16 cycles to keep the PHY(s) in sync.
332          */
333         if (ack) {
334                 for(i = 0; i < 16; i++) {
335                         SIO_CLR(VR_MIICMD_CLK);
336                         DELAY(1);
337                         SIO_SET(VR_MIICMD_CLK);
338                         DELAY(1);
339                 }
340                 goto fail;
341         }
342
343         for (i = 0x8000; i; i >>= 1) {
344                 SIO_CLR(VR_MIICMD_CLK);
345                 DELAY(1);
346                 if (!ack) {
347                         if (CSR_READ_4(sc, VR_MIICMD) & VR_MIICMD_DATAOUT)
348                                 frame->mii_data |= i;
349                         DELAY(1);
350                 }
351                 SIO_SET(VR_MIICMD_CLK);
352                 DELAY(1);
353         }
354
355 fail:
356         SIO_CLR(VR_MIICMD_CLK);
357         DELAY(1);
358         SIO_SET(VR_MIICMD_CLK);
359         DELAY(1);
360
361         if (ack)
362                 return(1);
363         return(0);
364 }
365 #else
366 {
367         int i;
368
369         /* Set the PHY address. */
370         CSR_WRITE_1(sc, VR_PHYADDR, (CSR_READ_1(sc, VR_PHYADDR)& 0xe0)|
371             frame->mii_phyaddr);
372
373         /* Set the register address. */
374         CSR_WRITE_1(sc, VR_MIIADDR, frame->mii_regaddr);
375         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_READ_ENB);
376         
377         for (i = 0; i < 10000; i++) {
378                 if ((CSR_READ_1(sc, VR_MIICMD) & VR_MIICMD_READ_ENB) == 0)
379                         break;
380                 DELAY(1);
381         }
382         frame->mii_data = CSR_READ_2(sc, VR_MIIDATA);
383
384         return(0);
385 }
386 #endif
387
388
389 /*
390  * Write to a PHY register through the MII.
391  */
392 static int
393 vr_mii_writereg(struct vr_softc *sc, struct vr_mii_frame *frame)
394 #ifdef VR_USESWSHIFT    
395 {
396         CSR_WRITE_1(sc, VR_MIICMD, 0);
397         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_DIRECTPGM);
398
399         /* Set up frame for TX. */
400         frame->mii_stdelim = VR_MII_STARTDELIM;
401         frame->mii_opcode = VR_MII_WRITEOP;
402         frame->mii_turnaround = VR_MII_TURNAROUND;
403         
404         /* Turn on data output. */
405         SIO_SET(VR_MIICMD_DIR);
406
407         vr_mii_sync(sc);
408
409         vr_mii_send(sc, frame->mii_stdelim, 2);
410         vr_mii_send(sc, frame->mii_opcode, 2);
411         vr_mii_send(sc, frame->mii_phyaddr, 5);
412         vr_mii_send(sc, frame->mii_regaddr, 5);
413         vr_mii_send(sc, frame->mii_turnaround, 2);
414         vr_mii_send(sc, frame->mii_data, 16);
415
416         /* Idle bit. */
417         SIO_SET(VR_MIICMD_CLK);
418         DELAY(1);
419         SIO_CLR(VR_MIICMD_CLK);
420         DELAY(1);
421
422         /* Turn off xmit. */
423         SIO_CLR(VR_MIICMD_DIR);
424
425         return(0);
426 }
427 #else
428 {
429         int i;
430
431         /* Set the PHY-adress */
432         CSR_WRITE_1(sc, VR_PHYADDR, (CSR_READ_1(sc, VR_PHYADDR)& 0xe0)|
433                     frame->mii_phyaddr);
434
435         /* Set the register address and data to write. */
436         CSR_WRITE_1(sc, VR_MIIADDR, frame->mii_regaddr);
437         CSR_WRITE_2(sc, VR_MIIDATA, frame->mii_data);
438
439         VR_SETBIT(sc, VR_MIICMD, VR_MIICMD_WRITE_ENB);
440
441         for (i = 0; i < 10000; i++) {
442                 if ((CSR_READ_1(sc, VR_MIICMD) & VR_MIICMD_WRITE_ENB) == 0)
443                         break;
444                 DELAY(1);
445         }
446         return(0);
447 }
448 #endif
449
450 static int
451 vr_miibus_readreg(device_t dev, int phy, int reg)
452 {
453         struct vr_mii_frame frame;
454         struct vr_softc *sc;
455
456         sc = device_get_softc(dev);
457
458         switch (sc->vr_revid) {
459         case REV_ID_VT6102_APOLLO:
460                 if (phy != 1)
461                         return(0);
462                 break;
463         default:
464                 break;
465         }
466
467         bzero(&frame, sizeof(frame));
468
469         frame.mii_phyaddr = phy;
470         frame.mii_regaddr = reg;
471         vr_mii_readreg(sc, &frame);
472
473         return(frame.mii_data);
474 }
475
476 static int
477 vr_miibus_writereg(device_t dev, int phy, int reg, int data)
478 {
479         struct vr_mii_frame frame;
480         struct vr_softc *sc;
481
482         sc = device_get_softc(dev);
483
484         switch (sc->vr_revid) {
485         case REV_ID_VT6102_APOLLO:
486                 if (phy != 1)
487                         return 0;
488                 break;
489         default:
490                 break;
491         }
492
493         bzero(&frame, sizeof(frame));
494
495         frame.mii_phyaddr = phy;
496         frame.mii_regaddr = reg;
497         frame.mii_data = data;
498
499         vr_mii_writereg(sc, &frame);
500
501         return(0);
502 }
503
504 static void
505 vr_miibus_statchg(device_t dev)
506 {
507         struct mii_data *mii;
508         struct vr_softc *sc;
509
510         sc = device_get_softc(dev);
511         mii = device_get_softc(sc->vr_miibus);
512         vr_setcfg(sc, mii->mii_media_active);
513 }
514
515 /*
516  * Program the 64-bit multicast hash filter.
517  */
518 static void
519 vr_setmulti(struct vr_softc *sc)
520 {
521         struct ifnet *ifp;
522         uint32_t hashes[2] = { 0, 0 };
523         struct ifmultiaddr *ifma;
524         uint8_t rxfilt;
525         int mcnt = 0;
526
527         ifp = &sc->arpcom.ac_if;
528
529         rxfilt = CSR_READ_1(sc, VR_RXCFG);
530
531         if (ifp->if_flags & IFF_ALLMULTI || ifp->if_flags & IFF_PROMISC) {
532                 rxfilt |= VR_RXCFG_RX_MULTI;
533                 CSR_WRITE_1(sc, VR_RXCFG, rxfilt);
534                 CSR_WRITE_4(sc, VR_MAR0, 0xFFFFFFFF);
535                 CSR_WRITE_4(sc, VR_MAR1, 0xFFFFFFFF);
536                 return;
537         }
538
539         /* First, zero out all the existing hash bits. */
540         CSR_WRITE_4(sc, VR_MAR0, 0);
541         CSR_WRITE_4(sc, VR_MAR1, 0);
542
543         /* Now program new ones. */
544         LIST_FOREACH(ifma, &ifp->if_multiaddrs, ifma_link) {
545                 int h;
546
547                 if (ifma->ifma_addr->sa_family != AF_LINK)
548                         continue;
549
550                 /* use the lower 6 bits */
551                 h = (ether_crc32_be(
552                         LLADDR((struct sockaddr_dl *)ifma->ifma_addr),
553                         ETHER_ADDR_LEN) >> 26) & 0x0000003F;
554                 if (h < 32)
555                         hashes[0] |= (1 << h);
556                 else
557                         hashes[1] |= (1 << (h - 32));
558                 mcnt++;
559         }
560
561         if (mcnt)
562                 rxfilt |= VR_RXCFG_RX_MULTI;
563         else
564                 rxfilt &= ~VR_RXCFG_RX_MULTI;
565
566         CSR_WRITE_4(sc, VR_MAR0, hashes[0]);
567         CSR_WRITE_4(sc, VR_MAR1, hashes[1]);
568         CSR_WRITE_1(sc, VR_RXCFG, rxfilt);
569 }
570
571 /*
572  * In order to fiddle with the
573  * 'full-duplex' and '100Mbps' bits in the netconfig register, we
574  * first have to put the transmit and/or receive logic in the idle state.
575  */
576 static void
577 vr_setcfg(struct vr_softc *sc, int media)
578 {
579         int restart = 0;
580
581         if (CSR_READ_2(sc, VR_COMMAND) & (VR_CMD_TX_ON|VR_CMD_RX_ON)) {
582                 restart = 1;
583                 VR_CLRBIT16(sc, VR_COMMAND, (VR_CMD_TX_ON|VR_CMD_RX_ON));
584         }
585
586         if ((media & IFM_GMASK) == IFM_FDX)
587                 VR_SETBIT16(sc, VR_COMMAND, VR_CMD_FULLDUPLEX);
588         else
589                 VR_CLRBIT16(sc, VR_COMMAND, VR_CMD_FULLDUPLEX);
590
591         if (restart)
592                 VR_SETBIT16(sc, VR_COMMAND, VR_CMD_TX_ON|VR_CMD_RX_ON);
593 }
594
595 static void
596 vr_reset(struct vr_softc *sc)
597 {
598         int i;
599
600         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_RESET);
601
602         for (i = 0; i < VR_TIMEOUT; i++) {
603                 DELAY(10);
604                 if (!(CSR_READ_2(sc, VR_COMMAND) & VR_CMD_RESET))
605                         break;
606         }
607         if (i == VR_TIMEOUT) {
608                 struct ifnet *ifp = &sc->arpcom.ac_if;
609
610                 if (sc->vr_revid < REV_ID_VT3065_A) {
611                         if_printf(ifp, "reset never completed!\n");
612                 } else {
613                         /* Use newer force reset command */
614                         if_printf(ifp, "Using force reset command.\n");
615                         VR_SETBIT(sc, VR_MISC_CR1, VR_MISCCR1_FORSRST);
616                 }
617         }
618
619         /* Wait a little while for the chip to get its brains in order. */
620         DELAY(1000);
621 }
622
623 /*
624  * Probe for a VIA Rhine chip. Check the PCI vendor and device
625  * IDs against our list and return a device name if we find a match.
626  */
627 static int
628 vr_probe(device_t dev)
629 {
630         struct vr_type *t;
631         uint16_t vid, did;
632
633         vid = pci_get_vendor(dev);
634         did = pci_get_device(dev);
635
636         for (t = vr_devs; t->vr_name != NULL; ++t) {
637                 if (vid == t->vr_vid && did == t->vr_did) {
638                         device_set_desc(dev, t->vr_name);
639                         return(0);
640                 }
641         }
642
643         return(ENXIO);
644 }
645
646 /*
647  * Attach the interface. Allocate softc structures, do ifmedia
648  * setup and ethernet/BPF attach.
649  */
650 static int
651 vr_attach(device_t dev)
652 {
653         int i;
654         uint8_t eaddr[ETHER_ADDR_LEN];
655         struct vr_softc *sc;
656         struct ifnet *ifp;
657         int error = 0, rid;
658
659         sc = device_get_softc(dev);
660         callout_init(&sc->vr_stat_timer);
661
662         /*
663          * Handle power management nonsense.
664          */
665         if (pci_get_powerstate(dev) != PCI_POWERSTATE_D0) {
666                 uint32_t iobase, membase, irq;
667
668                 /* Save important PCI config data. */
669                 iobase = pci_read_config(dev, VR_PCI_LOIO, 4);
670                 membase = pci_read_config(dev, VR_PCI_LOMEM, 4);
671                 irq = pci_read_config(dev, VR_PCI_INTLINE, 4);
672
673                 /* Reset the power state. */
674                 device_printf(dev, "chip is in D%d power mode "
675                 "-- setting to D0\n", pci_get_powerstate(dev));
676                 pci_set_powerstate(dev, PCI_POWERSTATE_D0);
677
678                 /* Restore PCI config data. */
679                 pci_write_config(dev, VR_PCI_LOIO, iobase, 4);
680                 pci_write_config(dev, VR_PCI_LOMEM, membase, 4);
681                 pci_write_config(dev, VR_PCI_INTLINE, irq, 4);
682         }
683
684         pci_enable_busmaster(dev);
685
686         sc->vr_revid = pci_get_revid(dev);
687
688         rid = VR_RID;
689         sc->vr_res = bus_alloc_resource_any(dev, VR_RES, &rid, RF_ACTIVE);
690
691         if (sc->vr_res == NULL) {
692                 device_printf(dev, "couldn't map ports/memory\n");
693                 return ENXIO;
694         }
695
696         sc->vr_btag = rman_get_bustag(sc->vr_res);
697         sc->vr_bhandle = rman_get_bushandle(sc->vr_res);
698
699         /* Allocate interrupt */
700         rid = 0;
701         sc->vr_irq = bus_alloc_resource_any(dev, SYS_RES_IRQ, &rid,
702                                             RF_SHAREABLE | RF_ACTIVE);
703
704         if (sc->vr_irq == NULL) {
705                 device_printf(dev, "couldn't map interrupt\n");
706                 error = ENXIO;
707                 goto fail;
708         }
709
710         /*
711          * Windows may put the chip in suspend mode when it
712          * shuts down. Be sure to kick it in the head to wake it
713          * up again.
714          */
715         VR_CLRBIT(sc, VR_STICKHW, (VR_STICKHW_DS0|VR_STICKHW_DS1));
716
717         ifp = &sc->arpcom.ac_if;
718         if_initname(ifp, device_get_name(dev), device_get_unit(dev));
719
720         /* Reset the adapter. */
721         vr_reset(sc);
722
723         /*
724          * Turn on bit2 (MIION) in PCI configuration register 0x53 during
725          * initialization and disable AUTOPOLL.
726          */
727         pci_write_config(dev, VR_PCI_MODE,
728             pci_read_config(dev, VR_PCI_MODE, 4) | (VR_MODE3_MIION << 24), 4);
729         VR_CLRBIT(sc, VR_MIICMD, VR_MIICMD_AUTOPOLL);
730
731         /*
732          * Get station address. The way the Rhine chips work,
733          * you're not allowed to directly access the EEPROM once
734          * they've been programmed a special way. Consequently,
735          * we need to read the node address from the PAR0 and PAR1
736          * registers.
737          */
738         VR_SETBIT(sc, VR_EECSR, VR_EECSR_LOAD);
739         DELAY(200);
740         for (i = 0; i < ETHER_ADDR_LEN; i++)
741                 eaddr[i] = CSR_READ_1(sc, VR_PAR0 + i);
742
743         sc->vr_ldata = contigmalloc(sizeof(struct vr_list_data), M_DEVBUF,
744             M_WAITOK | M_ZERO, 0, 0xffffffff, PAGE_SIZE, 0);
745
746         if (sc->vr_ldata == NULL) {
747                 device_printf(dev, "no memory for list buffers!\n");
748                 error = ENXIO;
749                 goto fail;
750         }
751
752         /* Initialize TX buffer */
753         sc->vr_cdata.vr_tx_buf = contigmalloc(VR_TX_BUF_SIZE, M_DEVBUF,
754             M_WAITOK, 0, 0xffffffff, PAGE_SIZE, 0);
755         if (sc->vr_cdata.vr_tx_buf == NULL) {
756                 device_printf(dev, "can't allocate tx buffer!\n");
757                 error = ENXIO;
758                 goto fail;
759         }
760
761         /* Set various TX indexes to invalid value */
762         sc->vr_cdata.vr_tx_free_idx = -1;
763         sc->vr_cdata.vr_tx_tail_idx = -1;
764         sc->vr_cdata.vr_tx_head_idx = -1;
765
766
767         ifp->if_softc = sc;
768         ifp->if_mtu = ETHERMTU;
769         ifp->if_flags = IFF_BROADCAST | IFF_SIMPLEX | IFF_MULTICAST;
770         ifp->if_ioctl = vr_ioctl;
771         ifp->if_start = vr_start;
772 #ifdef DEVICE_POLLING
773         ifp->if_poll = vr_poll;
774 #endif
775         ifp->if_watchdog = vr_watchdog;
776         ifp->if_init = vr_init;
777         ifp->if_baudrate = 10000000;
778         ifq_set_maxlen(&ifp->if_snd, VR_TX_LIST_CNT - 1);
779         ifq_set_ready(&ifp->if_snd);
780
781         /*
782          * Do MII setup.
783          */
784         if (mii_phy_probe(dev, &sc->vr_miibus,
785             vr_ifmedia_upd, vr_ifmedia_sts)) {
786                 if_printf(ifp, "MII without any phy!\n");
787                 error = ENXIO;
788                 goto fail;
789         }
790
791         /* Call MI attach routine. */
792         ether_ifattach(ifp, eaddr, NULL);
793
794         error = bus_setup_intr(dev, sc->vr_irq, INTR_NETSAFE,
795                                vr_intr, sc, &sc->vr_intrhand, 
796                                ifp->if_serializer);
797
798         if (error) {
799                 device_printf(dev, "couldn't set up irq\n");
800                 ether_ifdetach(ifp);
801                 goto fail;
802         }
803         return 0;
804
805 fail:
806         vr_detach(dev);
807         return(error);
808 }
809
810 static int
811 vr_detach(device_t dev)
812 {
813         struct vr_softc *sc = device_get_softc(dev);
814         struct ifnet *ifp = &sc->arpcom.ac_if;
815
816         lwkt_serialize_enter(ifp->if_serializer);
817
818         if (device_is_attached(dev)) {
819                 vr_stop(sc);
820                 ether_ifdetach(ifp);
821         }
822         if (sc->vr_miibus != NULL)
823                 device_delete_child(dev, sc->vr_miibus);
824         bus_generic_detach(dev);
825
826         if (sc->vr_intrhand != NULL)
827                 bus_teardown_intr(dev, sc->vr_irq, sc->vr_intrhand);
828
829         if (sc->vr_irq != NULL)
830                 bus_release_resource(dev, SYS_RES_IRQ, 0, sc->vr_irq);
831         if (sc->vr_res != NULL)
832                 bus_release_resource(dev, VR_RES, VR_RID, sc->vr_res);
833         if (sc->vr_ldata != NULL)
834                 contigfree(sc->vr_ldata, sizeof(struct vr_list_data), M_DEVBUF);
835         if (sc->vr_cdata.vr_tx_buf != NULL)
836                 contigfree(sc->vr_cdata.vr_tx_buf, VR_TX_BUF_SIZE, M_DEVBUF);
837
838         lwkt_serialize_exit(ifp->if_serializer);
839         return(0);
840 }
841
842 /*
843  * Initialize the transmit descriptors.
844  */
845 static int
846 vr_list_tx_init(struct vr_softc *sc)
847 {
848         struct vr_chain_data *cd;
849         struct vr_list_data *ld;
850         struct vr_chain *tx_chain;
851         int i;
852
853         cd = &sc->vr_cdata;
854         ld = sc->vr_ldata;
855         tx_chain = cd->vr_tx_chain;
856
857         for (i = 0; i < VR_TX_LIST_CNT; i++) {
858                 tx_chain[i].vr_ptr = &ld->vr_tx_list[i];
859                 if (i == (VR_TX_LIST_CNT - 1))
860                         tx_chain[i].vr_next_idx = 0;
861                 else
862                         tx_chain[i].vr_next_idx = i + 1;
863         }
864
865         for (i = 0; i < VR_TX_LIST_CNT; ++i) {
866                 void *tx_buf;
867                 int next_idx;
868
869                 tx_buf = VR_TX_BUF(sc, i);
870                 next_idx = tx_chain[i].vr_next_idx;
871
872                 tx_chain[i].vr_next_desc_paddr =
873                         vtophys(tx_chain[next_idx].vr_ptr);
874                 tx_chain[i].vr_buf_paddr = vtophys(tx_buf);
875         }
876
877         cd->vr_tx_free_idx = 0;
878         cd->vr_tx_tail_idx = cd->vr_tx_head_idx = -1;
879
880         return 0;
881 }
882
883
884 /*
885  * Initialize the RX descriptors and allocate mbufs for them. Note that
886  * we arrange the descriptors in a closed ring, so that the last descriptor
887  * points back to the first.
888  */
889 static int
890 vr_list_rx_init(struct vr_softc *sc)
891 {
892         struct vr_chain_data *cd;
893         struct vr_list_data *ld;
894         int i, nexti;
895
896         cd = &sc->vr_cdata;
897         ld = sc->vr_ldata;
898
899         for (i = 0; i < VR_RX_LIST_CNT; i++) {
900                 cd->vr_rx_chain[i].vr_ptr = (struct vr_desc *)&ld->vr_rx_list[i];
901                 if (vr_newbuf(sc, &cd->vr_rx_chain[i], NULL) == ENOBUFS)
902                         return(ENOBUFS);
903                 if (i == (VR_RX_LIST_CNT - 1))
904                         nexti = 0;
905                 else
906                         nexti = i + 1;
907                 cd->vr_rx_chain[i].vr_nextdesc = &cd->vr_rx_chain[nexti];
908                 ld->vr_rx_list[i].vr_next = vtophys(&ld->vr_rx_list[nexti]);
909         }
910
911         cd->vr_rx_head = &cd->vr_rx_chain[0];
912
913         return(0);
914 }
915
916 /*
917  * Initialize an RX descriptor and attach an MBUF cluster.
918  * Note: the length fields are only 11 bits wide, which means the
919  * largest size we can specify is 2047. This is important because
920  * MCLBYTES is 2048, so we have to subtract one otherwise we'll
921  * overflow the field and make a mess.
922  */
923 static int
924 vr_newbuf(struct vr_softc *sc, struct vr_chain_onefrag *c, struct mbuf *m)
925 {
926         struct mbuf *m_new = NULL;
927
928         if (m == NULL) {
929                 m_new = m_getcl(MB_DONTWAIT, MT_DATA, M_PKTHDR);
930                 if (m_new == NULL)
931                         return (ENOBUFS);
932                 m_new->m_len = m_new->m_pkthdr.len = MCLBYTES;
933         } else {
934                 m_new = m;
935                 m_new->m_len = m_new->m_pkthdr.len = MCLBYTES;
936                 m_new->m_data = m_new->m_ext.ext_buf;
937         }
938
939         m_adj(m_new, sizeof(uint64_t));
940
941         c->vr_mbuf = m_new;
942         c->vr_ptr->vr_status = VR_RXSTAT;
943         c->vr_ptr->vr_data = vtophys(mtod(m_new, caddr_t));
944         c->vr_ptr->vr_ctl = VR_RXCTL | VR_RXLEN;
945
946         return(0);
947 }
948
949 /*
950  * A frame has been uploaded: pass the resulting mbuf chain up to
951  * the higher level protocols.
952  */
953 static void
954 vr_rxeof(struct vr_softc *sc)
955 {
956         struct mbuf *m;
957         struct ifnet *ifp;
958         struct vr_chain_onefrag *cur_rx;
959         int total_len = 0;
960         uint32_t rxstat;
961
962         ifp = &sc->arpcom.ac_if;
963
964         while(!((rxstat = sc->vr_cdata.vr_rx_head->vr_ptr->vr_status) &
965                                                         VR_RXSTAT_OWN)) {
966                 struct mbuf *m0 = NULL;
967
968                 cur_rx = sc->vr_cdata.vr_rx_head;
969                 sc->vr_cdata.vr_rx_head = cur_rx->vr_nextdesc;
970                 m = cur_rx->vr_mbuf;
971
972                 /*
973                  * If an error occurs, update stats, clear the
974                  * status word and leave the mbuf cluster in place:
975                  * it should simply get re-used next time this descriptor
976                  * comes up in the ring.
977                  */
978                 if (rxstat & VR_RXSTAT_RXERR) {
979                         ifp->if_ierrors++;
980                         if_printf(ifp, "rx error (%02x):", rxstat & 0x000000ff);
981                         if (rxstat & VR_RXSTAT_CRCERR)
982                                 printf(" crc error");
983                         if (rxstat & VR_RXSTAT_FRAMEALIGNERR)
984                                 printf(" frame alignment error\n");
985                         if (rxstat & VR_RXSTAT_FIFOOFLOW)
986                                 printf(" FIFO overflow");
987                         if (rxstat & VR_RXSTAT_GIANT)
988                                 printf(" received giant packet");
989                         if (rxstat & VR_RXSTAT_RUNT)
990                                 printf(" received runt packet");
991                         if (rxstat & VR_RXSTAT_BUSERR)
992                                 printf(" system bus error");
993                         if (rxstat & VR_RXSTAT_BUFFERR)
994                                 printf("rx buffer error");
995                         printf("\n");
996                         vr_newbuf(sc, cur_rx, m);
997                         continue;
998                 }
999
1000                 /* No errors; receive the packet. */    
1001                 total_len = VR_RXBYTES(cur_rx->vr_ptr->vr_status);
1002
1003                 /*
1004                  * XXX The VIA Rhine chip includes the CRC with every
1005                  * received frame, and there's no way to turn this
1006                  * behavior off (at least, I can't find anything in
1007                  * the manual that explains how to do it) so we have
1008                  * to trim off the CRC manually.
1009                  */
1010                 total_len -= ETHER_CRC_LEN;
1011
1012                 m0 = m_devget(mtod(m, char *) - ETHER_ALIGN,
1013                     total_len + ETHER_ALIGN, 0, ifp, NULL);
1014                 vr_newbuf(sc, cur_rx, m);
1015                 if (m0 == NULL) {
1016                         ifp->if_ierrors++;
1017                         continue;
1018                 }
1019                 m_adj(m0, ETHER_ALIGN);
1020                 m = m0;
1021
1022                 ifp->if_ipackets++;
1023                 ifp->if_input(ifp, m);
1024         }
1025 }
1026
1027 static void
1028 vr_rxeoc(struct vr_softc *sc)
1029 {
1030         struct ifnet *ifp;
1031         int i;
1032
1033         ifp = &sc->arpcom.ac_if;
1034
1035         ifp->if_ierrors++;
1036
1037         VR_CLRBIT16(sc, VR_COMMAND, VR_CMD_RX_ON);      
1038         DELAY(10000);
1039
1040         /* Wait for receiver to stop */
1041         for (i = 0x400;
1042              i && (CSR_READ_2(sc, VR_COMMAND) & VR_CMD_RX_ON);
1043              i--)
1044                 ;       /* Wait for receiver to stop */
1045
1046         if (i == 0) {
1047                 if_printf(ifp, "rx shutdown error!\n");
1048                 sc->vr_flags |= VR_F_RESTART;
1049                 return;
1050         }
1051
1052         vr_rxeof(sc);
1053
1054         CSR_WRITE_4(sc, VR_RXADDR, vtophys(sc->vr_cdata.vr_rx_head->vr_ptr));
1055         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_RX_ON);
1056         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_RX_GO);
1057 }
1058
1059 /*
1060  * A frame was downloaded to the chip. It's safe for us to clean up
1061  * the list buffers.
1062  */
1063 static void
1064 vr_txeof(struct vr_softc *sc)
1065 {
1066         struct vr_chain_data *cd;
1067         struct vr_chain *tx_chain;
1068         struct ifnet *ifp;
1069
1070         ifp = &sc->arpcom.ac_if;
1071         cd = &sc->vr_cdata;
1072
1073         /* Reset the timeout timer; if_txeoc will clear it. */
1074         ifp->if_timer = 5;
1075
1076         /* Sanity check. */
1077         if (cd->vr_tx_head_idx == -1)
1078                 return;
1079
1080         tx_chain = cd->vr_tx_chain;
1081
1082         /*
1083          * Go through our tx list and free mbufs for those
1084          * frames that have been transmitted.
1085          */
1086         while(tx_chain[cd->vr_tx_head_idx].vr_buf != NULL) {
1087                 struct vr_chain *cur_tx;
1088                 uint32_t txstat;
1089                 int i;
1090
1091                 cur_tx = &tx_chain[cd->vr_tx_head_idx];
1092                 txstat = cur_tx->vr_ptr->vr_status;
1093
1094                 if ((txstat & VR_TXSTAT_ABRT) ||
1095                     (txstat & VR_TXSTAT_UDF)) {
1096                         for (i = 0x400;
1097                              i && (CSR_READ_2(sc, VR_COMMAND) & VR_CMD_TX_ON);
1098                              i--)
1099                                 ;       /* Wait for chip to shutdown */
1100                         if (i == 0) {
1101                                 if_printf(ifp, "tx shutdown timeout\n");
1102                                 sc->vr_flags |= VR_F_RESTART;
1103                                 break;
1104                         }
1105                         VR_TXOWN(cur_tx) = VR_TXSTAT_OWN;
1106                         CSR_WRITE_4(sc, VR_TXADDR, vtophys(cur_tx->vr_ptr));
1107                         break;
1108                 }
1109
1110                 if (txstat & VR_TXSTAT_OWN)
1111                         break;
1112
1113                 if (txstat & VR_TXSTAT_ERRSUM) {
1114                         ifp->if_oerrors++;
1115                         if (txstat & VR_TXSTAT_DEFER)
1116                                 ifp->if_collisions++;
1117                         if (txstat & VR_TXSTAT_LATECOLL)
1118                                 ifp->if_collisions++;
1119                 }
1120
1121                 ifp->if_collisions += (txstat & VR_TXSTAT_COLLCNT) >> 3;
1122
1123                 ifp->if_opackets++;
1124                 cur_tx->vr_buf = NULL;
1125
1126                 if (cd->vr_tx_head_idx == cd->vr_tx_tail_idx) {
1127                         cd->vr_tx_head_idx = -1;
1128                         cd->vr_tx_tail_idx = -1;
1129                         break;
1130                 }
1131
1132                 cd->vr_tx_head_idx = cur_tx->vr_next_idx;
1133         }
1134 }
1135
1136 /*
1137  * TX 'end of channel' interrupt handler.
1138  */
1139 static void
1140 vr_txeoc(struct vr_softc *sc)
1141 {
1142         struct ifnet *ifp;
1143
1144         ifp = &sc->arpcom.ac_if;
1145
1146         if (sc->vr_cdata.vr_tx_head_idx == -1) {
1147                 ifp->if_flags &= ~IFF_OACTIVE;
1148                 sc->vr_cdata.vr_tx_tail_idx = -1;
1149                 ifp->if_timer = 0;
1150         }
1151 }
1152
1153 static void
1154 vr_tick(void *xsc)
1155 {
1156         struct vr_softc *sc = xsc;
1157         struct ifnet *ifp = &sc->arpcom.ac_if;
1158         struct mii_data *mii;
1159
1160         lwkt_serialize_enter(ifp->if_serializer);
1161
1162         if (sc->vr_flags & VR_F_RESTART) {
1163                 if_printf(&sc->arpcom.ac_if, "restarting\n");
1164                 vr_stop(sc);
1165                 vr_reset(sc);
1166                 vr_init(sc);
1167                 sc->vr_flags &= ~VR_F_RESTART;
1168         }
1169
1170         mii = device_get_softc(sc->vr_miibus);
1171         mii_tick(mii);
1172
1173         callout_reset(&sc->vr_stat_timer, hz, vr_tick, sc);
1174
1175         lwkt_serialize_exit(ifp->if_serializer);
1176 }
1177
1178 static void
1179 vr_intr(void *arg)
1180 {
1181         struct vr_softc *sc;
1182         struct ifnet *ifp;
1183         uint16_t status;
1184
1185         sc = arg;
1186         ifp = &sc->arpcom.ac_if;
1187
1188         /* Supress unwanted interrupts. */
1189         if (!(ifp->if_flags & IFF_UP)) {
1190                 vr_stop(sc);
1191                 return;
1192         }
1193
1194         /* Disable interrupts. */
1195         if ((ifp->if_flags & IFF_POLLING) == 0)
1196                 CSR_WRITE_2(sc, VR_IMR, 0x0000);
1197
1198         for (;;) {
1199                 status = CSR_READ_2(sc, VR_ISR);
1200                 if (status)
1201                         CSR_WRITE_2(sc, VR_ISR, status);
1202
1203                 if ((status & VR_INTRS) == 0)
1204                         break;
1205
1206                 if (status & VR_ISR_RX_OK)
1207                         vr_rxeof(sc);
1208
1209                 if (status & VR_ISR_RX_DROPPED) {
1210                         if_printf(ifp, "rx packet lost\n");
1211                         ifp->if_ierrors++;
1212                         }
1213
1214                 if ((status & VR_ISR_RX_ERR) || (status & VR_ISR_RX_NOBUF) ||
1215                     (status & VR_ISR_RX_NOBUF) || (status & VR_ISR_RX_OFLOW)) {
1216                         if_printf(ifp, "receive error (%04x)", status);
1217                         if (status & VR_ISR_RX_NOBUF)
1218                                 printf(" no buffers");
1219                         if (status & VR_ISR_RX_OFLOW)
1220                                 printf(" overflow");
1221                         if (status & VR_ISR_RX_DROPPED)
1222                                 printf(" packet lost");
1223                         printf("\n");
1224                         vr_rxeoc(sc);
1225                 }
1226
1227                 if ((status & VR_ISR_BUSERR) || (status & VR_ISR_TX_UNDERRUN)) {
1228                         vr_reset(sc);
1229                         vr_init(sc);
1230                         break;
1231                 }
1232
1233                 if ((status & VR_ISR_TX_OK) || (status & VR_ISR_TX_ABRT) ||
1234                     (status & VR_ISR_TX_ABRT2) || (status & VR_ISR_UDFI)) {
1235                         vr_txeof(sc);
1236                         if ((status & VR_ISR_UDFI) ||
1237                             (status & VR_ISR_TX_ABRT2) ||
1238                             (status & VR_ISR_TX_ABRT)) {
1239                                 ifp->if_oerrors++;
1240                                 if (sc->vr_cdata.vr_tx_head_idx != -1) {
1241                                         VR_SETBIT16(sc, VR_COMMAND,
1242                                                     VR_CMD_TX_ON);
1243                                         VR_SETBIT16(sc, VR_COMMAND,
1244                                                     VR_CMD_TX_GO);
1245                                 }
1246                         } else {
1247                                 vr_txeoc(sc);
1248                         }
1249                 }
1250
1251         }
1252
1253         /* Re-enable interrupts. */
1254         if ((ifp->if_flags & IFF_POLLING) == 0)
1255                 CSR_WRITE_2(sc, VR_IMR, VR_INTRS);
1256
1257         if (!ifq_is_empty(&ifp->if_snd))
1258                 vr_start(ifp);
1259 }
1260
1261 /*
1262  * Encapsulate an mbuf chain in a descriptor by coupling the mbuf data
1263  * pointers to the fragment pointers.
1264  */
1265 static int
1266 vr_encap(struct vr_softc *sc, int chain_idx, struct mbuf *m_head)
1267 {
1268         struct vr_chain *c;
1269         struct vr_desc *f;
1270         caddr_t tx_buf;
1271         int len;
1272
1273         KASSERT(chain_idx >= 0 && chain_idx < VR_TX_LIST_CNT,
1274                 ("%s: chain idx(%d) out of range 0-%d",
1275                  sc->arpcom.ac_if.if_xname, chain_idx, VR_TX_LIST_CNT));
1276
1277         /*
1278          * The VIA Rhine wants packet buffers to be longword
1279          * aligned, but very often our mbufs aren't. Rather than
1280          * waste time trying to decide when to copy and when not
1281          * to copy, just do it all the time.
1282          */
1283         tx_buf = VR_TX_BUF(sc, chain_idx);
1284         m_copydata(m_head, 0, m_head->m_pkthdr.len, tx_buf);
1285         len = m_head->m_pkthdr.len;
1286
1287         /*
1288          * The Rhine chip doesn't auto-pad, so we have to make
1289          * sure to pad short frames out to the minimum frame length
1290          * ourselves.
1291          */
1292         if (len < VR_MIN_FRAMELEN) {
1293                 bzero(tx_buf + len, VR_MIN_FRAMELEN - len);
1294                 len = VR_MIN_FRAMELEN;
1295         }
1296
1297         c = &sc->vr_cdata.vr_tx_chain[chain_idx];
1298         c->vr_buf = tx_buf;
1299
1300         f = c->vr_ptr;
1301         f->vr_data = c->vr_buf_paddr;
1302         f->vr_ctl = len;
1303         f->vr_ctl |= (VR_TXCTL_TLINK | VR_TXCTL_FIRSTFRAG);
1304         f->vr_ctl |= (VR_TXCTL_LASTFRAG | VR_TXCTL_FINT);
1305         f->vr_status = 0;
1306         f->vr_next = c->vr_next_desc_paddr;
1307
1308         return(0);
1309 }
1310
1311 /*
1312  * Main transmit routine. To avoid having to do mbuf copies, we put pointers
1313  * to the mbuf data regions directly in the transmit lists. We also save a
1314  * copy of the pointers since the transmit list fragment pointers are
1315  * physical addresses.
1316  */
1317 static void
1318 vr_start(struct ifnet *ifp)
1319 {
1320         struct vr_softc *sc;
1321         struct vr_chain_data *cd;
1322         struct vr_chain *tx_chain;
1323         int cur_tx_idx, start_tx_idx, prev_tx_idx;
1324
1325         if (ifp->if_flags & IFF_OACTIVE)
1326                 return;
1327
1328         sc = ifp->if_softc;
1329         cd = &sc->vr_cdata;
1330         tx_chain = cd->vr_tx_chain;
1331
1332         start_tx_idx = cd->vr_tx_free_idx;
1333         cur_tx_idx = prev_tx_idx = -1;
1334
1335         /* Check for an available queue slot. If there are none, punt. */
1336         if (tx_chain[start_tx_idx].vr_buf != NULL) {
1337                 ifp->if_flags |= IFF_OACTIVE;
1338                 return;
1339         }
1340
1341         while(tx_chain[cd->vr_tx_free_idx].vr_buf == NULL) {
1342                 struct mbuf *m_head;
1343                 struct vr_chain *cur_tx;
1344
1345                 m_head = ifq_poll(&ifp->if_snd);
1346                 if (m_head == NULL)
1347                         break;
1348
1349                 /* Pick a descriptor off the free list. */
1350                 cur_tx_idx = cd->vr_tx_free_idx;
1351                 cur_tx = &tx_chain[cur_tx_idx];
1352
1353                 /* Pack the data into the descriptor. */
1354                 if (vr_encap(sc, cur_tx_idx, m_head)) {
1355                         ifp->if_flags |= IFF_OACTIVE;
1356                         cur_tx_idx = prev_tx_idx;
1357                         break;
1358                 }
1359
1360                 ifq_dequeue(&ifp->if_snd, m_head);
1361
1362                 /* XXX */
1363                 if (cur_tx_idx != start_tx_idx)
1364                         VR_TXOWN(cur_tx) = VR_TXSTAT_OWN;
1365
1366                 BPF_MTAP(ifp, m_head);
1367                 m_freem(m_head);
1368
1369                 VR_TXOWN(cur_tx) = VR_TXSTAT_OWN;
1370                 VR_SETBIT16(sc, VR_COMMAND, /*VR_CMD_TX_ON|*/VR_CMD_TX_GO);
1371
1372                 /* Iff everything went OK, we bump up free index. */
1373                 prev_tx_idx = cur_tx_idx;
1374                 cd->vr_tx_free_idx = cur_tx->vr_next_idx;
1375         }
1376
1377         /* If there are no frames queued, bail. */
1378         if (cur_tx_idx == -1)
1379                 return;
1380
1381         sc->vr_cdata.vr_tx_tail_idx = cur_tx_idx;
1382
1383         if (sc->vr_cdata.vr_tx_head_idx == -1)
1384                 sc->vr_cdata.vr_tx_head_idx = start_tx_idx;
1385
1386         /*
1387          * Set a timeout in case the chip goes out to lunch.
1388          */
1389         ifp->if_timer = 5;
1390 }
1391
1392 static void
1393 vr_init(void *xsc)
1394 {
1395         struct vr_softc *sc = xsc;
1396         struct ifnet *ifp = &sc->arpcom.ac_if;
1397         struct mii_data *mii;
1398         int i;
1399
1400         mii = device_get_softc(sc->vr_miibus);
1401
1402         /* Cancel pending I/O and free all RX/TX buffers. */
1403         vr_stop(sc);
1404         vr_reset(sc);
1405
1406         /* Set our station address. */
1407         for (i = 0; i < ETHER_ADDR_LEN; i++)
1408                 CSR_WRITE_1(sc, VR_PAR0 + i, sc->arpcom.ac_enaddr[i]);
1409
1410         /* Set DMA size. */
1411         VR_CLRBIT(sc, VR_BCR0, VR_BCR0_DMA_LENGTH);
1412         VR_SETBIT(sc, VR_BCR0, VR_BCR0_DMA_STORENFWD);
1413
1414         /*
1415          * BCR0 and BCR1 can override the RXCFG and TXCFG registers,
1416          * so we must set both.
1417          */
1418         VR_CLRBIT(sc, VR_BCR0, VR_BCR0_RX_THRESH);
1419         VR_SETBIT(sc, VR_BCR0, VR_BCR0_RXTHRESH128BYTES);
1420
1421         VR_CLRBIT(sc, VR_BCR1, VR_BCR1_TX_THRESH);
1422         VR_SETBIT(sc, VR_BCR1, VR_BCR1_TXTHRESHSTORENFWD);
1423
1424         VR_CLRBIT(sc, VR_RXCFG, VR_RXCFG_RX_THRESH);
1425         VR_SETBIT(sc, VR_RXCFG, VR_RXTHRESH_128BYTES);
1426
1427         VR_CLRBIT(sc, VR_TXCFG, VR_TXCFG_TX_THRESH);
1428         VR_SETBIT(sc, VR_TXCFG, VR_TXTHRESH_STORENFWD);
1429
1430         /* Init circular RX list. */
1431         if (vr_list_rx_init(sc) == ENOBUFS) {
1432                 vr_stop(sc);
1433                 if_printf(ifp, "initialization failed: no memory for rx buffers\n");
1434                 return;
1435         }
1436
1437         /* Init tx descriptors. */
1438         vr_list_tx_init(sc);
1439
1440         /* If we want promiscuous mode, set the allframes bit. */
1441         if (ifp->if_flags & IFF_PROMISC)
1442                 VR_SETBIT(sc, VR_RXCFG, VR_RXCFG_RX_PROMISC);
1443         else
1444                 VR_CLRBIT(sc, VR_RXCFG, VR_RXCFG_RX_PROMISC);
1445
1446         /* Set capture broadcast bit to capture broadcast frames. */
1447         if (ifp->if_flags & IFF_BROADCAST)
1448                 VR_SETBIT(sc, VR_RXCFG, VR_RXCFG_RX_BROAD);
1449         else
1450                 VR_CLRBIT(sc, VR_RXCFG, VR_RXCFG_RX_BROAD);
1451
1452         /*
1453          * Program the multicast filter, if necessary.
1454          */
1455         vr_setmulti(sc);
1456
1457         /*
1458          * Load the address of the RX list.
1459          */
1460         CSR_WRITE_4(sc, VR_RXADDR, vtophys(sc->vr_cdata.vr_rx_head->vr_ptr));
1461
1462         /* Enable receiver and transmitter. */
1463         CSR_WRITE_2(sc, VR_COMMAND, VR_CMD_TX_NOPOLL|VR_CMD_START|
1464                                     VR_CMD_TX_ON|VR_CMD_RX_ON|
1465                                     VR_CMD_RX_GO);
1466
1467         CSR_WRITE_4(sc, VR_TXADDR, vtophys(&sc->vr_ldata->vr_tx_list[0]));
1468
1469         /*
1470          * Enable interrupts, unless we are polling.
1471          */
1472         CSR_WRITE_2(sc, VR_ISR, 0xFFFF);
1473         if ((ifp->if_flags & IFF_POLLING) == 0)
1474                 CSR_WRITE_2(sc, VR_IMR, VR_INTRS);
1475
1476         mii_mediachg(mii);
1477
1478         ifp->if_flags |= IFF_RUNNING;
1479         ifp->if_flags &= ~IFF_OACTIVE;
1480
1481         callout_reset(&sc->vr_stat_timer, hz, vr_tick, sc);
1482 }
1483
1484 /*
1485  * Set media options.
1486  */
1487 static int
1488 vr_ifmedia_upd(struct ifnet *ifp)
1489 {
1490         struct vr_softc *sc;
1491
1492         sc = ifp->if_softc;
1493
1494         if (ifp->if_flags & IFF_UP)
1495                 vr_init(sc);
1496
1497         return(0);
1498 }
1499
1500 /*
1501  * Report current media status.
1502  */
1503 static void
1504 vr_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr)
1505 {
1506         struct vr_softc *sc;
1507         struct mii_data *mii;
1508
1509         sc = ifp->if_softc;
1510         mii = device_get_softc(sc->vr_miibus);
1511         mii_pollstat(mii);
1512         ifmr->ifm_active = mii->mii_media_active;
1513         ifmr->ifm_status = mii->mii_media_status;
1514 }
1515
1516 static int
1517 vr_ioctl(struct ifnet *ifp, u_long command, caddr_t data, struct ucred *cr)
1518 {
1519         struct vr_softc *sc = ifp->if_softc;
1520         struct ifreq *ifr = (struct ifreq *) data;
1521         struct mii_data *mii;
1522         int error = 0;
1523
1524         switch(command) {
1525         case SIOCSIFFLAGS:
1526                 if (ifp->if_flags & IFF_UP) {
1527                         vr_init(sc);
1528                 } else {
1529                         if (ifp->if_flags & IFF_RUNNING)
1530                                 vr_stop(sc);
1531                 }
1532                 error = 0;
1533                 break;
1534         case SIOCADDMULTI:
1535         case SIOCDELMULTI:
1536                 vr_setmulti(sc);
1537                 error = 0;
1538                 break;
1539         case SIOCGIFMEDIA:
1540         case SIOCSIFMEDIA:
1541                 mii = device_get_softc(sc->vr_miibus);
1542                 error = ifmedia_ioctl(ifp, ifr, &mii->mii_media, command);
1543                 break;
1544         default:
1545                 error = ether_ioctl(ifp, command, data);
1546                 break;
1547         }
1548         return(error);
1549 }
1550
1551 #ifdef DEVICE_POLLING
1552
1553 static void
1554 vr_poll(struct ifnet *ifp, enum poll_cmd cmd, int count)
1555 {
1556         struct vr_softc *sc = ifp->if_softc;
1557
1558         switch(cmd) {
1559         case POLL_REGISTER:
1560                 /* disable interrupts */
1561                 CSR_WRITE_2(sc, VR_IMR, 0x0000);
1562                 break;
1563         case POLL_DEREGISTER:
1564                 /* enable interrupts */
1565                 CSR_WRITE_2(sc, VR_IMR, VR_INTRS);
1566                 break;
1567         default:
1568                 vr_intr(sc);
1569                 break;
1570         }
1571 }
1572 #endif
1573
1574 static void
1575 vr_watchdog(struct ifnet *ifp)
1576 {
1577         struct vr_softc *sc;
1578
1579         sc = ifp->if_softc;
1580
1581         ifp->if_oerrors++;
1582         if_printf(ifp, "watchdog timeout\n");
1583
1584 #ifdef DEVICE_POLLING
1585         if (++sc->vr_wdogerrors == 1 && (ifp->if_flags & IFF_POLLING) == 0) {
1586                 if_printf(ifp, "ints don't seem to be working, "
1587                         "emergency switch to polling\n");
1588                 emergency_poll_enable("if_vr");
1589                 ether_poll_register(ifp);       /* XXX illegal */
1590         } else 
1591 #endif
1592         {
1593                 vr_stop(sc);
1594                 vr_reset(sc);
1595                 vr_init(sc);
1596         }
1597
1598         if (!ifq_is_empty(&ifp->if_snd))
1599                 vr_start(ifp);
1600 }
1601
1602 /*
1603  * Stop the adapter and free any mbufs allocated to the
1604  * RX and TX lists.
1605  */
1606 static void
1607 vr_stop(struct vr_softc *sc)
1608 {
1609         int i;
1610         struct ifnet *ifp;
1611
1612         ifp = &sc->arpcom.ac_if;
1613         ifp->if_timer = 0;
1614
1615         callout_stop(&sc->vr_stat_timer);
1616
1617         VR_SETBIT16(sc, VR_COMMAND, VR_CMD_STOP);
1618         VR_CLRBIT16(sc, VR_COMMAND, (VR_CMD_RX_ON|VR_CMD_TX_ON));
1619         CSR_WRITE_2(sc, VR_IMR, 0x0000);
1620         CSR_WRITE_4(sc, VR_TXADDR, 0x00000000);
1621         CSR_WRITE_4(sc, VR_RXADDR, 0x00000000);
1622
1623         /*
1624          * Free data in the RX lists.
1625          */
1626         for (i = 0; i < VR_RX_LIST_CNT; i++) {
1627                 if (sc->vr_cdata.vr_rx_chain[i].vr_mbuf != NULL) {
1628                         m_freem(sc->vr_cdata.vr_rx_chain[i].vr_mbuf);
1629                         sc->vr_cdata.vr_rx_chain[i].vr_mbuf = NULL;
1630                 }
1631         }
1632         bzero(&sc->vr_ldata->vr_rx_list, sizeof(sc->vr_ldata->vr_rx_list));
1633
1634         /*
1635          * Reset the TX list buffer pointers.
1636          */
1637         for (i = 0; i < VR_TX_LIST_CNT; i++)
1638                 sc->vr_cdata.vr_tx_chain[i].vr_buf = NULL;
1639
1640         bzero(&sc->vr_ldata->vr_tx_list, sizeof(sc->vr_ldata->vr_tx_list));
1641
1642         ifp->if_flags &= ~(IFF_RUNNING | IFF_OACTIVE);
1643 }
1644
1645 /*
1646  * Stop all chip I/O so that the kernel's probe routines don't
1647  * get confused by errant DMAs when rebooting.
1648  */
1649 static void
1650 vr_shutdown(device_t dev)
1651 {
1652         struct vr_softc *sc;
1653
1654         sc = device_get_softc(dev);
1655
1656         vr_stop(sc);
1657 }