180ac28e1fce77eaa5d23e9adce15032b09135df
[dragonfly.git] / sys / dev / netif / tx / if_tx.c
1 /*-
2  * Copyright (c) 1997 Semen Ustimenko (semenu@FreeBSD.org)
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
24  * SUCH DAMAGE.
25  *
26  * $FreeBSD: src/sys/dev/tx/if_tx.c,v 1.61.2.1 2002/10/29 01:43:49 semenu Exp $
27  * $DragonFly: src/sys/dev/netif/tx/if_tx.c,v 1.29 2005/11/20 09:46:31 sephe Exp $
28  */
29
30 /*
31  * EtherPower II 10/100 Fast Ethernet (SMC 9432 serie)
32  *
33  * These cards are based on SMC83c17x (EPIC) chip and one of the various
34  * PHYs (QS6612, AC101 and LXT970 were seen). The media support depends on
35  * card model. All cards support 10baseT/UTP and 100baseTX half- and full-
36  * duplex (SMB9432TX). SMC9432BTX also supports 10baseT/BNC. SMC9432FTX also
37  * supports fibre optics.
38  *
39  * Thanks are going to Steve Bauer and Jason Wright.
40  */
41
42 #include <sys/param.h>
43 #include <sys/systm.h>
44 #include <sys/sockio.h>
45 #include <sys/mbuf.h>
46 #include <sys/malloc.h>
47 #include <sys/kernel.h>
48 #include <sys/socket.h>
49 #include <sys/queue.h>
50 #include <sys/thread2.h>
51
52 #include <net/if.h>
53 #include <net/ifq_var.h>
54 #include <net/if_arp.h>
55 #include <net/ethernet.h>
56 #include <net/if_dl.h>
57 #include <net/if_media.h>
58
59 #include <net/bpf.h>
60
61 #include <net/vlan/if_vlan_var.h>
62
63 #include <vm/vm.h>              /* for vtophys */
64 #include <vm/pmap.h>            /* for vtophys */
65 #include <machine/bus_memio.h>
66 #include <machine/bus_pio.h>
67 #include <machine/bus.h>
68 #include <machine/resource.h>
69 #include <sys/bus.h>
70 #include <sys/rman.h>
71
72 #include <bus/pci/pcireg.h>
73 #include <bus/pci/pcivar.h>
74
75 #include "../mii_layer/mii.h"
76 #include "../mii_layer/miivar.h"
77 #include "../mii_layer/miidevs.h"
78 #include "../mii_layer/lxtphyreg.h"
79
80 #include "miibus_if.h"
81
82 #include "if_txreg.h"
83 #include "if_txvar.h"
84
85 static int epic_ifioctl(struct ifnet *, u_long, caddr_t, struct ucred *);
86 static void epic_intr(void *);
87 static void epic_tx_underrun(epic_softc_t *);
88 static int epic_common_attach(epic_softc_t *);
89 static void epic_ifstart(struct ifnet *);
90 static void epic_ifwatchdog(struct ifnet *);
91 static void epic_stats_update(void *);
92 static int epic_init(epic_softc_t *);
93 static void epic_stop(epic_softc_t *);
94 static void epic_rx_done(epic_softc_t *);
95 static void epic_tx_done(epic_softc_t *);
96 static int epic_init_rings(epic_softc_t *);
97 static void epic_free_rings(epic_softc_t *);
98 static void epic_stop_activity(epic_softc_t *);
99 static int epic_queue_last_packet(epic_softc_t *);
100 static void epic_start_activity(epic_softc_t *);
101 static void epic_set_rx_mode(epic_softc_t *);
102 static void epic_set_tx_mode(epic_softc_t *);
103 static void epic_set_mc_table(epic_softc_t *);
104 static int epic_read_eeprom(epic_softc_t *,u_int16_t);
105 static void epic_output_eepromw(epic_softc_t *, u_int16_t);
106 static u_int16_t epic_input_eepromw(epic_softc_t *);
107 static u_int8_t epic_eeprom_clock(epic_softc_t *,u_int8_t);
108 static void epic_write_eepromreg(epic_softc_t *,u_int8_t);
109 static u_int8_t epic_read_eepromreg(epic_softc_t *);
110
111 static int epic_read_phy_reg(epic_softc_t *, int, int);
112 static void epic_write_phy_reg(epic_softc_t *, int, int, int);
113
114 static int epic_miibus_readreg(device_t, int, int);
115 static int epic_miibus_writereg(device_t, int, int, int);
116 static void epic_miibus_statchg(device_t);
117 static void epic_miibus_mediainit(device_t);
118
119 static int epic_ifmedia_upd(struct ifnet *);
120 static void epic_ifmedia_sts(struct ifnet *, struct ifmediareq *);
121
122 static int epic_probe(device_t);
123 static int epic_attach(device_t);
124 static void epic_shutdown(device_t);
125 static int epic_detach(device_t);
126 static struct epic_type *epic_devtype(device_t);
127
128 static device_method_t epic_methods[] = {
129         /* Device interface */
130         DEVMETHOD(device_probe,         epic_probe),
131         DEVMETHOD(device_attach,        epic_attach),
132         DEVMETHOD(device_detach,        epic_detach),
133         DEVMETHOD(device_shutdown,      epic_shutdown),
134
135         /* MII interface */
136         DEVMETHOD(miibus_readreg,       epic_miibus_readreg),
137         DEVMETHOD(miibus_writereg,      epic_miibus_writereg),
138         DEVMETHOD(miibus_statchg,       epic_miibus_statchg),
139         DEVMETHOD(miibus_mediainit,     epic_miibus_mediainit),
140
141         { 0, 0 }
142 };
143
144 static driver_t epic_driver = {
145         "tx",
146         epic_methods,
147         sizeof(epic_softc_t)
148 };
149
150 static devclass_t epic_devclass;
151
152 DECLARE_DUMMY_MODULE(if_tx);
153 MODULE_DEPEND(if_tx, miibus, 1, 1, 1);
154 DRIVER_MODULE(if_tx, pci, epic_driver, epic_devclass, 0, 0);
155 DRIVER_MODULE(miibus, tx, miibus_driver, miibus_devclass, 0, 0);
156
157 static struct epic_type epic_devs[] = {
158         { SMC_VENDORID, SMC_DEVICEID_83C170,
159                 "SMC EtherPower II 10/100" },
160         { 0, 0, NULL }
161 };
162
163 static int
164 epic_probe(device_t dev)
165 {
166         struct epic_type *t;
167
168         t = epic_devtype(dev);
169
170         if (t != NULL) {
171                 device_set_desc(dev, t->name);
172                 return(0);
173         }
174
175         return(ENXIO);
176 }
177
178 static struct epic_type *
179 epic_devtype(device_t dev)
180 {
181         struct epic_type *t;
182
183         t = epic_devs;
184
185         while(t->name != NULL) {
186                 if ((pci_get_vendor(dev) == t->ven_id) &&
187                     (pci_get_device(dev) == t->dev_id)) {
188                         return(t);
189                 }
190                 t++;
191         }
192         return (NULL);
193 }
194
195 #if defined(EPIC_USEIOSPACE)
196 #define EPIC_RES        SYS_RES_IOPORT
197 #define EPIC_RID        PCIR_BASEIO
198 #else
199 #define EPIC_RES        SYS_RES_MEMORY
200 #define EPIC_RID        PCIR_BASEMEM
201 #endif
202
203 /*
204  * Attach routine: map registers, allocate softc, rings and descriptors.
205  * Reset to known state.
206  */
207 static int
208 epic_attach(device_t dev)
209 {
210         struct ifnet *ifp;
211         epic_softc_t *sc;
212         int error;
213         int i, rid, tmp;
214
215         sc = device_get_softc(dev);
216
217         /* Preinitialize softc structure */
218         sc->dev = dev;
219         callout_init(&sc->tx_stat_timer);
220
221         /* Fill ifnet structure */
222         ifp = &sc->sc_if;
223         if_initname(ifp, device_get_name(dev), device_get_unit(dev));
224         ifp->if_softc = sc;
225         ifp->if_flags = IFF_BROADCAST|IFF_SIMPLEX|IFF_MULTICAST;
226         ifp->if_ioctl = epic_ifioctl;
227         ifp->if_start = epic_ifstart;
228         ifp->if_watchdog = epic_ifwatchdog;
229         ifp->if_init = (if_init_f_t*)epic_init;
230         ifp->if_timer = 0;
231         ifp->if_baudrate = 10000000;
232         ifq_set_maxlen(&ifp->if_snd, TX_RING_SIZE - 1);
233         ifq_set_ready(&ifp->if_snd);
234
235         pci_enable_busmaster(dev);
236
237         rid = EPIC_RID;
238         sc->res = bus_alloc_resource_any(dev, EPIC_RES, &rid, RF_ACTIVE);
239
240         if (sc->res == NULL) {
241                 device_printf(dev, "couldn't map ports/memory\n");
242                 error = ENXIO;
243                 goto fail;
244         }
245
246         sc->sc_st = rman_get_bustag(sc->res);
247         sc->sc_sh = rman_get_bushandle(sc->res);
248
249         /* Allocate interrupt */
250         rid = 0;
251         sc->irq = bus_alloc_resource_any(dev, SYS_RES_IRQ, &rid,
252             RF_SHAREABLE | RF_ACTIVE);
253
254         if (sc->irq == NULL) {
255                 device_printf(dev, "couldn't map interrupt\n");
256                 error = ENXIO;
257                 goto fail;
258         }
259
260         /* Do OS independent part, including chip wakeup and reset */
261         error = epic_common_attach(sc);
262         if (error) {
263                 error = ENXIO;
264                 goto fail;
265         }
266
267         /* Do ifmedia setup */
268         if (mii_phy_probe(dev, &sc->miibus,
269             epic_ifmedia_upd, epic_ifmedia_sts)) {
270                 device_printf(dev, "ERROR! MII without any PHY!?\n");
271                 error = ENXIO;
272                 goto fail;
273         }
274
275         /* board type and ... */
276         printf(" type ");
277         for(i=0x2c;i<0x32;i++) {
278                 tmp = epic_read_eeprom(sc, i);
279                 if (' ' == (u_int8_t)tmp) break;
280                 printf("%c", (u_int8_t)tmp);
281                 tmp >>= 8;
282                 if (' ' == (u_int8_t)tmp) break;
283                 printf("%c", (u_int8_t)tmp);
284         }
285         printf("\n");
286
287         /* Attach to OS's managers */
288         ether_ifattach(ifp, sc->sc_macaddr);
289         ifp->if_hdrlen = sizeof(struct ether_vlan_header);
290
291         error = bus_setup_intr(dev, sc->irq, 0,
292                                epic_intr, sc, &sc->sc_ih, NULL);
293
294         if (error) {
295                 device_printf(dev, "couldn't set up irq\n");
296                 ether_ifdetach(ifp);
297                 goto fail;
298         }
299
300         return(0);
301
302 fail:
303         epic_detach(dev);
304         return(error);
305 }
306
307 /*
308  * Detach driver and free resources
309  */
310 static int
311 epic_detach(device_t dev)
312 {
313         struct ifnet *ifp;
314         epic_softc_t *sc;
315
316         sc = device_get_softc(dev);
317         ifp = &sc->arpcom.ac_if;
318
319         crit_enter();
320
321         if (device_is_attached(dev)) {
322                 ether_ifdetach(ifp);
323                 epic_stop(sc);
324         }
325
326         if (sc->miibus)
327                 device_delete_child(dev, sc->miibus);
328         bus_generic_detach(dev);
329
330         if (sc->sc_ih)
331                 bus_teardown_intr(dev, sc->irq, sc->sc_ih);
332
333         crit_exit();
334
335         if (sc->irq)
336                 bus_release_resource(dev, SYS_RES_IRQ, 0, sc->irq);
337         if (sc->res)
338                 bus_release_resource(dev, EPIC_RES, EPIC_RID, sc->res);
339
340         if (sc->tx_flist)
341                 free(sc->tx_flist, M_DEVBUF);
342         if (sc->tx_desc)
343                 free(sc->tx_desc, M_DEVBUF);
344         if (sc->rx_desc)
345                 free(sc->rx_desc, M_DEVBUF);
346
347         return(0);
348 }
349
350 #undef  EPIC_RES
351 #undef  EPIC_RID
352
353 /*
354  * Stop all chip I/O so that the kernel's probe routines don't
355  * get confused by errant DMAs when rebooting.
356  */
357 static void
358 epic_shutdown(device_t dev)
359 {
360         epic_softc_t *sc;
361
362         sc = device_get_softc(dev);
363
364         epic_stop(sc);
365
366         return;
367 }
368
369 /*
370  * This is if_ioctl handler.
371  */
372 static int
373 epic_ifioctl(struct ifnet *ifp, u_long command, caddr_t data, struct ucred *cr)
374 {
375         epic_softc_t *sc = ifp->if_softc;
376         struct mii_data *mii;
377         struct ifreq *ifr = (struct ifreq *) data;
378         int error = 0;
379
380         crit_enter();
381
382         switch (command) {
383         case SIOCSIFMTU:
384                 if (ifp->if_mtu == ifr->ifr_mtu)
385                         break;
386
387                 /* XXX Though the datasheet doesn't imply any
388                  * limitations on RX and TX sizes beside max 64Kb
389                  * DMA transfer, seems we can't send more then 1600
390                  * data bytes per ethernet packet. (Transmitter hangs
391                  * up if more data is sent)
392                  */
393                 if (ifr->ifr_mtu + ifp->if_hdrlen <= EPIC_MAX_MTU) {
394                         ifp->if_mtu = ifr->ifr_mtu;
395                         epic_stop(sc);
396                         epic_init(sc);
397                 } else
398                         error = EINVAL;
399                 break;
400
401         case SIOCSIFFLAGS:
402                 /*
403                  * If the interface is marked up and stopped, then start it.
404                  * If it is marked down and running, then stop it.
405                  */
406                 if (ifp->if_flags & IFF_UP) {
407                         if ((ifp->if_flags & IFF_RUNNING) == 0) {
408                                 epic_init(sc);
409                                 break;
410                         }
411                 } else {
412                         if (ifp->if_flags & IFF_RUNNING) {
413                                 epic_stop(sc);
414                                 break;
415                         }
416                 }
417
418                 /* Handle IFF_PROMISC and IFF_ALLMULTI flags */
419                 epic_stop_activity(sc); 
420                 epic_set_mc_table(sc);
421                 epic_set_rx_mode(sc);
422                 epic_start_activity(sc);        
423                 break;
424
425         case SIOCADDMULTI:
426         case SIOCDELMULTI:
427                 epic_set_mc_table(sc);
428                 error = 0;
429                 break;
430
431         case SIOCSIFMEDIA:
432         case SIOCGIFMEDIA:
433                 mii = device_get_softc(sc->miibus);
434                 error = ifmedia_ioctl(ifp, ifr, &mii->mii_media, command);
435                 break;
436
437         default:
438                 error = ether_ioctl(ifp, command, data);
439                 break;
440         }
441         crit_exit();
442
443         return error;
444 }
445
446 /*
447  * OS-independed part of attach process. allocate memory for descriptors
448  * and frag lists, wake up chip, read MAC address and PHY identyfier.
449  * Return -1 on failure.
450  */
451 static int
452 epic_common_attach(epic_softc_t *sc)
453 {
454         int i;
455
456         sc->tx_flist = malloc(sizeof(struct epic_frag_list)*TX_RING_SIZE,
457             M_DEVBUF, M_WAITOK | M_ZERO);
458         sc->tx_desc = malloc(sizeof(struct epic_tx_desc)*TX_RING_SIZE,
459             M_DEVBUF, M_WAITOK | M_ZERO);
460         sc->rx_desc = malloc(sizeof(struct epic_rx_desc)*RX_RING_SIZE,
461             M_DEVBUF, M_WAITOK | M_ZERO);
462
463         /* Bring the chip out of low-power mode. */
464         CSR_WRITE_4(sc, GENCTL, GENCTL_SOFT_RESET);
465         DELAY(500);
466
467         /* Workaround for Application Note 7-15 */
468         for (i=0; i<16; i++) CSR_WRITE_4(sc, TEST1, TEST1_CLOCK_TEST);
469
470         /* Read mac address from EEPROM */
471         for (i = 0; i < ETHER_ADDR_LEN / sizeof(u_int16_t); i++)
472                 ((u_int16_t *)sc->sc_macaddr)[i] = epic_read_eeprom(sc,i);
473
474         /* Set Non-Volatile Control Register from EEPROM */
475         CSR_WRITE_4(sc, NVCTL, epic_read_eeprom(sc, EEPROM_NVCTL) & 0x1F);
476
477         /* Set defaults */
478         sc->tx_threshold = TRANSMIT_THRESHOLD;
479         sc->txcon = TXCON_DEFAULT;
480         sc->miicfg = MIICFG_SMI_ENABLE;
481         sc->phyid = EPIC_UNKN_PHY;
482         sc->serinst = -1;
483
484         /* Fetch card id */
485         sc->cardvend = pci_get_subvendor(sc->dev);
486         sc->cardid = pci_get_subdevice(sc->dev);
487
488         if (sc->cardvend != SMC_VENDORID)
489                 device_printf(sc->dev, "unknown card vendor %04xh\n", sc->cardvend);
490
491         return 0;
492 }
493
494 /*
495  * This is if_start handler. It takes mbufs from if_snd queue
496  * and queue them for transmit, one by one, until TX ring become full
497  * or queue become empty.
498  */
499 static void
500 epic_ifstart(struct ifnet *ifp)
501 {
502         epic_softc_t *sc = ifp->if_softc;
503         struct epic_tx_buffer *buf;
504         struct epic_tx_desc *desc;
505         struct epic_frag_list *flist;
506         struct mbuf *m0;
507         struct mbuf *m;
508         int i;
509
510         while (sc->pending_txs < TX_RING_SIZE) {
511                 buf = sc->tx_buffer + sc->cur_tx;
512                 desc = sc->tx_desc + sc->cur_tx;
513                 flist = sc->tx_flist + sc->cur_tx;
514
515                 /* Get next packet to send */
516                 m0 = ifq_dequeue(&ifp->if_snd);
517
518                 /* If nothing to send, return */
519                 if (m0 == NULL)
520                         return;
521
522                 /* Fill fragments list */
523                 for (m = m0, i = 0;
524                     (NULL != m) && (i < EPIC_MAX_FRAGS);
525                     m = m->m_next, i++) {
526                         flist->frag[i].fraglen = m->m_len;
527                         flist->frag[i].fragaddr = vtophys(mtod(m, caddr_t));
528                 }
529                 flist->numfrags = i;
530
531                 /* If packet was more than EPIC_MAX_FRAGS parts, */
532                 /* recopy packet to new allocated mbuf cluster */
533                 if (NULL != m) {
534                         EPIC_MGETCLUSTER(m);
535                         if (NULL == m) {
536                                 m_freem(m0);
537                                 ifp->if_oerrors++;
538                                 continue;
539                         }
540
541                         m_copydata(m0, 0, m0->m_pkthdr.len, mtod(m, caddr_t));
542                         flist->frag[0].fraglen =
543                              m->m_pkthdr.len = m->m_len = m0->m_pkthdr.len;
544                         m->m_pkthdr.rcvif = ifp;
545
546                         flist->numfrags = 1;
547                         flist->frag[0].fragaddr = vtophys(mtod(m, caddr_t));
548                         m_freem(m0);
549                         m0 = m;
550                 }
551
552                 buf->mbuf = m0;
553                 sc->pending_txs++;
554                 sc->cur_tx = (sc->cur_tx + 1) & TX_RING_MASK;
555                 desc->control = 0x01;
556                 desc->txlength =
557                     max(m0->m_pkthdr.len,ETHER_MIN_LEN-ETHER_CRC_LEN);
558                 desc->status = 0x8000;
559                 CSR_WRITE_4(sc, COMMAND, COMMAND_TXQUEUED);
560
561                 /* Set watchdog timer */
562                 ifp->if_timer = 8;
563
564                 BPF_MTAP(ifp, m0);
565         }
566
567         ifp->if_flags |= IFF_OACTIVE;
568
569         return;
570         
571 }
572
573 /*
574  * Synopsis: Finish all received frames.
575  */
576 static void
577 epic_rx_done(epic_softc_t *sc)
578 {
579         u_int16_t len;
580         struct ifnet *ifp = &sc->sc_if;
581         struct epic_rx_buffer *buf;
582         struct epic_rx_desc *desc;
583         struct mbuf *m;
584
585         while ((sc->rx_desc[sc->cur_rx].status & 0x8000) == 0) {
586                 buf = sc->rx_buffer + sc->cur_rx;
587                 desc = sc->rx_desc + sc->cur_rx;
588
589                 /* Switch to next descriptor */
590                 sc->cur_rx = (sc->cur_rx+1) & RX_RING_MASK;
591
592                 /*
593                  * Check for RX errors. This should only happen if
594                  * SAVE_ERRORED_PACKETS is set. RX errors generate
595                  * RXE interrupt usually.
596                  */
597                 if ((desc->status & 1) == 0) {
598                         sc->sc_if.if_ierrors++;
599                         desc->status = 0x8000;
600                         continue;
601                 }
602
603                 /* Save packet length and mbuf contained packet */
604                 len = desc->rxlength - ETHER_CRC_LEN;
605                 m = buf->mbuf;
606
607                 /* Try to get mbuf cluster */
608                 EPIC_MGETCLUSTER(buf->mbuf);
609                 if (NULL == buf->mbuf) {
610                         buf->mbuf = m;
611                         desc->status = 0x8000;
612                         ifp->if_ierrors++;
613                         continue;
614                 }
615
616                 /* Point to new mbuf, and give descriptor to chip */
617                 desc->bufaddr = vtophys(mtod(buf->mbuf, caddr_t));
618                 desc->status = 0x8000;
619                 
620                 /* First mbuf in packet holds the ethernet and packet headers */
621                 m->m_pkthdr.rcvif = ifp;
622                 m->m_pkthdr.len = m->m_len = len;
623
624                 /* Give mbuf to OS */
625                 (*ifp->if_input)(ifp, m);
626
627                 /* Successfuly received frame */
628                 ifp->if_ipackets++;
629         }
630
631         return;
632 }
633
634 /*
635  * Synopsis: Do last phase of transmission. I.e. if desc is
636  * transmitted, decrease pending_txs counter, free mbuf contained
637  * packet, switch to next descriptor and repeat until no packets
638  * are pending or descriptor is not transmitted yet.
639  */
640 static void
641 epic_tx_done(epic_softc_t *sc)
642 {
643         struct epic_tx_buffer *buf;
644         struct epic_tx_desc *desc;
645         u_int16_t status;
646
647         while (sc->pending_txs > 0) {
648                 buf = sc->tx_buffer + sc->dirty_tx;
649                 desc = sc->tx_desc + sc->dirty_tx;
650                 status = desc->status;
651
652                 /* If packet is not transmitted, thou followed */
653                 /* packets are not transmitted too */
654                 if (status & 0x8000) break;
655
656                 /* Packet is transmitted. Switch to next and */
657                 /* free mbuf */
658                 sc->pending_txs--;
659                 sc->dirty_tx = (sc->dirty_tx + 1) & TX_RING_MASK;
660                 m_freem(buf->mbuf);
661                 buf->mbuf = NULL;
662
663                 /* Check for errors and collisions */
664                 if (status & 0x0001) sc->sc_if.if_opackets++;
665                 else sc->sc_if.if_oerrors++;
666                 sc->sc_if.if_collisions += (status >> 8) & 0x1F;
667 #if defined(EPIC_DIAG)
668                 if ((status & 0x1001) == 0x1001) {
669                         if_printf(&sc->sc_if,
670                                   "Tx ERROR: excessive coll. number\n");
671                 }
672 #endif
673         }
674
675         if (sc->pending_txs < TX_RING_SIZE)
676                 sc->sc_if.if_flags &= ~IFF_OACTIVE;
677 }
678
679 /*
680  * Interrupt function
681  */
682 static void
683 epic_intr(void *arg)
684 {
685     epic_softc_t * sc = (epic_softc_t *) arg;
686     int status, i = 4;
687
688     while (i-- && ((status = CSR_READ_4(sc, INTSTAT)) & INTSTAT_INT_ACTV)) {
689         CSR_WRITE_4(sc, INTSTAT, status);
690
691         if (status & (INTSTAT_RQE|INTSTAT_RCC|INTSTAT_OVW)) {
692             epic_rx_done(sc);
693             if (status & (INTSTAT_RQE|INTSTAT_OVW)) {
694 #if defined(EPIC_DIAG)
695                 if (status & INTSTAT_OVW)
696                     if_printf(&sc->sc_if, "RX buffer overflow\n");
697                 if (status & INTSTAT_RQE)
698                     if_printf(&sc->sc_if, "RX FIFO overflow\n");
699 #endif
700                 if ((CSR_READ_4(sc, COMMAND) & COMMAND_RXQUEUED) == 0)
701                     CSR_WRITE_4(sc, COMMAND, COMMAND_RXQUEUED);
702                 sc->sc_if.if_ierrors++;
703             }
704         }
705
706         if (status & (INTSTAT_TXC|INTSTAT_TCC|INTSTAT_TQE)) {
707             epic_tx_done(sc);
708             if (!ifq_is_empty(&sc->sc_if.if_snd))
709                     epic_ifstart(&sc->sc_if);
710         }
711
712         /* Check for rare errors */
713         if (status & (INTSTAT_FATAL|INTSTAT_PMA|INTSTAT_PTA|
714                       INTSTAT_APE|INTSTAT_DPE|INTSTAT_TXU|INTSTAT_RXE)) {
715             if (status & (INTSTAT_FATAL|INTSTAT_PMA|INTSTAT_PTA|
716                           INTSTAT_APE|INTSTAT_DPE)) {
717                 if_printf(&sc->sc_if, "PCI fatal errors occured: %s%s%s%s\n",
718                     (status&INTSTAT_PMA)?"PMA ":"",
719                     (status&INTSTAT_PTA)?"PTA ":"",
720                     (status&INTSTAT_APE)?"APE ":"",
721                     (status&INTSTAT_DPE)?"DPE":""
722                 );
723
724                 epic_stop(sc);
725                 epic_init(sc);
726                 
727                 break;
728             }
729
730             if (status & INTSTAT_RXE) {
731 #if defined(EPIC_DIAG)
732                 if_printf(sc->sc_if, "CRC/Alignment error\n");
733 #endif
734                 sc->sc_if.if_ierrors++;
735             }
736
737             if (status & INTSTAT_TXU) {
738                 epic_tx_underrun(sc);
739                 sc->sc_if.if_oerrors++;
740             }
741         }
742     }
743
744     /* If no packets are pending, then no timeouts */
745     if (sc->pending_txs == 0) sc->sc_if.if_timer = 0;
746
747     return;
748 }
749
750 /*
751  * Handle the TX underrun error: increase the TX threshold
752  * and restart the transmitter.
753  */
754 static void
755 epic_tx_underrun(epic_softc_t *sc)
756 {
757         if (sc->tx_threshold > TRANSMIT_THRESHOLD_MAX) {
758                 sc->txcon &= ~TXCON_EARLY_TRANSMIT_ENABLE;
759 #if defined(EPIC_DIAG)
760                 if_printf(&sc->sc_if, "Tx UNDERRUN: early TX disabled\n");
761 #endif
762         } else {
763                 sc->tx_threshold += 0x40;
764 #if defined(EPIC_DIAG)
765                 if_printf(&sc->sc_if, "Tx UNDERRUN: "
766                           "TX threshold increased to %d\n", sc->tx_threshold);
767 #endif
768         }
769
770         /* We must set TXUGO to reset the stuck transmitter */
771         CSR_WRITE_4(sc, COMMAND, COMMAND_TXUGO);
772
773         /* Update the TX threshold */
774         epic_stop_activity(sc);
775         epic_set_tx_mode(sc);
776         epic_start_activity(sc);
777
778         return;
779 }
780
781 /*
782  * Synopsis: This one is called if packets wasn't transmitted
783  * during timeout. Try to deallocate transmitted packets, and
784  * if success continue to work.
785  */
786 static void
787 epic_ifwatchdog(struct ifnet *ifp)
788 {
789         epic_softc_t *sc = ifp->if_softc;
790
791         crit_enter();
792
793         if_printf(ifp, "device timeout %d packets\n", sc->pending_txs);
794
795         /* Try to finish queued packets */
796         epic_tx_done(sc);
797
798         /* If not successful */
799         if (sc->pending_txs > 0) {
800
801                 ifp->if_oerrors+=sc->pending_txs;
802
803                 /* Reinitialize board */
804                 if_printf(ifp, "reinitialization\n");
805                 epic_stop(sc);
806                 epic_init(sc);
807
808         } else
809                 if_printf(ifp, "seems we can continue normaly\n");
810
811         /* Start output */
812         if (!ifq_is_empty(&ifp->if_snd))
813                 epic_ifstart(ifp);
814
815         crit_exit();
816 }
817
818 /*
819  * Despite the name of this function, it doesn't update statistics, it only
820  * helps in autonegotiation process.
821  */
822 static void
823 epic_stats_update(void *xsc)
824 {
825         epic_softc_t *sc = xsc;
826         struct mii_data * mii;
827
828         crit_enter();
829
830         mii = device_get_softc(sc->miibus);
831         mii_tick(mii);
832
833         callout_reset(&sc->tx_stat_timer, hz, epic_stats_update, sc);
834
835         crit_exit();
836 }
837
838 /*
839  * Set media options.
840  */
841 static int
842 epic_ifmedia_upd(struct ifnet *ifp)
843 {
844         epic_softc_t *sc;
845         struct mii_data *mii;
846         struct ifmedia *ifm;
847         struct mii_softc *miisc;
848         int cfg, media;
849
850         sc = ifp->if_softc;
851         mii = device_get_softc(sc->miibus);
852         ifm = &mii->mii_media;
853         media = ifm->ifm_cur->ifm_media;
854
855         /* Do not do anything if interface is not up */
856         if ((ifp->if_flags & IFF_UP) == 0)
857                 return (0);
858
859         /*
860          * Lookup current selected PHY
861          */
862         if (IFM_INST(media) == sc->serinst) {
863                 sc->phyid = EPIC_SERIAL;
864                 sc->physc = NULL;
865         } else {
866                 /* If we're not selecting serial interface, select MII mode */
867                 sc->miicfg &= ~MIICFG_SERIAL_ENABLE;
868                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
869
870                 /* Default to unknown PHY */
871                 sc->phyid = EPIC_UNKN_PHY;
872
873                 /* Lookup selected PHY */
874                 for (miisc = LIST_FIRST(&mii->mii_phys); miisc != NULL;
875                      miisc = LIST_NEXT(miisc, mii_list)) {
876                         if (IFM_INST(media) == miisc->mii_inst) {
877                                 sc->physc = miisc;
878                                 break;
879                         }
880                 }
881
882                 /* Identify selected PHY */
883                 if (sc->physc) {
884                         int id1, id2, model, oui;
885
886                         id1 = PHY_READ(sc->physc, MII_PHYIDR1);
887                         id2 = PHY_READ(sc->physc, MII_PHYIDR2);
888
889                         oui = MII_OUI(id1, id2);
890                         model = MII_MODEL(id2);
891                         switch (oui) {
892                         case MII_OUI_QUALSEMI:
893                                 if (model == MII_MODEL_QUALSEMI_QS6612)
894                                         sc->phyid = EPIC_QS6612_PHY;
895                                 break;
896                         case MII_OUI_xxALTIMA:
897                                 if (model == MII_MODEL_xxALTIMA_AC101)
898                                         sc->phyid = EPIC_AC101_PHY;
899                                 break;
900                         case MII_OUI_xxLEVEL1:
901                                 if (model == MII_MODEL_xxLEVEL1_LXT970)
902                                         sc->phyid = EPIC_LXT970_PHY;
903                                 break;
904                         }
905                 }
906         }
907
908         /*
909          * Do PHY specific card setup
910          */
911
912         /* Call this, to isolate all not selected PHYs and
913          * set up selected
914          */
915         mii_mediachg(mii);
916
917         /* Do our own setup */
918         switch (sc->phyid) {
919         case EPIC_QS6612_PHY:
920                 break;
921         case EPIC_AC101_PHY:
922                 /* We have to powerup fiber tranceivers */
923                 if (IFM_SUBTYPE(media) == IFM_100_FX)
924                         sc->miicfg |= MIICFG_694_ENABLE;
925                 else
926                         sc->miicfg &= ~MIICFG_694_ENABLE;
927                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
928         
929                 break;
930         case EPIC_LXT970_PHY:
931                 /* We have to powerup fiber tranceivers */
932                 cfg = PHY_READ(sc->physc, MII_LXTPHY_CONFIG);
933                 if (IFM_SUBTYPE(media) == IFM_100_FX)
934                         cfg |= CONFIG_LEDC1 | CONFIG_LEDC0;
935                 else
936                         cfg &= ~(CONFIG_LEDC1 | CONFIG_LEDC0);
937                 PHY_WRITE(sc->physc, MII_LXTPHY_CONFIG, cfg);
938
939                 break;
940         case EPIC_SERIAL:
941                 /* Select serial PHY, (10base2/BNC usually) */
942                 sc->miicfg |= MIICFG_694_ENABLE | MIICFG_SERIAL_ENABLE;
943                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
944
945                 /* There is no driver to fill this */
946                 mii->mii_media_active = media;
947                 mii->mii_media_status = 0;
948
949                 /* We need to call this manualy as i wasn't called
950                  * in mii_mediachg()
951                  */
952                 epic_miibus_statchg(sc->dev);
953
954                 break;
955         default:
956                 if_printf(ifp, "ERROR! Unknown PHY selected\n");
957                 return (EINVAL);
958         }
959
960         return(0);
961 }
962
963 /*
964  * Report current media status.
965  */
966 static void
967 epic_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr)
968 {
969         epic_softc_t *sc;
970         struct mii_data *mii;
971         struct ifmedia *ifm;
972
973         sc = ifp->if_softc;
974         mii = device_get_softc(sc->miibus);
975         ifm = &mii->mii_media;
976
977         /* Nothing should be selected if interface is down */
978         if ((ifp->if_flags & IFF_UP) == 0) {
979                 ifmr->ifm_active = IFM_NONE;
980                 ifmr->ifm_status = 0;
981
982                 return;
983         }
984
985         /* Call underlying pollstat, if not serial PHY */
986         if (sc->phyid != EPIC_SERIAL)
987                 mii_pollstat(mii);
988
989         /* Simply copy media info */
990         ifmr->ifm_active = mii->mii_media_active;
991         ifmr->ifm_status = mii->mii_media_status;
992
993         return;
994 }
995
996 /*
997  * Callback routine, called on media change.
998  */
999 static void
1000 epic_miibus_statchg(device_t dev)
1001 {
1002         epic_softc_t *sc;
1003         struct mii_data *mii;
1004         int media;
1005
1006         sc = device_get_softc(dev);
1007         mii = device_get_softc(sc->miibus);
1008         media = mii->mii_media_active;
1009
1010         sc->txcon &= ~(TXCON_LOOPBACK_MODE | TXCON_FULL_DUPLEX);
1011
1012         /* If we are in full-duplex mode or loopback operation,
1013          * we need to decouple receiver and transmitter.
1014          */
1015         if (IFM_OPTIONS(media) & (IFM_FDX | IFM_LOOP))
1016                 sc->txcon |= TXCON_FULL_DUPLEX;
1017
1018         /* On some cards we need manualy set fullduplex led */
1019         if (sc->cardid == SMC9432FTX ||
1020             sc->cardid == SMC9432FTX_SC) {
1021                 if (IFM_OPTIONS(media) & IFM_FDX)
1022                         sc->miicfg |= MIICFG_694_ENABLE;
1023                 else
1024                         sc->miicfg &= ~MIICFG_694_ENABLE;
1025
1026                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
1027         }
1028
1029         /* Update baudrate */
1030         if (IFM_SUBTYPE(media) == IFM_100_TX ||
1031             IFM_SUBTYPE(media) == IFM_100_FX)
1032                 sc->sc_if.if_baudrate = 100000000;
1033         else
1034                 sc->sc_if.if_baudrate = 10000000;
1035
1036         epic_stop_activity(sc);
1037         epic_set_tx_mode(sc);
1038         epic_start_activity(sc);
1039
1040         return;
1041 }
1042
1043 static void
1044 epic_miibus_mediainit(device_t dev)
1045 {
1046         epic_softc_t *sc;
1047         struct mii_data *mii;
1048         struct ifmedia *ifm;
1049         int media;
1050
1051         sc = device_get_softc(dev);
1052         mii = device_get_softc(sc->miibus);
1053         ifm = &mii->mii_media;
1054
1055         /* Add Serial Media Interface if present, this applies to
1056          * SMC9432BTX serie
1057          */
1058         if (CSR_READ_4(sc, MIICFG) & MIICFG_PHY_PRESENT) {
1059                 /* Store its instance */
1060                 sc->serinst = mii->mii_instance++;
1061
1062                 /* Add as 10base2/BNC media */
1063                 media = IFM_MAKEWORD(IFM_ETHER, IFM_10_2, 0, sc->serinst);
1064                 ifmedia_add(ifm, media, 0, NULL);
1065
1066                 /* Report to user */
1067                 if_printf(&sc->sc_if, "serial PHY detected (10Base2/BNC)\n");
1068         }
1069
1070         return;
1071 }
1072
1073 /*
1074  * Reset chip, allocate rings, and update media.
1075  */
1076 static int
1077 epic_init(epic_softc_t *sc)
1078 {
1079         struct ifnet *ifp = &sc->sc_if;
1080         int     i;
1081
1082         crit_enter();
1083
1084         /* If interface is already running, then we need not do anything */
1085         if (ifp->if_flags & IFF_RUNNING) {
1086                 crit_exit();
1087                 return 0;
1088         }
1089
1090         /* Soft reset the chip (we have to power up card before) */
1091         CSR_WRITE_4(sc, GENCTL, 0);
1092         CSR_WRITE_4(sc, GENCTL, GENCTL_SOFT_RESET);
1093
1094         /*
1095          * Reset takes 15 pci ticks which depends on PCI bus speed.
1096          * Assuming it >= 33000000 hz, we have wait at least 495e-6 sec.
1097          */
1098         DELAY(500);
1099
1100         /* Wake up */
1101         CSR_WRITE_4(sc, GENCTL, 0);
1102
1103         /* Workaround for Application Note 7-15 */
1104         for (i=0; i<16; i++) CSR_WRITE_4(sc, TEST1, TEST1_CLOCK_TEST);
1105
1106         /* Initialize rings */
1107         if (epic_init_rings(sc)) {
1108                 if_printf(ifp, "failed to init rings\n");
1109                 crit_exit();
1110                 return -1;
1111         }       
1112
1113         /* Give rings to EPIC */
1114         CSR_WRITE_4(sc, PRCDAR, vtophys(sc->rx_desc));
1115         CSR_WRITE_4(sc, PTCDAR, vtophys(sc->tx_desc));
1116
1117         /* Put node address to EPIC */
1118         CSR_WRITE_4(sc, LAN0, ((u_int16_t *)sc->sc_macaddr)[0]);
1119         CSR_WRITE_4(sc, LAN1, ((u_int16_t *)sc->sc_macaddr)[1]);
1120         CSR_WRITE_4(sc, LAN2, ((u_int16_t *)sc->sc_macaddr)[2]);
1121
1122         /* Set tx mode, includeing transmit threshold */
1123         epic_set_tx_mode(sc);
1124
1125         /* Compute and set RXCON. */
1126         epic_set_rx_mode(sc);
1127
1128         /* Set multicast table */
1129         epic_set_mc_table(sc);
1130
1131         /* Enable interrupts by setting the interrupt mask. */
1132         CSR_WRITE_4(sc, INTMASK,
1133                 INTSTAT_RCC  | /* INTSTAT_RQE | INTSTAT_OVW | INTSTAT_RXE | */
1134                 /* INTSTAT_TXC | */ INTSTAT_TCC | INTSTAT_TQE | INTSTAT_TXU |
1135                 INTSTAT_FATAL);
1136
1137         /* Acknowledge all pending interrupts */
1138         CSR_WRITE_4(sc, INTSTAT, CSR_READ_4(sc, INTSTAT));
1139
1140         /* Enable interrupts,  set for PCI read multiple and etc */
1141         CSR_WRITE_4(sc, GENCTL,
1142                 GENCTL_ENABLE_INTERRUPT | GENCTL_MEMORY_READ_MULTIPLE |
1143                 GENCTL_ONECOPY | GENCTL_RECEIVE_FIFO_THRESHOLD64);
1144
1145         /* Mark interface running ... */
1146         if (ifp->if_flags & IFF_UP) ifp->if_flags |= IFF_RUNNING;
1147         else ifp->if_flags &= ~IFF_RUNNING;
1148
1149         /* ... and free */
1150         ifp->if_flags &= ~IFF_OACTIVE;
1151
1152         /* Start Rx process */
1153         epic_start_activity(sc);
1154
1155         /* Set appropriate media */
1156         epic_ifmedia_upd(ifp);
1157
1158         callout_reset(&sc->tx_stat_timer, hz, epic_stats_update, sc);
1159
1160         crit_exit();
1161
1162         return 0;
1163 }
1164
1165 /*
1166  * Synopsis: calculate and set Rx mode. Chip must be in idle state to
1167  * access RXCON.
1168  */
1169 static void
1170 epic_set_rx_mode(epic_softc_t *sc)
1171 {
1172         u_int32_t               flags = sc->sc_if.if_flags;
1173         u_int32_t               rxcon = RXCON_DEFAULT;
1174
1175 #if defined(EPIC_EARLY_RX)
1176         rxcon |= RXCON_EARLY_RX;
1177 #endif
1178
1179         rxcon |= (flags & IFF_PROMISC) ? RXCON_PROMISCUOUS_MODE : 0;
1180
1181         CSR_WRITE_4(sc, RXCON, rxcon);
1182
1183         return;
1184 }
1185
1186 /*
1187  * Synopsis: Set transmit control register. Chip must be in idle state to
1188  * access TXCON.
1189  */
1190 static void
1191 epic_set_tx_mode(epic_softc_t *sc)
1192 {
1193         if (sc->txcon & TXCON_EARLY_TRANSMIT_ENABLE)
1194                 CSR_WRITE_4(sc, ETXTHR, sc->tx_threshold);
1195
1196         CSR_WRITE_4(sc, TXCON, sc->txcon);
1197 }
1198
1199 /*
1200  * Synopsis: Program multicast filter honoring IFF_ALLMULTI and IFF_PROMISC
1201  * flags. (Note, that setting PROMISC bit in EPIC's RXCON will only touch
1202  * individual frames, multicast filter must be manually programmed)
1203  *
1204  * Note: EPIC must be in idle state.
1205  */
1206 static void
1207 epic_set_mc_table(epic_softc_t *sc)
1208 {
1209         struct ifnet *ifp = &sc->sc_if;
1210         struct ifmultiaddr *ifma;
1211         u_int16_t filter[4];
1212         u_int8_t h;
1213
1214         if (ifp->if_flags & (IFF_ALLMULTI | IFF_PROMISC)) {
1215                 CSR_WRITE_4(sc, MC0, 0xFFFF);
1216                 CSR_WRITE_4(sc, MC1, 0xFFFF);
1217                 CSR_WRITE_4(sc, MC2, 0xFFFF);
1218                 CSR_WRITE_4(sc, MC3, 0xFFFF);
1219
1220                 return;
1221         }
1222
1223         filter[0] = 0;
1224         filter[1] = 0;
1225         filter[2] = 0;
1226         filter[3] = 0;
1227
1228         LIST_FOREACH(ifma, &ifp->if_multiaddrs, ifma_link) {
1229                 if (ifma->ifma_addr->sa_family != AF_LINK)
1230                         continue;
1231                 h = (ether_crc32_be(
1232                         LLADDR((struct sockaddr_dl *)ifma->ifma_addr),
1233                         ETHER_ADDR_LEN) >> 26) & 0x3f;
1234                 filter[h >> 4] |= 1 << (h & 0xF);
1235         }
1236
1237         CSR_WRITE_4(sc, MC0, filter[0]);
1238         CSR_WRITE_4(sc, MC1, filter[1]);
1239         CSR_WRITE_4(sc, MC2, filter[2]);
1240         CSR_WRITE_4(sc, MC3, filter[3]);
1241
1242         return;
1243 }
1244
1245 /*
1246  * Synopsis: Start receive process and transmit one, if they need.
1247  */
1248 static void
1249 epic_start_activity(epic_softc_t *sc)
1250 {
1251         /* Start rx process */
1252         CSR_WRITE_4(sc, COMMAND,
1253                 COMMAND_RXQUEUED | COMMAND_START_RX |
1254                 (sc->pending_txs?COMMAND_TXQUEUED:0));
1255 }
1256
1257 /*
1258  * Synopsis: Completely stop Rx and Tx processes. If TQE is set additional
1259  * packet needs to be queued to stop Tx DMA.
1260  */
1261 static void
1262 epic_stop_activity(epic_softc_t *sc)
1263 {
1264         int status, i;
1265
1266         /* Stop Tx and Rx DMA */
1267         CSR_WRITE_4(sc, COMMAND,
1268             COMMAND_STOP_RX | COMMAND_STOP_RDMA | COMMAND_STOP_TDMA);
1269
1270         /* Wait Rx and Tx DMA to stop (why 1 ms ??? XXX) */
1271         for (i=0; i<0x1000; i++) {
1272                 status = CSR_READ_4(sc, INTSTAT) & (INTSTAT_TXIDLE | INTSTAT_RXIDLE);
1273                 if (status == (INTSTAT_TXIDLE | INTSTAT_RXIDLE))
1274                         break;
1275                 DELAY(1);
1276         }
1277
1278         /* Catch all finished packets */
1279         epic_rx_done(sc);
1280         epic_tx_done(sc);
1281
1282         status = CSR_READ_4(sc, INTSTAT);
1283
1284         if ((status & INTSTAT_RXIDLE) == 0)
1285                 if_printf(&sc->sc_if, "ERROR! Can't stop Rx DMA\n");
1286
1287         if ((status & INTSTAT_TXIDLE) == 0)
1288                 if_printf(&sc->sc_if, "ERROR! Can't stop Tx DMA\n");
1289
1290         /*
1291          * May need to queue one more packet if TQE, this is rare
1292          * but existing case.
1293          */
1294         if ((status & INTSTAT_TQE) && !(status & INTSTAT_TXIDLE))
1295                 (void) epic_queue_last_packet(sc);
1296
1297 }
1298
1299 /*
1300  * The EPIC transmitter may stuck in TQE state. It will not go IDLE until
1301  * a packet from current descriptor will be copied to internal RAM. We
1302  * compose a dummy packet here and queue it for transmission.
1303  *
1304  * XXX the packet will then be actually sent over network...
1305  */
1306 static int
1307 epic_queue_last_packet(epic_softc_t *sc)
1308 {
1309         struct epic_tx_desc *desc;
1310         struct epic_frag_list *flist;
1311         struct epic_tx_buffer *buf;
1312         struct mbuf *m0;
1313         int i;
1314
1315         if_printf(&sc->sc_if, "queue last packet\n");
1316
1317         desc = sc->tx_desc + sc->cur_tx;
1318         flist = sc->tx_flist + sc->cur_tx;
1319         buf = sc->tx_buffer + sc->cur_tx;
1320
1321         if ((desc->status & 0x8000) || (buf->mbuf != NULL))
1322                 return (EBUSY);
1323
1324         MGETHDR(m0, MB_DONTWAIT, MT_DATA);
1325         if (NULL == m0)
1326                 return (ENOBUFS);
1327
1328         /* Prepare mbuf */
1329         m0->m_len = min(MHLEN, ETHER_MIN_LEN-ETHER_CRC_LEN);
1330         flist->frag[0].fraglen = m0->m_len;
1331         m0->m_pkthdr.len = m0->m_len;
1332         m0->m_pkthdr.rcvif = &sc->sc_if;
1333         bzero(mtod(m0,caddr_t), m0->m_len);
1334
1335         /* Fill fragments list */
1336         flist->frag[0].fraglen = m0->m_len;
1337         flist->frag[0].fragaddr = vtophys(mtod(m0, caddr_t));
1338         flist->numfrags = 1;
1339
1340         /* Fill in descriptor */
1341         buf->mbuf = m0;
1342         sc->pending_txs++;
1343         sc->cur_tx = (sc->cur_tx + 1) & TX_RING_MASK;
1344         desc->control = 0x01;
1345         desc->txlength = max(m0->m_pkthdr.len,ETHER_MIN_LEN-ETHER_CRC_LEN);
1346         desc->status = 0x8000;
1347
1348         /* Launch transmition */
1349         CSR_WRITE_4(sc, COMMAND, COMMAND_STOP_TDMA | COMMAND_TXQUEUED);
1350
1351         /* Wait Tx DMA to stop (for how long??? XXX) */
1352         for (i=0; i<1000; i++) {
1353                 if (CSR_READ_4(sc, INTSTAT) & INTSTAT_TXIDLE)
1354                         break;
1355                 DELAY(1);
1356         }
1357
1358         if ((CSR_READ_4(sc, INTSTAT) & INTSTAT_TXIDLE) == 0)
1359                 if_printf(&sc->sc_if, "ERROR! can't stop Tx DMA (2)\n");
1360         else
1361                 epic_tx_done(sc);
1362
1363         return 0;
1364 }
1365
1366 /*
1367  *  Synopsis: Shut down board and deallocates rings.
1368  */
1369 static void
1370 epic_stop(epic_softc_t *sc)
1371 {
1372
1373         crit_enter();
1374
1375         sc->sc_if.if_timer = 0;
1376
1377         callout_stop(&sc->tx_stat_timer);
1378
1379         /* Disable interrupts */
1380         CSR_WRITE_4(sc, INTMASK, 0);
1381         CSR_WRITE_4(sc, GENCTL, 0);
1382
1383         /* Try to stop Rx and TX processes */
1384         epic_stop_activity(sc);
1385
1386         /* Reset chip */
1387         CSR_WRITE_4(sc, GENCTL, GENCTL_SOFT_RESET);
1388         DELAY(1000);
1389
1390         /* Make chip go to bed */
1391         CSR_WRITE_4(sc, GENCTL, GENCTL_POWER_DOWN);
1392
1393         /* Free memory allocated for rings */
1394         epic_free_rings(sc);
1395
1396         /* Mark as stoped */
1397         sc->sc_if.if_flags &= ~IFF_RUNNING;
1398
1399         crit_exit();
1400         return;
1401 }
1402
1403 /*
1404  * Synopsis: This function should free all memory allocated for rings.
1405  */
1406 static void
1407 epic_free_rings(epic_softc_t *sc)
1408 {
1409         int i;
1410
1411         for (i=0; i<RX_RING_SIZE; i++) {
1412                 struct epic_rx_buffer *buf = sc->rx_buffer + i;
1413                 struct epic_rx_desc *desc = sc->rx_desc + i;
1414                 
1415                 desc->status = 0;
1416                 desc->buflength = 0;
1417                 desc->bufaddr = 0;
1418
1419                 if (buf->mbuf) m_freem(buf->mbuf);
1420                 buf->mbuf = NULL;
1421         }
1422
1423         for (i=0; i<TX_RING_SIZE; i++) {
1424                 struct epic_tx_buffer *buf = sc->tx_buffer + i;
1425                 struct epic_tx_desc *desc = sc->tx_desc + i;
1426
1427                 desc->status = 0;
1428                 desc->buflength = 0;
1429                 desc->bufaddr = 0;
1430
1431                 if (buf->mbuf) m_freem(buf->mbuf);
1432                 buf->mbuf = NULL;
1433         }
1434 }
1435
1436 /*
1437  * Synopsis:  Allocates mbufs for Rx ring and point Rx descs to them.
1438  * Point Tx descs to fragment lists. Check that all descs and fraglists
1439  * are bounded and aligned properly.
1440  */
1441 static int
1442 epic_init_rings(epic_softc_t *sc)
1443 {
1444         int i;
1445
1446         sc->cur_rx = sc->cur_tx = sc->dirty_tx = sc->pending_txs = 0;
1447
1448         for (i = 0; i < RX_RING_SIZE; i++) {
1449                 struct epic_rx_buffer *buf = sc->rx_buffer + i;
1450                 struct epic_rx_desc *desc = sc->rx_desc + i;
1451
1452                 desc->status = 0;               /* Owned by driver */
1453                 desc->next = vtophys(sc->rx_desc + ((i+1) & RX_RING_MASK));
1454
1455                 if ((desc->next & 3) ||
1456                     ((desc->next & PAGE_MASK) + sizeof *desc) > PAGE_SIZE) {
1457                         epic_free_rings(sc);
1458                         return EFAULT;
1459                 }
1460
1461                 EPIC_MGETCLUSTER(buf->mbuf);
1462                 if (NULL == buf->mbuf) {
1463                         epic_free_rings(sc);
1464                         return ENOBUFS;
1465                 }
1466                 desc->bufaddr = vtophys(mtod(buf->mbuf, caddr_t));
1467
1468                 desc->buflength = MCLBYTES;     /* Max RX buffer length */
1469                 desc->status = 0x8000;          /* Set owner bit to NIC */
1470         }
1471
1472         for (i = 0; i < TX_RING_SIZE; i++) {
1473                 struct epic_tx_buffer *buf = sc->tx_buffer + i;
1474                 struct epic_tx_desc *desc = sc->tx_desc + i;
1475
1476                 desc->status = 0;
1477                 desc->next = vtophys(sc->tx_desc + ((i+1) & TX_RING_MASK));
1478
1479                 if ((desc->next & 3) ||
1480                     ((desc->next & PAGE_MASK) + sizeof *desc) > PAGE_SIZE) {
1481                         epic_free_rings(sc);
1482                         return EFAULT;
1483                 }
1484
1485                 buf->mbuf = NULL;
1486                 desc->bufaddr = vtophys(sc->tx_flist + i);
1487
1488                 if ((desc->bufaddr & 3) ||
1489                     ((desc->bufaddr & PAGE_MASK) + sizeof(struct epic_frag_list)) > PAGE_SIZE) {
1490                         epic_free_rings(sc);
1491                         return EFAULT;
1492                 }
1493         }
1494
1495         return 0;
1496 }
1497
1498 /*
1499  * EEPROM operation functions
1500  */
1501 static void
1502 epic_write_eepromreg(epic_softc_t *sc, u_int8_t val)
1503 {
1504         u_int16_t i;
1505
1506         CSR_WRITE_1(sc, EECTL, val);
1507
1508         for (i=0; i<0xFF; i++)
1509                 if ((CSR_READ_1(sc, EECTL) & 0x20) == 0) break;
1510
1511         return;
1512 }
1513
1514 static u_int8_t
1515 epic_read_eepromreg(epic_softc_t *sc)
1516 {
1517         return CSR_READ_1(sc, EECTL);
1518 }
1519
1520 static u_int8_t
1521 epic_eeprom_clock(epic_softc_t *sc, u_int8_t val)
1522 {
1523         epic_write_eepromreg(sc, val);
1524         epic_write_eepromreg(sc, (val | 0x4));
1525         epic_write_eepromreg(sc, val);
1526         
1527         return epic_read_eepromreg(sc);
1528 }
1529
1530 static void
1531 epic_output_eepromw(epic_softc_t *sc, u_int16_t val)
1532 {
1533         int i;
1534
1535         for (i = 0xF; i >= 0; i--) {
1536                 if (val & (1 << i))
1537                         epic_eeprom_clock(sc, 0x0B);
1538                 else
1539                         epic_eeprom_clock(sc, 0x03);
1540         }
1541 }
1542
1543 static u_int16_t
1544 epic_input_eepromw(epic_softc_t *sc)
1545 {
1546         u_int16_t retval = 0;
1547         int i;
1548
1549         for (i = 0xF; i >= 0; i--) {    
1550                 if (epic_eeprom_clock(sc, 0x3) & 0x10)
1551                         retval |= (1 << i);
1552         }
1553
1554         return retval;
1555 }
1556
1557 static int
1558 epic_read_eeprom(epic_softc_t *sc, u_int16_t loc)
1559 {
1560         u_int16_t dataval;
1561         u_int16_t read_cmd;
1562
1563         epic_write_eepromreg(sc, 3);
1564
1565         if (epic_read_eepromreg(sc) & 0x40)
1566                 read_cmd = (loc & 0x3F) | 0x180;
1567         else
1568                 read_cmd = (loc & 0xFF) | 0x600;
1569
1570         epic_output_eepromw(sc, read_cmd);
1571
1572         dataval = epic_input_eepromw(sc);
1573
1574         epic_write_eepromreg(sc, 1);
1575         
1576         return dataval;
1577 }
1578
1579 /*
1580  * Here goes MII read/write routines
1581  */
1582 static int
1583 epic_read_phy_reg(epic_softc_t *sc, int phy, int reg)
1584 {
1585         int i;
1586
1587         CSR_WRITE_4(sc, MIICTL, ((reg << 4) | (phy << 9) | 0x01));
1588
1589         for (i = 0; i < 0x100; i++) {
1590                 if ((CSR_READ_4(sc, MIICTL) & 0x01) == 0) break;
1591                 DELAY(1);
1592         }
1593
1594         return (CSR_READ_4(sc, MIIDATA));
1595 }
1596
1597 static void
1598 epic_write_phy_reg(epic_softc_t *sc, int phy, int reg, int val)
1599 {
1600         int i;
1601
1602         CSR_WRITE_4(sc, MIIDATA, val);
1603         CSR_WRITE_4(sc, MIICTL, ((reg << 4) | (phy << 9) | 0x02));
1604
1605         for(i=0;i<0x100;i++) {
1606                 if ((CSR_READ_4(sc, MIICTL) & 0x02) == 0) break;
1607                 DELAY(1);
1608         }
1609
1610         return;
1611 }
1612
1613 static int
1614 epic_miibus_readreg(device_t dev, int phy, int reg)
1615 {
1616         epic_softc_t *sc;
1617
1618         sc = device_get_softc(dev);
1619
1620         return (PHY_READ_2(sc, phy, reg));
1621 }
1622
1623 static int
1624 epic_miibus_writereg(device_t dev, int phy, int reg, int data)
1625 {
1626         epic_softc_t *sc;
1627
1628         sc = device_get_softc(dev);
1629
1630         PHY_WRITE_2(sc, phy, reg, data);
1631
1632         return (0);
1633 }