- Remove unnecessary ETHER_* macros
[dragonfly.git] / sys / dev / netif / tx / if_tx.c
1 /*-
2  * Copyright (c) 1997 Semen Ustimenko (semenu@FreeBSD.org)
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
24  * SUCH DAMAGE.
25  *
26  * $FreeBSD: src/sys/dev/tx/if_tx.c,v 1.61.2.1 2002/10/29 01:43:49 semenu Exp $
27  * $DragonFly: src/sys/dev/netif/tx/if_tx.c,v 1.30 2005/11/20 11:59:54 sephe Exp $
28  */
29
30 /*
31  * EtherPower II 10/100 Fast Ethernet (SMC 9432 serie)
32  *
33  * These cards are based on SMC83c17x (EPIC) chip and one of the various
34  * PHYs (QS6612, AC101 and LXT970 were seen). The media support depends on
35  * card model. All cards support 10baseT/UTP and 100baseTX half- and full-
36  * duplex (SMB9432TX). SMC9432BTX also supports 10baseT/BNC. SMC9432FTX also
37  * supports fibre optics.
38  *
39  * Thanks are going to Steve Bauer and Jason Wright.
40  */
41
42 #include <sys/param.h>
43 #include <sys/systm.h>
44 #include <sys/sockio.h>
45 #include <sys/mbuf.h>
46 #include <sys/malloc.h>
47 #include <sys/kernel.h>
48 #include <sys/socket.h>
49 #include <sys/queue.h>
50 #include <sys/thread2.h>
51
52 #include <net/if.h>
53 #include <net/ifq_var.h>
54 #include <net/if_arp.h>
55 #include <net/ethernet.h>
56 #include <net/if_dl.h>
57 #include <net/if_media.h>
58
59 #include <net/bpf.h>
60
61 #include <net/vlan/if_vlan_var.h>
62
63 #include <vm/vm.h>              /* for vtophys */
64 #include <vm/pmap.h>            /* for vtophys */
65 #include <machine/bus_memio.h>
66 #include <machine/bus_pio.h>
67 #include <machine/bus.h>
68 #include <machine/resource.h>
69 #include <sys/bus.h>
70 #include <sys/rman.h>
71
72 #include <bus/pci/pcireg.h>
73 #include <bus/pci/pcivar.h>
74 #include <bus/pci/pcidevs.h>
75
76 #include <dev/netif/mii_layer/mii.h>
77 #include <dev/netif/mii_layer/miivar.h>
78 #include <dev/netif/mii_layer/miidevs.h>
79 #include <dev/netif/mii_layer/lxtphyreg.h>
80
81 #include "miibus_if.h"
82
83 #include <dev/netif/tx/if_txreg.h>
84 #include <dev/netif/tx/if_txvar.h>
85
86 static int epic_ifioctl(struct ifnet *, u_long, caddr_t, struct ucred *);
87 static void epic_intr(void *);
88 static void epic_tx_underrun(epic_softc_t *);
89 static int epic_common_attach(epic_softc_t *);
90 static void epic_ifstart(struct ifnet *);
91 static void epic_ifwatchdog(struct ifnet *);
92 static void epic_stats_update(void *);
93 static int epic_init(epic_softc_t *);
94 static void epic_stop(epic_softc_t *);
95 static void epic_rx_done(epic_softc_t *);
96 static void epic_tx_done(epic_softc_t *);
97 static int epic_init_rings(epic_softc_t *);
98 static void epic_free_rings(epic_softc_t *);
99 static void epic_stop_activity(epic_softc_t *);
100 static int epic_queue_last_packet(epic_softc_t *);
101 static void epic_start_activity(epic_softc_t *);
102 static void epic_set_rx_mode(epic_softc_t *);
103 static void epic_set_tx_mode(epic_softc_t *);
104 static void epic_set_mc_table(epic_softc_t *);
105 static int epic_read_eeprom(epic_softc_t *,u_int16_t);
106 static void epic_output_eepromw(epic_softc_t *, u_int16_t);
107 static u_int16_t epic_input_eepromw(epic_softc_t *);
108 static u_int8_t epic_eeprom_clock(epic_softc_t *,u_int8_t);
109 static void epic_write_eepromreg(epic_softc_t *,u_int8_t);
110 static u_int8_t epic_read_eepromreg(epic_softc_t *);
111
112 static int epic_read_phy_reg(epic_softc_t *, int, int);
113 static void epic_write_phy_reg(epic_softc_t *, int, int, int);
114
115 static int epic_miibus_readreg(device_t, int, int);
116 static int epic_miibus_writereg(device_t, int, int, int);
117 static void epic_miibus_statchg(device_t);
118 static void epic_miibus_mediainit(device_t);
119
120 static int epic_ifmedia_upd(struct ifnet *);
121 static void epic_ifmedia_sts(struct ifnet *, struct ifmediareq *);
122
123 static int epic_probe(device_t);
124 static int epic_attach(device_t);
125 static void epic_shutdown(device_t);
126 static int epic_detach(device_t);
127
128 static device_method_t epic_methods[] = {
129         /* Device interface */
130         DEVMETHOD(device_probe,         epic_probe),
131         DEVMETHOD(device_attach,        epic_attach),
132         DEVMETHOD(device_detach,        epic_detach),
133         DEVMETHOD(device_shutdown,      epic_shutdown),
134
135         /* MII interface */
136         DEVMETHOD(miibus_readreg,       epic_miibus_readreg),
137         DEVMETHOD(miibus_writereg,      epic_miibus_writereg),
138         DEVMETHOD(miibus_statchg,       epic_miibus_statchg),
139         DEVMETHOD(miibus_mediainit,     epic_miibus_mediainit),
140
141         { 0, 0 }
142 };
143
144 static driver_t epic_driver = {
145         "tx",
146         epic_methods,
147         sizeof(epic_softc_t)
148 };
149
150 static devclass_t epic_devclass;
151
152 DECLARE_DUMMY_MODULE(if_tx);
153 MODULE_DEPEND(if_tx, miibus, 1, 1, 1);
154 DRIVER_MODULE(if_tx, pci, epic_driver, epic_devclass, 0, 0);
155 DRIVER_MODULE(miibus, tx, miibus_driver, miibus_devclass, 0, 0);
156
157 static struct epic_type epic_devs[] = {
158         { PCI_VENDOR_SMC, PCI_PRODUCT_SMC_83C170,
159                 "SMC EtherPower II 10/100" },
160         { 0, 0, NULL }
161 };
162
163 static int
164 epic_probe(device_t dev)
165 {
166         struct epic_type *t;
167         uint16_t vid, did;
168
169         vid = pci_get_vendor(dev);
170         did = pci_get_device(dev);
171         for (t = epic_devs; t->name != NULL; ++t) {
172                 if (vid == t->ven_id && did == t->dev_id) {
173                         device_set_desc(dev, t->name);
174                         return 0;
175                 }
176         }
177         return ENXIO;
178 }
179
180 #if defined(EPIC_USEIOSPACE)
181 #define EPIC_RES        SYS_RES_IOPORT
182 #define EPIC_RID        PCIR_BAR(0)
183 #else
184 #define EPIC_RES        SYS_RES_MEMORY
185 #define EPIC_RID        PCIR_BAR(1)
186 #endif
187
188 /*
189  * Attach routine: map registers, allocate softc, rings and descriptors.
190  * Reset to known state.
191  */
192 static int
193 epic_attach(device_t dev)
194 {
195         struct ifnet *ifp;
196         epic_softc_t *sc;
197         int error;
198         int i, rid, tmp;
199
200         sc = device_get_softc(dev);
201
202         /* Preinitialize softc structure */
203         sc->dev = dev;
204         callout_init(&sc->tx_stat_timer);
205
206         /* Fill ifnet structure */
207         ifp = &sc->sc_if;
208         if_initname(ifp, device_get_name(dev), device_get_unit(dev));
209         ifp->if_softc = sc;
210         ifp->if_flags = IFF_BROADCAST|IFF_SIMPLEX|IFF_MULTICAST;
211         ifp->if_ioctl = epic_ifioctl;
212         ifp->if_start = epic_ifstart;
213         ifp->if_watchdog = epic_ifwatchdog;
214         ifp->if_init = (if_init_f_t*)epic_init;
215         ifp->if_timer = 0;
216         ifp->if_baudrate = 10000000;
217         ifq_set_maxlen(&ifp->if_snd, TX_RING_SIZE - 1);
218         ifq_set_ready(&ifp->if_snd);
219
220         pci_enable_busmaster(dev);
221
222         rid = EPIC_RID;
223         sc->res = bus_alloc_resource_any(dev, EPIC_RES, &rid, RF_ACTIVE);
224
225         if (sc->res == NULL) {
226                 device_printf(dev, "couldn't map ports/memory\n");
227                 error = ENXIO;
228                 goto fail;
229         }
230
231         sc->sc_st = rman_get_bustag(sc->res);
232         sc->sc_sh = rman_get_bushandle(sc->res);
233
234         /* Allocate interrupt */
235         rid = 0;
236         sc->irq = bus_alloc_resource_any(dev, SYS_RES_IRQ, &rid,
237             RF_SHAREABLE | RF_ACTIVE);
238
239         if (sc->irq == NULL) {
240                 device_printf(dev, "couldn't map interrupt\n");
241                 error = ENXIO;
242                 goto fail;
243         }
244
245         /* Do OS independent part, including chip wakeup and reset */
246         error = epic_common_attach(sc);
247         if (error) {
248                 error = ENXIO;
249                 goto fail;
250         }
251
252         /* Do ifmedia setup */
253         if (mii_phy_probe(dev, &sc->miibus,
254             epic_ifmedia_upd, epic_ifmedia_sts)) {
255                 device_printf(dev, "ERROR! MII without any PHY!?\n");
256                 error = ENXIO;
257                 goto fail;
258         }
259
260         /* board type and ... */
261         printf(" type ");
262         for(i=0x2c;i<0x32;i++) {
263                 tmp = epic_read_eeprom(sc, i);
264                 if (' ' == (u_int8_t)tmp) break;
265                 printf("%c", (u_int8_t)tmp);
266                 tmp >>= 8;
267                 if (' ' == (u_int8_t)tmp) break;
268                 printf("%c", (u_int8_t)tmp);
269         }
270         printf("\n");
271
272         /* Attach to OS's managers */
273         ether_ifattach(ifp, sc->sc_macaddr);
274         ifp->if_hdrlen = sizeof(struct ether_vlan_header);
275
276         error = bus_setup_intr(dev, sc->irq, 0,
277                                epic_intr, sc, &sc->sc_ih, NULL);
278
279         if (error) {
280                 device_printf(dev, "couldn't set up irq\n");
281                 ether_ifdetach(ifp);
282                 goto fail;
283         }
284
285         return(0);
286
287 fail:
288         epic_detach(dev);
289         return(error);
290 }
291
292 /*
293  * Detach driver and free resources
294  */
295 static int
296 epic_detach(device_t dev)
297 {
298         struct ifnet *ifp;
299         epic_softc_t *sc;
300
301         sc = device_get_softc(dev);
302         ifp = &sc->arpcom.ac_if;
303
304         crit_enter();
305
306         if (device_is_attached(dev)) {
307                 ether_ifdetach(ifp);
308                 epic_stop(sc);
309         }
310
311         if (sc->miibus)
312                 device_delete_child(dev, sc->miibus);
313         bus_generic_detach(dev);
314
315         if (sc->sc_ih)
316                 bus_teardown_intr(dev, sc->irq, sc->sc_ih);
317
318         crit_exit();
319
320         if (sc->irq)
321                 bus_release_resource(dev, SYS_RES_IRQ, 0, sc->irq);
322         if (sc->res)
323                 bus_release_resource(dev, EPIC_RES, EPIC_RID, sc->res);
324
325         if (sc->tx_flist)
326                 free(sc->tx_flist, M_DEVBUF);
327         if (sc->tx_desc)
328                 free(sc->tx_desc, M_DEVBUF);
329         if (sc->rx_desc)
330                 free(sc->rx_desc, M_DEVBUF);
331
332         return(0);
333 }
334
335 #undef  EPIC_RES
336 #undef  EPIC_RID
337
338 /*
339  * Stop all chip I/O so that the kernel's probe routines don't
340  * get confused by errant DMAs when rebooting.
341  */
342 static void
343 epic_shutdown(device_t dev)
344 {
345         epic_softc_t *sc;
346
347         sc = device_get_softc(dev);
348
349         epic_stop(sc);
350
351         return;
352 }
353
354 /*
355  * This is if_ioctl handler.
356  */
357 static int
358 epic_ifioctl(struct ifnet *ifp, u_long command, caddr_t data, struct ucred *cr)
359 {
360         epic_softc_t *sc = ifp->if_softc;
361         struct mii_data *mii;
362         struct ifreq *ifr = (struct ifreq *) data;
363         int error = 0;
364
365         crit_enter();
366
367         switch (command) {
368         case SIOCSIFMTU:
369                 if (ifp->if_mtu == ifr->ifr_mtu)
370                         break;
371
372                 /* XXX Though the datasheet doesn't imply any
373                  * limitations on RX and TX sizes beside max 64Kb
374                  * DMA transfer, seems we can't send more then 1600
375                  * data bytes per ethernet packet. (Transmitter hangs
376                  * up if more data is sent)
377                  */
378                 if (ifr->ifr_mtu + ifp->if_hdrlen <= EPIC_MAX_MTU) {
379                         ifp->if_mtu = ifr->ifr_mtu;
380                         epic_stop(sc);
381                         epic_init(sc);
382                 } else
383                         error = EINVAL;
384                 break;
385
386         case SIOCSIFFLAGS:
387                 /*
388                  * If the interface is marked up and stopped, then start it.
389                  * If it is marked down and running, then stop it.
390                  */
391                 if (ifp->if_flags & IFF_UP) {
392                         if ((ifp->if_flags & IFF_RUNNING) == 0) {
393                                 epic_init(sc);
394                                 break;
395                         }
396                 } else {
397                         if (ifp->if_flags & IFF_RUNNING) {
398                                 epic_stop(sc);
399                                 break;
400                         }
401                 }
402
403                 /* Handle IFF_PROMISC and IFF_ALLMULTI flags */
404                 epic_stop_activity(sc); 
405                 epic_set_mc_table(sc);
406                 epic_set_rx_mode(sc);
407                 epic_start_activity(sc);        
408                 break;
409
410         case SIOCADDMULTI:
411         case SIOCDELMULTI:
412                 epic_set_mc_table(sc);
413                 error = 0;
414                 break;
415
416         case SIOCSIFMEDIA:
417         case SIOCGIFMEDIA:
418                 mii = device_get_softc(sc->miibus);
419                 error = ifmedia_ioctl(ifp, ifr, &mii->mii_media, command);
420                 break;
421
422         default:
423                 error = ether_ioctl(ifp, command, data);
424                 break;
425         }
426         crit_exit();
427
428         return error;
429 }
430
431 /*
432  * OS-independed part of attach process. allocate memory for descriptors
433  * and frag lists, wake up chip, read MAC address and PHY identyfier.
434  * Return -1 on failure.
435  */
436 static int
437 epic_common_attach(epic_softc_t *sc)
438 {
439         uint16_t sub_vid;
440         int i;
441
442         sc->tx_flist = malloc(sizeof(struct epic_frag_list)*TX_RING_SIZE,
443             M_DEVBUF, M_WAITOK | M_ZERO);
444         sc->tx_desc = malloc(sizeof(struct epic_tx_desc)*TX_RING_SIZE,
445             M_DEVBUF, M_WAITOK | M_ZERO);
446         sc->rx_desc = malloc(sizeof(struct epic_rx_desc)*RX_RING_SIZE,
447             M_DEVBUF, M_WAITOK | M_ZERO);
448
449         /* Bring the chip out of low-power mode. */
450         CSR_WRITE_4(sc, GENCTL, GENCTL_SOFT_RESET);
451         DELAY(500);
452
453         /* Workaround for Application Note 7-15 */
454         for (i=0; i<16; i++) CSR_WRITE_4(sc, TEST1, TEST1_CLOCK_TEST);
455
456         /* Read mac address from EEPROM */
457         for (i = 0; i < ETHER_ADDR_LEN / sizeof(u_int16_t); i++)
458                 ((u_int16_t *)sc->sc_macaddr)[i] = epic_read_eeprom(sc,i);
459
460         /* Set Non-Volatile Control Register from EEPROM */
461         CSR_WRITE_4(sc, NVCTL, epic_read_eeprom(sc, EEPROM_NVCTL) & 0x1F);
462
463         /* Set defaults */
464         sc->tx_threshold = TRANSMIT_THRESHOLD;
465         sc->txcon = TXCON_DEFAULT;
466         sc->miicfg = MIICFG_SMI_ENABLE;
467         sc->phyid = EPIC_UNKN_PHY;
468         sc->serinst = -1;
469
470         /* Fetch card id */
471         sub_vid = pci_get_subvendor(sc->dev);
472         sc->cardid = pci_get_subdevice(sc->dev);
473
474         if (sub_vid != PCI_VENDOR_SMC)
475                 device_printf(sc->dev, "unknown card vendor %04xh\n", sub_vid);
476
477         return 0;
478 }
479
480 /*
481  * This is if_start handler. It takes mbufs from if_snd queue
482  * and queue them for transmit, one by one, until TX ring become full
483  * or queue become empty.
484  */
485 static void
486 epic_ifstart(struct ifnet *ifp)
487 {
488         epic_softc_t *sc = ifp->if_softc;
489         struct epic_tx_buffer *buf;
490         struct epic_tx_desc *desc;
491         struct epic_frag_list *flist;
492         struct mbuf *m0;
493         struct mbuf *m;
494         int i;
495
496         while (sc->pending_txs < TX_RING_SIZE) {
497                 buf = sc->tx_buffer + sc->cur_tx;
498                 desc = sc->tx_desc + sc->cur_tx;
499                 flist = sc->tx_flist + sc->cur_tx;
500
501                 /* Get next packet to send */
502                 m0 = ifq_dequeue(&ifp->if_snd);
503
504                 /* If nothing to send, return */
505                 if (m0 == NULL)
506                         return;
507
508                 /* Fill fragments list */
509                 for (m = m0, i = 0;
510                     (NULL != m) && (i < EPIC_MAX_FRAGS);
511                     m = m->m_next, i++) {
512                         flist->frag[i].fraglen = m->m_len;
513                         flist->frag[i].fragaddr = vtophys(mtod(m, caddr_t));
514                 }
515                 flist->numfrags = i;
516
517                 /* If packet was more than EPIC_MAX_FRAGS parts, */
518                 /* recopy packet to new allocated mbuf cluster */
519                 if (NULL != m) {
520                         EPIC_MGETCLUSTER(m);
521                         if (NULL == m) {
522                                 m_freem(m0);
523                                 ifp->if_oerrors++;
524                                 continue;
525                         }
526
527                         m_copydata(m0, 0, m0->m_pkthdr.len, mtod(m, caddr_t));
528                         flist->frag[0].fraglen =
529                              m->m_pkthdr.len = m->m_len = m0->m_pkthdr.len;
530                         m->m_pkthdr.rcvif = ifp;
531
532                         flist->numfrags = 1;
533                         flist->frag[0].fragaddr = vtophys(mtod(m, caddr_t));
534                         m_freem(m0);
535                         m0 = m;
536                 }
537
538                 buf->mbuf = m0;
539                 sc->pending_txs++;
540                 sc->cur_tx = (sc->cur_tx + 1) & TX_RING_MASK;
541                 desc->control = 0x01;
542                 desc->txlength =
543                     max(m0->m_pkthdr.len,ETHER_MIN_LEN-ETHER_CRC_LEN);
544                 desc->status = 0x8000;
545                 CSR_WRITE_4(sc, COMMAND, COMMAND_TXQUEUED);
546
547                 /* Set watchdog timer */
548                 ifp->if_timer = 8;
549
550                 BPF_MTAP(ifp, m0);
551         }
552
553         ifp->if_flags |= IFF_OACTIVE;
554
555         return;
556         
557 }
558
559 /*
560  * Synopsis: Finish all received frames.
561  */
562 static void
563 epic_rx_done(epic_softc_t *sc)
564 {
565         u_int16_t len;
566         struct ifnet *ifp = &sc->sc_if;
567         struct epic_rx_buffer *buf;
568         struct epic_rx_desc *desc;
569         struct mbuf *m;
570
571         while ((sc->rx_desc[sc->cur_rx].status & 0x8000) == 0) {
572                 buf = sc->rx_buffer + sc->cur_rx;
573                 desc = sc->rx_desc + sc->cur_rx;
574
575                 /* Switch to next descriptor */
576                 sc->cur_rx = (sc->cur_rx+1) & RX_RING_MASK;
577
578                 /*
579                  * Check for RX errors. This should only happen if
580                  * SAVE_ERRORED_PACKETS is set. RX errors generate
581                  * RXE interrupt usually.
582                  */
583                 if ((desc->status & 1) == 0) {
584                         sc->sc_if.if_ierrors++;
585                         desc->status = 0x8000;
586                         continue;
587                 }
588
589                 /* Save packet length and mbuf contained packet */
590                 len = desc->rxlength - ETHER_CRC_LEN;
591                 m = buf->mbuf;
592
593                 /* Try to get mbuf cluster */
594                 EPIC_MGETCLUSTER(buf->mbuf);
595                 if (NULL == buf->mbuf) {
596                         buf->mbuf = m;
597                         desc->status = 0x8000;
598                         ifp->if_ierrors++;
599                         continue;
600                 }
601
602                 /* Point to new mbuf, and give descriptor to chip */
603                 desc->bufaddr = vtophys(mtod(buf->mbuf, caddr_t));
604                 desc->status = 0x8000;
605                 
606                 /* First mbuf in packet holds the ethernet and packet headers */
607                 m->m_pkthdr.rcvif = ifp;
608                 m->m_pkthdr.len = m->m_len = len;
609
610                 /* Give mbuf to OS */
611                 (*ifp->if_input)(ifp, m);
612
613                 /* Successfuly received frame */
614                 ifp->if_ipackets++;
615         }
616
617         return;
618 }
619
620 /*
621  * Synopsis: Do last phase of transmission. I.e. if desc is
622  * transmitted, decrease pending_txs counter, free mbuf contained
623  * packet, switch to next descriptor and repeat until no packets
624  * are pending or descriptor is not transmitted yet.
625  */
626 static void
627 epic_tx_done(epic_softc_t *sc)
628 {
629         struct epic_tx_buffer *buf;
630         struct epic_tx_desc *desc;
631         u_int16_t status;
632
633         while (sc->pending_txs > 0) {
634                 buf = sc->tx_buffer + sc->dirty_tx;
635                 desc = sc->tx_desc + sc->dirty_tx;
636                 status = desc->status;
637
638                 /* If packet is not transmitted, thou followed */
639                 /* packets are not transmitted too */
640                 if (status & 0x8000) break;
641
642                 /* Packet is transmitted. Switch to next and */
643                 /* free mbuf */
644                 sc->pending_txs--;
645                 sc->dirty_tx = (sc->dirty_tx + 1) & TX_RING_MASK;
646                 m_freem(buf->mbuf);
647                 buf->mbuf = NULL;
648
649                 /* Check for errors and collisions */
650                 if (status & 0x0001) sc->sc_if.if_opackets++;
651                 else sc->sc_if.if_oerrors++;
652                 sc->sc_if.if_collisions += (status >> 8) & 0x1F;
653 #if defined(EPIC_DIAG)
654                 if ((status & 0x1001) == 0x1001) {
655                         if_printf(&sc->sc_if,
656                                   "Tx ERROR: excessive coll. number\n");
657                 }
658 #endif
659         }
660
661         if (sc->pending_txs < TX_RING_SIZE)
662                 sc->sc_if.if_flags &= ~IFF_OACTIVE;
663 }
664
665 /*
666  * Interrupt function
667  */
668 static void
669 epic_intr(void *arg)
670 {
671     epic_softc_t * sc = (epic_softc_t *) arg;
672     int status, i = 4;
673
674     while (i-- && ((status = CSR_READ_4(sc, INTSTAT)) & INTSTAT_INT_ACTV)) {
675         CSR_WRITE_4(sc, INTSTAT, status);
676
677         if (status & (INTSTAT_RQE|INTSTAT_RCC|INTSTAT_OVW)) {
678             epic_rx_done(sc);
679             if (status & (INTSTAT_RQE|INTSTAT_OVW)) {
680 #if defined(EPIC_DIAG)
681                 if (status & INTSTAT_OVW)
682                     if_printf(&sc->sc_if, "RX buffer overflow\n");
683                 if (status & INTSTAT_RQE)
684                     if_printf(&sc->sc_if, "RX FIFO overflow\n");
685 #endif
686                 if ((CSR_READ_4(sc, COMMAND) & COMMAND_RXQUEUED) == 0)
687                     CSR_WRITE_4(sc, COMMAND, COMMAND_RXQUEUED);
688                 sc->sc_if.if_ierrors++;
689             }
690         }
691
692         if (status & (INTSTAT_TXC|INTSTAT_TCC|INTSTAT_TQE)) {
693             epic_tx_done(sc);
694             if (!ifq_is_empty(&sc->sc_if.if_snd))
695                     epic_ifstart(&sc->sc_if);
696         }
697
698         /* Check for rare errors */
699         if (status & (INTSTAT_FATAL|INTSTAT_PMA|INTSTAT_PTA|
700                       INTSTAT_APE|INTSTAT_DPE|INTSTAT_TXU|INTSTAT_RXE)) {
701             if (status & (INTSTAT_FATAL|INTSTAT_PMA|INTSTAT_PTA|
702                           INTSTAT_APE|INTSTAT_DPE)) {
703                 if_printf(&sc->sc_if, "PCI fatal errors occured: %s%s%s%s\n",
704                     (status&INTSTAT_PMA)?"PMA ":"",
705                     (status&INTSTAT_PTA)?"PTA ":"",
706                     (status&INTSTAT_APE)?"APE ":"",
707                     (status&INTSTAT_DPE)?"DPE":""
708                 );
709
710                 epic_stop(sc);
711                 epic_init(sc);
712                 
713                 break;
714             }
715
716             if (status & INTSTAT_RXE) {
717 #if defined(EPIC_DIAG)
718                 if_printf(sc->sc_if, "CRC/Alignment error\n");
719 #endif
720                 sc->sc_if.if_ierrors++;
721             }
722
723             if (status & INTSTAT_TXU) {
724                 epic_tx_underrun(sc);
725                 sc->sc_if.if_oerrors++;
726             }
727         }
728     }
729
730     /* If no packets are pending, then no timeouts */
731     if (sc->pending_txs == 0) sc->sc_if.if_timer = 0;
732
733     return;
734 }
735
736 /*
737  * Handle the TX underrun error: increase the TX threshold
738  * and restart the transmitter.
739  */
740 static void
741 epic_tx_underrun(epic_softc_t *sc)
742 {
743         if (sc->tx_threshold > TRANSMIT_THRESHOLD_MAX) {
744                 sc->txcon &= ~TXCON_EARLY_TRANSMIT_ENABLE;
745 #if defined(EPIC_DIAG)
746                 if_printf(&sc->sc_if, "Tx UNDERRUN: early TX disabled\n");
747 #endif
748         } else {
749                 sc->tx_threshold += 0x40;
750 #if defined(EPIC_DIAG)
751                 if_printf(&sc->sc_if, "Tx UNDERRUN: "
752                           "TX threshold increased to %d\n", sc->tx_threshold);
753 #endif
754         }
755
756         /* We must set TXUGO to reset the stuck transmitter */
757         CSR_WRITE_4(sc, COMMAND, COMMAND_TXUGO);
758
759         /* Update the TX threshold */
760         epic_stop_activity(sc);
761         epic_set_tx_mode(sc);
762         epic_start_activity(sc);
763
764         return;
765 }
766
767 /*
768  * Synopsis: This one is called if packets wasn't transmitted
769  * during timeout. Try to deallocate transmitted packets, and
770  * if success continue to work.
771  */
772 static void
773 epic_ifwatchdog(struct ifnet *ifp)
774 {
775         epic_softc_t *sc = ifp->if_softc;
776
777         crit_enter();
778
779         if_printf(ifp, "device timeout %d packets\n", sc->pending_txs);
780
781         /* Try to finish queued packets */
782         epic_tx_done(sc);
783
784         /* If not successful */
785         if (sc->pending_txs > 0) {
786
787                 ifp->if_oerrors+=sc->pending_txs;
788
789                 /* Reinitialize board */
790                 if_printf(ifp, "reinitialization\n");
791                 epic_stop(sc);
792                 epic_init(sc);
793
794         } else
795                 if_printf(ifp, "seems we can continue normaly\n");
796
797         /* Start output */
798         if (!ifq_is_empty(&ifp->if_snd))
799                 epic_ifstart(ifp);
800
801         crit_exit();
802 }
803
804 /*
805  * Despite the name of this function, it doesn't update statistics, it only
806  * helps in autonegotiation process.
807  */
808 static void
809 epic_stats_update(void *xsc)
810 {
811         epic_softc_t *sc = xsc;
812         struct mii_data * mii;
813
814         crit_enter();
815
816         mii = device_get_softc(sc->miibus);
817         mii_tick(mii);
818
819         callout_reset(&sc->tx_stat_timer, hz, epic_stats_update, sc);
820
821         crit_exit();
822 }
823
824 /*
825  * Set media options.
826  */
827 static int
828 epic_ifmedia_upd(struct ifnet *ifp)
829 {
830         epic_softc_t *sc;
831         struct mii_data *mii;
832         struct ifmedia *ifm;
833         struct mii_softc *miisc;
834         int cfg, media;
835
836         sc = ifp->if_softc;
837         mii = device_get_softc(sc->miibus);
838         ifm = &mii->mii_media;
839         media = ifm->ifm_cur->ifm_media;
840
841         /* Do not do anything if interface is not up */
842         if ((ifp->if_flags & IFF_UP) == 0)
843                 return (0);
844
845         /*
846          * Lookup current selected PHY
847          */
848         if (IFM_INST(media) == sc->serinst) {
849                 sc->phyid = EPIC_SERIAL;
850                 sc->physc = NULL;
851         } else {
852                 /* If we're not selecting serial interface, select MII mode */
853                 sc->miicfg &= ~MIICFG_SERIAL_ENABLE;
854                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
855
856                 /* Default to unknown PHY */
857                 sc->phyid = EPIC_UNKN_PHY;
858
859                 /* Lookup selected PHY */
860                 for (miisc = LIST_FIRST(&mii->mii_phys); miisc != NULL;
861                      miisc = LIST_NEXT(miisc, mii_list)) {
862                         if (IFM_INST(media) == miisc->mii_inst) {
863                                 sc->physc = miisc;
864                                 break;
865                         }
866                 }
867
868                 /* Identify selected PHY */
869                 if (sc->physc) {
870                         int id1, id2, model, oui;
871
872                         id1 = PHY_READ(sc->physc, MII_PHYIDR1);
873                         id2 = PHY_READ(sc->physc, MII_PHYIDR2);
874
875                         oui = MII_OUI(id1, id2);
876                         model = MII_MODEL(id2);
877                         switch (oui) {
878                         case MII_OUI_QUALSEMI:
879                                 if (model == MII_MODEL_QUALSEMI_QS6612)
880                                         sc->phyid = EPIC_QS6612_PHY;
881                                 break;
882                         case MII_OUI_xxALTIMA:
883                                 if (model == MII_MODEL_xxALTIMA_AC101)
884                                         sc->phyid = EPIC_AC101_PHY;
885                                 break;
886                         case MII_OUI_xxLEVEL1:
887                                 if (model == MII_MODEL_xxLEVEL1_LXT970)
888                                         sc->phyid = EPIC_LXT970_PHY;
889                                 break;
890                         }
891                 }
892         }
893
894         /*
895          * Do PHY specific card setup
896          */
897
898         /* Call this, to isolate all not selected PHYs and
899          * set up selected
900          */
901         mii_mediachg(mii);
902
903         /* Do our own setup */
904         switch (sc->phyid) {
905         case EPIC_QS6612_PHY:
906                 break;
907         case EPIC_AC101_PHY:
908                 /* We have to powerup fiber tranceivers */
909                 if (IFM_SUBTYPE(media) == IFM_100_FX)
910                         sc->miicfg |= MIICFG_694_ENABLE;
911                 else
912                         sc->miicfg &= ~MIICFG_694_ENABLE;
913                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
914         
915                 break;
916         case EPIC_LXT970_PHY:
917                 /* We have to powerup fiber tranceivers */
918                 cfg = PHY_READ(sc->physc, MII_LXTPHY_CONFIG);
919                 if (IFM_SUBTYPE(media) == IFM_100_FX)
920                         cfg |= CONFIG_LEDC1 | CONFIG_LEDC0;
921                 else
922                         cfg &= ~(CONFIG_LEDC1 | CONFIG_LEDC0);
923                 PHY_WRITE(sc->physc, MII_LXTPHY_CONFIG, cfg);
924
925                 break;
926         case EPIC_SERIAL:
927                 /* Select serial PHY, (10base2/BNC usually) */
928                 sc->miicfg |= MIICFG_694_ENABLE | MIICFG_SERIAL_ENABLE;
929                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
930
931                 /* There is no driver to fill this */
932                 mii->mii_media_active = media;
933                 mii->mii_media_status = 0;
934
935                 /* We need to call this manualy as i wasn't called
936                  * in mii_mediachg()
937                  */
938                 epic_miibus_statchg(sc->dev);
939
940                 break;
941         default:
942                 if_printf(ifp, "ERROR! Unknown PHY selected\n");
943                 return (EINVAL);
944         }
945
946         return(0);
947 }
948
949 /*
950  * Report current media status.
951  */
952 static void
953 epic_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifmr)
954 {
955         epic_softc_t *sc;
956         struct mii_data *mii;
957         struct ifmedia *ifm;
958
959         sc = ifp->if_softc;
960         mii = device_get_softc(sc->miibus);
961         ifm = &mii->mii_media;
962
963         /* Nothing should be selected if interface is down */
964         if ((ifp->if_flags & IFF_UP) == 0) {
965                 ifmr->ifm_active = IFM_NONE;
966                 ifmr->ifm_status = 0;
967
968                 return;
969         }
970
971         /* Call underlying pollstat, if not serial PHY */
972         if (sc->phyid != EPIC_SERIAL)
973                 mii_pollstat(mii);
974
975         /* Simply copy media info */
976         ifmr->ifm_active = mii->mii_media_active;
977         ifmr->ifm_status = mii->mii_media_status;
978
979         return;
980 }
981
982 /*
983  * Callback routine, called on media change.
984  */
985 static void
986 epic_miibus_statchg(device_t dev)
987 {
988         epic_softc_t *sc;
989         struct mii_data *mii;
990         int media;
991
992         sc = device_get_softc(dev);
993         mii = device_get_softc(sc->miibus);
994         media = mii->mii_media_active;
995
996         sc->txcon &= ~(TXCON_LOOPBACK_MODE | TXCON_FULL_DUPLEX);
997
998         /* If we are in full-duplex mode or loopback operation,
999          * we need to decouple receiver and transmitter.
1000          */
1001         if (IFM_OPTIONS(media) & (IFM_FDX | IFM_LOOP))
1002                 sc->txcon |= TXCON_FULL_DUPLEX;
1003
1004         /* On some cards we need manualy set fullduplex led */
1005         if (sc->cardid == SMC9432FTX ||
1006             sc->cardid == SMC9432FTX_SC) {
1007                 if (IFM_OPTIONS(media) & IFM_FDX)
1008                         sc->miicfg |= MIICFG_694_ENABLE;
1009                 else
1010                         sc->miicfg &= ~MIICFG_694_ENABLE;
1011
1012                 CSR_WRITE_4(sc, MIICFG, sc->miicfg);
1013         }
1014
1015         /* Update baudrate */
1016         if (IFM_SUBTYPE(media) == IFM_100_TX ||
1017             IFM_SUBTYPE(media) == IFM_100_FX)
1018                 sc->sc_if.if_baudrate = 100000000;
1019         else
1020                 sc->sc_if.if_baudrate = 10000000;
1021
1022         epic_stop_activity(sc);
1023         epic_set_tx_mode(sc);
1024         epic_start_activity(sc);
1025
1026         return;
1027 }
1028
1029 static void
1030 epic_miibus_mediainit(device_t dev)
1031 {
1032         epic_softc_t *sc;
1033         struct mii_data *mii;
1034         struct ifmedia *ifm;
1035         int media;
1036
1037         sc = device_get_softc(dev);
1038         mii = device_get_softc(sc->miibus);
1039         ifm = &mii->mii_media;
1040
1041         /* Add Serial Media Interface if present, this applies to
1042          * SMC9432BTX serie
1043          */
1044         if (CSR_READ_4(sc, MIICFG) & MIICFG_PHY_PRESENT) {
1045                 /* Store its instance */
1046                 sc->serinst = mii->mii_instance++;
1047
1048                 /* Add as 10base2/BNC media */
1049                 media = IFM_MAKEWORD(IFM_ETHER, IFM_10_2, 0, sc->serinst);
1050                 ifmedia_add(ifm, media, 0, NULL);
1051
1052                 /* Report to user */
1053                 if_printf(&sc->sc_if, "serial PHY detected (10Base2/BNC)\n");
1054         }
1055
1056         return;
1057 }
1058
1059 /*
1060  * Reset chip, allocate rings, and update media.
1061  */
1062 static int
1063 epic_init(epic_softc_t *sc)
1064 {
1065         struct ifnet *ifp = &sc->sc_if;
1066         int     i;
1067
1068         crit_enter();
1069
1070         /* If interface is already running, then we need not do anything */
1071         if (ifp->if_flags & IFF_RUNNING) {
1072                 crit_exit();
1073                 return 0;
1074         }
1075
1076         /* Soft reset the chip (we have to power up card before) */
1077         CSR_WRITE_4(sc, GENCTL, 0);
1078         CSR_WRITE_4(sc, GENCTL, GENCTL_SOFT_RESET);
1079
1080         /*
1081          * Reset takes 15 pci ticks which depends on PCI bus speed.
1082          * Assuming it >= 33000000 hz, we have wait at least 495e-6 sec.
1083          */
1084         DELAY(500);
1085
1086         /* Wake up */
1087         CSR_WRITE_4(sc, GENCTL, 0);
1088
1089         /* Workaround for Application Note 7-15 */
1090         for (i=0; i<16; i++) CSR_WRITE_4(sc, TEST1, TEST1_CLOCK_TEST);
1091
1092         /* Initialize rings */
1093         if (epic_init_rings(sc)) {
1094                 if_printf(ifp, "failed to init rings\n");
1095                 crit_exit();
1096                 return -1;
1097         }       
1098
1099         /* Give rings to EPIC */
1100         CSR_WRITE_4(sc, PRCDAR, vtophys(sc->rx_desc));
1101         CSR_WRITE_4(sc, PTCDAR, vtophys(sc->tx_desc));
1102
1103         /* Put node address to EPIC */
1104         CSR_WRITE_4(sc, LAN0, ((u_int16_t *)sc->sc_macaddr)[0]);
1105         CSR_WRITE_4(sc, LAN1, ((u_int16_t *)sc->sc_macaddr)[1]);
1106         CSR_WRITE_4(sc, LAN2, ((u_int16_t *)sc->sc_macaddr)[2]);
1107
1108         /* Set tx mode, includeing transmit threshold */
1109         epic_set_tx_mode(sc);
1110
1111         /* Compute and set RXCON. */
1112         epic_set_rx_mode(sc);
1113
1114         /* Set multicast table */
1115         epic_set_mc_table(sc);
1116
1117         /* Enable interrupts by setting the interrupt mask. */
1118         CSR_WRITE_4(sc, INTMASK,
1119                 INTSTAT_RCC  | /* INTSTAT_RQE | INTSTAT_OVW | INTSTAT_RXE | */
1120                 /* INTSTAT_TXC | */ INTSTAT_TCC | INTSTAT_TQE | INTSTAT_TXU |
1121                 INTSTAT_FATAL);
1122
1123         /* Acknowledge all pending interrupts */
1124         CSR_WRITE_4(sc, INTSTAT, CSR_READ_4(sc, INTSTAT));
1125
1126         /* Enable interrupts,  set for PCI read multiple and etc */
1127         CSR_WRITE_4(sc, GENCTL,
1128                 GENCTL_ENABLE_INTERRUPT | GENCTL_MEMORY_READ_MULTIPLE |
1129                 GENCTL_ONECOPY | GENCTL_RECEIVE_FIFO_THRESHOLD64);
1130
1131         /* Mark interface running ... */
1132         if (ifp->if_flags & IFF_UP) ifp->if_flags |= IFF_RUNNING;
1133         else ifp->if_flags &= ~IFF_RUNNING;
1134
1135         /* ... and free */
1136         ifp->if_flags &= ~IFF_OACTIVE;
1137
1138         /* Start Rx process */
1139         epic_start_activity(sc);
1140
1141         /* Set appropriate media */
1142         epic_ifmedia_upd(ifp);
1143
1144         callout_reset(&sc->tx_stat_timer, hz, epic_stats_update, sc);
1145
1146         crit_exit();
1147
1148         return 0;
1149 }
1150
1151 /*
1152  * Synopsis: calculate and set Rx mode. Chip must be in idle state to
1153  * access RXCON.
1154  */
1155 static void
1156 epic_set_rx_mode(epic_softc_t *sc)
1157 {
1158         u_int32_t               flags = sc->sc_if.if_flags;
1159         u_int32_t               rxcon = RXCON_DEFAULT;
1160
1161 #if defined(EPIC_EARLY_RX)
1162         rxcon |= RXCON_EARLY_RX;
1163 #endif
1164
1165         rxcon |= (flags & IFF_PROMISC) ? RXCON_PROMISCUOUS_MODE : 0;
1166
1167         CSR_WRITE_4(sc, RXCON, rxcon);
1168
1169         return;
1170 }
1171
1172 /*
1173  * Synopsis: Set transmit control register. Chip must be in idle state to
1174  * access TXCON.
1175  */
1176 static void
1177 epic_set_tx_mode(epic_softc_t *sc)
1178 {
1179         if (sc->txcon & TXCON_EARLY_TRANSMIT_ENABLE)
1180                 CSR_WRITE_4(sc, ETXTHR, sc->tx_threshold);
1181
1182         CSR_WRITE_4(sc, TXCON, sc->txcon);
1183 }
1184
1185 /*
1186  * Synopsis: Program multicast filter honoring IFF_ALLMULTI and IFF_PROMISC
1187  * flags. (Note, that setting PROMISC bit in EPIC's RXCON will only touch
1188  * individual frames, multicast filter must be manually programmed)
1189  *
1190  * Note: EPIC must be in idle state.
1191  */
1192 static void
1193 epic_set_mc_table(epic_softc_t *sc)
1194 {
1195         struct ifnet *ifp = &sc->sc_if;
1196         struct ifmultiaddr *ifma;
1197         u_int16_t filter[4];
1198         u_int8_t h;
1199
1200         if (ifp->if_flags & (IFF_ALLMULTI | IFF_PROMISC)) {
1201                 CSR_WRITE_4(sc, MC0, 0xFFFF);
1202                 CSR_WRITE_4(sc, MC1, 0xFFFF);
1203                 CSR_WRITE_4(sc, MC2, 0xFFFF);
1204                 CSR_WRITE_4(sc, MC3, 0xFFFF);
1205
1206                 return;
1207         }
1208
1209         filter[0] = 0;
1210         filter[1] = 0;
1211         filter[2] = 0;
1212         filter[3] = 0;
1213
1214         LIST_FOREACH(ifma, &ifp->if_multiaddrs, ifma_link) {
1215                 if (ifma->ifma_addr->sa_family != AF_LINK)
1216                         continue;
1217                 h = (ether_crc32_be(
1218                         LLADDR((struct sockaddr_dl *)ifma->ifma_addr),
1219                         ETHER_ADDR_LEN) >> 26) & 0x3f;
1220                 filter[h >> 4] |= 1 << (h & 0xF);
1221         }
1222
1223         CSR_WRITE_4(sc, MC0, filter[0]);
1224         CSR_WRITE_4(sc, MC1, filter[1]);
1225         CSR_WRITE_4(sc, MC2, filter[2]);
1226         CSR_WRITE_4(sc, MC3, filter[3]);
1227
1228         return;
1229 }
1230
1231 /*
1232  * Synopsis: Start receive process and transmit one, if they need.
1233  */
1234 static void
1235 epic_start_activity(epic_softc_t *sc)
1236 {
1237         /* Start rx process */
1238         CSR_WRITE_4(sc, COMMAND,
1239                 COMMAND_RXQUEUED | COMMAND_START_RX |
1240                 (sc->pending_txs?COMMAND_TXQUEUED:0));
1241 }
1242
1243 /*
1244  * Synopsis: Completely stop Rx and Tx processes. If TQE is set additional
1245  * packet needs to be queued to stop Tx DMA.
1246  */
1247 static void
1248 epic_stop_activity(epic_softc_t *sc)
1249 {
1250         int status, i;
1251
1252         /* Stop Tx and Rx DMA */
1253         CSR_WRITE_4(sc, COMMAND,
1254             COMMAND_STOP_RX | COMMAND_STOP_RDMA | COMMAND_STOP_TDMA);
1255
1256         /* Wait Rx and Tx DMA to stop (why 1 ms ??? XXX) */
1257         for (i=0; i<0x1000; i++) {
1258                 status = CSR_READ_4(sc, INTSTAT) & (INTSTAT_TXIDLE | INTSTAT_RXIDLE);
1259                 if (status == (INTSTAT_TXIDLE | INTSTAT_RXIDLE))
1260                         break;
1261                 DELAY(1);
1262         }
1263
1264         /* Catch all finished packets */
1265         epic_rx_done(sc);
1266         epic_tx_done(sc);
1267
1268         status = CSR_READ_4(sc, INTSTAT);
1269
1270         if ((status & INTSTAT_RXIDLE) == 0)
1271                 if_printf(&sc->sc_if, "ERROR! Can't stop Rx DMA\n");
1272
1273         if ((status & INTSTAT_TXIDLE) == 0)
1274                 if_printf(&sc->sc_if, "ERROR! Can't stop Tx DMA\n");
1275
1276         /*
1277          * May need to queue one more packet if TQE, this is rare
1278          * but existing case.
1279          */
1280         if ((status & INTSTAT_TQE) && !(status & INTSTAT_TXIDLE))
1281                 (void) epic_queue_last_packet(sc);
1282
1283 }
1284
1285 /*
1286  * The EPIC transmitter may stuck in TQE state. It will not go IDLE until
1287  * a packet from current descriptor will be copied to internal RAM. We
1288  * compose a dummy packet here and queue it for transmission.
1289  *
1290  * XXX the packet will then be actually sent over network...
1291  */
1292 static int
1293 epic_queue_last_packet(epic_softc_t *sc)
1294 {
1295         struct epic_tx_desc *desc;
1296         struct epic_frag_list *flist;
1297         struct epic_tx_buffer *buf;
1298         struct mbuf *m0;
1299         int i;
1300
1301         if_printf(&sc->sc_if, "queue last packet\n");
1302
1303         desc = sc->tx_desc + sc->cur_tx;
1304         flist = sc->tx_flist + sc->cur_tx;
1305         buf = sc->tx_buffer + sc->cur_tx;
1306
1307         if ((desc->status & 0x8000) || (buf->mbuf != NULL))
1308                 return (EBUSY);
1309
1310         MGETHDR(m0, MB_DONTWAIT, MT_DATA);
1311         if (NULL == m0)
1312                 return (ENOBUFS);
1313
1314         /* Prepare mbuf */
1315         m0->m_len = min(MHLEN, ETHER_MIN_LEN-ETHER_CRC_LEN);
1316         flist->frag[0].fraglen = m0->m_len;
1317         m0->m_pkthdr.len = m0->m_len;
1318         m0->m_pkthdr.rcvif = &sc->sc_if;
1319         bzero(mtod(m0,caddr_t), m0->m_len);
1320
1321         /* Fill fragments list */
1322         flist->frag[0].fraglen = m0->m_len;
1323         flist->frag[0].fragaddr = vtophys(mtod(m0, caddr_t));
1324         flist->numfrags = 1;
1325
1326         /* Fill in descriptor */
1327         buf->mbuf = m0;
1328         sc->pending_txs++;
1329         sc->cur_tx = (sc->cur_tx + 1) & TX_RING_MASK;
1330         desc->control = 0x01;
1331         desc->txlength = max(m0->m_pkthdr.len,ETHER_MIN_LEN-ETHER_CRC_LEN);
1332         desc->status = 0x8000;
1333
1334         /* Launch transmition */
1335         CSR_WRITE_4(sc, COMMAND, COMMAND_STOP_TDMA | COMMAND_TXQUEUED);
1336
1337         /* Wait Tx DMA to stop (for how long??? XXX) */
1338         for (i=0; i<1000; i++) {
1339                 if (CSR_READ_4(sc, INTSTAT) & INTSTAT_TXIDLE)
1340                         break;
1341                 DELAY(1);
1342         }
1343
1344         if ((CSR_READ_4(sc, INTSTAT) & INTSTAT_TXIDLE) == 0)
1345                 if_printf(&sc->sc_if, "ERROR! can't stop Tx DMA (2)\n");
1346         else
1347                 epic_tx_done(sc);
1348
1349         return 0;
1350 }
1351
1352 /*
1353  *  Synopsis: Shut down board and deallocates rings.
1354  */
1355 static void
1356 epic_stop(epic_softc_t *sc)
1357 {
1358
1359         crit_enter();
1360
1361         sc->sc_if.if_timer = 0;
1362
1363         callout_stop(&sc->tx_stat_timer);
1364
1365         /* Disable interrupts */
1366         CSR_WRITE_4(sc, INTMASK, 0);
1367         CSR_WRITE_4(sc, GENCTL, 0);
1368
1369         /* Try to stop Rx and TX processes */
1370         epic_stop_activity(sc);
1371
1372         /* Reset chip */
1373         CSR_WRITE_4(sc, GENCTL, GENCTL_SOFT_RESET);
1374         DELAY(1000);
1375
1376         /* Make chip go to bed */
1377         CSR_WRITE_4(sc, GENCTL, GENCTL_POWER_DOWN);
1378
1379         /* Free memory allocated for rings */
1380         epic_free_rings(sc);
1381
1382         /* Mark as stoped */
1383         sc->sc_if.if_flags &= ~IFF_RUNNING;
1384
1385         crit_exit();
1386         return;
1387 }
1388
1389 /*
1390  * Synopsis: This function should free all memory allocated for rings.
1391  */
1392 static void
1393 epic_free_rings(epic_softc_t *sc)
1394 {
1395         int i;
1396
1397         for (i=0; i<RX_RING_SIZE; i++) {
1398                 struct epic_rx_buffer *buf = sc->rx_buffer + i;
1399                 struct epic_rx_desc *desc = sc->rx_desc + i;
1400                 
1401                 desc->status = 0;
1402                 desc->buflength = 0;
1403                 desc->bufaddr = 0;
1404
1405                 if (buf->mbuf) m_freem(buf->mbuf);
1406                 buf->mbuf = NULL;
1407         }
1408
1409         for (i=0; i<TX_RING_SIZE; i++) {
1410                 struct epic_tx_buffer *buf = sc->tx_buffer + i;
1411                 struct epic_tx_desc *desc = sc->tx_desc + i;
1412
1413                 desc->status = 0;
1414                 desc->buflength = 0;
1415                 desc->bufaddr = 0;
1416
1417                 if (buf->mbuf) m_freem(buf->mbuf);
1418                 buf->mbuf = NULL;
1419         }
1420 }
1421
1422 /*
1423  * Synopsis:  Allocates mbufs for Rx ring and point Rx descs to them.
1424  * Point Tx descs to fragment lists. Check that all descs and fraglists
1425  * are bounded and aligned properly.
1426  */
1427 static int
1428 epic_init_rings(epic_softc_t *sc)
1429 {
1430         int i;
1431
1432         sc->cur_rx = sc->cur_tx = sc->dirty_tx = sc->pending_txs = 0;
1433
1434         for (i = 0; i < RX_RING_SIZE; i++) {
1435                 struct epic_rx_buffer *buf = sc->rx_buffer + i;
1436                 struct epic_rx_desc *desc = sc->rx_desc + i;
1437
1438                 desc->status = 0;               /* Owned by driver */
1439                 desc->next = vtophys(sc->rx_desc + ((i+1) & RX_RING_MASK));
1440
1441                 if ((desc->next & 3) ||
1442                     ((desc->next & PAGE_MASK) + sizeof *desc) > PAGE_SIZE) {
1443                         epic_free_rings(sc);
1444                         return EFAULT;
1445                 }
1446
1447                 EPIC_MGETCLUSTER(buf->mbuf);
1448                 if (NULL == buf->mbuf) {
1449                         epic_free_rings(sc);
1450                         return ENOBUFS;
1451                 }
1452                 desc->bufaddr = vtophys(mtod(buf->mbuf, caddr_t));
1453
1454                 desc->buflength = MCLBYTES;     /* Max RX buffer length */
1455                 desc->status = 0x8000;          /* Set owner bit to NIC */
1456         }
1457
1458         for (i = 0; i < TX_RING_SIZE; i++) {
1459                 struct epic_tx_buffer *buf = sc->tx_buffer + i;
1460                 struct epic_tx_desc *desc = sc->tx_desc + i;
1461
1462                 desc->status = 0;
1463                 desc->next = vtophys(sc->tx_desc + ((i+1) & TX_RING_MASK));
1464
1465                 if ((desc->next & 3) ||
1466                     ((desc->next & PAGE_MASK) + sizeof *desc) > PAGE_SIZE) {
1467                         epic_free_rings(sc);
1468                         return EFAULT;
1469                 }
1470
1471                 buf->mbuf = NULL;
1472                 desc->bufaddr = vtophys(sc->tx_flist + i);
1473
1474                 if ((desc->bufaddr & 3) ||
1475                     ((desc->bufaddr & PAGE_MASK) + sizeof(struct epic_frag_list)) > PAGE_SIZE) {
1476                         epic_free_rings(sc);
1477                         return EFAULT;
1478                 }
1479         }
1480
1481         return 0;
1482 }
1483
1484 /*
1485  * EEPROM operation functions
1486  */
1487 static void
1488 epic_write_eepromreg(epic_softc_t *sc, u_int8_t val)
1489 {
1490         u_int16_t i;
1491
1492         CSR_WRITE_1(sc, EECTL, val);
1493
1494         for (i=0; i<0xFF; i++)
1495                 if ((CSR_READ_1(sc, EECTL) & 0x20) == 0) break;
1496
1497         return;
1498 }
1499
1500 static u_int8_t
1501 epic_read_eepromreg(epic_softc_t *sc)
1502 {
1503         return CSR_READ_1(sc, EECTL);
1504 }
1505
1506 static u_int8_t
1507 epic_eeprom_clock(epic_softc_t *sc, u_int8_t val)
1508 {
1509         epic_write_eepromreg(sc, val);
1510         epic_write_eepromreg(sc, (val | 0x4));
1511         epic_write_eepromreg(sc, val);
1512         
1513         return epic_read_eepromreg(sc);
1514 }
1515
1516 static void
1517 epic_output_eepromw(epic_softc_t *sc, u_int16_t val)
1518 {
1519         int i;
1520
1521         for (i = 0xF; i >= 0; i--) {
1522                 if (val & (1 << i))
1523                         epic_eeprom_clock(sc, 0x0B);
1524                 else
1525                         epic_eeprom_clock(sc, 0x03);
1526         }
1527 }
1528
1529 static u_int16_t
1530 epic_input_eepromw(epic_softc_t *sc)
1531 {
1532         u_int16_t retval = 0;
1533         int i;
1534
1535         for (i = 0xF; i >= 0; i--) {    
1536                 if (epic_eeprom_clock(sc, 0x3) & 0x10)
1537                         retval |= (1 << i);
1538         }
1539
1540         return retval;
1541 }
1542
1543 static int
1544 epic_read_eeprom(epic_softc_t *sc, u_int16_t loc)
1545 {
1546         u_int16_t dataval;
1547         u_int16_t read_cmd;
1548
1549         epic_write_eepromreg(sc, 3);
1550
1551         if (epic_read_eepromreg(sc) & 0x40)
1552                 read_cmd = (loc & 0x3F) | 0x180;
1553         else
1554                 read_cmd = (loc & 0xFF) | 0x600;
1555
1556         epic_output_eepromw(sc, read_cmd);
1557
1558         dataval = epic_input_eepromw(sc);
1559
1560         epic_write_eepromreg(sc, 1);
1561         
1562         return dataval;
1563 }
1564
1565 /*
1566  * Here goes MII read/write routines
1567  */
1568 static int
1569 epic_read_phy_reg(epic_softc_t *sc, int phy, int reg)
1570 {
1571         int i;
1572
1573         CSR_WRITE_4(sc, MIICTL, ((reg << 4) | (phy << 9) | 0x01));
1574
1575         for (i = 0; i < 0x100; i++) {
1576                 if ((CSR_READ_4(sc, MIICTL) & 0x01) == 0) break;
1577                 DELAY(1);
1578         }
1579
1580         return (CSR_READ_4(sc, MIIDATA));
1581 }
1582
1583 static void
1584 epic_write_phy_reg(epic_softc_t *sc, int phy, int reg, int val)
1585 {
1586         int i;
1587
1588         CSR_WRITE_4(sc, MIIDATA, val);
1589         CSR_WRITE_4(sc, MIICTL, ((reg << 4) | (phy << 9) | 0x02));
1590
1591         for(i=0;i<0x100;i++) {
1592                 if ((CSR_READ_4(sc, MIICTL) & 0x02) == 0) break;
1593                 DELAY(1);
1594         }
1595
1596         return;
1597 }
1598
1599 static int
1600 epic_miibus_readreg(device_t dev, int phy, int reg)
1601 {
1602         epic_softc_t *sc;
1603
1604         sc = device_get_softc(dev);
1605
1606         return (PHY_READ_2(sc, phy, reg));
1607 }
1608
1609 static int
1610 epic_miibus_writereg(device_t dev, int phy, int reg, int data)
1611 {
1612         epic_softc_t *sc;
1613
1614         sc = device_get_softc(dev);
1615
1616         PHY_WRITE_2(sc, phy, reg, data);
1617
1618         return (0);
1619 }