sys/dev/netif/jme/if_jme.c

   1 /*-
   2  * Copyright (c) 2008, Pyun YongHyeon <yongari@FreeBSD.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice unmodified, this list of conditions, and the following
  10  *    disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  16  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  17  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  18  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  19  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  20  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  21  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  22  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  23  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  24  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  25  * SUCH DAMAGE.
  26  *
  27  * $FreeBSD: src/sys/dev/jme/if_jme.c,v 1.2 2008/07/18 04:20:48 yongari Exp $
  28  * $DragonFly: src/sys/dev/netif/jme/if_jme.c,v 1.12 2008/11/26 11:55:18 sephe Exp $
  29  */
  30
  31 #include <sys/param.h>
  32 #include <sys/endian.h>
  33 #include <sys/kernel.h>
  34 #include <sys/bus.h>
  35 #include <sys/interrupt.h>
  36 #include <sys/malloc.h>
  37 #include <sys/proc.h>
  38 #include <sys/rman.h>
  39 #include <sys/serialize.h>
  40 #include <sys/socket.h>
  41 #include <sys/sockio.h>
  42 #include <sys/sysctl.h>
  43
  44 #include <net/ethernet.h>
  45 #include <net/if.h>
  46 #include <net/bpf.h>
  47 #include <net/if_arp.h>
  48 #include <net/if_dl.h>
  49 #include <net/if_media.h>
  50 #include <net/ifq_var.h>
  51 #include <net/vlan/if_vlan_var.h>
  52 #include <net/vlan/if_vlan_ether.h>
  53
  54 #include <dev/netif/mii_layer/miivar.h>
  55 #include <dev/netif/mii_layer/jmphyreg.h>
  56
  57 #include <bus/pci/pcireg.h>
  58 #include <bus/pci/pcivar.h>
  59 #include <bus/pci/pcidevs.h>
  60
  61 #include <dev/netif/jme/if_jmereg.h>
  62 #include <dev/netif/jme/if_jmevar.h>
  63
  64 #include "miibus_if.h"
  65
  66 /* Define the following to disable printing Rx errors. */
  67 #undef  JME_SHOW_ERRORS
  68
  69 #define JME_CSUM_FEATURES       (CSUM_IP | CSUM_TCP | CSUM_UDP)
  70
  71 static int      jme_probe(device_t);
  72 static int      jme_attach(device_t);
  73 static int      jme_detach(device_t);
  74 static int      jme_shutdown(device_t);
  75 static int      jme_suspend(device_t);
  76 static int      jme_resume(device_t);
  77
  78 static int      jme_miibus_readreg(device_t, int, int);
  79 static int      jme_miibus_writereg(device_t, int, int, int);
  80 static void     jme_miibus_statchg(device_t);
  81
  82 static void     jme_init(void *);
  83 static int      jme_ioctl(struct ifnet *, u_long, caddr_t, struct ucred *);
  84 static void     jme_start(struct ifnet *);
  85 static void     jme_watchdog(struct ifnet *);
  86 static void     jme_mediastatus(struct ifnet *, struct ifmediareq *);
  87 static int      jme_mediachange(struct ifnet *);
  88
  89 static void     jme_intr(void *);
  90 static void     jme_txeof(struct jme_softc *);
  91 static void     jme_rxeof(struct jme_softc *);
  92
  93 static int      jme_dma_alloc(struct jme_softc *);
  94 static void     jme_dma_free(struct jme_softc *, int);
  95 static void     jme_dmamap_ring_cb(void *, bus_dma_segment_t *, int, int);
  96 static void     jme_dmamap_buf_cb(void *, bus_dma_segment_t *, int,
  97                                   bus_size_t, int);
  98 static int      jme_init_rx_ring(struct jme_softc *);
  99 static void     jme_init_tx_ring(struct jme_softc *);
 100 static void     jme_init_ssb(struct jme_softc *);
 101 static int      jme_newbuf(struct jme_softc *, struct jme_rxdesc *, int);
 102 static int      jme_encap(struct jme_softc *, struct mbuf **);
 103 static void     jme_rxpkt(struct jme_softc *);
 104
 105 static void     jme_tick(void *);
 106 static void     jme_stop(struct jme_softc *);
 107 static void     jme_reset(struct jme_softc *);
 108 static void     jme_set_vlan(struct jme_softc *);
 109 static void     jme_set_filter(struct jme_softc *);
 110 static void     jme_stop_tx(struct jme_softc *);
 111 static void     jme_stop_rx(struct jme_softc *);
 112 static void     jme_mac_config(struct jme_softc *);
 113 static void     jme_reg_macaddr(struct jme_softc *, uint8_t[]);
 114 static int      jme_eeprom_macaddr(struct jme_softc *, uint8_t[]);
 115 static int      jme_eeprom_read_byte(struct jme_softc *, uint8_t, uint8_t *);
 116 #ifdef notyet
 117 static void     jme_setwol(struct jme_softc *);
 118 static void     jme_setlinkspeed(struct jme_softc *);
 119 #endif
 120 static void     jme_set_tx_coal(struct jme_softc *);
 121 static void     jme_set_rx_coal(struct jme_softc *);
 122
 123 static void     jme_sysctl_node(struct jme_softc *);
 124 static int      jme_sysctl_tx_coal_to(SYSCTL_HANDLER_ARGS);
 125 static int      jme_sysctl_tx_coal_pkt(SYSCTL_HANDLER_ARGS);
 126 static int      jme_sysctl_rx_coal_to(SYSCTL_HANDLER_ARGS);
 127 static int      jme_sysctl_rx_coal_pkt(SYSCTL_HANDLER_ARGS);
 128
 129 /*
 130  * Devices supported by this driver.
 131  */
 132 static const struct jme_dev {
 133         uint16_t        jme_vendorid;
 134         uint16_t        jme_deviceid;
 135         uint32_t        jme_caps;
 136         const char      *jme_name;
 137 } jme_devs[] = {
 138         { PCI_VENDOR_JMICRON, PCI_PRODUCT_JMICRON_JMC250,
 139             JME_CAP_JUMBO,
 140             "JMicron Inc, JMC250 Gigabit Ethernet" },
 141         { PCI_VENDOR_JMICRON, PCI_PRODUCT_JMICRON_JMC260,
 142             JME_CAP_FASTETH,
 143             "JMicron Inc, JMC260 Fast Ethernet" },
 144         { 0, 0, 0, NULL }
 145 };
 146
 147 static device_method_t jme_methods[] = {
 148         /* Device interface. */
 149         DEVMETHOD(device_probe,         jme_probe),
 150         DEVMETHOD(device_attach,        jme_attach),
 151         DEVMETHOD(device_detach,        jme_detach),
 152         DEVMETHOD(device_shutdown,      jme_shutdown),
 153         DEVMETHOD(device_suspend,       jme_suspend),
 154         DEVMETHOD(device_resume,        jme_resume),
 155
 156         /* Bus interface. */
 157         DEVMETHOD(bus_print_child,      bus_generic_print_child),
 158         DEVMETHOD(bus_driver_added,     bus_generic_driver_added),
 159
 160         /* MII interface. */
 161         DEVMETHOD(miibus_readreg,       jme_miibus_readreg),
 162         DEVMETHOD(miibus_writereg,      jme_miibus_writereg),
 163         DEVMETHOD(miibus_statchg,       jme_miibus_statchg),
 164
 165         { NULL, NULL }
 166 };
 167
 168 static driver_t jme_driver = {
 169         "jme",
 170         jme_methods,
 171         sizeof(struct jme_softc)
 172 };
 173
 174 static devclass_t jme_devclass;
 175
 176 DECLARE_DUMMY_MODULE(if_jme);
 177 MODULE_DEPEND(if_jme, miibus, 1, 1, 1);
 178 DRIVER_MODULE(if_jme, pci, jme_driver, jme_devclass, 0, 0);
 179 DRIVER_MODULE(miibus, jme, miibus_driver, miibus_devclass, 0, 0);
 180
 181 static int      jme_rx_desc_count = JME_RX_DESC_CNT_DEF;
 182 static int      jme_tx_desc_count = JME_TX_DESC_CNT_DEF;
 183
 184 TUNABLE_INT("hw.jme.rx_desc_count", &jme_rx_desc_count);
 185 TUNABLE_INT("hw.jme.tx_desc_count", &jme_tx_desc_count);
 186
 187 /*
 188  *      Read a PHY register on the MII of the JMC250.
 189  */
 190 static int
 191 jme_miibus_readreg(device_t dev, int phy, int reg)
 192 {
 193         struct jme_softc *sc = device_get_softc(dev);
 194         uint32_t val;
 195         int i;
 196
 197         /* For FPGA version, PHY address 0 should be ignored. */
 198         if (sc->jme_caps & JME_CAP_FPGA) {
 199                 if (phy == 0)
 200                         return (0);
 201         } else {
 202                 if (sc->jme_phyaddr != phy)
 203                         return (0);
 204         }
 205
 206         CSR_WRITE_4(sc, JME_SMI, SMI_OP_READ | SMI_OP_EXECUTE |
 207             SMI_PHY_ADDR(phy) | SMI_REG_ADDR(reg));
 208
 209         for (i = JME_PHY_TIMEOUT; i > 0; i--) {
 210                 DELAY(1);
 211                 if (((val = CSR_READ_4(sc, JME_SMI)) & SMI_OP_EXECUTE) == 0)
 212                         break;
 213         }
 214         if (i == 0) {
 215                 device_printf(sc->jme_dev, "phy read timeout: "
 216                               "phy %d, reg %d\n", phy, reg);
 217                 return (0);
 218         }
 219
 220         return ((val & SMI_DATA_MASK) >> SMI_DATA_SHIFT);
 221 }
 222
 223 /*
 224  *      Write a PHY register on the MII of the JMC250.
 225  */
 226 static int
 227 jme_miibus_writereg(device_t dev, int phy, int reg, int val)
 228 {
 229         struct jme_softc *sc = device_get_softc(dev);
 230         int i;
 231
 232         /* For FPGA version, PHY address 0 should be ignored. */
 233         if (sc->jme_caps & JME_CAP_FPGA) {
 234                 if (phy == 0)
 235                         return (0);
 236         } else {
 237                 if (sc->jme_phyaddr != phy)
 238                         return (0);
 239         }
 240
 241         CSR_WRITE_4(sc, JME_SMI, SMI_OP_WRITE | SMI_OP_EXECUTE |
 242             ((val << SMI_DATA_SHIFT) & SMI_DATA_MASK) |
 243             SMI_PHY_ADDR(phy) | SMI_REG_ADDR(reg));
 244
 245         for (i = JME_PHY_TIMEOUT; i > 0; i--) {
 246                 DELAY(1);
 247                 if (((val = CSR_READ_4(sc, JME_SMI)) & SMI_OP_EXECUTE) == 0)
 248                         break;
 249         }
 250         if (i == 0) {
 251                 device_printf(sc->jme_dev, "phy write timeout: "
 252                               "phy %d, reg %d\n", phy, reg);
 253         }
 254
 255         return (0);
 256 }
 257
 258 /*
 259  *      Callback from MII layer when media changes.
 260  */
 261 static void
 262 jme_miibus_statchg(device_t dev)
 263 {
 264         struct jme_softc *sc = device_get_softc(dev);
 265         struct ifnet *ifp = &sc->arpcom.ac_if;
 266         struct mii_data *mii;
 267         struct jme_txdesc *txd;
 268         bus_addr_t paddr;
 269         int i;
 270
 271         ASSERT_SERIALIZED(ifp->if_serializer);
 272
 273         if ((ifp->if_flags & IFF_RUNNING) == 0)
 274                 return;
 275
 276         mii = device_get_softc(sc->jme_miibus);
 277
 278         sc->jme_flags &= ~JME_FLAG_LINK;
 279         if ((mii->mii_media_status & IFM_AVALID) != 0) {
 280                 switch (IFM_SUBTYPE(mii->mii_media_active)) {
 281                 case IFM_10_T:
 282                 case IFM_100_TX:
 283                         sc->jme_flags |= JME_FLAG_LINK;
 284                         break;
 285                 case IFM_1000_T:
 286                         if (sc->jme_caps & JME_CAP_FASTETH)
 287                                 break;
 288                         sc->jme_flags |= JME_FLAG_LINK;
 289                         break;
 290                 default:
 291                         break;
 292                 }
 293         }
 294
 295         /*
 296          * Disabling Rx/Tx MACs have a side-effect of resetting
 297          * JME_TXNDA/JME_RXNDA register to the first address of
 298          * Tx/Rx descriptor address. So driver should reset its
 299          * internal procucer/consumer pointer and reclaim any
 300          * allocated resources.  Note, just saving the value of
 301          * JME_TXNDA and JME_RXNDA registers before stopping MAC
 302          * and restoring JME_TXNDA/JME_RXNDA register is not
 303          * sufficient to make sure correct MAC state because
 304          * stopping MAC operation can take a while and hardware
 305          * might have updated JME_TXNDA/JME_RXNDA registers
 306          * during the stop operation.
 307          */
 308
 309         /* Disable interrupts */
 310         CSR_WRITE_4(sc, JME_INTR_MASK_CLR, JME_INTRS);
 311
 312         /* Stop driver */
 313         ifp->if_flags &= ~(IFF_RUNNING | IFF_OACTIVE);
 314         ifp->if_timer = 0;
 315         callout_stop(&sc->jme_tick_ch);
 316
 317         /* Stop receiver/transmitter. */
 318         jme_stop_rx(sc);
 319         jme_stop_tx(sc);
 320
 321         jme_rxeof(sc);
 322         if (sc->jme_cdata.jme_rxhead != NULL)
 323                 m_freem(sc->jme_cdata.jme_rxhead);
 324         JME_RXCHAIN_RESET(sc);
 325
 326         jme_txeof(sc);
 327         if (sc->jme_cdata.jme_tx_cnt != 0) {
 328                 /* Remove queued packets for transmit. */
 329                 for (i = 0; i < sc->jme_tx_desc_cnt; i++) {
 330                         txd = &sc->jme_cdata.jme_txdesc[i];
 331                         if (txd->tx_m != NULL) {
 332                                 bus_dmamap_unload(
 333                                     sc->jme_cdata.jme_tx_tag,
 334                                     txd->tx_dmamap);
 335                                 m_freem(txd->tx_m);
 336                                 txd->tx_m = NULL;
 337                                 txd->tx_ndesc = 0;
 338                                 ifp->if_oerrors++;
 339                         }
 340                 }
 341         }
 342
 343         /*
 344          * Reuse configured Rx descriptors and reset
 345          * procuder/consumer index.
 346          */
 347         sc->jme_cdata.jme_rx_cons = 0;
 348
 349         jme_init_tx_ring(sc);
 350
 351         /* Initialize shadow status block. */
 352         jme_init_ssb(sc);
 353
 354         /* Program MAC with resolved speed/duplex/flow-control. */
 355         if (sc->jme_flags & JME_FLAG_LINK) {
 356                 jme_mac_config(sc);
 357
 358                 CSR_WRITE_4(sc, JME_RXCSR, sc->jme_rxcsr);
 359                 CSR_WRITE_4(sc, JME_TXCSR, sc->jme_txcsr);
 360
 361                 /* Set Tx ring address to the hardware. */
 362                 paddr = JME_TX_RING_ADDR(sc, 0);
 363                 CSR_WRITE_4(sc, JME_TXDBA_HI, JME_ADDR_HI(paddr));
 364                 CSR_WRITE_4(sc, JME_TXDBA_LO, JME_ADDR_LO(paddr));
 365
 366                 /* Set Rx ring address to the hardware. */
 367                 paddr = JME_RX_RING_ADDR(sc, 0);
 368                 CSR_WRITE_4(sc, JME_RXDBA_HI, JME_ADDR_HI(paddr));
 369                 CSR_WRITE_4(sc, JME_RXDBA_LO, JME_ADDR_LO(paddr));
 370
 371                 /* Restart receiver/transmitter. */
 372                 CSR_WRITE_4(sc, JME_RXCSR, sc->jme_rxcsr | RXCSR_RX_ENB |
 373                     RXCSR_RXQ_START);
 374                 CSR_WRITE_4(sc, JME_TXCSR, sc->jme_txcsr | TXCSR_TX_ENB);
 375         }
 376
 377         ifp->if_flags |= IFF_RUNNING;
 378         ifp->if_flags &= ~IFF_OACTIVE;
 379         callout_reset(&sc->jme_tick_ch, hz, jme_tick, sc);
 380
 381         /* Reenable interrupts. */
 382         CSR_WRITE_4(sc, JME_INTR_MASK_SET, JME_INTRS);
 383 }
 384
 385 /*
 386  *      Get the current interface media status.
 387  */
 388 static void
 389 jme_mediastatus(struct ifnet *ifp, struct ifmediareq *ifmr)
 390 {
 391         struct jme_softc *sc = ifp->if_softc;
 392         struct mii_data *mii = device_get_softc(sc->jme_miibus);
 393
 394         ASSERT_SERIALIZED(ifp->if_serializer);
 395
 396         mii_pollstat(mii);
 397         ifmr->ifm_status = mii->mii_media_status;
 398         ifmr->ifm_active = mii->mii_media_active;
 399 }
 400
 401 /*
 402  *      Set hardware to newly-selected media.
 403  */
 404 static int
 405 jme_mediachange(struct ifnet *ifp)
 406 {
 407         struct jme_softc *sc = ifp->if_softc;
 408         struct mii_data *mii = device_get_softc(sc->jme_miibus);
 409         int error;
 410
 411         ASSERT_SERIALIZED(ifp->if_serializer);
 412
 413         if (mii->mii_instance != 0) {
 414                 struct mii_softc *miisc;
 415
 416                 LIST_FOREACH(miisc, &mii->mii_phys, mii_list)
 417                         mii_phy_reset(miisc);
 418         }
 419         error = mii_mediachg(mii);
 420
 421         return (error);
 422 }
 423
 424 static int
 425 jme_probe(device_t dev)
 426 {
 427         const struct jme_dev *sp;
 428         uint16_t vid, did;
 429
 430         vid = pci_get_vendor(dev);
 431         did = pci_get_device(dev);
 432         for (sp = jme_devs; sp->jme_name != NULL; ++sp) {
 433                 if (vid == sp->jme_vendorid && did == sp->jme_deviceid) {
 434                         struct jme_softc *sc = device_get_softc(dev);
 435
 436                         sc->jme_caps = sp->jme_caps;
 437                         device_set_desc(dev, sp->jme_name);
 438                         return (0);
 439                 }
 440         }
 441         return (ENXIO);
 442 }
 443
 444 static int
 445 jme_eeprom_read_byte(struct jme_softc *sc, uint8_t addr, uint8_t *val)
 446 {
 447         uint32_t reg;
 448         int i;
 449
 450         *val = 0;
 451         for (i = JME_TIMEOUT; i > 0; i--) {
 452                 reg = CSR_READ_4(sc, JME_SMBCSR);
 453                 if ((reg & SMBCSR_HW_BUSY_MASK) == SMBCSR_HW_IDLE)
 454                         break;
 455                 DELAY(1);
 456         }
 457
 458         if (i == 0) {
 459                 device_printf(sc->jme_dev, "EEPROM idle timeout!\n");
 460                 return (ETIMEDOUT);
 461         }
 462
 463         reg = ((uint32_t)addr << SMBINTF_ADDR_SHIFT) & SMBINTF_ADDR_MASK;
 464         CSR_WRITE_4(sc, JME_SMBINTF, reg | SMBINTF_RD | SMBINTF_CMD_TRIGGER);
 465         for (i = JME_TIMEOUT; i > 0; i--) {
 466                 DELAY(1);
 467                 reg = CSR_READ_4(sc, JME_SMBINTF);
 468                 if ((reg & SMBINTF_CMD_TRIGGER) == 0)
 469                         break;
 470         }
 471
 472         if (i == 0) {
 473                 device_printf(sc->jme_dev, "EEPROM read timeout!\n");
 474                 return (ETIMEDOUT);
 475         }
 476
 477         reg = CSR_READ_4(sc, JME_SMBINTF);
 478         *val = (reg & SMBINTF_RD_DATA_MASK) >> SMBINTF_RD_DATA_SHIFT;
 479
 480         return (0);
 481 }
 482
 483 static int
 484 jme_eeprom_macaddr(struct jme_softc *sc, uint8_t eaddr[])
 485 {
 486         uint8_t fup, reg, val;
 487         uint32_t offset;
 488         int match;
 489
 490         offset = 0;
 491         if (jme_eeprom_read_byte(sc, offset++, &fup) != 0 ||
 492             fup != JME_EEPROM_SIG0)
 493                 return (ENOENT);
 494         if (jme_eeprom_read_byte(sc, offset++, &fup) != 0 ||
 495             fup != JME_EEPROM_SIG1)
 496                 return (ENOENT);
 497         match = 0;
 498         do {
 499                 if (jme_eeprom_read_byte(sc, offset, &fup) != 0)
 500                         break;
 501                 /* Check for the end of EEPROM descriptor. */
 502                 if ((fup & JME_EEPROM_DESC_END) == JME_EEPROM_DESC_END)
 503                         break;
 504                 if ((uint8_t)JME_EEPROM_MKDESC(JME_EEPROM_FUNC0,
 505                     JME_EEPROM_PAGE_BAR1) == fup) {
 506                         if (jme_eeprom_read_byte(sc, offset + 1, &reg) != 0)
 507                                 break;
 508                         if (reg >= JME_PAR0 &&
 509                             reg < JME_PAR0 + ETHER_ADDR_LEN) {
 510                                 if (jme_eeprom_read_byte(sc, offset + 2,
 511                                     &val) != 0)
 512                                         break;
 513                                 eaddr[reg - JME_PAR0] = val;
 514                                 match++;
 515                         }
 516                 }
 517                 /* Try next eeprom descriptor. */
 518                 offset += JME_EEPROM_DESC_BYTES;
 519         } while (match != ETHER_ADDR_LEN && offset < JME_EEPROM_END);
 520
 521         if (match == ETHER_ADDR_LEN)
 522                 return (0);
 523
 524         return (ENOENT);
 525 }
 526
 527 static void
 528 jme_reg_macaddr(struct jme_softc *sc, uint8_t eaddr[])
 529 {
 530         uint32_t par0, par1;
 531
 532         /* Read station address. */
 533         par0 = CSR_READ_4(sc, JME_PAR0);
 534         par1 = CSR_READ_4(sc, JME_PAR1);
 535         par1 &= 0xFFFF;
 536         if ((par0 == 0 && par1 == 0) || (par0 & 0x1)) {
 537                 device_printf(sc->jme_dev,
 538                     "generating fake ethernet address.\n");
 539                 par0 = karc4random();
 540                 /* Set OUI to JMicron. */
 541                 eaddr[0] = 0x00;
 542                 eaddr[1] = 0x1B;
 543                 eaddr[2] = 0x8C;
 544                 eaddr[3] = (par0 >> 16) & 0xff;
 545                 eaddr[4] = (par0 >> 8) & 0xff;
 546                 eaddr[5] = par0 & 0xff;
 547         } else {
 548                 eaddr[0] = (par0 >> 0) & 0xFF;
 549                 eaddr[1] = (par0 >> 8) & 0xFF;
 550                 eaddr[2] = (par0 >> 16) & 0xFF;
 551                 eaddr[3] = (par0 >> 24) & 0xFF;
 552                 eaddr[4] = (par1 >> 0) & 0xFF;
 553                 eaddr[5] = (par1 >> 8) & 0xFF;
 554         }
 555 }
 556
 557 static int
 558 jme_attach(device_t dev)
 559 {
 560         struct jme_softc *sc = device_get_softc(dev);
 561         struct ifnet *ifp = &sc->arpcom.ac_if;
 562         uint32_t reg;
 563         uint16_t did;
 564         uint8_t pcie_ptr, rev;
 565         int error = 0;
 566         uint8_t eaddr[ETHER_ADDR_LEN];
 567
 568         sc->jme_rx_desc_cnt = roundup(jme_rx_desc_count, JME_NDESC_ALIGN);
 569         if (sc->jme_rx_desc_cnt > JME_NDESC_MAX)
 570                 sc->jme_rx_desc_cnt = JME_NDESC_MAX;
 571
 572         sc->jme_tx_desc_cnt = roundup(jme_tx_desc_count, JME_NDESC_ALIGN);
 573         if (sc->jme_tx_desc_cnt > JME_NDESC_MAX)
 574                 sc->jme_tx_desc_cnt = JME_NDESC_MAX;
 575
 576         sc->jme_dev = dev;
 577         sc->jme_lowaddr = BUS_SPACE_MAXADDR;
 578
 579         if_initname(ifp, device_get_name(dev), device_get_unit(dev));
 580
 581         callout_init(&sc->jme_tick_ch);
 582
 583 #ifndef BURN_BRIDGES
 584         if (pci_get_powerstate(dev) != PCI_POWERSTATE_D0) {
 585                 uint32_t irq, mem;
 586
 587                 irq = pci_read_config(dev, PCIR_INTLINE, 4);
 588                 mem = pci_read_config(dev, JME_PCIR_BAR, 4);
 589
 590                 device_printf(dev, "chip is in D%d power mode "
 591                     "-- setting to D0\n", pci_get_powerstate(dev));
 592
 593                 pci_set_powerstate(dev, PCI_POWERSTATE_D0);
 594
 595                 pci_write_config(dev, PCIR_INTLINE, irq, 4);
 596                 pci_write_config(dev, JME_PCIR_BAR, mem, 4);
 597         }
 598 #endif  /* !BURN_BRIDGE */
 599
 600         /* Enable bus mastering */
 601         pci_enable_busmaster(dev);
 602
 603         /*
 604          * Allocate IO memory
 605          *
 606          * JMC250 supports both memory mapped and I/O register space
 607          * access.  Because I/O register access should use different
 608          * BARs to access registers it's waste of time to use I/O
 609          * register spce access.  JMC250 uses 16K to map entire memory
 610          * space.
 611          */
 612         sc->jme_mem_rid = JME_PCIR_BAR;
 613         sc->jme_mem_res = bus_alloc_resource_any(dev, SYS_RES_MEMORY,
 614                                                  &sc->jme_mem_rid, RF_ACTIVE);
 615         if (sc->jme_mem_res == NULL) {
 616                 device_printf(dev, "can't allocate IO memory\n");
 617                 return ENXIO;
 618         }
 619         sc->jme_mem_bt = rman_get_bustag(sc->jme_mem_res);
 620         sc->jme_mem_bh = rman_get_bushandle(sc->jme_mem_res);
 621
 622         /*
 623          * Allocate IRQ
 624          */
 625         sc->jme_irq_rid = 0;
 626         sc->jme_irq_res = bus_alloc_resource_any(dev, SYS_RES_IRQ,
 627                                                  &sc->jme_irq_rid,
 628                                                  RF_SHAREABLE | RF_ACTIVE);
 629         if (sc->jme_irq_res == NULL) {
 630                 device_printf(dev, "can't allocate irq\n");
 631                 error = ENXIO;
 632                 goto fail;
 633         }
 634
 635         /*
 636          * Extract revisions
 637          */
 638         reg = CSR_READ_4(sc, JME_CHIPMODE);
 639         if (((reg & CHIPMODE_FPGA_REV_MASK) >> CHIPMODE_FPGA_REV_SHIFT) !=
 640             CHIPMODE_NOT_FPGA) {
 641                 sc->jme_caps |= JME_CAP_FPGA;
 642                 if (bootverbose) {
 643                         device_printf(dev, "FPGA revision: 0x%04x\n",
 644                                       (reg & CHIPMODE_FPGA_REV_MASK) >>
 645                                       CHIPMODE_FPGA_REV_SHIFT);
 646                 }
 647         }
 648
 649         /* NOTE: FM revision is put in the upper 4 bits */
 650         rev = ((reg & CHIPMODE_REVFM_MASK) >> CHIPMODE_REVFM_SHIFT) << 4;
 651         rev |= (reg & CHIPMODE_REVECO_MASK) >> CHIPMODE_REVECO_SHIFT;
 652         if (bootverbose)
 653                 device_printf(dev, "Revision (FM/ECO): 0x%02x\n", rev);
 654
 655         did = pci_get_device(dev);
 656         switch (did) {
 657         case PCI_PRODUCT_JMICRON_JMC250:
 658                 if (rev == JME_REV1_A2)
 659                         sc->jme_workaround |= JME_WA_EXTFIFO | JME_WA_HDX;
 660                 break;
 661
 662         case PCI_PRODUCT_JMICRON_JMC260:
 663                 if (rev == JME_REV2)
 664                         sc->jme_lowaddr = BUS_SPACE_MAXADDR_32BIT;
 665                 break;
 666
 667         default:
 668                 panic("unknown device id 0x%04x\n", did);
 669         }
 670         if (rev >= JME_REV2) {
 671                 sc->jme_clksrc = GHC_TXOFL_CLKSRC | GHC_TXMAC_CLKSRC;
 672                 sc->jme_clksrc_1000 = GHC_TXOFL_CLKSRC_1000 |
 673                                       GHC_TXMAC_CLKSRC_1000;
 674         }
 675
 676         /* Reset the ethernet controller. */
 677         jme_reset(sc);
 678
 679         /* Get station address. */
 680         reg = CSR_READ_4(sc, JME_SMBCSR);
 681         if (reg & SMBCSR_EEPROM_PRESENT)
 682                 error = jme_eeprom_macaddr(sc, eaddr);
 683         if (error != 0 || (reg & SMBCSR_EEPROM_PRESENT) == 0) {
 684                 if (error != 0 && (bootverbose)) {
 685                         device_printf(dev, "ethernet hardware address "
 686                                       "not found in EEPROM.\n");
 687                 }
 688                 jme_reg_macaddr(sc, eaddr);
 689         }
 690
 691         /*
 692          * Save PHY address.
 693          * Integrated JR0211 has fixed PHY address whereas FPGA version
 694          * requires PHY probing to get correct PHY address.
 695          */
 696         if ((sc->jme_caps & JME_CAP_FPGA) == 0) {
 697                 sc->jme_phyaddr = CSR_READ_4(sc, JME_GPREG0) &
 698                     GPREG0_PHY_ADDR_MASK;
 699                 if (bootverbose) {
 700                         device_printf(dev, "PHY is at address %d.\n",
 701                             sc->jme_phyaddr);
 702                 }
 703         } else {
 704                 sc->jme_phyaddr = 0;
 705         }
 706
 707         /* Set max allowable DMA size. */
 708         pcie_ptr = pci_get_pciecap_ptr(dev);
 709         if (pcie_ptr != 0) {
 710                 uint16_t ctrl;
 711
 712                 sc->jme_caps |= JME_CAP_PCIE;
 713                 ctrl = pci_read_config(dev, pcie_ptr + PCIER_DEVCTRL, 2);
 714                 if (bootverbose) {
 715                         device_printf(dev, "Read request size : %d bytes.\n",
 716                             128 << ((ctrl >> 12) & 0x07));
 717                         device_printf(dev, "TLP payload size : %d bytes.\n",
 718                             128 << ((ctrl >> 5) & 0x07));
 719                 }
 720                 switch (ctrl & PCIEM_DEVCTL_MAX_READRQ_MASK) {
 721                 case PCIEM_DEVCTL_MAX_READRQ_128:
 722                         sc->jme_tx_dma_size = TXCSR_DMA_SIZE_128;
 723                         break;
 724                 case PCIEM_DEVCTL_MAX_READRQ_256:
 725                         sc->jme_tx_dma_size = TXCSR_DMA_SIZE_256;
 726                         break;
 727                 default:
 728                         sc->jme_tx_dma_size = TXCSR_DMA_SIZE_512;
 729                         break;
 730                 }
 731                 sc->jme_rx_dma_size = RXCSR_DMA_SIZE_128;
 732         } else {
 733                 sc->jme_tx_dma_size = TXCSR_DMA_SIZE_512;
 734                 sc->jme_rx_dma_size = RXCSR_DMA_SIZE_128;
 735         }
 736
 737 #ifdef notyet
 738         if (pci_find_extcap(dev, PCIY_PMG, &pmc) == 0)
 739                 sc->jme_caps |= JME_CAP_PMCAP;
 740 #endif
 741
 742         /*
 743          * Create sysctl tree
 744          */
 745         jme_sysctl_node(sc);
 746
 747         /* Allocate DMA stuffs */
 748         error = jme_dma_alloc(sc);
 749         if (error)
 750                 goto fail;
 751
 752         ifp->if_softc = sc;
 753         ifp->if_flags = IFF_BROADCAST | IFF_SIMPLEX | IFF_MULTICAST;
 754         ifp->if_init = jme_init;
 755         ifp->if_ioctl = jme_ioctl;
 756         ifp->if_start = jme_start;
 757         ifp->if_watchdog = jme_watchdog;
 758         ifq_set_maxlen(&ifp->if_snd, sc->jme_tx_desc_cnt - JME_TXD_RSVD);
 759         ifq_set_ready(&ifp->if_snd);
 760
 761         /* JMC250 supports Tx/Rx checksum offload and hardware vlan tagging. */
 762         ifp->if_capabilities = IFCAP_HWCSUM |
 763                                IFCAP_VLAN_MTU |
 764                                IFCAP_VLAN_HWTAGGING;
 765         ifp->if_hwassist = JME_CSUM_FEATURES;
 766         ifp->if_capenable = ifp->if_capabilities;
 767
 768         /* Set up MII bus. */
 769         error = mii_phy_probe(dev, &sc->jme_miibus,
 770                               jme_mediachange, jme_mediastatus);
 771         if (error) {
 772                 device_printf(dev, "no PHY found!\n");
 773                 goto fail;
 774         }
 775
 776         /*
 777          * Save PHYADDR for FPGA mode PHY.
 778          */
 779         if (sc->jme_caps & JME_CAP_FPGA) {
 780                 struct mii_data *mii = device_get_softc(sc->jme_miibus);
 781
 782                 if (mii->mii_instance != 0) {
 783                         struct mii_softc *miisc;
 784
 785                         LIST_FOREACH(miisc, &mii->mii_phys, mii_list) {
 786                                 if (miisc->mii_phy != 0) {
 787                                         sc->jme_phyaddr = miisc->mii_phy;
 788                                         break;
 789                                 }
 790                         }
 791                         if (sc->jme_phyaddr != 0) {
 792                                 device_printf(sc->jme_dev,
 793                                     "FPGA PHY is at %d\n", sc->jme_phyaddr);
 794                                 /* vendor magic. */
 795                                 jme_miibus_writereg(dev, sc->jme_phyaddr,
 796                                     JMPHY_CONF, JMPHY_CONF_DEFFIFO);
 797
 798                                 /* XXX should we clear JME_WA_EXTFIFO */
 799                         }
 800                 }
 801         }
 802
 803         ether_ifattach(ifp, eaddr, NULL);
 804
 805         /* Tell the upper layer(s) we support long frames. */
 806         ifp->if_data.ifi_hdrlen = sizeof(struct ether_vlan_header);
 807
 808         error = bus_setup_intr(dev, sc->jme_irq_res, INTR_MPSAFE, jme_intr, sc,
 809                                &sc->jme_irq_handle, ifp->if_serializer);
 810         if (error) {
 811                 device_printf(dev, "could not set up interrupt handler.\n");
 812                 ether_ifdetach(ifp);
 813                 goto fail;
 814         }
 815
 816         ifp->if_cpuid = ithread_cpuid(rman_get_start(sc->jme_irq_res));
 817         KKASSERT(ifp->if_cpuid >= 0 && ifp->if_cpuid < ncpus);
 818         return 0;
 819 fail:
 820         jme_detach(dev);
 821         return (error);
 822 }
 823
 824 static int
 825 jme_detach(device_t dev)
 826 {
 827         struct jme_softc *sc = device_get_softc(dev);
 828
 829         if (device_is_attached(dev)) {
 830                 struct ifnet *ifp = &sc->arpcom.ac_if;
 831
 832                 lwkt_serialize_enter(ifp->if_serializer);
 833                 jme_stop(sc);
 834                 bus_teardown_intr(dev, sc->jme_irq_res, sc->jme_irq_handle);
 835                 lwkt_serialize_exit(ifp->if_serializer);
 836
 837                 ether_ifdetach(ifp);
 838         }
 839
 840         if (sc->jme_sysctl_tree != NULL)
 841                 sysctl_ctx_free(&sc->jme_sysctl_ctx);
 842
 843         if (sc->jme_miibus != NULL)
 844                 device_delete_child(dev, sc->jme_miibus);
 845         bus_generic_detach(dev);
 846
 847         if (sc->jme_irq_res != NULL) {
 848                 bus_release_resource(dev, SYS_RES_IRQ, sc->jme_irq_rid,
 849                                      sc->jme_irq_res);
 850         }
 851
 852         if (sc->jme_mem_res != NULL) {
 853                 bus_release_resource(dev, SYS_RES_MEMORY, sc->jme_mem_rid,
 854                                      sc->jme_mem_res);
 855         }
 856
 857         jme_dma_free(sc, 1);
 858
 859         return (0);
 860 }
 861
 862 static void
 863 jme_sysctl_node(struct jme_softc *sc)
 864 {
 865         int coal_max;
 866
 867         sysctl_ctx_init(&sc->jme_sysctl_ctx);
 868         sc->jme_sysctl_tree = SYSCTL_ADD_NODE(&sc->jme_sysctl_ctx,
 869                                 SYSCTL_STATIC_CHILDREN(_hw), OID_AUTO,
 870                                 device_get_nameunit(sc->jme_dev),
 871                                 CTLFLAG_RD, 0, "");
 872         if (sc->jme_sysctl_tree == NULL) {
 873                 device_printf(sc->jme_dev, "can't add sysctl node\n");
 874                 return;
 875         }
 876
 877         SYSCTL_ADD_PROC(&sc->jme_sysctl_ctx,
 878             SYSCTL_CHILDREN(sc->jme_sysctl_tree), OID_AUTO,
 879             "tx_coal_to", CTLTYPE_INT | CTLFLAG_RW,
 880             sc, 0, jme_sysctl_tx_coal_to, "I", "jme tx coalescing timeout");
 881
 882         SYSCTL_ADD_PROC(&sc->jme_sysctl_ctx,
 883             SYSCTL_CHILDREN(sc->jme_sysctl_tree), OID_AUTO,
 884             "tx_coal_pkt", CTLTYPE_INT | CTLFLAG_RW,
 885             sc, 0, jme_sysctl_tx_coal_pkt, "I", "jme tx coalescing packet");
 886
 887         SYSCTL_ADD_PROC(&sc->jme_sysctl_ctx,
 888             SYSCTL_CHILDREN(sc->jme_sysctl_tree), OID_AUTO,
 889             "rx_coal_to", CTLTYPE_INT | CTLFLAG_RW,
 890             sc, 0, jme_sysctl_rx_coal_to, "I", "jme rx coalescing timeout");
 891
 892         SYSCTL_ADD_PROC(&sc->jme_sysctl_ctx,
 893             SYSCTL_CHILDREN(sc->jme_sysctl_tree), OID_AUTO,
 894             "rx_coal_pkt", CTLTYPE_INT | CTLFLAG_RW,
 895             sc, 0, jme_sysctl_rx_coal_pkt, "I", "jme rx coalescing packet");
 896
 897         SYSCTL_ADD_INT(&sc->jme_sysctl_ctx,
 898                        SYSCTL_CHILDREN(sc->jme_sysctl_tree), OID_AUTO,
 899                        "rx_desc_count", CTLFLAG_RD, &sc->jme_rx_desc_cnt,
 900                        0, "RX desc count");
 901         SYSCTL_ADD_INT(&sc->jme_sysctl_ctx,
 902                        SYSCTL_CHILDREN(sc->jme_sysctl_tree), OID_AUTO,
 903                        "tx_desc_count", CTLFLAG_RD, &sc->jme_tx_desc_cnt,
 904                        0, "TX desc count");
 905
 906         /*
 907          * Set default coalesce valves
 908          */
 909         sc->jme_tx_coal_to = PCCTX_COAL_TO_DEFAULT;
 910         sc->jme_tx_coal_pkt = PCCTX_COAL_PKT_DEFAULT;
 911         sc->jme_rx_coal_to = PCCRX_COAL_TO_DEFAULT;
 912         sc->jme_rx_coal_pkt = PCCRX_COAL_PKT_DEFAULT;
 913
 914         /*
 915          * Adjust coalesce valves, in case that the number of TX/RX
 916          * descs are set to small values by users.
 917          *
 918          * NOTE: coal_max will not be zero, since number of descs
 919          * must aligned by JME_NDESC_ALIGN (16 currently)
 920          */
 921         coal_max = sc->jme_tx_desc_cnt / 6;
 922         if (coal_max < sc->jme_tx_coal_pkt)
 923                 sc->jme_tx_coal_pkt = coal_max;
 924
 925         coal_max = sc->jme_rx_desc_cnt / 4;
 926         if (coal_max < sc->jme_rx_coal_pkt)
 927                 sc->jme_rx_coal_pkt = coal_max;
 928 }
 929
 930 static void
 931 jme_dmamap_ring_cb(void *arg, bus_dma_segment_t *segs, int nsegs, int error)
 932 {
 933         if (error)
 934                 return;
 935
 936         KASSERT(nsegs == 1, ("%s: %d segments returned!", __func__, nsegs));
 937         *((bus_addr_t *)arg) = segs->ds_addr;
 938 }
 939
 940 static void
 941 jme_dmamap_buf_cb(void *xctx, bus_dma_segment_t *segs, int nsegs,
 942                   bus_size_t mapsz __unused, int error)
 943 {
 944         struct jme_dmamap_ctx *ctx = xctx;
 945         int i;
 946
 947         if (error)
 948                 return;
 949
 950         if (nsegs > ctx->nsegs) {
 951                 ctx->nsegs = 0;
 952                 return;
 953         }
 954
 955         ctx->nsegs = nsegs;
 956         for (i = 0; i < nsegs; ++i)
 957                 ctx->segs[i] = segs[i];
 958 }
 959
 960 static int
 961 jme_dma_alloc(struct jme_softc *sc)
 962 {
 963         struct jme_txdesc *txd;
 964         struct jme_rxdesc *rxd;
 965         bus_addr_t busaddr, lowaddr;
 966         int error, i;
 967
 968         sc->jme_cdata.jme_txdesc =
 969         kmalloc(sc->jme_tx_desc_cnt * sizeof(struct jme_txdesc),
 970                 M_DEVBUF, M_WAITOK | M_ZERO);
 971         sc->jme_cdata.jme_rxdesc =
 972         kmalloc(sc->jme_rx_desc_cnt * sizeof(struct jme_rxdesc),
 973                 M_DEVBUF, M_WAITOK | M_ZERO);
 974
 975         lowaddr = sc->jme_lowaddr;
 976 again:
 977         /* Create parent ring tag. */
 978         error = bus_dma_tag_create(NULL,/* parent */
 979             1, 0,                       /* algnmnt, boundary */
 980             lowaddr,                    /* lowaddr */
 981             BUS_SPACE_MAXADDR,          /* highaddr */
 982             NULL, NULL,                 /* filter, filterarg */
 983             BUS_SPACE_MAXSIZE_32BIT,    /* maxsize */
 984             0,                          /* nsegments */
 985             BUS_SPACE_MAXSIZE_32BIT,    /* maxsegsize */
 986             0,                          /* flags */
 987             &sc->jme_cdata.jme_ring_tag);
 988         if (error) {
 989                 device_printf(sc->jme_dev,
 990                     "could not create parent ring DMA tag.\n");
 991                 return error;
 992         }
 993
 994         /*
 995          * Create DMA stuffs for TX ring
 996          */
 997
 998         /* Create tag for Tx ring. */
 999         error = bus_dma_tag_create(sc->jme_cdata.jme_ring_tag,/* parent */
1000             JME_TX_RING_ALIGN, 0,       /* algnmnt, boundary */
1001             lowaddr,                    /* lowaddr */
1002             BUS_SPACE_MAXADDR,          /* highaddr */
1003             NULL, NULL,                 /* filter, filterarg */
1004             JME_TX_RING_SIZE(sc),       /* maxsize */
1005             1,                          /* nsegments */
1006             JME_TX_RING_SIZE(sc),       /* maxsegsize */
1007             0,                          /* flags */
1008             &sc->jme_cdata.jme_tx_ring_tag);
1009         if (error) {
1010                 device_printf(sc->jme_dev,
1011                     "could not allocate Tx ring DMA tag.\n");
1012                 return error;
1013         }
1014
1015         /* Allocate DMA'able memory for TX ring */
1016         error = bus_dmamem_alloc(sc->jme_cdata.jme_tx_ring_tag,
1017             (void **)&sc->jme_rdata.jme_tx_ring,
1018             BUS_DMA_WAITOK | BUS_DMA_ZERO,
1019             &sc->jme_cdata.jme_tx_ring_map);
1020         if (error) {
1021                 device_printf(sc->jme_dev,
1022                     "could not allocate DMA'able memory for Tx ring.\n");
1023                 bus_dma_tag_destroy(sc->jme_cdata.jme_tx_ring_tag);
1024                 sc->jme_cdata.jme_tx_ring_tag = NULL;
1025                 return error;
1026         }
1027
1028         /*  Load the DMA map for Tx ring. */
1029         error = bus_dmamap_load(sc->jme_cdata.jme_tx_ring_tag,
1030             sc->jme_cdata.jme_tx_ring_map, sc->jme_rdata.jme_tx_ring,
1031             JME_TX_RING_SIZE(sc), jme_dmamap_ring_cb, &busaddr, BUS_DMA_NOWAIT);
1032         if (error) {
1033                 device_printf(sc->jme_dev,
1034                     "could not load DMA'able memory for Tx ring.\n");
1035                 bus_dmamem_free(sc->jme_cdata.jme_tx_ring_tag,
1036                                 sc->jme_rdata.jme_tx_ring,
1037                                 sc->jme_cdata.jme_tx_ring_map);
1038                 bus_dma_tag_destroy(sc->jme_cdata.jme_tx_ring_tag);
1039                 sc->jme_cdata.jme_tx_ring_tag = NULL;
1040                 return error;
1041         }
1042         sc->jme_rdata.jme_tx_ring_paddr = busaddr;
1043
1044         /*
1045          * Create DMA stuffs for RX ring
1046          */
1047
1048         /* Create tag for Rx ring. */
1049         error = bus_dma_tag_create(sc->jme_cdata.jme_ring_tag,/* parent */
1050             JME_RX_RING_ALIGN, 0,       /* algnmnt, boundary */
1051             lowaddr,                    /* lowaddr */
1052             BUS_SPACE_MAXADDR,          /* highaddr */
1053             NULL, NULL,                 /* filter, filterarg */
1054             JME_RX_RING_SIZE(sc),       /* maxsize */
1055             1,                          /* nsegments */
1056             JME_RX_RING_SIZE(sc),       /* maxsegsize */
1057             0,                          /* flags */
1058             &sc->jme_cdata.jme_rx_ring_tag);
1059         if (error) {
1060                 device_printf(sc->jme_dev,
1061                     "could not allocate Rx ring DMA tag.\n");
1062                 return error;
1063         }
1064
1065         /* Allocate DMA'able memory for RX ring */
1066         error = bus_dmamem_alloc(sc->jme_cdata.jme_rx_ring_tag,
1067             (void **)&sc->jme_rdata.jme_rx_ring,
1068             BUS_DMA_WAITOK | BUS_DMA_ZERO,
1069             &sc->jme_cdata.jme_rx_ring_map);
1070         if (error) {
1071                 device_printf(sc->jme_dev,
1072                     "could not allocate DMA'able memory for Rx ring.\n");
1073                 bus_dma_tag_destroy(sc->jme_cdata.jme_rx_ring_tag);
1074                 sc->jme_cdata.jme_rx_ring_tag = NULL;
1075                 return error;
1076         }
1077
1078         /* Load the DMA map for Rx ring. */
1079         error = bus_dmamap_load(sc->jme_cdata.jme_rx_ring_tag,
1080             sc->jme_cdata.jme_rx_ring_map, sc->jme_rdata.jme_rx_ring,
1081             JME_RX_RING_SIZE(sc), jme_dmamap_ring_cb, &busaddr, BUS_DMA_NOWAIT);
1082         if (error) {
1083                 device_printf(sc->jme_dev,
1084                     "could not load DMA'able memory for Rx ring.\n");
1085                 bus_dmamem_free(sc->jme_cdata.jme_rx_ring_tag,
1086                                 sc->jme_rdata.jme_rx_ring,
1087                                 sc->jme_cdata.jme_rx_ring_map);
1088                 bus_dma_tag_destroy(sc->jme_cdata.jme_rx_ring_tag);
1089                 sc->jme_cdata.jme_rx_ring_tag = NULL;
1090                 return error;
1091         }
1092         sc->jme_rdata.jme_rx_ring_paddr = busaddr;
1093
1094         if (lowaddr != BUS_SPACE_MAXADDR_32BIT) {
1095                 bus_addr_t rx_ring_end, tx_ring_end;
1096
1097                 /* Tx/Rx descriptor queue should reside within 4GB boundary. */
1098                 tx_ring_end = sc->jme_rdata.jme_tx_ring_paddr +
1099                               JME_TX_RING_SIZE(sc);
1100                 rx_ring_end = sc->jme_rdata.jme_rx_ring_paddr +
1101                               JME_RX_RING_SIZE(sc);
1102                 if ((JME_ADDR_HI(tx_ring_end) !=
1103                      JME_ADDR_HI(sc->jme_rdata.jme_tx_ring_paddr)) ||
1104                     (JME_ADDR_HI(rx_ring_end) !=
1105                      JME_ADDR_HI(sc->jme_rdata.jme_rx_ring_paddr))) {
1106                         device_printf(sc->jme_dev, "4GB boundary crossed, "
1107                             "switching to 32bit DMA address mode.\n");
1108                         jme_dma_free(sc, 0);
1109                         /* Limit DMA address space to 32bit and try again. */
1110                         lowaddr = BUS_SPACE_MAXADDR_32BIT;
1111                         goto again;
1112                 }
1113         }
1114
1115         /* Create parent buffer tag. */
1116         error = bus_dma_tag_create(NULL,/* parent */
1117             1, 0,                       /* algnmnt, boundary */
1118             sc->jme_lowaddr,            /* lowaddr */
1119             BUS_SPACE_MAXADDR,          /* highaddr */
1120             NULL, NULL,                 /* filter, filterarg */
1121             BUS_SPACE_MAXSIZE_32BIT,    /* maxsize */
1122             0,                          /* nsegments */
1123             BUS_SPACE_MAXSIZE_32BIT,    /* maxsegsize */
1124             0,                          /* flags */
1125             &sc->jme_cdata.jme_buffer_tag);
1126         if (error) {
1127                 device_printf(sc->jme_dev,
1128                     "could not create parent buffer DMA tag.\n");
1129                 return error;
1130         }
1131
1132         /*
1133          * Create DMA stuffs for shadow status block
1134          */
1135
1136         /* Create shadow status block tag. */
1137         error = bus_dma_tag_create(sc->jme_cdata.jme_buffer_tag,/* parent */
1138             JME_SSB_ALIGN, 0,           /* algnmnt, boundary */
1139             sc->jme_lowaddr,            /* lowaddr */
1140             BUS_SPACE_MAXADDR,          /* highaddr */
1141             NULL, NULL,                 /* filter, filterarg */
1142             JME_SSB_SIZE,               /* maxsize */
1143             1,                          /* nsegments */
1144             JME_SSB_SIZE,               /* maxsegsize */
1145             0,                          /* flags */
1146             &sc->jme_cdata.jme_ssb_tag);
1147         if (error) {
1148                 device_printf(sc->jme_dev,
1149                     "could not create shared status block DMA tag.\n");
1150                 return error;
1151         }
1152
1153         /* Allocate DMA'able memory for shared status block. */
1154         error = bus_dmamem_alloc(sc->jme_cdata.jme_ssb_tag,
1155             (void **)&sc->jme_rdata.jme_ssb_block,
1156             BUS_DMA_WAITOK | BUS_DMA_ZERO,
1157             &sc->jme_cdata.jme_ssb_map);
1158         if (error) {
1159                 device_printf(sc->jme_dev, "could not allocate DMA'able "
1160                     "memory for shared status block.\n");
1161                 bus_dma_tag_destroy(sc->jme_cdata.jme_ssb_tag);
1162                 sc->jme_cdata.jme_ssb_tag = NULL;
1163                 return error;
1164         }
1165
1166         /* Load the DMA map for shared status block */
1167         error = bus_dmamap_load(sc->jme_cdata.jme_ssb_tag,
1168             sc->jme_cdata.jme_ssb_map, sc->jme_rdata.jme_ssb_block,
1169             JME_SSB_SIZE, jme_dmamap_ring_cb, &busaddr, BUS_DMA_NOWAIT);
1170         if (error) {
1171                 device_printf(sc->jme_dev, "could not load DMA'able memory "
1172                     "for shared status block.\n");
1173                 bus_dmamem_free(sc->jme_cdata.jme_ssb_tag,
1174                                 sc->jme_rdata.jme_ssb_block,
1175                                 sc->jme_cdata.jme_ssb_map);
1176                 bus_dma_tag_destroy(sc->jme_cdata.jme_ssb_tag);
1177                 sc->jme_cdata.jme_ssb_tag = NULL;
1178                 return error;
1179         }
1180         sc->jme_rdata.jme_ssb_block_paddr = busaddr;
1181
1182         /*
1183          * Create DMA stuffs for TX buffers
1184          */
1185
1186         /* Create tag for Tx buffers. */
1187         error = bus_dma_tag_create(sc->jme_cdata.jme_buffer_tag,/* parent */
1188             1, 0,                       /* algnmnt, boundary */
1189             sc->jme_lowaddr,            /* lowaddr */
1190             BUS_SPACE_MAXADDR,          /* highaddr */
1191             NULL, NULL,                 /* filter, filterarg */
1192             JME_TSO_MAXSIZE,            /* maxsize */
1193             JME_MAXTXSEGS,              /* nsegments */
1194             JME_TSO_MAXSEGSIZE,         /* maxsegsize */
1195             0,                          /* flags */
1196             &sc->jme_cdata.jme_tx_tag);
1197         if (error != 0) {
1198                 device_printf(sc->jme_dev, "could not create Tx DMA tag.\n");
1199                 return error;
1200         }
1201
1202         /* Create DMA maps for Tx buffers. */
1203         for (i = 0; i < sc->jme_tx_desc_cnt; i++) {
1204                 txd = &sc->jme_cdata.jme_txdesc[i];
1205                 error = bus_dmamap_create(sc->jme_cdata.jme_tx_tag, 0,
1206                     &txd->tx_dmamap);
1207                 if (error) {
1208                         int j;
1209
1210                         device_printf(sc->jme_dev,
1211                             "could not create %dth Tx dmamap.\n", i);
1212
1213                         for (j = 0; j < i; ++j) {
1214                                 txd = &sc->jme_cdata.jme_txdesc[j];
1215                                 bus_dmamap_destroy(sc->jme_cdata.jme_tx_tag,
1216                                                    txd->tx_dmamap);
1217                         }
1218                         bus_dma_tag_destroy(sc->jme_cdata.jme_tx_tag);
1219                         sc->jme_cdata.jme_tx_tag = NULL;
1220                         return error;
1221                 }
1222         }
1223
1224         /*
1225          * Create DMA stuffs for RX buffers
1226          */
1227
1228         /* Create tag for Rx buffers. */
1229         error = bus_dma_tag_create(sc->jme_cdata.jme_buffer_tag,/* parent */
1230             JME_RX_BUF_ALIGN, 0,        /* algnmnt, boundary */
1231             sc->jme_lowaddr,            /* lowaddr */
1232             BUS_SPACE_MAXADDR,          /* highaddr */
1233             NULL, NULL,                 /* filter, filterarg */
1234             MCLBYTES,                   /* maxsize */
1235             1,                          /* nsegments */
1236             MCLBYTES,                   /* maxsegsize */
1237             0,                          /* flags */
1238             &sc->jme_cdata.jme_rx_tag);
1239         if (error) {
1240                 device_printf(sc->jme_dev, "could not create Rx DMA tag.\n");
1241                 return error;
1242         }
1243
1244         /* Create DMA maps for Rx buffers. */
1245         error = bus_dmamap_create(sc->jme_cdata.jme_rx_tag, 0,
1246                                   &sc->jme_cdata.jme_rx_sparemap);
1247         if (error) {
1248                 device_printf(sc->jme_dev,
1249                     "could not create spare Rx dmamap.\n");
1250                 bus_dma_tag_destroy(sc->jme_cdata.jme_rx_tag);
1251                 sc->jme_cdata.jme_rx_tag = NULL;
1252                 return error;
1253         }
1254         for (i = 0; i < sc->jme_rx_desc_cnt; i++) {
1255                 rxd = &sc->jme_cdata.jme_rxdesc[i];
1256                 error = bus_dmamap_create(sc->jme_cdata.jme_rx_tag, 0,
1257                     &rxd->rx_dmamap);
1258                 if (error) {
1259                         int j;
1260
1261                         device_printf(sc->jme_dev,
1262                             "could not create %dth Rx dmamap.\n", i);
1263
1264                         for (j = 0; j < i; ++j) {
1265                                 rxd = &sc->jme_cdata.jme_rxdesc[j];
1266                                 bus_dmamap_destroy(sc->jme_cdata.jme_rx_tag,
1267                                                    rxd->rx_dmamap);
1268                         }
1269                         bus_dmamap_destroy(sc->jme_cdata.jme_rx_tag,
1270                             sc->jme_cdata.jme_rx_sparemap);
1271                         bus_dma_tag_destroy(sc->jme_cdata.jme_rx_tag);
1272                         sc->jme_cdata.jme_rx_tag = NULL;
1273                         return error;
1274                 }
1275         }
1276         return 0;
1277 }
1278
1279 static void
1280 jme_dma_free(struct jme_softc *sc, int detach)
1281 {
1282         struct jme_txdesc *txd;
1283         struct jme_rxdesc *rxd;
1284         int i;
1285
1286         /* Tx ring */
1287         if (sc->jme_cdata.jme_tx_ring_tag != NULL) {
1288                 bus_dmamap_unload(sc->jme_cdata.jme_tx_ring_tag,
1289                     sc->jme_cdata.jme_tx_ring_map);
1290                 bus_dmamem_free(sc->jme_cdata.jme_tx_ring_tag,
1291                     sc->jme_rdata.jme_tx_ring,
1292                     sc->jme_cdata.jme_tx_ring_map);
1293                 bus_dma_tag_destroy(sc->jme_cdata.jme_tx_ring_tag);
1294                 sc->jme_cdata.jme_tx_ring_tag = NULL;
1295         }
1296
1297         /* Rx ring */
1298         if (sc->jme_cdata.jme_rx_ring_tag != NULL) {
1299                 bus_dmamap_unload(sc->jme_cdata.jme_rx_ring_tag,
1300                     sc->jme_cdata.jme_rx_ring_map);
1301                 bus_dmamem_free(sc->jme_cdata.jme_rx_ring_tag,
1302                     sc->jme_rdata.jme_rx_ring,
1303                     sc->jme_cdata.jme_rx_ring_map);
1304                 bus_dma_tag_destroy(sc->jme_cdata.jme_rx_ring_tag);
1305                 sc->jme_cdata.jme_rx_ring_tag = NULL;
1306         }
1307
1308         /* Tx buffers */
1309         if (sc->jme_cdata.jme_tx_tag != NULL) {
1310                 for (i = 0; i < sc->jme_tx_desc_cnt; i++) {
1311                         txd = &sc->jme_cdata.jme_txdesc[i];
1312                         bus_dmamap_destroy(sc->jme_cdata.jme_tx_tag,
1313                             txd->tx_dmamap);
1314                 }
1315                 bus_dma_tag_destroy(sc->jme_cdata.jme_tx_tag);
1316                 sc->jme_cdata.jme_tx_tag = NULL;
1317         }
1318
1319         /* Rx buffers */
1320         if (sc->jme_cdata.jme_rx_tag != NULL) {
1321                 for (i = 0; i < sc->jme_rx_desc_cnt; i++) {
1322                         rxd = &sc->jme_cdata.jme_rxdesc[i];
1323                         bus_dmamap_destroy(sc->jme_cdata.jme_rx_tag,
1324                             rxd->rx_dmamap);
1325                 }
1326                 bus_dmamap_destroy(sc->jme_cdata.jme_rx_tag,
1327                     sc->jme_cdata.jme_rx_sparemap);
1328                 bus_dma_tag_destroy(sc->jme_cdata.jme_rx_tag);
1329                 sc->jme_cdata.jme_rx_tag = NULL;
1330         }
1331
1332         /* Shadow status block. */
1333         if (sc->jme_cdata.jme_ssb_tag != NULL) {
1334                 bus_dmamap_unload(sc->jme_cdata.jme_ssb_tag,
1335                     sc->jme_cdata.jme_ssb_map);
1336                 bus_dmamem_free(sc->jme_cdata.jme_ssb_tag,
1337                     sc->jme_rdata.jme_ssb_block,
1338                     sc->jme_cdata.jme_ssb_map);
1339                 bus_dma_tag_destroy(sc->jme_cdata.jme_ssb_tag);
1340                 sc->jme_cdata.jme_ssb_tag = NULL;
1341         }
1342
1343         if (sc->jme_cdata.jme_buffer_tag != NULL) {
1344                 bus_dma_tag_destroy(sc->jme_cdata.jme_buffer_tag);
1345                 sc->jme_cdata.jme_buffer_tag = NULL;
1346         }
1347         if (sc->jme_cdata.jme_ring_tag != NULL) {
1348                 bus_dma_tag_destroy(sc->jme_cdata.jme_ring_tag);
1349                 sc->jme_cdata.jme_ring_tag = NULL;
1350         }
1351
1352         if (detach) {
1353                 if (sc->jme_cdata.jme_txdesc != NULL) {
1354                         kfree(sc->jme_cdata.jme_txdesc, M_DEVBUF);
1355                         sc->jme_cdata.jme_txdesc = NULL;
1356                 }
1357                 if (sc->jme_cdata.jme_rxdesc != NULL) {
1358                         kfree(sc->jme_cdata.jme_rxdesc, M_DEVBUF);
1359                         sc->jme_cdata.jme_rxdesc = NULL;
1360                 }
1361         }
1362 }
1363
1364 /*
1365  *      Make sure the interface is stopped at reboot time.
1366  */
1367 static int
1368 jme_shutdown(device_t dev)
1369 {
1370         return jme_suspend(dev);
1371 }
1372
1373 #ifdef notyet
1374 /*
1375  * Unlike other ethernet controllers, JMC250 requires
1376  * explicit resetting link speed to 10/100Mbps as gigabit
1377  * link will cunsume more power than 375mA.
1378  * Note, we reset the link speed to 10/100Mbps with
1379  * auto-negotiation but we don't know whether that operation
1380  * would succeed or not as we have no control after powering
1381  * off. If the renegotiation fail WOL may not work. Running
1382  * at 1Gbps draws more power than 375mA at 3.3V which is
1383  * specified in PCI specification and that would result in
1384  * complete shutdowning power to ethernet controller.
1385  *
1386  * TODO
1387  *  Save current negotiated media speed/duplex/flow-control
1388  *  to softc and restore the same link again after resuming.
1389  *  PHY handling such as power down/resetting to 100Mbps
1390  *  may be better handled in suspend method in phy driver.
1391  */
1392 static void
1393 jme_setlinkspeed(struct jme_softc *sc)
1394 {
1395         struct mii_data *mii;
1396         int aneg, i;
1397
1398         JME_LOCK_ASSERT(sc);
1399
1400         mii = device_get_softc(sc->jme_miibus);
1401         mii_pollstat(mii);
1402         aneg = 0;
1403         if ((mii->mii_media_status & IFM_AVALID) != 0) {
1404                 switch IFM_SUBTYPE(mii->mii_media_active) {
1405                 case IFM_10_T:
1406                 case IFM_100_TX:
1407                         return;
1408                 case IFM_1000_T:
1409                         aneg++;
1410                 default:
1411                         break;
1412                 }
1413         }
1414         jme_miibus_writereg(sc->jme_dev, sc->jme_phyaddr, MII_100T2CR, 0);
1415         jme_miibus_writereg(sc->jme_dev, sc->jme_phyaddr, MII_ANAR,
1416             ANAR_TX_FD | ANAR_TX | ANAR_10_FD | ANAR_10 | ANAR_CSMA);
1417         jme_miibus_writereg(sc->jme_dev, sc->jme_phyaddr, MII_BMCR,
1418             BMCR_AUTOEN | BMCR_STARTNEG);
1419         DELAY(1000);
1420         if (aneg != 0) {
1421                 /* Poll link state until jme(4) get a 10/100 link. */
1422                 for (i = 0; i < MII_ANEGTICKS_GIGE; i++) {
1423                         mii_pollstat(mii);
1424                         if ((mii->mii_media_status & IFM_AVALID) != 0) {
1425                                 switch (IFM_SUBTYPE(mii->mii_media_active)) {
1426                                 case IFM_10_T:
1427                                 case IFM_100_TX:
1428                                         jme_mac_config(sc);
1429                                         return;
1430                                 default:
1431                                         break;
1432                                 }
1433                         }
1434                         JME_UNLOCK(sc);
1435                         pause("jmelnk", hz);
1436                         JME_LOCK(sc);
1437                 }
1438                 if (i == MII_ANEGTICKS_GIGE)
1439                         device_printf(sc->jme_dev, "establishing link failed, "
1440                             "WOL may not work!");
1441         }
1442         /*
1443          * No link, force MAC to have 100Mbps, full-duplex link.
1444          * This is the last resort and may/may not work.
1445          */
1446         mii->mii_media_status = IFM_AVALID | IFM_ACTIVE;
1447         mii->mii_media_active = IFM_ETHER | IFM_100_TX | IFM_FDX;
1448         jme_mac_config(sc);
1449 }
1450
1451 static void
1452 jme_setwol(struct jme_softc *sc)
1453 {
1454         struct ifnet *ifp = &sc->arpcom.ac_if;
1455         uint32_t gpr, pmcs;
1456         uint16_t pmstat;
1457         int pmc;
1458
1459         if (pci_find_extcap(sc->jme_dev, PCIY_PMG, &pmc) != 0) {
1460                 /* No PME capability, PHY power down. */
1461                 jme_miibus_writereg(sc->jme_dev, sc->jme_phyaddr,
1462                     MII_BMCR, BMCR_PDOWN);
1463                 return;
1464         }
1465
1466         gpr = CSR_READ_4(sc, JME_GPREG0) & ~GPREG0_PME_ENB;
1467         pmcs = CSR_READ_4(sc, JME_PMCS);
1468         pmcs &= ~PMCS_WOL_ENB_MASK;
1469         if ((ifp->if_capenable & IFCAP_WOL_MAGIC) != 0) {
1470                 pmcs |= PMCS_MAGIC_FRAME | PMCS_MAGIC_FRAME_ENB;
1471                 /* Enable PME message. */
1472                 gpr |= GPREG0_PME_ENB;
1473                 /* For gigabit controllers, reset link speed to 10/100. */
1474                 if ((sc->jme_caps & JME_CAP_FASTETH) == 0)
1475                         jme_setlinkspeed(sc);
1476         }
1477
1478         CSR_WRITE_4(sc, JME_PMCS, pmcs);
1479         CSR_WRITE_4(sc, JME_GPREG0, gpr);
1480
1481         /* Request PME. */
1482         pmstat = pci_read_config(sc->jme_dev, pmc + PCIR_POWER_STATUS, 2);
1483         pmstat &= ~(PCIM_PSTAT_PME | PCIM_PSTAT_PMEENABLE);
1484         if ((ifp->if_capenable & IFCAP_WOL) != 0)
1485                 pmstat |= PCIM_PSTAT_PME | PCIM_PSTAT_PMEENABLE;
1486         pci_write_config(sc->jme_dev, pmc + PCIR_POWER_STATUS, pmstat, 2);
1487         if ((ifp->if_capenable & IFCAP_WOL) == 0) {
1488                 /* No WOL, PHY power down. */
1489                 jme_miibus_writereg(sc->jme_dev, sc->jme_phyaddr,
1490                     MII_BMCR, BMCR_PDOWN);
1491         }
1492 }
1493 #endif
1494
1495 static int
1496 jme_suspend(device_t dev)
1497 {
1498         struct jme_softc *sc = device_get_softc(dev);
1499         struct ifnet *ifp = &sc->arpcom.ac_if;
1500
1501         lwkt_serialize_enter(ifp->if_serializer);
1502         jme_stop(sc);
1503 #ifdef notyet
1504         jme_setwol(sc);
1505 #endif
1506         lwkt_serialize_exit(ifp->if_serializer);
1507
1508         return (0);
1509 }
1510
1511 static int
1512 jme_resume(device_t dev)
1513 {
1514         struct jme_softc *sc = device_get_softc(dev);
1515         struct ifnet *ifp = &sc->arpcom.ac_if;
1516 #ifdef notyet
1517         int pmc;
1518 #endif
1519
1520         lwkt_serialize_enter(ifp->if_serializer);
1521
1522 #ifdef notyet
1523         if (pci_find_extcap(sc->jme_dev, PCIY_PMG, &pmc) != 0) {
1524                 uint16_t pmstat;
1525
1526                 pmstat = pci_read_config(sc->jme_dev,
1527                     pmc + PCIR_POWER_STATUS, 2);
1528                 /* Disable PME clear PME status. */
1529                 pmstat &= ~PCIM_PSTAT_PMEENABLE;
1530                 pci_write_config(sc->jme_dev,
1531                     pmc + PCIR_POWER_STATUS, pmstat, 2);
1532         }
1533 #endif
1534
1535         if (ifp->if_flags & IFF_UP)
1536                 jme_init(sc);
1537
1538         lwkt_serialize_exit(ifp->if_serializer);
1539
1540         return (0);
1541 }
1542
1543 static int
1544 jme_encap(struct jme_softc *sc, struct mbuf **m_head)
1545 {
1546         struct jme_txdesc *txd;
1547         struct jme_desc *desc;
1548         struct mbuf *m;
1549         struct jme_dmamap_ctx ctx;
1550         bus_dma_segment_t txsegs[JME_MAXTXSEGS];
1551         int maxsegs;
1552         int error, i, prod, symbol_desc;
1553         uint32_t cflags, flag64;
1554
1555         M_ASSERTPKTHDR((*m_head));
1556
1557         prod = sc->jme_cdata.jme_tx_prod;
1558         txd = &sc->jme_cdata.jme_txdesc[prod];
1559
1560         if (sc->jme_lowaddr != BUS_SPACE_MAXADDR_32BIT)
1561                 symbol_desc = 1;
1562         else
1563                 symbol_desc = 0;
1564
1565         maxsegs = (sc->jme_tx_desc_cnt - sc->jme_cdata.jme_tx_cnt) -
1566                   (JME_TXD_RSVD + symbol_desc);
1567         if (maxsegs > JME_MAXTXSEGS)
1568                 maxsegs = JME_MAXTXSEGS;
1569         KASSERT(maxsegs >= (sc->jme_txd_spare - symbol_desc),
1570                 ("not enough segments %d\n", maxsegs));
1571
1572         ctx.nsegs = maxsegs;
1573         ctx.segs = txsegs;
1574         error = bus_dmamap_load_mbuf(sc->jme_cdata.jme_tx_tag, txd->tx_dmamap,
1575                                      *m_head, jme_dmamap_buf_cb, &ctx,
1576                                      BUS_DMA_NOWAIT);
1577         if (!error && ctx.nsegs == 0) {
1578                 bus_dmamap_unload(sc->jme_cdata.jme_tx_tag, txd->tx_dmamap);
1579                 error = EFBIG;
1580         }
1581         if (error == EFBIG) {
1582                 m = m_defrag(*m_head, MB_DONTWAIT);
1583                 if (m == NULL) {
1584                         if_printf(&sc->arpcom.ac_if,
1585                                   "could not defrag TX mbuf\n");
1586                         error = ENOBUFS;
1587                         goto fail;
1588                 }
1589                 *m_head = m;
1590
1591                 ctx.nsegs = maxsegs;
1592                 ctx.segs = txsegs;
1593                 error = bus_dmamap_load_mbuf(sc->jme_cdata.jme_tx_tag,
1594                                              txd->tx_dmamap, *m_head,
1595                                              jme_dmamap_buf_cb, &ctx,
1596                                              BUS_DMA_NOWAIT);
1597                 if (error || ctx.nsegs == 0) {
1598                         if_printf(&sc->arpcom.ac_if,
1599                                   "could not load defragged TX mbuf\n");
1600                         if (!error) {
1601                                 bus_dmamap_unload(sc->jme_cdata.jme_tx_tag,
1602                                                   txd->tx_dmamap);
1603                                 error = EFBIG;
1604                         }
1605                         goto fail;
1606                 }
1607         } else if (error) {
1608                 if_printf(&sc->arpcom.ac_if, "could not load TX mbuf\n");
1609                 goto fail;
1610         }
1611
1612         m = *m_head;
1613         cflags = 0;
1614
1615         /* Configure checksum offload. */
1616         if (m->m_pkthdr.csum_flags & CSUM_IP)
1617                 cflags |= JME_TD_IPCSUM;
1618         if (m->m_pkthdr.csum_flags & CSUM_TCP)
1619                 cflags |= JME_TD_TCPCSUM;
1620         if (m->m_pkthdr.csum_flags & CSUM_UDP)
1621                 cflags |= JME_TD_UDPCSUM;
1622
1623         /* Configure VLAN. */
1624         if (m->m_flags & M_VLANTAG) {
1625                 cflags |= (m->m_pkthdr.ether_vlantag & JME_TD_VLAN_MASK);
1626                 cflags |= JME_TD_VLAN_TAG;
1627         }
1628
1629         desc = &sc->jme_rdata.jme_tx_ring[prod];
1630         desc->flags = htole32(cflags);
1631         desc->addr_hi = htole32(m->m_pkthdr.len);
1632         if (sc->jme_lowaddr != BUS_SPACE_MAXADDR_32BIT) {
1633                 /*
1634                  * Use 64bits TX desc chain format.
1635                  *
1636                  * The first TX desc of the chain, which is setup here,
1637                  * is just a symbol TX desc carrying no payload.
1638                  */
1639                 flag64 = JME_TD_64BIT;
1640                 desc->buflen = 0;
1641                 desc->addr_lo = 0;
1642
1643                 /* No effective TX desc is consumed */
1644                 i = 0;
1645         } else {
1646                 /*
1647                  * Use 32bits TX desc chain format.
1648                  *
1649                  * The first TX desc of the chain, which is setup here,
1650                  * is an effective TX desc carrying the first segment of
1651                  * the mbuf chain.
1652                  */
1653                 flag64 = 0;
1654                 desc->buflen = htole32(txsegs[0].ds_len);
1655                 desc->addr_lo = htole32(JME_ADDR_LO(txsegs[0].ds_addr));
1656
1657                 /* One effective TX desc is consumed */
1658                 i = 1;
1659         }
1660         sc->jme_cdata.jme_tx_cnt++;
1661         KKASSERT(sc->jme_cdata.jme_tx_cnt < sc->jme_tx_desc_cnt - JME_TXD_RSVD);
1662         JME_DESC_INC(prod, sc->jme_tx_desc_cnt);
1663
1664         txd->tx_ndesc = 1 - i;
1665         for (; i < ctx.nsegs; i++) {
1666                 desc = &sc->jme_rdata.jme_tx_ring[prod];
1667                 desc->flags = htole32(JME_TD_OWN | flag64);
1668                 desc->buflen = htole32(txsegs[i].ds_len);
1669                 desc->addr_hi = htole32(JME_ADDR_HI(txsegs[i].ds_addr));
1670                 desc->addr_lo = htole32(JME_ADDR_LO(txsegs[i].ds_addr));
1671
1672                 sc->jme_cdata.jme_tx_cnt++;
1673                 KKASSERT(sc->jme_cdata.jme_tx_cnt <=
1674                          sc->jme_tx_desc_cnt - JME_TXD_RSVD);
1675                 JME_DESC_INC(prod, sc->jme_tx_desc_cnt);
1676         }
1677
1678         /* Update producer index. */
1679         sc->jme_cdata.jme_tx_prod = prod;
1680         /*
1681          * Finally request interrupt and give the first descriptor
1682          * owenership to hardware.
1683          */
1684         desc = txd->tx_desc;
1685         desc->flags |= htole32(JME_TD_OWN | JME_TD_INTR);
1686
1687         txd->tx_m = m;
1688         txd->tx_ndesc += ctx.nsegs;
1689
1690         /* Sync descriptors. */
1691         bus_dmamap_sync(sc->jme_cdata.jme_tx_tag, txd->tx_dmamap,
1692                         BUS_DMASYNC_PREWRITE);
1693         bus_dmamap_sync(sc->jme_cdata.jme_tx_ring_tag,
1694                         sc->jme_cdata.jme_tx_ring_map, BUS_DMASYNC_PREWRITE);
1695         return 0;
1696 fail:
1697         m_freem(*m_head);
1698         *m_head = NULL;
1699         return error;
1700 }
1701
1702 static void
1703 jme_start(struct ifnet *ifp)
1704 {
1705         struct jme_softc *sc = ifp->if_softc;
1706         struct mbuf *m_head;
1707         int enq = 0;
1708
1709         ASSERT_SERIALIZED(ifp->if_serializer);
1710
1711         if ((sc->jme_flags & JME_FLAG_LINK) == 0) {
1712                 ifq_purge(&ifp->if_snd);
1713                 return;
1714         }
1715
1716         if ((ifp->if_flags & (IFF_RUNNING | IFF_OACTIVE)) != IFF_RUNNING)
1717                 return;
1718
1719         if (sc->jme_cdata.jme_tx_cnt >= JME_TX_DESC_HIWAT(sc))
1720                 jme_txeof(sc);
1721
1722         while (!ifq_is_empty(&ifp->if_snd)) {
1723                 /*
1724                  * Check number of available TX descs, always
1725                  * leave JME_TXD_RSVD free TX descs.
1726                  */
1727                 if (sc->jme_cdata.jme_tx_cnt + sc->jme_txd_spare >
1728                     sc->jme_tx_desc_cnt - JME_TXD_RSVD) {
1729                         ifp->if_flags |= IFF_OACTIVE;
1730                         break;
1731                 }
1732
1733                 m_head = ifq_dequeue(&ifp->if_snd, NULL);
1734                 if (m_head == NULL)
1735                         break;
1736
1737                 /*
1738                  * Pack the data into the transmit ring. If we
1739                  * don't have room, set the OACTIVE flag and wait
1740                  * for the NIC to drain the ring.
1741                  */
1742                 if (jme_encap(sc, &m_head)) {
1743                         KKASSERT(m_head == NULL);
1744                         ifp->if_oerrors++;
1745                         ifp->if_flags |= IFF_OACTIVE;
1746                         break;
1747                 }
1748                 enq++;
1749
1750                 /*
1751                  * If there's a BPF listener, bounce a copy of this frame
1752                  * to him.
1753                  */
1754                 ETHER_BPF_MTAP(ifp, m_head);
1755         }
1756
1757         if (enq > 0) {
1758                 /*
1759                  * Reading TXCSR takes very long time under heavy load
1760                  * so cache TXCSR value and writes the ORed value with
1761                  * the kick command to the TXCSR. This saves one register
1762                  * access cycle.
1763                  */
1764                 CSR_WRITE_4(sc, JME_TXCSR, sc->jme_txcsr | TXCSR_TX_ENB |
1765                     TXCSR_TXQ_N_START(TXCSR_TXQ0));
1766                 /* Set a timeout in case the chip goes out to lunch. */
1767                 ifp->if_timer = JME_TX_TIMEOUT;
1768         }
1769 }
1770
1771 static void
1772 jme_watchdog(struct ifnet *ifp)
1773 {
1774         struct jme_softc *sc = ifp->if_softc;
1775
1776         ASSERT_SERIALIZED(ifp->if_serializer);
1777
1778         if ((sc->jme_flags & JME_FLAG_LINK) == 0) {
1779                 if_printf(ifp, "watchdog timeout (missed link)\n");
1780                 ifp->if_oerrors++;
1781                 jme_init(sc);
1782                 return;
1783         }
1784
1785         jme_txeof(sc);
1786         if (sc->jme_cdata.jme_tx_cnt == 0) {
1787                 if_printf(ifp, "watchdog timeout (missed Tx interrupts) "
1788                           "-- recovering\n");
1789                 if (!ifq_is_empty(&ifp->if_snd))
1790                         if_devstart(ifp);
1791                 return;
1792         }
1793
1794         if_printf(ifp, "watchdog timeout\n");
1795         ifp->if_oerrors++;
1796         jme_init(sc);
1797         if (!ifq_is_empty(&ifp->if_snd))
1798                 if_devstart(ifp);
1799 }
1800
1801 static int
1802 jme_ioctl(struct ifnet *ifp, u_long cmd, caddr_t data, struct ucred *cr)
1803 {
1804         struct jme_softc *sc = ifp->if_softc;
1805         struct mii_data *mii = device_get_softc(sc->jme_miibus);
1806         struct ifreq *ifr = (struct ifreq *)data;
1807         int error = 0, mask;
1808
1809         ASSERT_SERIALIZED(ifp->if_serializer);
1810
1811         switch (cmd) {
1812         case SIOCSIFMTU:
1813                 if (ifr->ifr_mtu < ETHERMIN || ifr->ifr_mtu > JME_JUMBO_MTU ||
1814                     (!(sc->jme_caps & JME_CAP_JUMBO) &&
1815                      ifr->ifr_mtu > JME_MAX_MTU)) {
1816                         error = EINVAL;
1817                         break;
1818                 }
1819
1820                 if (ifp->if_mtu != ifr->ifr_mtu) {
1821                         /*
1822                          * No special configuration is required when interface
1823                          * MTU is changed but availability of Tx checksum
1824                          * offload should be chcked against new MTU size as
1825                          * FIFO size is just 2K.
1826                          */
1827                         if (ifr->ifr_mtu >= JME_TX_FIFO_SIZE) {
1828                                 ifp->if_capenable &= ~IFCAP_TXCSUM;
1829                                 ifp->if_hwassist &= ~JME_CSUM_FEATURES;
1830                         }
1831                         ifp->if_mtu = ifr->ifr_mtu;
1832                         if (ifp->if_flags & IFF_RUNNING)
1833                                 jme_init(sc);
1834                 }
1835                 break;
1836
1837         case SIOCSIFFLAGS:
1838                 if (ifp->if_flags & IFF_UP) {
1839                         if (ifp->if_flags & IFF_RUNNING) {
1840                                 if ((ifp->if_flags ^ sc->jme_if_flags) &
1841                                     (IFF_PROMISC | IFF_ALLMULTI))
1842                                         jme_set_filter(sc);
1843                         } else {
1844                                 jme_init(sc);
1845                         }
1846                 } else {
1847                         if (ifp->if_flags & IFF_RUNNING)
1848                                 jme_stop(sc);
1849                 }
1850                 sc->jme_if_flags = ifp->if_flags;
1851                 break;
1852
1853         case SIOCADDMULTI:
1854         case SIOCDELMULTI:
1855                 if (ifp->if_flags & IFF_RUNNING)
1856                         jme_set_filter(sc);
1857                 break;
1858
1859         case SIOCSIFMEDIA:
1860         case SIOCGIFMEDIA:
1861                 error = ifmedia_ioctl(ifp, ifr, &mii->mii_media, cmd);
1862                 break;
1863
1864         case SIOCSIFCAP:
1865                 mask = ifr->ifr_reqcap ^ ifp->if_capenable;
1866
1867                 if ((mask & IFCAP_TXCSUM) && ifp->if_mtu < JME_TX_FIFO_SIZE) {
1868                         if (IFCAP_TXCSUM & ifp->if_capabilities) {
1869                                 ifp->if_capenable ^= IFCAP_TXCSUM;
1870                                 if (IFCAP_TXCSUM & ifp->if_capenable)
1871                                         ifp->if_hwassist |= JME_CSUM_FEATURES;
1872                                 else
1873                                         ifp->if_hwassist &= ~JME_CSUM_FEATURES;
1874                         }
1875                 }
1876                 if ((mask & IFCAP_RXCSUM) &&
1877                     (IFCAP_RXCSUM & ifp->if_capabilities)) {
1878                         uint32_t reg;
1879
1880                         ifp->if_capenable ^= IFCAP_RXCSUM;
1881                         reg = CSR_READ_4(sc, JME_RXMAC);
1882                         reg &= ~RXMAC_CSUM_ENB;
1883                         if (ifp->if_capenable & IFCAP_RXCSUM)
1884                                 reg |= RXMAC_CSUM_ENB;
1885                         CSR_WRITE_4(sc, JME_RXMAC, reg);
1886                 }
1887
1888                 if ((mask & IFCAP_VLAN_HWTAGGING) &&
1889                     (IFCAP_VLAN_HWTAGGING & ifp->if_capabilities)) {
1890                         ifp->if_capenable ^= IFCAP_VLAN_HWTAGGING;
1891                         jme_set_vlan(sc);
1892                 }
1893                 break;
1894
1895         default:
1896                 error = ether_ioctl(ifp, cmd, data);
1897                 break;
1898         }
1899         return (error);
1900 }
1901
1902 static void
1903 jme_mac_config(struct jme_softc *sc)
1904 {
1905         struct mii_data *mii;
1906         uint32_t ghc, rxmac, txmac, txpause, gp1;
1907         int phyconf = JMPHY_CONF_DEFFIFO, hdx = 0;
1908
1909         mii = device_get_softc(sc->jme_miibus);
1910
1911         CSR_WRITE_4(sc, JME_GHC, GHC_RESET);
1912         DELAY(10);
1913         CSR_WRITE_4(sc, JME_GHC, 0);
1914         ghc = 0;
1915         rxmac = CSR_READ_4(sc, JME_RXMAC);
1916         rxmac &= ~RXMAC_FC_ENB;
1917         txmac = CSR_READ_4(sc, JME_TXMAC);
1918         txmac &= ~(TXMAC_CARRIER_EXT | TXMAC_FRAME_BURST);
1919         txpause = CSR_READ_4(sc, JME_TXPFC);
1920         txpause &= ~TXPFC_PAUSE_ENB;
1921         if ((IFM_OPTIONS(mii->mii_media_active) & IFM_FDX) != 0) {
1922                 ghc |= GHC_FULL_DUPLEX;
1923                 rxmac &= ~RXMAC_COLL_DET_ENB;
1924                 txmac &= ~(TXMAC_COLL_ENB | TXMAC_CARRIER_SENSE |
1925                     TXMAC_BACKOFF | TXMAC_CARRIER_EXT |
1926                     TXMAC_FRAME_BURST);
1927 #ifdef notyet
1928                 if ((IFM_OPTIONS(mii->mii_media_active) & IFM_ETH_TXPAUSE) != 0)
1929                         txpause |= TXPFC_PAUSE_ENB;
1930                 if ((IFM_OPTIONS(mii->mii_media_active) & IFM_ETH_RXPAUSE) != 0)
1931                         rxmac |= RXMAC_FC_ENB;
1932 #endif
1933                 /* Disable retry transmit timer/retry limit. */
1934                 CSR_WRITE_4(sc, JME_TXTRHD, CSR_READ_4(sc, JME_TXTRHD) &
1935                     ~(TXTRHD_RT_PERIOD_ENB | TXTRHD_RT_LIMIT_ENB));
1936         } else {
1937                 rxmac |= RXMAC_COLL_DET_ENB;
1938                 txmac |= TXMAC_COLL_ENB | TXMAC_CARRIER_SENSE | TXMAC_BACKOFF;
1939                 /* Enable retry transmit timer/retry limit. */
1940                 CSR_WRITE_4(sc, JME_TXTRHD, CSR_READ_4(sc, JME_TXTRHD) |
1941                     TXTRHD_RT_PERIOD_ENB | TXTRHD_RT_LIMIT_ENB);
1942         }
1943
1944         /*
1945          * Reprogram Tx/Rx MACs with resolved speed/duplex.
1946          */
1947         gp1 = CSR_READ_4(sc, JME_GPREG1);
1948         gp1 &= ~GPREG1_WA_HDX;
1949
1950         if ((IFM_OPTIONS(mii->mii_media_active) & IFM_FDX) == 0)
1951                 hdx = 1;
1952
1953         switch (IFM_SUBTYPE(mii->mii_media_active)) {
1954         case IFM_10_T:
1955                 ghc |= GHC_SPEED_10 | sc->jme_clksrc;
1956                 if (hdx)
1957                         gp1 |= GPREG1_WA_HDX;
1958                 break;
1959
1960         case IFM_100_TX:
1961                 ghc |= GHC_SPEED_100 | sc->jme_clksrc;
1962                 if (hdx)
1963                         gp1 |= GPREG1_WA_HDX;
1964
1965                 /*
1966                  * Use extended FIFO depth to workaround CRC errors
1967                  * emitted by chips before JMC250B
1968                  */
1969                 phyconf = JMPHY_CONF_EXTFIFO;
1970                 break;
1971
1972         case IFM_1000_T:
1973                 if (sc->jme_caps & JME_CAP_FASTETH)
1974                         break;
1975
1976                 ghc |= GHC_SPEED_1000 | sc->jme_clksrc_1000;
1977                 if (hdx)
1978                         txmac |= TXMAC_CARRIER_EXT | TXMAC_FRAME_BURST;
1979                 break;
1980
1981         default:
1982                 break;
1983         }
1984         CSR_WRITE_4(sc, JME_GHC, ghc);
1985         CSR_WRITE_4(sc, JME_RXMAC, rxmac);
1986         CSR_WRITE_4(sc, JME_TXMAC, txmac);
1987         CSR_WRITE_4(sc, JME_TXPFC, txpause);
1988
1989         if (sc->jme_workaround & JME_WA_EXTFIFO) {
1990                 jme_miibus_writereg(sc->jme_dev, sc->jme_phyaddr,
1991                                     JMPHY_CONF, phyconf);
1992         }
1993         if (sc->jme_workaround & JME_WA_HDX)
1994                 CSR_WRITE_4(sc, JME_GPREG1, gp1);
1995 }
1996
1997 static void
1998 jme_intr(void *xsc)
1999 {
2000         struct jme_softc *sc = xsc;
2001         struct ifnet *ifp = &sc->arpcom.ac_if;
2002         uint32_t status;
2003
2004         ASSERT_SERIALIZED(ifp->if_serializer);
2005
2006         status = CSR_READ_4(sc, JME_INTR_REQ_STATUS);
2007         if (status == 0 || status == 0xFFFFFFFF)
2008                 return;
2009
2010         /* Disable interrupts. */
2011         CSR_WRITE_4(sc, JME_INTR_MASK_CLR, JME_INTRS);
2012
2013         status = CSR_READ_4(sc, JME_INTR_STATUS);
2014         if ((status & JME_INTRS) == 0 || status == 0xFFFFFFFF)
2015                 goto back;
2016
2017         /* Reset PCC counter/timer and Ack interrupts. */
2018         status &= ~(INTR_TXQ_COMP | INTR_RXQ_COMP);
2019         if (status & (INTR_TXQ_COAL | INTR_TXQ_COAL_TO))
2020                 status |= INTR_TXQ_COAL | INTR_TXQ_COAL_TO | INTR_TXQ_COMP;
2021         if (status & (INTR_RXQ_COAL | INTR_RXQ_COAL_TO))
2022                 status |= INTR_RXQ_COAL | INTR_RXQ_COAL_TO | INTR_RXQ_COMP;
2023         CSR_WRITE_4(sc, JME_INTR_STATUS, status);
2024
2025         if (ifp->if_flags & IFF_RUNNING) {
2026                 if (status & (INTR_RXQ_COAL | INTR_RXQ_COAL_TO))
2027                         jme_rxeof(sc);
2028
2029                 if (status & INTR_RXQ_DESC_EMPTY) {
2030                         /*
2031                          * Notify hardware availability of new Rx buffers.
2032                          * Reading RXCSR takes very long time under heavy
2033                          * load so cache RXCSR value and writes the ORed
2034                          * value with the kick command to the RXCSR. This
2035                          * saves one register access cycle.
2036                          */
2037                         CSR_WRITE_4(sc, JME_RXCSR, sc->jme_rxcsr |
2038                             RXCSR_RX_ENB | RXCSR_RXQ_START);
2039                 }
2040
2041                 if (status & (INTR_TXQ_COAL | INTR_TXQ_COAL_TO)) {
2042                         jme_txeof(sc);
2043                         if (!ifq_is_empty(&ifp->if_snd))
2044                                 if_devstart(ifp);
2045                 }
2046         }
2047 back:
2048         /* Reenable interrupts. */
2049         CSR_WRITE_4(sc, JME_INTR_MASK_SET, JME_INTRS);
2050 }
2051
2052 static void
2053 jme_txeof(struct jme_softc *sc)
2054 {
2055         struct ifnet *ifp = &sc->arpcom.ac_if;
2056         struct jme_txdesc *txd;
2057         uint32_t status;
2058         int cons, nsegs;
2059
2060         cons = sc->jme_cdata.jme_tx_cons;
2061         if (cons == sc->jme_cdata.jme_tx_prod)
2062                 return;
2063
2064         bus_dmamap_sync(sc->jme_cdata.jme_tx_ring_tag,
2065                         sc->jme_cdata.jme_tx_ring_map,
2066                         BUS_DMASYNC_POSTREAD);
2067
2068         /*
2069          * Go through our Tx list and free mbufs for those
2070          * frames which have been transmitted.
2071          */
2072         while (cons != sc->jme_cdata.jme_tx_prod) {
2073                 txd = &sc->jme_cdata.jme_txdesc[cons];
2074                 KASSERT(txd->tx_m != NULL,
2075                         ("%s: freeing NULL mbuf!\n", __func__));
2076
2077                 status = le32toh(txd->tx_desc->flags);
2078                 if ((status & JME_TD_OWN) == JME_TD_OWN)
2079                         break;
2080
2081                 if (status & (JME_TD_TMOUT | JME_TD_RETRY_EXP)) {
2082                         ifp->if_oerrors++;
2083                 } else {
2084                         ifp->if_opackets++;
2085                         if (status & JME_TD_COLLISION) {
2086                                 ifp->if_collisions +=
2087                                     le32toh(txd->tx_desc->buflen) &
2088                                     JME_TD_BUF_LEN_MASK;
2089                         }
2090                 }
2091
2092                 /*
2093                  * Only the first descriptor of multi-descriptor
2094                  * transmission is updated so driver have to skip entire
2095                  * chained buffers for the transmiited frame. In other
2096                  * words, JME_TD_OWN bit is valid only at the first
2097                  * descriptor of a multi-descriptor transmission.
2098                  */
2099                 for (nsegs = 0; nsegs < txd->tx_ndesc; nsegs++) {
2100                         sc->jme_rdata.jme_tx_ring[cons].flags = 0;
2101                         JME_DESC_INC(cons, sc->jme_tx_desc_cnt);
2102                 }
2103
2104                 /* Reclaim transferred mbufs. */
2105                 bus_dmamap_unload(sc->jme_cdata.jme_tx_tag, txd->tx_dmamap);
2106                 m_freem(txd->tx_m);
2107                 txd->tx_m = NULL;
2108                 sc->jme_cdata.jme_tx_cnt -= txd->tx_ndesc;
2109                 KASSERT(sc->jme_cdata.jme_tx_cnt >= 0,
2110                         ("%s: Active Tx desc counter was garbled\n", __func__));
2111                 txd->tx_ndesc = 0;
2112         }
2113         sc->jme_cdata.jme_tx_cons = cons;
2114
2115         if (sc->jme_cdata.jme_tx_cnt == 0)
2116                 ifp->if_timer = 0;
2117
2118         if (sc->jme_cdata.jme_tx_cnt + sc->jme_txd_spare <=
2119             sc->jme_tx_desc_cnt - JME_TXD_RSVD)
2120                 ifp->if_flags &= ~IFF_OACTIVE;
2121
2122         bus_dmamap_sync(sc->jme_cdata.jme_tx_ring_tag,
2123                         sc->jme_cdata.jme_tx_ring_map,
2124                         BUS_DMASYNC_PREWRITE);
2125 }
2126
2127 static __inline void
2128 jme_discard_rxbufs(struct jme_softc *sc, int cons, int count)
2129 {
2130         int i;
2131
2132         for (i = 0; i < count; ++i) {
2133                 struct jme_desc *desc = &sc->jme_rdata.jme_rx_ring[cons];
2134
2135                 desc->flags = htole32(JME_RD_OWN | JME_RD_INTR | JME_RD_64BIT);
2136                 desc->buflen = htole32(MCLBYTES);
2137                 JME_DESC_INC(cons, sc->jme_rx_desc_cnt);
2138         }
2139 }
2140
2141 /* Receive a frame. */
2142 static void
2143 jme_rxpkt(struct jme_softc *sc)
2144 {
2145         struct ifnet *ifp = &sc->arpcom.ac_if;
2146         struct jme_desc *desc;
2147         struct jme_rxdesc *rxd;
2148         struct mbuf *mp, *m;
2149         uint32_t flags, status;
2150         int cons, count, nsegs;
2151
2152         cons = sc->jme_cdata.jme_rx_cons;
2153         desc = &sc->jme_rdata.jme_rx_ring[cons];
2154         flags = le32toh(desc->flags);
2155         status = le32toh(desc->buflen);
2156         nsegs = JME_RX_NSEGS(status);
2157
2158         if (status & JME_RX_ERR_STAT) {
2159                 ifp->if_ierrors++;
2160                 jme_discard_rxbufs(sc, cons, nsegs);
2161 #ifdef JME_SHOW_ERRORS
2162                 device_printf(sc->jme_dev, "%s : receive error = 0x%b\n",
2163                     __func__, JME_RX_ERR(status), JME_RX_ERR_BITS);
2164 #endif
2165                 sc->jme_cdata.jme_rx_cons += nsegs;
2166                 sc->jme_cdata.jme_rx_cons %= sc->jme_rx_desc_cnt;
2167                 return;
2168         }
2169
2170         sc->jme_cdata.jme_rxlen = JME_RX_BYTES(status) - JME_RX_PAD_BYTES;
2171         for (count = 0; count < nsegs; count++,
2172              JME_DESC_INC(cons, sc->jme_rx_desc_cnt)) {
2173                 rxd = &sc->jme_cdata.jme_rxdesc[cons];
2174                 mp = rxd->rx_m;
2175
2176                 /* Add a new receive buffer to the ring. */
2177                 if (jme_newbuf(sc, rxd, 0) != 0) {
2178                         ifp->if_iqdrops++;
2179                         /* Reuse buffer. */
2180                         jme_discard_rxbufs(sc, cons, nsegs - count);
2181                         if (sc->jme_cdata.jme_rxhead != NULL) {
2182                                 m_freem(sc->jme_cdata.jme_rxhead);
2183                                 JME_RXCHAIN_RESET(sc);
2184                         }
2185                         break;
2186                 }
2187
2188                 /*
2189                  * Assume we've received a full sized frame.
2190                  * Actual size is fixed when we encounter the end of
2191                  * multi-segmented frame.
2192                  */
2193                 mp->m_len = MCLBYTES;
2194
2195                 /* Chain received mbufs. */
2196                 if (sc->jme_cdata.jme_rxhead == NULL) {
2197                         sc->jme_cdata.jme_rxhead = mp;
2198                         sc->jme_cdata.jme_rxtail = mp;
2199                 } else {
2200                         /*
2201                          * Receive processor can receive a maximum frame
2202                          * size of 65535 bytes.
2203                          */
2204                         mp->m_flags &= ~M_PKTHDR;
2205                         sc->jme_cdata.jme_rxtail->m_next = mp;
2206                         sc->jme_cdata.jme_rxtail = mp;
2207                 }
2208
2209                 if (count == nsegs - 1) {
2210                         /* Last desc. for this frame. */
2211                         m = sc->jme_cdata.jme_rxhead;
2212                         /* XXX assert PKTHDR? */
2213                         m->m_flags |= M_PKTHDR;
2214                         m->m_pkthdr.len = sc->jme_cdata.jme_rxlen;
2215                         if (nsegs > 1) {
2216                                 /* Set first mbuf size. */
2217                                 m->m_len = MCLBYTES - JME_RX_PAD_BYTES;
2218                                 /* Set last mbuf size. */
2219                                 mp->m_len = sc->jme_cdata.jme_rxlen -
2220                                     ((MCLBYTES - JME_RX_PAD_BYTES) +
2221                                     (MCLBYTES * (nsegs - 2)));
2222                         } else {
2223                                 m->m_len = sc->jme_cdata.jme_rxlen;
2224                         }
2225                         m->m_pkthdr.rcvif = ifp;
2226
2227                         /*
2228                          * Account for 10bytes auto padding which is used
2229                          * to align IP header on 32bit boundary. Also note,
2230                          * CRC bytes is automatically removed by the
2231                          * hardware.
2232                          */
2233                         m->m_data += JME_RX_PAD_BYTES;
2234
2235                         /* Set checksum information. */
2236                         if ((ifp->if_capenable & IFCAP_RXCSUM) &&
2237                             (flags & JME_RD_IPV4)) {
2238                                 m->m_pkthdr.csum_flags |= CSUM_IP_CHECKED;
2239                                 if (flags & JME_RD_IPCSUM)
2240                                         m->m_pkthdr.csum_flags |= CSUM_IP_VALID;
2241                                 if ((flags & JME_RD_MORE_FRAG) == 0 &&
2242                                     ((flags & (JME_RD_TCP | JME_RD_TCPCSUM)) ==
2243                                      (JME_RD_TCP | JME_RD_TCPCSUM) ||
2244                                      (flags & (JME_RD_UDP | JME_RD_UDPCSUM)) ==
2245                                      (JME_RD_UDP | JME_RD_UDPCSUM))) {
2246                                         m->m_pkthdr.csum_flags |=
2247                                             CSUM_DATA_VALID | CSUM_PSEUDO_HDR;
2248                                         m->m_pkthdr.csum_data = 0xffff;
2249                                 }
2250                         }
2251
2252                         /* Check for VLAN tagged packets. */
2253                         if ((ifp->if_capenable & IFCAP_VLAN_HWTAGGING) &&
2254                             (flags & JME_RD_VLAN_TAG)) {
2255                                 m->m_pkthdr.ether_vlantag =
2256                                     flags & JME_RD_VLAN_MASK;
2257                                 m->m_flags |= M_VLANTAG;
2258                         }
2259
2260                         ifp->if_ipackets++;
2261                         /* Pass it on. */
2262                         ifp->if_input(ifp, m);
2263
2264                         /* Reset mbuf chains. */
2265                         JME_RXCHAIN_RESET(sc);
2266                 }
2267         }
2268
2269         sc->jme_cdata.jme_rx_cons += nsegs;
2270         sc->jme_cdata.jme_rx_cons %= sc->jme_rx_desc_cnt;
2271 }
2272
2273 static void
2274 jme_rxeof(struct jme_softc *sc)
2275 {
2276         struct jme_desc *desc;
2277         int nsegs, prog, pktlen;
2278
2279         bus_dmamap_sync(sc->jme_cdata.jme_rx_ring_tag,
2280                         sc->jme_cdata.jme_rx_ring_map,
2281                         BUS_DMASYNC_POSTREAD);
2282
2283         prog = 0;
2284         for (;;) {
2285                 desc = &sc->jme_rdata.jme_rx_ring[sc->jme_cdata.jme_rx_cons];
2286                 if ((le32toh(desc->flags) & JME_RD_OWN) == JME_RD_OWN)
2287                         break;
2288                 if ((le32toh(desc->buflen) & JME_RD_VALID) == 0)
2289                         break;
2290
2291                 /*
2292                  * Check number of segments against received bytes.
2293                  * Non-matching value would indicate that hardware
2294                  * is still trying to update Rx descriptors. I'm not
2295                  * sure whether this check is needed.
2296                  */
2297                 nsegs = JME_RX_NSEGS(le32toh(desc->buflen));
2298                 pktlen = JME_RX_BYTES(le32toh(desc->buflen));
2299                 if (nsegs != howmany(pktlen, MCLBYTES)) {
2300                         if_printf(&sc->arpcom.ac_if, "RX fragment count(%d) "
2301                                   "and packet size(%d) mismach\n",
2302                                   nsegs, pktlen);
2303                         break;
2304                 }
2305
2306                 /* Received a frame. */
2307                 jme_rxpkt(sc);
2308                 prog++;
2309         }
2310
2311         if (prog > 0) {
2312                 bus_dmamap_sync(sc->jme_cdata.jme_rx_ring_tag,
2313                                 sc->jme_cdata.jme_rx_ring_map,
2314                                 BUS_DMASYNC_PREWRITE);
2315         }
2316 }
2317
2318 static void
2319 jme_tick(void *xsc)
2320 {
2321         struct jme_softc *sc = xsc;
2322         struct ifnet *ifp = &sc->arpcom.ac_if;
2323         struct mii_data *mii = device_get_softc(sc->jme_miibus);
2324
2325         lwkt_serialize_enter(ifp->if_serializer);
2326
2327         mii_tick(mii);
2328         callout_reset(&sc->jme_tick_ch, hz, jme_tick, sc);
2329
2330         lwkt_serialize_exit(ifp->if_serializer);
2331 }
2332
2333 static void
2334 jme_reset(struct jme_softc *sc)
2335 {
2336 #ifdef foo
2337         /* Stop receiver, transmitter. */
2338         jme_stop_rx(sc);
2339         jme_stop_tx(sc);
2340 #endif
2341         CSR_WRITE_4(sc, JME_GHC, GHC_RESET);
2342         DELAY(10);
2343         CSR_WRITE_4(sc, JME_GHC, 0);
2344 }
2345
2346 static void
2347 jme_init(void *xsc)
2348 {
2349         struct jme_softc *sc = xsc;
2350         struct ifnet *ifp = &sc->arpcom.ac_if;
2351         struct mii_data *mii;
2352         uint8_t eaddr[ETHER_ADDR_LEN];
2353         bus_addr_t paddr;
2354         uint32_t reg;
2355         int error;
2356
2357         ASSERT_SERIALIZED(ifp->if_serializer);
2358
2359         /*
2360          * Cancel any pending I/O.
2361          */
2362         jme_stop(sc);
2363
2364         /*
2365          * Reset the chip to a known state.
2366          */
2367         jme_reset(sc);
2368
2369         sc->jme_txd_spare =
2370         howmany(ifp->if_mtu + sizeof(struct ether_vlan_header), MCLBYTES);
2371         KKASSERT(sc->jme_txd_spare >= 1);
2372
2373         /*
2374          * If we use 64bit address mode for transmitting, each Tx request
2375          * needs one more symbol descriptor.
2376          */
2377         if (sc->jme_lowaddr != BUS_SPACE_MAXADDR_32BIT)
2378                 sc->jme_txd_spare += 1;
2379
2380         /* Init descriptors. */
2381         error = jme_init_rx_ring(sc);
2382         if (error != 0) {
2383                 device_printf(sc->jme_dev,
2384                     "%s: initialization failed: no memory for Rx buffers.\n",
2385                     __func__);
2386                 jme_stop(sc);
2387                 return;
2388         }
2389         jme_init_tx_ring(sc);
2390
2391         /* Initialize shadow status block. */
2392         jme_init_ssb(sc);
2393
2394         /* Reprogram the station address. */
2395         bcopy(IF_LLADDR(ifp), eaddr, ETHER_ADDR_LEN);
2396         CSR_WRITE_4(sc, JME_PAR0,
2397             eaddr[3] << 24 | eaddr[2] << 16 | eaddr[1] << 8 | eaddr[0]);
2398         CSR_WRITE_4(sc, JME_PAR1, eaddr[5] << 8 | eaddr[4]);
2399
2400         /*
2401          * Configure Tx queue.
2402          *  Tx priority queue weight value : 0
2403          *  Tx FIFO threshold for processing next packet : 16QW
2404          *  Maximum Tx DMA length : 512
2405          *  Allow Tx DMA burst.
2406          */
2407         sc->jme_txcsr = TXCSR_TXQ_N_SEL(TXCSR_TXQ0);
2408         sc->jme_txcsr |= TXCSR_TXQ_WEIGHT(TXCSR_TXQ_WEIGHT_MIN);
2409         sc->jme_txcsr |= TXCSR_FIFO_THRESH_16QW;
2410         sc->jme_txcsr |= sc->jme_tx_dma_size;
2411         sc->jme_txcsr |= TXCSR_DMA_BURST;
2412         CSR_WRITE_4(sc, JME_TXCSR, sc->jme_txcsr);
2413
2414         /* Set Tx descriptor counter. */
2415         CSR_WRITE_4(sc, JME_TXQDC, sc->jme_tx_desc_cnt);
2416
2417         /* Set Tx ring address to the hardware. */
2418         paddr = JME_TX_RING_ADDR(sc, 0);
2419         CSR_WRITE_4(sc, JME_TXDBA_HI, JME_ADDR_HI(paddr));
2420         CSR_WRITE_4(sc, JME_TXDBA_LO, JME_ADDR_LO(paddr));
2421
2422         /* Configure TxMAC parameters. */
2423         reg = TXMAC_IFG1_DEFAULT | TXMAC_IFG2_DEFAULT | TXMAC_IFG_ENB;
2424         reg |= TXMAC_THRESH_1_PKT;
2425         reg |= TXMAC_CRC_ENB | TXMAC_PAD_ENB;
2426         CSR_WRITE_4(sc, JME_TXMAC, reg);
2427
2428         /*
2429          * Configure Rx queue.
2430          *  FIFO full threshold for transmitting Tx pause packet : 128T
2431          *  FIFO threshold for processing next packet : 128QW
2432          *  Rx queue 0 select
2433          *  Max Rx DMA length : 128
2434          *  Rx descriptor retry : 32
2435          *  Rx descriptor retry time gap : 256ns
2436          *  Don't receive runt/bad frame.
2437          */
2438         sc->jme_rxcsr = RXCSR_FIFO_FTHRESH_128T;
2439         /*
2440          * Since Rx FIFO size is 4K bytes, receiving frames larger
2441          * than 4K bytes will suffer from Rx FIFO overruns. So
2442          * decrease FIFO threshold to reduce the FIFO overruns for
2443          * frames larger than 4000 bytes.
2444          * For best performance of standard MTU sized frames use
2445          * maximum allowable FIFO threshold, 128QW.
2446          */
2447         if ((ifp->if_mtu + ETHER_HDR_LEN + EVL_ENCAPLEN + ETHER_CRC_LEN) >
2448             JME_RX_FIFO_SIZE)
2449                 sc->jme_rxcsr |= RXCSR_FIFO_THRESH_16QW;
2450         else
2451                 sc->jme_rxcsr |= RXCSR_FIFO_THRESH_128QW;
2452         sc->jme_rxcsr |= sc->jme_rx_dma_size | RXCSR_RXQ_N_SEL(RXCSR_RXQ0);
2453         sc->jme_rxcsr |= RXCSR_DESC_RT_CNT(RXCSR_DESC_RT_CNT_DEFAULT);
2454         sc->jme_rxcsr |= RXCSR_DESC_RT_GAP_256 & RXCSR_DESC_RT_GAP_MASK;
2455         /* XXX TODO DROP_BAD */
2456         CSR_WRITE_4(sc, JME_RXCSR, sc->jme_rxcsr);
2457
2458         /* Set Rx descriptor counter. */
2459         CSR_WRITE_4(sc, JME_RXQDC, sc->jme_rx_desc_cnt);
2460
2461         /* Set Rx ring address to the hardware. */
2462         paddr = JME_RX_RING_ADDR(sc, 0);
2463         CSR_WRITE_4(sc, JME_RXDBA_HI, JME_ADDR_HI(paddr));
2464         CSR_WRITE_4(sc, JME_RXDBA_LO, JME_ADDR_LO(paddr));
2465
2466         /* Clear receive filter. */
2467         CSR_WRITE_4(sc, JME_RXMAC, 0);
2468
2469         /* Set up the receive filter. */
2470         jme_set_filter(sc);
2471         jme_set_vlan(sc);
2472
2473         /*
2474          * Disable all WOL bits as WOL can interfere normal Rx
2475          * operation. Also clear WOL detection status bits.
2476          */
2477         reg = CSR_READ_4(sc, JME_PMCS);
2478         reg &= ~PMCS_WOL_ENB_MASK;
2479         CSR_WRITE_4(sc, JME_PMCS, reg);
2480
2481         /*
2482          * Pad 10bytes right before received frame. This will greatly
2483          * help Rx performance on strict-alignment architectures as
2484          * it does not need to copy the frame to align the payload.
2485          */
2486         reg = CSR_READ_4(sc, JME_RXMAC);
2487         reg |= RXMAC_PAD_10BYTES;
2488
2489         if (ifp->if_capenable & IFCAP_RXCSUM)
2490                 reg |= RXMAC_CSUM_ENB;
2491         CSR_WRITE_4(sc, JME_RXMAC, reg);
2492
2493         /* Configure general purpose reg0 */
2494         reg = CSR_READ_4(sc, JME_GPREG0);
2495         reg &= ~GPREG0_PCC_UNIT_MASK;
2496         /* Set PCC timer resolution to micro-seconds unit. */
2497         reg |= GPREG0_PCC_UNIT_US;
2498         /*
2499          * Disable all shadow register posting as we have to read
2500          * JME_INTR_STATUS register in jme_intr. Also it seems
2501          * that it's hard to synchronize interrupt status between
2502          * hardware and software with shadow posting due to
2503          * requirements of bus_dmamap_sync(9).
2504          */
2505         reg |= GPREG0_SH_POST_DW7_DIS | GPREG0_SH_POST_DW6_DIS |
2506             GPREG0_SH_POST_DW5_DIS | GPREG0_SH_POST_DW4_DIS |
2507             GPREG0_SH_POST_DW3_DIS | GPREG0_SH_POST_DW2_DIS |
2508             GPREG0_SH_POST_DW1_DIS | GPREG0_SH_POST_DW0_DIS;
2509         /* Disable posting of DW0. */
2510         reg &= ~GPREG0_POST_DW0_ENB;
2511         /* Clear PME message. */
2512         reg &= ~GPREG0_PME_ENB;
2513         /* Set PHY address. */
2514         reg &= ~GPREG0_PHY_ADDR_MASK;
2515         reg |= sc->jme_phyaddr;
2516         CSR_WRITE_4(sc, JME_GPREG0, reg);
2517
2518         /* Configure Tx queue 0 packet completion coalescing. */
2519         jme_set_tx_coal(sc);
2520
2521         /* Configure Rx queue 0 packet completion coalescing. */
2522         jme_set_rx_coal(sc);
2523
2524         /* Configure shadow status block but don't enable posting. */
2525         paddr = sc->jme_rdata.jme_ssb_block_paddr;
2526         CSR_WRITE_4(sc, JME_SHBASE_ADDR_HI, JME_ADDR_HI(paddr));
2527         CSR_WRITE_4(sc, JME_SHBASE_ADDR_LO, JME_ADDR_LO(paddr));
2528
2529         /* Disable Timer 1 and Timer 2. */
2530         CSR_WRITE_4(sc, JME_TIMER1, 0);
2531         CSR_WRITE_4(sc, JME_TIMER2, 0);
2532
2533         /* Configure retry transmit period, retry limit value. */
2534         CSR_WRITE_4(sc, JME_TXTRHD,
2535             ((TXTRHD_RT_PERIOD_DEFAULT << TXTRHD_RT_PERIOD_SHIFT) &
2536             TXTRHD_RT_PERIOD_MASK) |
2537             ((TXTRHD_RT_LIMIT_DEFAULT << TXTRHD_RT_LIMIT_SHIFT) &
2538             TXTRHD_RT_LIMIT_SHIFT));
2539
2540         /* Disable RSS. */
2541         CSR_WRITE_4(sc, JME_RSSC, RSSC_DIS_RSS);
2542
2543         /* Initialize the interrupt mask. */
2544         CSR_WRITE_4(sc, JME_INTR_MASK_SET, JME_INTRS);
2545         CSR_WRITE_4(sc, JME_INTR_STATUS, 0xFFFFFFFF);
2546
2547         /*
2548          * Enabling Tx/Rx DMA engines and Rx queue processing is
2549          * done after detection of valid link in jme_miibus_statchg.
2550          */
2551         sc->jme_flags &= ~JME_FLAG_LINK;
2552
2553         /* Set the current media. */
2554         mii = device_get_softc(sc->jme_miibus);
2555         mii_mediachg(mii);
2556
2557         callout_reset(&sc->jme_tick_ch, hz, jme_tick, sc);
2558
2559         ifp->if_flags |= IFF_RUNNING;
2560         ifp->if_flags &= ~IFF_OACTIVE;
2561 }
2562
2563 static void
2564 jme_stop(struct jme_softc *sc)
2565 {
2566         struct ifnet *ifp = &sc->arpcom.ac_if;
2567         struct jme_txdesc *txd;
2568         struct jme_rxdesc *rxd;
2569         int i;
2570
2571         ASSERT_SERIALIZED(ifp->if_serializer);
2572
2573         /*
2574          * Mark the interface down and cancel the watchdog timer.
2575          */
2576         ifp->if_flags &= ~(IFF_RUNNING | IFF_OACTIVE);
2577         ifp->if_timer = 0;
2578
2579         callout_stop(&sc->jme_tick_ch);
2580         sc->jme_flags &= ~JME_FLAG_LINK;
2581
2582         /*
2583          * Disable interrupts.
2584          */
2585         CSR_WRITE_4(sc, JME_INTR_MASK_CLR, JME_INTRS);
2586         CSR_WRITE_4(sc, JME_INTR_STATUS, 0xFFFFFFFF);
2587
2588         /* Disable updating shadow status block. */
2589         CSR_WRITE_4(sc, JME_SHBASE_ADDR_LO,
2590             CSR_READ_4(sc, JME_SHBASE_ADDR_LO) & ~SHBASE_POST_ENB);
2591
2592         /* Stop receiver, transmitter. */
2593         jme_stop_rx(sc);
2594         jme_stop_tx(sc);
2595
2596 #ifdef foo
2597          /* Reclaim Rx/Tx buffers that have been completed. */
2598         jme_rxeof(sc);
2599         if (sc->jme_cdata.jme_rxhead != NULL)
2600                 m_freem(sc->jme_cdata.jme_rxhead);
2601         JME_RXCHAIN_RESET(sc);
2602         jme_txeof(sc);
2603 #endif
2604
2605         /*
2606          * Free partial finished RX segments
2607          */
2608         if (sc->jme_cdata.jme_rxhead != NULL)
2609                 m_freem(sc->jme_cdata.jme_rxhead);
2610         JME_RXCHAIN_RESET(sc);
2611
2612         /*
2613          * Free RX and TX mbufs still in the queues.
2614          */
2615         for (i = 0; i < sc->jme_rx_desc_cnt; i++) {
2616                 rxd = &sc->jme_cdata.jme_rxdesc[i];
2617                 if (rxd->rx_m != NULL) {
2618                         bus_dmamap_unload(sc->jme_cdata.jme_rx_tag,
2619                             rxd->rx_dmamap);
2620                         m_freem(rxd->rx_m);
2621                         rxd->rx_m = NULL;
2622                 }
2623         }
2624         for (i = 0; i < sc->jme_tx_desc_cnt; i++) {
2625                 txd = &sc->jme_cdata.jme_txdesc[i];
2626                 if (txd->tx_m != NULL) {
2627                         bus_dmamap_unload(sc->jme_cdata.jme_tx_tag,
2628                             txd->tx_dmamap);
2629                         m_freem(txd->tx_m);
2630                         txd->tx_m = NULL;
2631                         txd->tx_ndesc = 0;
2632                 }
2633         }
2634 }
2635
2636 static void
2637 jme_stop_tx(struct jme_softc *sc)
2638 {
2639         uint32_t reg;
2640         int i;
2641
2642         reg = CSR_READ_4(sc, JME_TXCSR);
2643         if ((reg & TXCSR_TX_ENB) == 0)
2644                 return;
2645         reg &= ~TXCSR_TX_ENB;
2646         CSR_WRITE_4(sc, JME_TXCSR, reg);
2647         for (i = JME_TIMEOUT; i > 0; i--) {
2648                 DELAY(1);
2649                 if ((CSR_READ_4(sc, JME_TXCSR) & TXCSR_TX_ENB) == 0)
2650                         break;
2651         }
2652         if (i == 0)
2653                 device_printf(sc->jme_dev, "stopping transmitter timeout!\n");
2654 }
2655
2656 static void
2657 jme_stop_rx(struct jme_softc *sc)
2658 {
2659         uint32_t reg;
2660         int i;
2661
2662         reg = CSR_READ_4(sc, JME_RXCSR);
2663         if ((reg & RXCSR_RX_ENB) == 0)
2664                 return;
2665         reg &= ~RXCSR_RX_ENB;
2666         CSR_WRITE_4(sc, JME_RXCSR, reg);
2667         for (i = JME_TIMEOUT; i > 0; i--) {
2668                 DELAY(1);
2669                 if ((CSR_READ_4(sc, JME_RXCSR) & RXCSR_RX_ENB) == 0)
2670                         break;
2671         }
2672         if (i == 0)
2673                 device_printf(sc->jme_dev, "stopping recevier timeout!\n");
2674 }
2675
2676 static void
2677 jme_init_tx_ring(struct jme_softc *sc)
2678 {
2679         struct jme_ring_data *rd;
2680         struct jme_txdesc *txd;
2681         int i;
2682
2683         sc->jme_cdata.jme_tx_prod = 0;
2684         sc->jme_cdata.jme_tx_cons = 0;
2685         sc->jme_cdata.jme_tx_cnt = 0;
2686
2687         rd = &sc->jme_rdata;
2688         bzero(rd->jme_tx_ring, JME_TX_RING_SIZE(sc));
2689         for (i = 0; i < sc->jme_tx_desc_cnt; i++) {
2690                 txd = &sc->jme_cdata.jme_txdesc[i];
2691                 txd->tx_m = NULL;
2692                 txd->tx_desc = &rd->jme_tx_ring[i];
2693                 txd->tx_ndesc = 0;
2694         }
2695
2696         bus_dmamap_sync(sc->jme_cdata.jme_tx_ring_tag,
2697                         sc->jme_cdata.jme_tx_ring_map,
2698                         BUS_DMASYNC_PREWRITE);
2699 }
2700
2701 static void
2702 jme_init_ssb(struct jme_softc *sc)
2703 {
2704         struct jme_ring_data *rd;
2705
2706         rd = &sc->jme_rdata;
2707         bzero(rd->jme_ssb_block, JME_SSB_SIZE);
2708         bus_dmamap_sync(sc->jme_cdata.jme_ssb_tag, sc->jme_cdata.jme_ssb_map,
2709                         BUS_DMASYNC_PREWRITE);
2710 }
2711
2712 static int
2713 jme_init_rx_ring(struct jme_softc *sc)
2714 {
2715         struct jme_ring_data *rd;
2716         struct jme_rxdesc *rxd;
2717         int i;
2718
2719         KKASSERT(sc->jme_cdata.jme_rxhead == NULL &&
2720                  sc->jme_cdata.jme_rxtail == NULL &&
2721                  sc->jme_cdata.jme_rxlen == 0);
2722         sc->jme_cdata.jme_rx_cons = 0;
2723
2724         rd = &sc->jme_rdata;
2725         bzero(rd->jme_rx_ring, JME_RX_RING_SIZE(sc));
2726         for (i = 0; i < sc->jme_rx_desc_cnt; i++) {
2727                 int error;
2728
2729                 rxd = &sc->jme_cdata.jme_rxdesc[i];
2730                 rxd->rx_m = NULL;
2731                 rxd->rx_desc = &rd->jme_rx_ring[i];
2732                 error = jme_newbuf(sc, rxd, 1);
2733                 if (error)
2734                         return (error);
2735         }
2736
2737         bus_dmamap_sync(sc->jme_cdata.jme_rx_ring_tag,
2738                         sc->jme_cdata.jme_rx_ring_map,
2739                         BUS_DMASYNC_PREWRITE);
2740         return (0);
2741 }
2742
2743 static int
2744 jme_newbuf(struct jme_softc *sc, struct jme_rxdesc *rxd, int init)
2745 {
2746         struct jme_desc *desc;
2747         struct mbuf *m;
2748         struct jme_dmamap_ctx ctx;
2749         bus_dma_segment_t segs;
2750         bus_dmamap_t map;
2751         int error;
2752
2753         m = m_getcl(init ? MB_WAIT : MB_DONTWAIT, MT_DATA, M_PKTHDR);
2754         if (m == NULL)
2755                 return (ENOBUFS);
2756         /*
2757          * JMC250 has 64bit boundary alignment limitation so jme(4)
2758          * takes advantage of 10 bytes padding feature of hardware
2759          * in order not to copy entire frame to align IP header on
2760          * 32bit boundary.
2761          */
2762         m->m_len = m->m_pkthdr.len = MCLBYTES;
2763
2764         ctx.nsegs = 1;
2765         ctx.segs = &segs;
2766         error = bus_dmamap_load_mbuf(sc->jme_cdata.jme_rx_tag,
2767                                      sc->jme_cdata.jme_rx_sparemap,
2768                                      m, jme_dmamap_buf_cb, &ctx,
2769                                      BUS_DMA_NOWAIT);
2770         if (error || ctx.nsegs == 0) {
2771                 if (!error) {
2772                         bus_dmamap_unload(sc->jme_cdata.jme_rx_tag,
2773                                           sc->jme_cdata.jme_rx_sparemap);
2774                         error = EFBIG;
2775                         if_printf(&sc->arpcom.ac_if, "too many segments?!\n");
2776                 }
2777                 m_freem(m);
2778
2779                 if (init)
2780                         if_printf(&sc->arpcom.ac_if, "can't load RX mbuf\n");
2781                 return (error);
2782         }
2783
2784         if (rxd->rx_m != NULL) {
2785                 bus_dmamap_sync(sc->jme_cdata.jme_rx_tag, rxd->rx_dmamap,
2786                                 BUS_DMASYNC_POSTREAD);
2787                 bus_dmamap_unload(sc->jme_cdata.jme_rx_tag, rxd->rx_dmamap);
2788         }
2789         map = rxd->rx_dmamap;
2790         rxd->rx_dmamap = sc->jme_cdata.jme_rx_sparemap;
2791         sc->jme_cdata.jme_rx_sparemap = map;
2792         rxd->rx_m = m;
2793
2794         desc = rxd->rx_desc;
2795         desc->buflen = htole32(segs.ds_len);
2796         desc->addr_lo = htole32(JME_ADDR_LO(segs.ds_addr));
2797         desc->addr_hi = htole32(JME_ADDR_HI(segs.ds_addr));
2798         desc->flags = htole32(JME_RD_OWN | JME_RD_INTR | JME_RD_64BIT);
2799
2800         return (0);
2801 }
2802
2803 static void
2804 jme_set_vlan(struct jme_softc *sc)
2805 {
2806         struct ifnet *ifp = &sc->arpcom.ac_if;
2807         uint32_t reg;
2808
2809         ASSERT_SERIALIZED(ifp->if_serializer);
2810
2811         reg = CSR_READ_4(sc, JME_RXMAC);
2812         reg &= ~RXMAC_VLAN_ENB;
2813         if (ifp->if_capenable & IFCAP_VLAN_HWTAGGING)
2814                 reg |= RXMAC_VLAN_ENB;
2815         CSR_WRITE_4(sc, JME_RXMAC, reg);
2816 }
2817
2818 static void
2819 jme_set_filter(struct jme_softc *sc)
2820 {
2821         struct ifnet *ifp = &sc->arpcom.ac_if;
2822         struct ifmultiaddr *ifma;
2823         uint32_t crc;
2824         uint32_t mchash[2];
2825         uint32_t rxcfg;
2826
2827         ASSERT_SERIALIZED(ifp->if_serializer);
2828
2829         rxcfg = CSR_READ_4(sc, JME_RXMAC);
2830         rxcfg &= ~(RXMAC_BROADCAST | RXMAC_PROMISC | RXMAC_MULTICAST |
2831             RXMAC_ALLMULTI);
2832
2833         /*
2834          * Always accept frames destined to our station address.
2835          * Always accept broadcast frames.
2836          */
2837         rxcfg |= RXMAC_UNICAST | RXMAC_BROADCAST;
2838
2839         if (ifp->if_flags & (IFF_PROMISC | IFF_ALLMULTI)) {
2840                 if (ifp->if_flags & IFF_PROMISC)
2841                         rxcfg |= RXMAC_PROMISC;
2842                 if (ifp->if_flags & IFF_ALLMULTI)
2843                         rxcfg |= RXMAC_ALLMULTI;
2844                 CSR_WRITE_4(sc, JME_MAR0, 0xFFFFFFFF);
2845                 CSR_WRITE_4(sc, JME_MAR1, 0xFFFFFFFF);
2846                 CSR_WRITE_4(sc, JME_RXMAC, rxcfg);
2847                 return;
2848         }
2849
2850         /*
2851          * Set up the multicast address filter by passing all multicast
2852          * addresses through a CRC generator, and then using the low-order
2853          * 6 bits as an index into the 64 bit multicast hash table.  The
2854          * high order bits select the register, while the rest of the bits
2855          * select the bit within the register.
2856          */
2857         rxcfg |= RXMAC_MULTICAST;
2858         bzero(mchash, sizeof(mchash));
2859
2860         LIST_FOREACH(ifma, &ifp->if_multiaddrs, ifma_link) {
2861                 if (ifma->ifma_addr->sa_family != AF_LINK)
2862                         continue;
2863                 crc = ether_crc32_be(LLADDR((struct sockaddr_dl *)
2864                     ifma->ifma_addr), ETHER_ADDR_LEN);
2865
2866                 /* Just want the 6 least significant bits. */
2867                 crc &= 0x3f;
2868
2869                 /* Set the corresponding bit in the hash table. */
2870                 mchash[crc >> 5] |= 1 << (crc & 0x1f);
2871         }
2872
2873         CSR_WRITE_4(sc, JME_MAR0, mchash[0]);
2874         CSR_WRITE_4(sc, JME_MAR1, mchash[1]);
2875         CSR_WRITE_4(sc, JME_RXMAC, rxcfg);
2876 }
2877
2878 static int
2879 jme_sysctl_tx_coal_to(SYSCTL_HANDLER_ARGS)
2880 {
2881         struct jme_softc *sc = arg1;
2882         struct ifnet *ifp = &sc->arpcom.ac_if;
2883         int error, v;
2884
2885         lwkt_serialize_enter(ifp->if_serializer);
2886
2887         v = sc->jme_tx_coal_to;
2888         error = sysctl_handle_int(oidp, &v, 0, req);
2889         if (error || req->newptr == NULL)
2890                 goto back;
2891
2892         if (v < PCCTX_COAL_TO_MIN || v > PCCTX_COAL_TO_MAX) {
2893                 error = EINVAL;
2894                 goto back;
2895         }
2896
2897         if (v != sc->jme_tx_coal_to) {
2898                 sc->jme_tx_coal_to = v;
2899                 if (ifp->if_flags & IFF_RUNNING)
2900                         jme_set_tx_coal(sc);
2901         }
2902 back:
2903         lwkt_serialize_exit(ifp->if_serializer);
2904         return error;
2905 }
2906
2907 static int
2908 jme_sysctl_tx_coal_pkt(SYSCTL_HANDLER_ARGS)
2909 {
2910         struct jme_softc *sc = arg1;
2911         struct ifnet *ifp = &sc->arpcom.ac_if;
2912         int error, v;
2913
2914         lwkt_serialize_enter(ifp->if_serializer);
2915
2916         v = sc->jme_tx_coal_pkt;
2917         error = sysctl_handle_int(oidp, &v, 0, req);
2918         if (error || req->newptr == NULL)
2919                 goto back;
2920
2921         if (v < PCCTX_COAL_PKT_MIN || v > PCCTX_COAL_PKT_MAX) {
2922                 error = EINVAL;
2923                 goto back;
2924         }
2925
2926         if (v != sc->jme_tx_coal_pkt) {
2927                 sc->jme_tx_coal_pkt = v;
2928                 if (ifp->if_flags & IFF_RUNNING)
2929                         jme_set_tx_coal(sc);
2930         }
2931 back:
2932         lwkt_serialize_exit(ifp->if_serializer);
2933         return error;
2934 }
2935
2936 static int
2937 jme_sysctl_rx_coal_to(SYSCTL_HANDLER_ARGS)
2938 {
2939         struct jme_softc *sc = arg1;
2940         struct ifnet *ifp = &sc->arpcom.ac_if;
2941         int error, v;
2942
2943         lwkt_serialize_enter(ifp->if_serializer);
2944
2945         v = sc->jme_rx_coal_to;
2946         error = sysctl_handle_int(oidp, &v, 0, req);
2947         if (error || req->newptr == NULL)
2948                 goto back;
2949
2950         if (v < PCCRX_COAL_TO_MIN || v > PCCRX_COAL_TO_MAX) {
2951                 error = EINVAL;
2952                 goto back;
2953         }
2954
2955         if (v != sc->jme_rx_coal_to) {
2956                 sc->jme_rx_coal_to = v;
2957                 if (ifp->if_flags & IFF_RUNNING)
2958                         jme_set_rx_coal(sc);
2959         }
2960 back:
2961         lwkt_serialize_exit(ifp->if_serializer);
2962         return error;
2963 }
2964
2965 static int
2966 jme_sysctl_rx_coal_pkt(SYSCTL_HANDLER_ARGS)
2967 {
2968         struct jme_softc *sc = arg1;
2969         struct ifnet *ifp = &sc->arpcom.ac_if;
2970         int error, v;
2971
2972         lwkt_serialize_enter(ifp->if_serializer);
2973
2974         v = sc->jme_rx_coal_pkt;
2975         error = sysctl_handle_int(oidp, &v, 0, req);
2976         if (error || req->newptr == NULL)
2977                 goto back;
2978
2979         if (v < PCCRX_COAL_PKT_MIN || v > PCCRX_COAL_PKT_MAX) {
2980                 error = EINVAL;
2981                 goto back;
2982         }
2983
2984         if (v != sc->jme_rx_coal_pkt) {
2985                 sc->jme_rx_coal_pkt = v;
2986                 if (ifp->if_flags & IFF_RUNNING)
2987                         jme_set_rx_coal(sc);
2988         }
2989 back:
2990         lwkt_serialize_exit(ifp->if_serializer);
2991         return error;
2992 }
2993
2994 static void
2995 jme_set_tx_coal(struct jme_softc *sc)
2996 {
2997         uint32_t reg;
2998
2999         reg = (sc->jme_tx_coal_to << PCCTX_COAL_TO_SHIFT) &
3000             PCCTX_COAL_TO_MASK;
3001         reg |= (sc->jme_tx_coal_pkt << PCCTX_COAL_PKT_SHIFT) &
3002             PCCTX_COAL_PKT_MASK;
3003         reg |= PCCTX_COAL_TXQ0;
3004         CSR_WRITE_4(sc, JME_PCCTX, reg);
3005 }
3006
3007 static void
3008 jme_set_rx_coal(struct jme_softc *sc)
3009 {
3010         uint32_t reg;
3011
3012         reg = (sc->jme_rx_coal_to << PCCRX_COAL_TO_SHIFT) &
3013             PCCRX_COAL_TO_MASK;
3014         reg |= (sc->jme_rx_coal_pkt << PCCRX_COAL_PKT_SHIFT) &
3015             PCCRX_COAL_PKT_MASK;
3016         CSR_WRITE_4(sc, JME_PCCRX0, reg);
3017 }