igb: Optimize TX path
[dragonfly.git] / sys / dev / netif / igb / if_igb.h
1 /*
2  * Copyright (c) 2001-2011, Intel Corporation 
3  * All rights reserved.
4  * 
5  * Redistribution and use in source and binary forms, with or without 
6  * modification, are permitted provided that the following conditions are met:
7  * 
8  *  1. Redistributions of source code must retain the above copyright notice, 
9  *     this list of conditions and the following disclaimer.
10  * 
11  *  2. Redistributions in binary form must reproduce the above copyright 
12  *     notice, this list of conditions and the following disclaimer in the 
13  *     documentation and/or other materials provided with the distribution.
14  * 
15  *  3. Neither the name of the Intel Corporation nor the names of its 
16  *     contributors may be used to endorse or promote products derived from 
17  *     this software without specific prior written permission.
18  * 
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
20  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE 
21  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE 
22  * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE 
23  * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR 
24  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF 
25  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS 
26  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN 
27  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) 
28  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
29  * POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #ifndef _IF_IGB_H_
33 #define _IF_IGB_H_
34
35 /* Tunables */
36
37 /*
38  * IGB_TXD: Maximum number of Transmit Descriptors
39  *
40  *   This value is the number of transmit descriptors allocated by the driver.
41  *   Increasing this value allows the driver to queue more transmits. Each
42  *   descriptor is 16 bytes.
43  *   Since TDLEN should be multiple of 128bytes, the number of transmit
44  *   desscriptors should meet the following condition.
45  *      (num_tx_desc * sizeof(struct e1000_tx_desc)) % 128 == 0
46  */
47 #define IGB_MIN_TXD             256
48 #define IGB_DEFAULT_TXD         1024
49 #define IGB_MAX_TXD             4096
50
51 /*
52  * IGB_RXD: Maximum number of Transmit Descriptors
53  *
54  *   This value is the number of receive descriptors allocated by the driver.
55  *   Increasing this value allows the driver to buffer more incoming packets.
56  *   Each descriptor is 16 bytes.  A receive buffer is also allocated for each
57  *   descriptor. The maximum MTU size is 16110.
58  *   Since TDLEN should be multiple of 128bytes, the number of transmit
59  *   desscriptors should meet the following condition.
60  *      (num_tx_desc * sizeof(struct e1000_tx_desc)) % 128 == 0
61  */
62 #define IGB_MIN_RXD             256
63 #define IGB_DEFAULT_RXD         1024
64 #define IGB_MAX_RXD             4096
65
66 /*
67  * This parameter controls when the driver calls the routine to reclaim
68  * transmit descriptors. Cleaning earlier seems a win.
69  */
70 #define IGB_TX_CLEANUP_THRESHOLD(sc)    ((sc)->num_tx_desc / 2)
71
72 /*
73  * This parameter controls whether or not autonegotation is enabled.
74  *              0 - Disable autonegotiation
75  *              1 - Enable  autonegotiation
76  */
77 #define DO_AUTO_NEG             1
78
79 /*
80  * This parameter control whether or not the driver will wait for
81  * autonegotiation to complete.
82  *              1 - Wait for autonegotiation to complete
83  *              0 - Don't wait for autonegotiation to complete
84  */
85 #define WAIT_FOR_AUTO_NEG_DEFAULT       0
86
87 /* Tunables -- End */
88
89 #define AUTONEG_ADV_DEFAULT     (ADVERTISE_10_HALF | ADVERTISE_10_FULL | \
90                                  ADVERTISE_100_HALF | ADVERTISE_100_FULL | \
91                                  ADVERTISE_1000_FULL)
92
93 #define AUTO_ALL_MODES                  0
94
95 /* PHY master/slave setting */
96 #define IGB_MASTER_SLAVE                e1000_ms_hw_default
97
98 /*
99  * Micellaneous constants
100  */
101 #define IGB_VENDOR_ID                   0x8086
102
103 #define IGB_JUMBO_PBA                   0x00000028
104 #define IGB_DEFAULT_PBA                 0x00000030
105 #define IGB_SMARTSPEED_DOWNSHIFT        3
106 #define IGB_SMARTSPEED_MAX              15
107 #define IGB_MAX_LOOP                    10
108
109 #define IGB_RX_PTHRESH                  (hw->mac.type <= e1000_82576 ? 16 : 8)
110 #define IGB_RX_HTHRESH                  8
111 #define IGB_RX_WTHRESH                  1
112
113 #define IGB_TX_PTHRESH                  8
114 #define IGB_TX_HTHRESH                  1
115 #define IGB_TX_WTHRESH                  ((hw->mac.type != e1000_82575 && \
116                                           sc->msix_mem) ? 1 : 16)
117
118 #define MAX_NUM_MULTICAST_ADDRESSES     128
119 #define IGB_FC_PAUSE_TIME               0x0680
120
121 #define IGB_INTR_RATE                   10000
122
123 /*
124  * TDBA/RDBA should be aligned on 16 byte boundary. But TDLEN/RDLEN should be
125  * multiple of 128 bytes. So we align TDBA/RDBA on 128 byte boundary. This will
126  * also optimize cache line size effect. H/W supports up to cache line size 128.
127  */
128 #define IGB_DBA_ALIGN                   128
129
130 /* PCI Config defines */
131 #define IGB_MSIX_BAR                    3
132
133 #define IGB_MAX_SCATTER                 64
134 #define IGB_VFTA_SIZE                   128
135 #define IGB_TSO_SIZE                    (65535 + \
136                                          sizeof(struct ether_vlan_header))
137 #define IGB_TSO_SEG_SIZE                4096    /* Max dma segment size */
138 #define IGB_HDR_BUF                     128
139 #define IGB_PKTTYPE_MASK                0x0000FFF0
140
141 #define IGB_CSUM_FEATURES               (CSUM_IP | CSUM_TCP | CSUM_UDP)
142 #define IGB_IPVHL_SIZE                  1 /* sizeof(ip.ip_vhl) */
143 #define IGB_TXCSUM_MINHL                (ETHER_HDR_LEN + EVL_ENCAPLEN + \
144                                          IGB_IPVHL_SIZE)
145
146 /* One for TX csum offloading desc, the other 2 are reserved */
147 #define IGB_TX_RESERVED                 3
148
149 /* Large enough for 64K TSO */
150 #define IGB_TX_SPARE                    32
151
152 #define IGB_TX_OACTIVE_MAX              64
153
154 struct igb_softc;
155
156 /*
157  * Bus dma information structure
158  */
159 struct igb_dma {
160         bus_addr_t              dma_paddr;
161         void                    *dma_vaddr;
162         bus_dma_tag_t           dma_tag;
163         bus_dmamap_t            dma_map;
164 };
165
166 /*
167  * Driver queue struct: this is the interrupt container
168  * for the associated tx and rx ring.
169  */
170 struct igb_queue {
171         struct igb_softc        *sc;
172         uint32_t                msix;           /* This queue's MSIX vector */
173         uint32_t                eims;           /* This queue's EIMS bit */
174         uint32_t                eitr_setting;
175         struct resource         *res;
176         void                    *tag;
177         struct igb_tx_ring      *txr;
178         struct igb_rx_ring      *rxr;
179         uint64_t                irqs;
180 };
181
182 /*
183  * Transmit ring: one per queue
184  */
185 struct igb_tx_ring {
186         struct igb_softc        *sc;
187         uint32_t                me;
188         struct igb_dma          txdma;
189         bus_dma_tag_t           tx_hdr_dtag;
190         bus_dmamap_t            tx_hdr_dmap;
191         bus_addr_t              tx_hdr_paddr;
192         struct e1000_tx_desc    *tx_base;
193         uint32_t                next_avail_desc;
194         uint32_t                next_to_clean;
195         uint32_t                *tx_hdr;
196         int                     tx_avail;
197         struct igb_tx_buf       *tx_buf;
198         bus_dma_tag_t           tx_tag;
199         int                     tx_nsegs;
200         int                     spare_desc;
201         int                     oact_lo_desc;
202         int                     oact_hi_desc;
203         int                     intr_nsegs;
204
205         u_long                  no_desc_avail;
206         u_long                  tx_packets;
207
208         u_long                  ctx_try_pullup;
209         u_long                  ctx_drop1;
210         u_long                  ctx_drop2;
211         u_long                  ctx_pullup1;
212         u_long                  ctx_pullup1_failed;
213         u_long                  ctx_pullup2;
214         u_long                  ctx_pullup2_failed;
215 };
216
217 /*
218  * Receive ring: one per queue
219  */
220 struct igb_rx_ring {
221         struct igb_softc        *sc;
222         uint32_t                me;
223         struct igb_dma          rxdma;
224         union e1000_adv_rx_desc *rx_base;
225         boolean_t               discard;
226         uint32_t                next_to_check;
227         struct igb_rx_buf       *rx_buf;
228         bus_dma_tag_t           rx_tag;
229         bus_dmamap_t            rx_sparemap;
230
231         /*
232          * First/last mbuf pointers, for
233          * collecting multisegment RX packets.
234          */
235         struct mbuf             *fmp;
236         struct mbuf             *lmp;
237
238         /* Soft stats */
239         u_long                  rx_packets;
240 };
241
242 struct igb_softc {
243         struct arpcom           arpcom;
244         struct e1000_hw         hw;
245
246         struct e1000_osdep      osdep;
247         device_t                dev;
248
249         bus_dma_tag_t           parent_tag;
250
251         int                     mem_rid;
252         struct resource         *mem_res;
253
254         struct resource         *msix_mem;
255         void                    *tag;
256         uint32_t                que_mask;
257
258         int                     linkvec;
259         int                     link_mask;
260         int                     link_irq;
261
262         struct ifmedia          media;
263         struct callout          timer;
264
265 #if 0
266         int                     msix;   /* total vectors allocated */
267 #endif
268         int                     intr_type;
269         int                     intr_rid;
270         struct resource         *intr_res;
271         void                    *intr_tag;
272
273         int                     if_flags;
274         int                     max_frame_size;
275         int                     min_frame_size;
276         int                     pause_frames;
277         uint16_t                num_queues;
278         uint16_t                vf_ifp; /* a VF interface */
279
280         /* Management and WOL features */
281         int                     wol;
282         int                     has_manage;
283
284         /* Info about the interface */
285         uint8_t                 link_active;
286         uint16_t                link_speed;
287         uint16_t                link_duplex;
288         uint32_t                smartspeed;
289         uint32_t                dma_coalesce;
290
291         int                     intr_rate;
292
293         /* Interface queues */
294         struct igb_queue        *queues;
295
296         /*
297          * Transmit rings
298          */
299         struct igb_tx_ring      *tx_rings;
300         int                     num_tx_desc;
301
302         /* Multicast array pointer */
303         uint8_t                 *mta;
304
305         /* 
306          * Receive rings
307          */
308         struct igb_rx_ring      *rx_rings;
309         int                     num_rx_desc;
310         uint32_t                rx_mbuf_sz;
311         uint32_t                rx_mask;
312
313         /* Misc stats maintained by the driver */
314         u_long                  dropped_pkts;
315         u_long                  mbuf_defrag_failed;
316         u_long                  no_tx_dma_setup;
317         u_long                  watchdog_events;
318         u_long                  rx_overruns;
319         u_long                  device_control;
320         u_long                  rx_control;
321         u_long                  int_mask;
322         u_long                  eint_mask;
323         u_long                  packet_buf_alloc_rx;
324         u_long                  packet_buf_alloc_tx;
325
326         /* sysctl tree glue */
327         struct sysctl_ctx_list  sysctl_ctx;
328         struct sysctl_oid       *sysctl_tree;
329
330         void                    *stats;
331 };
332
333 struct igb_tx_buf {
334         struct mbuf     *m_head;
335         bus_dmamap_t    map;            /* bus_dma map for packet */
336 };
337
338 struct igb_rx_buf {
339         struct mbuf     *m_head;
340         bus_dmamap_t    map;    /* bus_dma map for packet */
341         bus_addr_t      paddr;
342 };
343
344 #define UPDATE_VF_REG(reg, last, cur)           \
345 {                                               \
346         uint32_t new = E1000_READ_REG(hw, reg); \
347         if (new < last)                         \
348                 cur += 0x100000000LL;           \
349         last = new;                             \
350         cur &= 0xFFFFFFFF00000000LL;            \
351         cur |= new;                             \
352 }
353
354 #define IGB_IS_OACTIVE(txr)     ((txr)->tx_avail < (txr)->oact_lo_desc)
355 #define IGB_IS_NOT_OACTIVE(txr) ((txr)->tx_avail >= (txr)->oact_hi_desc)
356
357 #endif /* _IF_IGB_H_ */