Import of TCPDUMP 3.9.5
[dragonfly.git] / contrib / tcpdump-3.9 / README
1 @(#) $Header: /tcpdump/master/tcpdump/README,v 1.65 2004/10/12 02:01:59 guy Exp $ (LBL)
2
3 TCPDUMP 3.9
4 Now maintained by "The Tcpdump Group"
5 See             www.tcpdump.org
6
7 Please send inquiries/comments/reports to       tcpdump-workers@tcpdump.org
8
9 Anonymous CVS is available via:
10         cvs -d :pserver:cvs.tcpdump.org:/tcpdump/master login
11         (password "anoncvs")
12         cvs -d :pserver:cvs.tcpdump.org:/tcpdump/master checkout tcpdump
13
14 Version 3.9 of TCPDUMP can be retrived with the CVS tag "tcpdump_3_9rel1":
15         cvs -d :pserver:cvs.tcpdump.org:/tcpdump/master checkout -r tcpdump_3_9rel1 tcpdump
16
17 Please send patches against the master copy to patches@tcpdump.org.
18
19 formerly from   Lawrence Berkeley National Laboratory
20                 Network Research Group <tcpdump@ee.lbl.gov>
21                 ftp://ftp.ee.lbl.gov/tcpdump.tar.Z (3.4)
22
23 This directory contains source code for tcpdump, a tool for network
24 monitoring and data acquisition.  This software was originally
25 developed by the Network Research Group at the Lawrence Berkeley
26 National Laboratory.  The original distribution is available via
27 anonymous ftp to ftp.ee.lbl.gov, in tcpdump.tar.Z.  More recent
28 development is performed at tcpdump.org, http://www.tcpdump.org/
29
30 Tcpdump uses libpcap, a system-independent interface for user-level
31 packet capture.  Before building tcpdump, you must first retrieve and
32 build libpcap, also originally from LBL and now being maintained by
33 tcpdump.org; see http://www.tcpdump.org/ .
34
35 Once libpcap is built (either install it or make sure it's in
36 ../libpcap), you can build tcpdump using the procedure in the INSTALL
37 file.
38
39 The program is loosely based on SMI's "etherfind" although none of the
40 etherfind code remains.  It was originally written by Van Jacobson as
41 part of an ongoing research project to investigate and improve tcp and
42 internet gateway performance.  The parts of the program originally
43 taken from Sun's etherfind were later re-written by Steven McCanne of
44 LBL.  To insure that there would be no vestige of proprietary code in
45 tcpdump, Steve wrote these pieces from the specification given by the
46 manual entry, with no access to the source of tcpdump or etherfind.
47
48 Over the past few years, tcpdump has been steadily improved by the
49 excellent contributions from the Internet community (just browse
50 through the CHANGES file).  We are grateful for all the input.
51
52 Richard Stevens gives an excellent treatment of the Internet protocols
53 in his book ``TCP/IP Illustrated, Volume 1''. If you want to learn more
54 about tcpdump and how to interpret its output, pick up this book.
55
56 Some tools for viewing and analyzing tcpdump trace files are available
57 from the Internet Traffic Archive:
58
59         http://www.acm.org/sigcomm/ITA/
60
61 Another tool that tcpdump users might find useful is tcpslice:
62
63         ftp://ftp.ee.lbl.gov/tcpslice.tar.Z
64
65 It is a program that can be used to extract portions of tcpdump binary
66 trace files. See the above distribution for further details and
67 documentation.
68
69 Problems, bugs, questions, desirable enhancements, etc. should be sent
70 to the address "tcpdump-workers@tcpdump.org".  Bugs, support requests,
71 and feature requests may also be submitted on the SourceForge site for
72 tcpdump at
73
74         http://sourceforge.net/projects/tcpdump/
75
76 Source code contributions, etc. should be sent to the email address
77 "patches@tcpdump.org", or submitted as patches on the SourceForge site
78 for tcpdump.
79
80 Current versions can be found at www.tcpdump.org, or the SourceForge
81 site for tcpdump.
82
83  - The TCPdump team
84
85 original text by: Steve McCanne, Craig Leres, Van Jacobson
86
87 -------------------------------------
88 This directory also contains some short awk programs intended as
89 examples of ways to reduce tcpdump data when you're tracking
90 particular network problems:
91
92 send-ack.awk
93         Simplifies the tcpdump trace for an ftp (or other unidirectional
94         tcp transfer).  Since we assume that one host only sends and
95         the other only acks, all address information is left off and
96         we just note if the packet is a "send" or an "ack".
97
98         There is one output line per line of the original trace.
99         Field 1 is the packet time in decimal seconds, relative
100         to the start of the conversation.  Field 2 is delta-time
101         from last packet.  Field 3 is packet type/direction.
102         "Send" means data going from sender to receiver, "ack"
103         means an ack going from the receiver to the sender.  A
104         preceding "*" indicates that the data is a retransmission.
105         A preceding "-" indicates a hole in the sequence space
106         (i.e., missing packet(s)), a "#" means an odd-size (not max
107         seg size) packet.  Field 4 has the packet flags
108         (same format as raw trace).  Field 5 is the sequence
109         number (start seq. num for sender, next expected seq number
110         for acks).  The number in parens following an ack is
111         the delta-time from the first send of the packet to the
112         ack.  A number in parens following a send is the
113         delta-time from the first send of the packet to the
114         current send (on duplicate packets only).  Duplicate
115         sends or acks have a number in square brackets showing
116         the number of duplicates so far.
117
118         Here is a short sample from near the start of an ftp:
119                 3.00    0.20   send . 512
120                 3.20    0.20    ack . 1024  (0.20)
121                 3.20    0.00   send P 1024
122                 3.40    0.20    ack . 1536  (0.20)
123                 3.80    0.40 * send . 0  (3.80) [2]
124                 3.82    0.02 *  ack . 1536  (0.62) [2]
125         Three seconds into the conversation, bytes 512 through 1023
126         were sent.  200ms later they were acked.  Shortly thereafter
127         bytes 1024-1535 were sent and again acked after 200ms.
128         Then, for no apparent reason, 0-511 is retransmitted, 3.8
129         seconds after its initial send (the round trip time for this
130         ftp was 1sec, +-500ms).  Since the receiver is expecting
131         1536, 1536 is re-acked when 0 arrives.
132
133 packetdat.awk
134         Computes chunk summary data for an ftp (or similar
135         unidirectional tcp transfer). [A "chunk" refers to
136         a chunk of the sequence space -- essentially the packet
137         sequence number divided by the max segment size.]
138
139         A summary line is printed showing the number of chunks,
140         the number of packets it took to send that many chunks
141         (if there are no lost or duplicated packets, the number
142         of packets should equal the number of chunks) and the
143         number of acks.
144
145         Following the summary line is one line of information
146         per chunk.  The line contains eight fields:
147            1 - the chunk number
148            2 - the start sequence number for this chunk
149            3 - time of first send
150            4 - time of last send
151            5 - time of first ack
152            6 - time of last ack
153            7 - number of times chunk was sent
154            8 - number of times chunk was acked
155         (all times are in decimal seconds, relative to the start
156         of the conversation.)
157
158         As an example, here is the first part of the output for
159         an ftp trace:
160
161         # 134 chunks.  536 packets sent.  508 acks.
162         1       1       0.00    5.80    0.20    0.20    4       1
163         2       513     0.28    6.20    0.40    0.40    4       1
164         3       1025    1.16    6.32    1.20    1.20    4       1
165         4       1561    1.86    15.00   2.00    2.00    6       1
166         5       2049    2.16    15.44   2.20    2.20    5       1
167         6       2585    2.64    16.44   2.80    2.80    5       1
168         7       3073    3.00    16.66   3.20    3.20    4       1
169         8       3609    3.20    17.24   3.40    5.82    4       11
170         9       4097    6.02    6.58    6.20    6.80    2       5
171
172         This says that 134 chunks were transferred (about 70K
173         since the average packet size was 512 bytes).  It took
174         536 packets to transfer the data (i.e., on the average
175         each chunk was transmitted four times).  Looking at,
176         say, chunk 4, we see it represents the 512 bytes of
177         sequence space from 1561 to 2048.  It was first sent
178         1.86 seconds into the conversation.  It was last
179         sent 15 seconds into the conversation and was sent
180         a total of 6 times (i.e., it was retransmitted every
181         2 seconds on the average).  It was acked once, 140ms
182         after it first arrived.
183
184 stime.awk
185 atime.awk
186         Output one line per send or ack, respectively, in the form
187                 <time> <seq. number>
188         where <time> is the time in seconds since the start of the
189         transfer and <seq. number> is the sequence number being sent
190         or acked.  I typically plot this data looking for suspicious
191         patterns.
192
193
194 The problem I was looking at was the bulk-data-transfer
195 throughput of medium delay network paths (1-6 sec.  round trip
196 time) under typical DARPA Internet conditions.  The trace of the
197 ftp transfer of a large file was used as the raw data source.
198 The method was:
199
200   - On a local host (but not the Sun running tcpdump), connect to
201     the remote ftp.
202
203   - On the monitor Sun, start the trace going.  E.g.,
204       tcpdump host local-host and remote-host and port ftp-data >tracefile
205
206   - On local, do either a get or put of a large file (~500KB),
207     preferably to the null device (to minimize effects like
208     closing the receive window while waiting for a disk write).
209
210   - When transfer is finished, stop tcpdump.  Use awk to make up
211     two files of summary data (maxsize is the maximum packet size,
212     tracedata is the file of tcpdump tracedata):
213       awk -f send-ack.awk packetsize=avgsize tracedata >sa
214       awk -f packetdat.awk packetsize=avgsize tracedata >pd
215
216   - While the summary data files are printing, take a look at
217     how the transfer behaved:
218       awk -f stime.awk tracedata | xgraph
219     (90% of what you learn seems to happen in this step).
220
221   - Do all of the above steps several times, both directions,
222     at different times of day, with different protocol
223     implementations on the other end.
224
225   - Using one of the Unix data analysis packages (in my case,
226     S and Gary Perlman's Unix|Stat), spend a few months staring
227     at the data.
228
229   - Change something in the local protocol implementation and
230     redo the steps above.
231
232   - Once a week, tell your funding agent that you're discovering
233     wonderful things and you'll write up that research report
234     "real soon now".