Add the DragonFly cvs id and perform general cleanups on cvs/rcs/sccs ids. Most
[dragonfly.git] / usr.bin / fmt / fmt.c
1 /*      $OpenBSD: fmt.c,v 1.16 2000/06/25 15:35:42 pjanzen Exp $        */
2
3 /* Sensible version of fmt
4  *
5  * Syntax: fmt [ options ] [ goal [ max ] ] [ filename ... ]
6  *
7  * Since the documentation for the original fmt is so poor, here
8  * is an accurate description of what this one does. It's usually
9  * the same. The *mechanism* used may differ from that suggested
10  * here. Note that we are *not* entirely compatible with fmt,
11  * because fmt gets so many things wrong.
12  *
13  * 1. Tabs are expanded, assuming 8-space tab stops.
14  *    If the `-t <n>' option is given, we assume <n>-space
15  *    tab stops instead.
16  *    Trailing blanks are removed from all lines.
17  *    x\b == nothing, for any x other than \b.
18  *    Other control characters are simply stripped. This
19  *    includes \r.
20  * 2. Each line is split into leading whitespace and
21  *    everything else. Maximal consecutive sequences of
22  *    lines with the same leading whitespace are considered
23  *    to form paragraphs, except that a blank line is always
24  *    a paragraph to itself.
25  *    If the `-p' option is given then the first line of a
26  *    paragraph is permitted to have indentation different
27  *    from that of the other lines.
28  *    If the `-m' option is given then a line that looks
29  *    like a mail message header, if it is not immediately
30  *    preceded by a non-blank non-message-header line, is
31  *    taken to start a new paragraph, which also contains
32  *    any subsequent lines with non-empty leading whitespace.
33  *    Unless the `-n' option is given, lines beginning with
34  *    a . (dot) are not formatted.
35  * 3. The "everything else" is split into words; a word
36  *    includes its trailing whitespace, and a word at the
37  *    end of a line is deemed to be followed by a single
38  *    space, or two spaces if it ends with a sentence-end
39  *    character. (See the `-d' option for how to change that.)
40  *    If the `-s' option has been given, then a word's trailing
41  *    whitespace is replaced by what it would have had if it
42  *    had occurred at end of line.
43  * 4. Each paragraph is sent to standard output as follows.
44  *    We output the leading whitespace, and then enough words
45  *    to make the line length as near as possible to the goal
46  *    without exceeding the maximum. (If a single word would
47  *    exceed the maximum, we output that anyway.) Of course
48  *    the trailing whitespace of the last word is ignored.
49  *    We then emit a newline and start again if there are any
50  *    words left.
51  *    Note that for a blank line this translates as "We emit
52  *    a newline".
53  *    If the `-l <n>' option is given, then leading whitespace
54  *    is modified slightly: <n> spaces are replaced by a tab.
55  *    Indented paragraphs (see above under `-p') make matters
56  *    more complicated than this suggests. Actually every paragraph
57  *    has two `leading whitespace' values; the value for the first
58  *    line, and the value for the most recent line. (While processing
59  *    the first line, the two are equal. When `-p' has not been
60  *    given, they are always equal.) The leading whitespace
61  *    actually output is that of the first line (for the first
62  *    line of *output*) or that of the most recent line (for
63  *    all other lines of output).
64  *    When `-m' has been given, message header paragraphs are
65  *    taken as having first-leading-whitespace empty and
66  *    subsequent-leading-whitespace two spaces.
67  *
68  * Multiple input files are formatted one at a time, so that a file
69  * never ends in the middle of a line.
70  *
71  * There's an alternative mode of operation, invoked by giving
72  * the `-c' option. In that case we just center every line,
73  * and most of the other options are ignored. This should
74  * really be in a separate program, but we must stay compatible
75  * with old `fmt'.
76  *
77  * QUERY: Should `-m' also try to do the right thing with quoted text?
78  * QUERY: `-b' to treat backslashed whitespace as old `fmt' does?
79  * QUERY: Option meaning `never join lines'?
80  * QUERY: Option meaning `split in mid-word to avoid overlong lines'?
81  * (Those last two might not be useful, since we have `fold'.)
82  *
83  * Differences from old `fmt':
84  *
85  *   - We have many more options. Options that aren't understood
86  *     generate a lengthy usage message, rather than being
87  *     treated as filenames.
88  *   - Even with `-m', our handling of message headers is
89  *     significantly different. (And much better.)
90  *   - We don't treat `\ ' as non-word-breaking.
91  *   - Downward changes of indentation start new paragraphs
92  *     for us, as well as upward. (I think old `fmt' behaves
93  *     in the way it does in order to allow indented paragraphs,
94  *     but this is a broken way of making indented paragraphs
95  *     behave right.)
96  *   - Given the choice of going over or under |goal_length|
97  *     by the same amount, we go over; old `fmt' goes under.
98  *   - We treat `?' as ending a sentence, and not `:'. Old `fmt'
99  *     does the reverse.
100  *   - We return approved return codes. Old `fmt' returns
101  *     1 for some errors, and *the number of unopenable files*
102  *     when that was all that went wrong.
103  *   - We have fewer crashes and more helpful error messages.
104  *   - We don't turn spaces into tabs at starts of lines unless
105  *     specifically requested.
106  *   - New `fmt' is somewhat smaller and slightly faster than
107  *     old `fmt'.
108  *
109  * Bugs:
110  *
111  *   None known. There probably are some, though.
112  *
113  * Portability:
114  *
115  *   I believe this code to be pretty portable. It does require
116  *   that you have `getopt'. If you need to include "getopt.h"
117  *   for this (e.g., if your system didn't come with `getopt'
118  *   and you installed it yourself) then you should arrange for
119  *   NEED_getopt_h to be #defined.
120  *
121  *   Everything here should work OK even on nasty 16-bit
122  *   machines and nice 64-bit ones. However, it's only really
123  *   been tested on my FreeBSD machine. Your mileage may vary.
124  *
125  * $FreeBSD: src/usr.bin/fmt/fmt.c,v 1.12.2.2 2002/01/14 09:48:26 ru Exp $
126  * $DragonFly: src/usr.bin/fmt/fmt.c,v 1.2 2003/06/17 04:29:26 dillon Exp $
127  */
128
129 /* Copyright (c) 1997 Gareth McCaughan. All rights reserved.
130  *
131  * Redistribution and use of this code, in source or binary forms,
132  * with or without modification, are permitted subject to the following
133  * conditions:
134  *
135  *  - Redistribution of source code must retain the above copyright
136  *    notice, this list of conditions and the following disclaimer.
137  *
138  *  - If you distribute modified source code it must also include
139  *    a notice saying that it has been modified, and giving a brief
140  *    description of what changes have been made.
141  *
142  * Disclaimer: I am not responsible for the results of using this code.
143  *             If it formats your hard disc, sends obscene messages to
144  *             your boss and kills your children then that's your problem
145  *             not mine. I give absolutely no warranty of any sort as to
146  *             what the program will do, and absolutely refuse to be held
147  *             liable for any consequences of your using it.
148  *             Thank you. Have a nice day.
149  */
150
151 /* RCS change log:
152  * Revision 1.5  1998/03/02 18:02:21  gjm11
153  * Minor changes for portability.
154  *
155  * Revision 1.4  1997/10/01 11:51:28  gjm11
156  * Repair broken indented-paragraph handling.
157  * Add mail message header stuff.
158  * Improve comments and layout.
159  * Make usable with non-BSD systems.
160  * Add revision display to usage message.
161  *
162  * Revision 1.3  1997/09/30 16:24:47  gjm11
163  * Add copyright notice, rcsid string and log message.
164  *
165  * Revision 1.2  1997/09/30 16:13:39  gjm11
166  * Add options: -d <chars>, -l <width>, -p, -s, -t <width>, -h .
167  * Parse options with `getopt'. Clean up code generally.
168  * Make comments more accurate.
169  *
170  * Revision 1.1  1997/09/30 11:29:57  gjm11
171  * Initial revision
172  */
173
174 #include <ctype.h>
175 #include <err.h>
176 #include <locale.h>
177 #include <stdio.h>
178 #include <stdlib.h>
179 #include <string.h>
180 #include <sysexits.h>
181 #include <unistd.h>
182
183 /* Something that, we hope, will never be a genuine line length,
184  * indentation etc.
185  */
186 #define SILLY ((size_t)-1)
187
188 /* I used to use |strtoul| for this, but (1) not all systems have it
189  * and (2) it's probably better to use |strtol| to detect negative
190  * numbers better.
191  * If |fussyp==0| then we don't complain about non-numbers
192  * (returning 0 instead), but we do complain about bad numbers.
193  */
194 static size_t
195 get_positive(const char *s, const char *err_mess, int fussyP) {
196   char *t;
197   long result = strtol(s,&t,0);
198   if (*t) { if (fussyP) goto Lose; else return 0; }
199   if (result<=0) { Lose: errx(EX_USAGE, "%s", err_mess); }
200   return (size_t) result;
201 }
202
203 static size_t
204 get_nonnegative(const char *s, const char *err_mess, int fussyP) {
205   char *t;
206   long result = strtol(s,&t,0);
207   if (*t) { if (fussyP) goto Lose; else return 0; }
208   if (result<0) { Lose: errx(EX_USAGE, "%s", err_mess); }
209   return (size_t) result;
210 }
211
212 /* Global variables */
213
214 static int centerP=0;           /* Try to center lines? */
215 static size_t goal_length=0;    /* Target length for output lines */
216 static size_t max_length=0;     /* Maximum length for output lines */
217 static int coalesce_spaces_P=0; /* Coalesce multiple whitespace -> ' ' ? */
218 static int allow_indented_paragraphs=0; /* Can first line have diff. ind.? */
219 static int tab_width=8;         /* Number of spaces per tab stop */
220 static size_t output_tab_width=8;       /* Ditto, when squashing leading spaces */
221 static const char *sentence_enders=".?!";       /* Double-space after these */
222 static int grok_mail_headers=0; /* treat embedded mail headers magically? */
223 static int format_troff=0;      /* Format troff? */
224
225 static int n_errors=0;          /* Number of failed files. Return on exit. */
226 static char *output_buffer=0;   /* Output line will be built here */
227 static size_t x;                /* Horizontal position in output line */
228 static size_t x0;               /* Ditto, ignoring leading whitespace */
229 static size_t pending_spaces;   /* Spaces to add before next word */
230 static int output_in_paragraph=0;       /* Any of current para written out yet? */
231
232 /* Prototypes */
233
234 static void process_named_file (const char *);
235 static void     process_stream (FILE *, const char *);
236 static size_t    indent_length (const char *, size_t);
237 static int     might_be_header (const unsigned char *);
238 static void      new_paragraph (size_t, size_t);
239 static void        output_word (size_t, size_t, const char *, size_t, size_t);
240 static void      output_indent (size_t);
241 static void      center_stream (FILE *, const char *);
242 static char *         get_line (FILE *, size_t *);
243 static void *         xrealloc (void *, size_t);
244
245 #define XMALLOC(x) xrealloc(0,x)
246
247 /* Here is perhaps the right place to mention that this code is
248  * all in top-down order. Hence, |main| comes first.
249  */
250 int
251 main(int argc, char *argv[]) {
252   int ch;                       /* used for |getopt| processing */
253
254
255   (void) setlocale(LC_CTYPE, "");
256
257   /* 1. Grok parameters. */
258
259   while ((ch = getopt(argc, argv, "0123456789cd:hl:mnpst:w:")) != -1)
260   switch(ch) {
261     case 'c':
262       centerP = 1;
263       format_troff = 1;
264       continue;
265     case 'd':
266       sentence_enders = optarg;
267       continue;
268     case 'l':
269       output_tab_width
270         = get_nonnegative(optarg, "output tab width must be non-negative", 1);
271       continue;
272     case 'm':
273       grok_mail_headers = 1;
274       continue;
275     case 'n':
276       format_troff = 1;
277       continue;
278     case 'p':
279       allow_indented_paragraphs = 1;
280       continue;
281     case 's':
282       coalesce_spaces_P = 1;
283       continue;
284     case 't':
285       tab_width = get_positive(optarg, "tab width must be positive", 1);
286       continue;
287     case 'w':
288       goal_length = get_positive(optarg, "width must be positive", 1);
289       max_length = goal_length;
290       continue;
291     case '0': case '1': case '2': case '3': case '4': case '5':
292     case '6': case '7': case '8': case '9':
293     /* XXX  this is not a stylistically approved use of getopt() */
294       if (goal_length==0) {
295         char *p;
296         p = argv[optind - 1];
297         if (p[0] == '-' && p[1] == ch && !p[2])
298              goal_length = get_positive(++p, "width must be nonzero", 1);
299         else
300              goal_length = get_positive(argv[optind]+1,
301                  "width must be nonzero", 1);
302         max_length = goal_length;
303       }
304       continue;
305     case 'h': default:
306       fprintf(stderr,
307 "Usage:   fmt [-cmps] [-d chars] [-l num] [-t num]\n"
308 "             [-w width | -width | goal [maximum]] [file ...]\n"
309 "Options: -c     center each line instead of formatting\n"
310 "         -d <chars> double-space after <chars> at line end\n"
311 "         -l <n> turn each <n> spaces at start of line into a tab\n"
312 "         -m     try to make sure mail header lines stay separate\n"
313 "         -n     format lines beginning with a dot\n"
314 "         -p     allow indented paragraphs\n"
315 "         -s     coalesce whitespace inside lines\n"
316 "         -t <n> have tabs every <n> columns\n"
317 "         -w <n> set maximum width to <n>\n"
318 "         goal   set target width to goal\n");
319       exit(ch=='h' ? 0 : EX_USAGE);
320   }
321   argc -= optind; argv += optind;
322
323   /* [ goal [ maximum ] ] */
324
325   if (argc>0 && goal_length==0
326       && (goal_length=get_positive(*argv,"goal length must be positive", 0))
327          != 0) {
328     --argc; ++argv;
329     if (argc>0
330         && (max_length=get_positive(*argv,"max length must be positive", 0))
331            != 0) {
332       --argc; ++argv;
333       if (max_length<goal_length)
334         errx(EX_USAGE, "max length must be >= goal length");
335     }
336   }
337   if (goal_length==0) goal_length = 65;
338   if (max_length==0) max_length = goal_length+10;
339   output_buffer = XMALLOC(max_length+1);        /* really needn't be longer */
340
341   /* 2. Process files. */
342
343   if (argc>0) {
344     while (argc-->0) process_named_file(*argv++);
345   }
346   else {
347     process_stream(stdin, "standard input");
348   }
349
350   /* We're done. */
351
352   return n_errors ? EX_NOINPUT : 0;
353
354 }
355
356 /* Process a single file, given its name.
357  */
358 static void
359 process_named_file(const char *name) {
360   FILE *f=fopen(name, "r");
361   if (!f) { perror(name); ++n_errors; }
362   else {
363     process_stream(f, name);
364     fclose(f);
365   }
366 }
367
368 /* Types of mail header continuation lines:
369  */
370 typedef enum {
371   hdr_ParagraphStart = -1,
372   hdr_NonHeader      = 0,
373   hdr_Header         = 1,
374   hdr_Continuation   = 2
375 } HdrType;
376
377 /* Process a stream. This is where the real work happens,
378  * except that centering is handled separately.
379  */
380 static void
381 process_stream(FILE *stream, const char *name) {
382   size_t last_indent=SILLY;     /* how many spaces in last indent? */
383   size_t para_line_number=0;    /* how many lines already read in this para? */
384   size_t first_indent=SILLY;    /* indentation of line 0 of paragraph */
385   HdrType prev_header_type=hdr_ParagraphStart;
386         /* ^-- header_type of previous line; -1 at para start */
387   char *line;
388   size_t length;
389
390   if (centerP) { center_stream(stream, name); return; }
391   while ((line=get_line(stream,&length)) != NULL) {
392     size_t np=indent_length(line, length);
393     { HdrType header_type=hdr_NonHeader;
394       if (grok_mail_headers && prev_header_type!=hdr_NonHeader) {
395         if (np==0 && might_be_header(line))
396           header_type = hdr_Header;
397         else if (np>0 && prev_header_type>hdr_NonHeader)
398           header_type = hdr_Continuation;
399       }
400       /* We need a new paragraph if and only if:
401        *   this line is blank,
402        *   OR it's a troff request (and we don't format troff),
403        *   OR it's a mail header,
404        *   OR it's not a mail header AND the last line was one,
405        *   OR the indentation has changed
406        *      AND the line isn't a mail header continuation line
407        *      AND this isn't the second line of an indented paragraph.
408        */
409       if ( length==0
410            || (line[0]=='.' && !format_troff)
411            || header_type==hdr_Header
412            || (header_type==hdr_NonHeader && prev_header_type>hdr_NonHeader)
413            || (np!=last_indent
414                && header_type != hdr_Continuation
415                && (!allow_indented_paragraphs || para_line_number != 1)) ) {
416         new_paragraph(output_in_paragraph ? last_indent : first_indent, np);
417         para_line_number = 0;
418         first_indent = np;
419         last_indent = np;
420         if (header_type==hdr_Header) last_indent=2;     /* for cont. lines */
421         if (length==0 || (line[0]=='.' && !format_troff)) {
422           if (length==0)
423             putchar('\n');
424           else
425             printf("%.*s\n", (int)length, line);
426           prev_header_type=hdr_ParagraphStart;
427           continue;
428         }
429       }
430       else {
431         /* If this is an indented paragraph other than a mail header
432          * continuation, set |last_indent|.
433          */
434         if (np != last_indent && header_type != hdr_Continuation)
435           last_indent=np;
436       }
437       prev_header_type = header_type;
438     }
439
440     { size_t n=np;
441       while (n<length) {
442         /* Find word end and count spaces after it */
443         size_t word_length=0, space_length=0;
444         while (n+word_length < length && line[n+word_length] != ' ')
445           ++word_length;
446         space_length = word_length;
447         while (n+space_length < length && line[n+space_length] == ' ')
448           ++space_length;
449         /* Send the word to the output machinery. */
450         output_word(first_indent, last_indent,
451                     line+n, word_length, space_length-word_length);
452         n += space_length;
453       }
454     }
455     ++para_line_number;
456   }
457   new_paragraph(output_in_paragraph ? last_indent : first_indent, 0);
458   if (ferror(stream)) { perror(name); ++n_errors; }
459 }
460
461 /* How long is the indent on this line?
462  */
463 static size_t
464 indent_length(const char *line, size_t length) {
465   size_t n=0;
466   while (n<length && *line++ == ' ') ++n;
467   return n;
468 }
469
470 /* Might this line be a mail header?
471  * We deem a line to be a possible header if it matches the
472  * Perl regexp /^[A-Z][-A-Za-z0-9]*:\s/. This is *not* the same
473  * as in RFC whatever-number-it-is; we want to be gratuitously
474  * conservative to avoid mangling ordinary civilised text.
475  */
476 static int
477 might_be_header(const unsigned char *line) {
478   if (!isupper(*line++)) return 0;
479   while (*line && (isalnum(*line) || *line=='-')) ++line;
480   return (*line==':' && isspace(line[1]));
481 }
482
483 /* Begin a new paragraph with an indent of |indent| spaces.
484  */
485 static void
486 new_paragraph(size_t old_indent, size_t indent) {
487   if (x0) {
488     if (old_indent>0) output_indent(old_indent);
489     fwrite(output_buffer, 1, x0, stdout);
490     putchar('\n');
491   }
492   x=indent; x0=0; pending_spaces=0;
493   output_in_paragraph = 0;
494 }
495
496 /* Output spaces or tabs for leading indentation.
497  */
498 static void
499 output_indent(size_t n_spaces) {
500   if (output_tab_width) {
501     while (n_spaces >= output_tab_width) {
502       putchar('\t');
503       n_spaces -= output_tab_width;
504     }
505   }
506   while (n_spaces-- > 0) putchar(' ');
507 }
508
509 /* Output a single word, or add it to the buffer.
510  * indent0 and indent1 are the indents to use on the first and subsequent
511  * lines of a paragraph. They'll often be the same, of course.
512  */
513 static void
514 output_word(size_t indent0, size_t indent1, const char *word, size_t length, size_t spaces) {
515   size_t new_x = x+pending_spaces+length;
516   size_t indent = output_in_paragraph ? indent1 : indent0;
517
518   /* If either |spaces==0| (at end of line) or |coalesce_spaces_P|
519    * (squashing internal whitespace), then add just one space;
520    * except that if the last character was a sentence-ender we
521    * actually add two spaces.
522    */
523   if (coalesce_spaces_P || spaces==0)
524     spaces = strchr(sentence_enders, word[length-1]) ? 2 : 1;
525
526   if (new_x<=goal_length) {
527     /* After adding the word we still aren't at the goal length,
528      * so clearly we add it to the buffer rather than outputing it.
529      */
530     memset(output_buffer+x0, ' ', pending_spaces);
531     x0 += pending_spaces; x += pending_spaces;
532     memcpy(output_buffer+x0, word, length);
533     x0 += length; x += length;
534     pending_spaces = spaces;
535   }
536   else {
537     /* Adding the word takes us past the goal. Print the line-so-far,
538      * and the word too iff either (1) the lsf is empty or (2) that
539      * makes us nearer the goal but doesn't take us over the limit,
540      * or (3) the word on its own takes us over the limit.
541      * In case (3) we put a newline in between.
542      */
543     if (indent>0) output_indent(indent);
544     fwrite(output_buffer, 1, x0, stdout);
545     if (x0==0 || (new_x <= max_length && new_x-goal_length <= goal_length-x)) {
546       printf("%*s", (int)pending_spaces, "");
547       goto write_out_word;
548     }
549     else {
550       /* If the word takes us over the limit on its own, just
551        * spit it out and don't bother buffering it.
552        */
553       if (indent+length > max_length) {
554         putchar('\n');
555         if (indent>0) output_indent(indent);
556 write_out_word:
557         fwrite(word, 1, length, stdout);
558         x0 = 0; x = indent1; pending_spaces = 0;
559       }
560       else {
561         memcpy(output_buffer, word, length);
562         x0 = length; x = length+indent1; pending_spaces = spaces;
563       }
564     }
565     putchar('\n');
566     output_in_paragraph = 1;
567   }
568 }
569
570 /* Process a stream, but just center its lines rather than trying to
571  * format them neatly.
572  */
573 static void
574 center_stream(FILE *stream, const char *name) {
575   char *line;
576   size_t length;
577   while ((line=get_line(stream, &length)) != 0) {
578     size_t l=length;
579     while (l>0 && isspace(*line)) { ++line; --l; }
580     length=l;
581     while (l<goal_length) { putchar(' '); l+=2; }
582     fwrite(line, 1, length, stdout);
583     putchar('\n');
584   }
585   if (ferror(stream)) { perror(name); ++n_errors; }
586 }
587
588 /* Get a single line from a stream. Expand tabs, strip control
589  * characters and trailing whitespace, and handle backspaces.
590  * Return the address of the buffer containing the line, and
591  * put the length of the line in |lengthp|.
592  * This can cope with arbitrarily long lines, and with lines
593  * without terminating \n.
594  * If there are no characters left or an error happens, we
595  * return 0.
596  * Don't confuse |spaces_pending| here with the global
597  * |pending_spaces|.
598  */
599 static char *
600 get_line(FILE *stream, size_t *lengthp) {
601   static char *buf=NULL;
602   static size_t length=0;
603   size_t len=0;
604   int ch;
605   size_t spaces_pending=0;
606   int troff=0;
607
608   if (buf==NULL) { length=100; buf=XMALLOC(length); }
609   while ((ch=getc(stream)) != '\n' && ch != EOF) {
610     if (len+spaces_pending==0 && ch=='.' && !format_troff) troff=1;
611     if (ch==' ') ++spaces_pending;
612     else if (troff || isprint(ch)) {
613       while (len+spaces_pending >= length) {
614         length*=2; buf=xrealloc(buf, length);
615       }
616       while (spaces_pending > 0) { --spaces_pending; buf[len++]=' '; }
617       buf[len++] = ch;
618     }
619     else if (ch=='\t')
620       spaces_pending += tab_width - (len+spaces_pending)%tab_width;
621     else if (ch=='\b') { if (len) --len; }
622   }
623   *lengthp=len;
624   return (len>0 || ch!=EOF) ? buf : 0;
625 }
626
627 /* (Re)allocate some memory, exiting with an error if we can't.
628  */
629 static void *
630 xrealloc(void *ptr, size_t nbytes) {
631   void *p = realloc(ptr, nbytes);
632   if (p == NULL) errx(EX_OSERR, "out of memory");
633   return p;
634 }