bin/sh/mksyntax.c

   1 /*-
   2  * Copyright (c) 1991, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * This code is derived from software contributed to Berkeley by
   6  * Kenneth Almquist.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 3. All advertising materials mentioning features or use of this software
  17  *    must display the following acknowledgement:
  18  *      This product includes software developed by the University of
  19  *      California, Berkeley and its contributors.
  20  * 4. Neither the name of the University nor the names of its contributors
  21  *    may be used to endorse or promote products derived from this software
  22  *    without specific prior written permission.
  23  *
  24  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  25  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  26  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  27  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  28  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  29  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  30  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  31  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  32  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  33  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  34  * SUCH DAMAGE.
  35  *
  36  * @(#) Copyright (c) 1991, 1993 The Regents of the University of California.  All rights reserved.
  37  * @(#)mksyntax.c       8.2 (Berkeley) 5/4/95
  38  * $FreeBSD: src/bin/sh/mksyntax.c,v 1.35 2011/05/05 20:55:55 jilles Exp $
  39  */
  40
  41 /*
  42  * This program creates syntax.h and syntax.c.
  43  */
  44
  45 #include <stdio.h>
  46 #include <stdlib.h>
  47 #include <string.h>
  48 #include "parser.h"
  49
  50
  51 struct synclass {
  52         const char *name;
  53         const char *comment;
  54 };
  55
  56 /* Syntax classes */
  57 struct synclass synclass[] = {
  58         { "CWORD",      "character is nothing special" },
  59         { "CNL",        "newline character" },
  60         { "CBACK",      "a backslash character" },
  61         { "CSBACK",     "a backslash character in single quotes" },
  62         { "CSQUOTE",    "single quote" },
  63         { "CDQUOTE",    "double quote" },
  64         { "CENDQUOTE",  "a terminating quote" },
  65         { "CBQUOTE",    "backwards single quote" },
  66         { "CVAR",       "a dollar sign" },
  67         { "CENDVAR",    "a '}' character" },
  68         { "CLP",        "a left paren in arithmetic" },
  69         { "CRP",        "a right paren in arithmetic" },
  70         { "CEOF",       "end of file" },
  71         { "CCTL",       "like CWORD, except it must be escaped" },
  72         { "CSPCL",      "these terminate a word" },
  73         { "CIGN",       "character should be ignored" },
  74         { NULL,         NULL }
  75 };
  76
  77
  78 /*
  79  * Syntax classes for is_ functions.  Warning:  if you add new classes
  80  * you may have to change the definition of the is_in_name macro.
  81  */
  82 struct synclass is_entry[] = {
  83         { "ISDIGIT",    "a digit" },
  84         { "ISUPPER",    "an upper case letter" },
  85         { "ISLOWER",    "a lower case letter" },
  86         { "ISUNDER",    "an underscore" },
  87         { "ISSPECL",    "the name of a special parameter" },
  88         { NULL,         NULL }
  89 };
  90
  91 static char writer[] = "\
  92 /*\n\
  93  * This file was generated by the mksyntax program.\n\
  94  */\n\
  95 \n";
  96
  97
  98 static FILE *cfile;
  99 static FILE *hfile;
 100 static const char *syntax[513];
 101 static int base;
 102 static int size;        /* number of values which a char variable can have */
 103 static int nbits;       /* number of bits in a character */
 104 static int digit_contig;/* true if digits are contiguous */
 105
 106 static void filltable(const char *);
 107 static void init(void);
 108 static void add(const char *, const char *);
 109 static void print(const char *);
 110 static void output_type_macros(void);
 111 static void digit_convert(void);
 112
 113 int
 114 main(int argc __unused, char **argv __unused)
 115 {
 116         char c;
 117         char d;
 118         int sign;
 119         int i;
 120         char buf[80];
 121         int pos;
 122         static char digit[] = "0123456789";
 123
 124         /* Create output files */
 125         if ((cfile = fopen("syntax.c", "w")) == NULL) {
 126                 perror("syntax.c");
 127                 exit(2);
 128         }
 129         if ((hfile = fopen("syntax.h", "w")) == NULL) {
 130                 perror("syntax.h");
 131                 exit(2);
 132         }
 133         fputs(writer, hfile);
 134         fputs(writer, cfile);
 135
 136         /* Determine the characteristics of chars. */
 137         c = -1;
 138         sign = (c > 0) ? 0 : 1;
 139         for (nbits = 1 ; ; nbits++) {
 140                 d = (1 << nbits) - 1;
 141                 if (d == c)
 142                         break;
 143         }
 144 #if 0
 145         printf("%s %d bit chars\n", sign? "signed" : "unsigned", nbits);
 146 #endif
 147         if (nbits > 9) {
 148                 fputs("Characters can't have more than 9 bits\n", stderr);
 149                 exit(2);
 150         }
 151         size = (1 << nbits) + 1;
 152         base = 1;
 153         if (sign)
 154                 base += 1 << (nbits - 1);
 155         digit_contig = 1;
 156         for (i = 0 ; i < 10 ; i++) {
 157                 if (digit[i] != '0' + i)
 158                         digit_contig = 0;
 159         }
 160
 161         fputs("#include <sys/cdefs.h>\n", hfile);
 162         fputs("#include <ctype.h>\n", hfile);
 163
 164         /* Generate the #define statements in the header file */
 165         fputs("/* Syntax classes */\n", hfile);
 166         for (i = 0 ; synclass[i].name ; i++) {
 167                 sprintf(buf, "#define %s %d", synclass[i].name, i);
 168                 fputs(buf, hfile);
 169                 for (pos = strlen(buf) ; pos < 32 ; pos = (pos + 8) & ~07)
 170                         putc('\t', hfile);
 171                 fprintf(hfile, "/* %s */\n", synclass[i].comment);
 172         }
 173         putc('\n', hfile);
 174         fputs("/* Syntax classes for is_ functions */\n", hfile);
 175         for (i = 0 ; is_entry[i].name ; i++) {
 176                 sprintf(buf, "#define %s %#o", is_entry[i].name, 1 << i);
 177                 fputs(buf, hfile);
 178                 for (pos = strlen(buf) ; pos < 32 ; pos = (pos + 8) & ~07)
 179                         putc('\t', hfile);
 180                 fprintf(hfile, "/* %s */\n", is_entry[i].comment);
 181         }
 182         putc('\n', hfile);
 183         fprintf(hfile, "#define SYNBASE %d\n", base);
 184         fprintf(hfile, "#define PEOF %d\n\n", -base);
 185         putc('\n', hfile);
 186         fputs("#define BASESYNTAX (basesyntax + SYNBASE)\n", hfile);
 187         fputs("#define DQSYNTAX (dqsyntax + SYNBASE)\n", hfile);
 188         fputs("#define SQSYNTAX (sqsyntax + SYNBASE)\n", hfile);
 189         fputs("#define ARISYNTAX (arisyntax + SYNBASE)\n", hfile);
 190         putc('\n', hfile);
 191         output_type_macros();           /* is_digit, etc. */
 192         putc('\n', hfile);
 193
 194         /* Generate the syntax tables. */
 195         fputs("#include \"shell.h\"\n", cfile);
 196         fputs("#include \"syntax.h\"\n\n", cfile);
 197         init();
 198         fputs("/* syntax table used when not in quotes */\n", cfile);
 199         add("\n", "CNL");
 200         add("\\", "CBACK");
 201         add("'", "CSQUOTE");
 202         add("\"", "CDQUOTE");
 203         add("`", "CBQUOTE");
 204         add("$", "CVAR");
 205         add("}", "CENDVAR");
 206         add("<>();&| \t", "CSPCL");
 207         print("basesyntax");
 208         init();
 209         fputs("\n/* syntax table used when in double quotes */\n", cfile);
 210         add("\n", "CNL");
 211         add("\\", "CBACK");
 212         add("\"", "CENDQUOTE");
 213         add("`", "CBQUOTE");
 214         add("$", "CVAR");
 215         add("}", "CENDVAR");
 216         /* ':/' for tilde expansion, '-' for [a\-x] pattern ranges */
 217         add("!*?[=~:/-", "CCTL");
 218         print("dqsyntax");
 219         init();
 220         fputs("\n/* syntax table used when in single quotes */\n", cfile);
 221         add("\n", "CNL");
 222         add("\\", "CSBACK");
 223         add("'", "CENDQUOTE");
 224         /* ':/' for tilde expansion, '-' for [a\-x] pattern ranges */
 225         add("!*?[=~:/-", "CCTL");
 226         print("sqsyntax");
 227         init();
 228         fputs("\n/* syntax table used when in arithmetic */\n", cfile);
 229         add("\n", "CNL");
 230         add("\\", "CBACK");
 231         add("`", "CBQUOTE");
 232         add("\"", "CIGN");
 233         add("$", "CVAR");
 234         add("}", "CENDVAR");
 235         add("(", "CLP");
 236         add(")", "CRP");
 237         print("arisyntax");
 238         filltable("0");
 239         fputs("\n/* character classification table */\n", cfile);
 240         add("0123456789", "ISDIGIT");
 241         add("abcdefghijklmnopqrstuvwxyz", "ISLOWER");
 242         add("ABCDEFGHIJKLMNOPQRSTUVWXYZ", "ISUPPER");
 243         add("_", "ISUNDER");
 244         add("#?$!-*@", "ISSPECL");
 245         print("is_type");
 246         if (! digit_contig)
 247                 digit_convert();
 248         exit(0);
 249 }
 250
 251
 252
 253 /*
 254  * Clear the syntax table.
 255  */
 256
 257 static void
 258 filltable(const char *dftval)
 259 {
 260         int i;
 261
 262         for (i = 0 ; i < size ; i++)
 263                 syntax[i] = dftval;
 264 }
 265
 266
 267 /*
 268  * Initialize the syntax table with default values.
 269  */
 270
 271 static void
 272 init(void)
 273 {
 274         filltable("CWORD");
 275         syntax[0] = "CEOF";
 276         syntax[base + CTLESC] = "CCTL";
 277         syntax[base + CTLVAR] = "CCTL";
 278         syntax[base + CTLENDVAR] = "CCTL";
 279         syntax[base + CTLBACKQ] = "CCTL";
 280         syntax[base + CTLBACKQ + CTLQUOTE] = "CCTL";
 281         syntax[base + CTLARI] = "CCTL";
 282         syntax[base + CTLENDARI] = "CCTL";
 283         syntax[base + CTLQUOTEMARK] = "CCTL";
 284         syntax[base + CTLQUOTEEND] = "CCTL";
 285 }
 286
 287
 288 /*
 289  * Add entries to the syntax table.
 290  */
 291
 292 static void
 293 add(const char *p, const char *type)
 294 {
 295         while (*p)
 296                 syntax[*p++ + base] = type;
 297 }
 298
 299
 300
 301 /*
 302  * Output the syntax table.
 303  */
 304
 305 static void
 306 print(const char *name)
 307 {
 308         int i;
 309         int col;
 310
 311         fprintf(hfile, "extern const char %s[];\n", name);
 312         fprintf(cfile, "const char %s[%d] = {\n", name, size);
 313         col = 0;
 314         for (i = 0 ; i < size ; i++) {
 315                 if (i == 0) {
 316                         fputs("      ", cfile);
 317                 } else if ((i & 03) == 0) {
 318                         fputs(",\n      ", cfile);
 319                         col = 0;
 320                 } else {
 321                         putc(',', cfile);
 322                         while (++col < 9 * (i & 03))
 323                                 putc(' ', cfile);
 324                 }
 325                 fputs(syntax[i], cfile);
 326                 col += strlen(syntax[i]);
 327         }
 328         fputs("\n};\n", cfile);
 329 }
 330
 331
 332
 333 /*
 334  * Output character classification macros (e.g. is_digit).  If digits are
 335  * contiguous, we can test for them quickly.
 336  */
 337
 338 static const char *macro[] = {
 339         "#define is_digit(c)\t((is_type+SYNBASE)[(int)c] & ISDIGIT)",
 340         "#define is_eof(c)\t((c) == PEOF)",
 341         "#define is_alpha(c)\t((is_type+SYNBASE)[(int)c] & (ISUPPER|ISLOWER))",
 342         "#define is_name(c)\t((is_type+SYNBASE)[(int)c] & (ISUPPER|ISLOWER|ISUNDER))",
 343         "#define is_in_name(c)\t((is_type+SYNBASE)[(int)c] & (ISUPPER|ISLOWER|ISUNDER|ISDIGIT))",
 344         "#define is_special(c)\t((is_type+SYNBASE)[(int)c] & (ISSPECL|ISDIGIT))",
 345         NULL
 346 };
 347
 348 static void
 349 output_type_macros(void)
 350 {
 351         const char **pp;
 352
 353         if (digit_contig)
 354                 macro[0] = "#define is_digit(c)\t((unsigned int)((c) - '0') <= 9)";
 355         for (pp = macro ; *pp ; pp++)
 356                 fprintf(hfile, "%s\n", *pp);
 357         if (digit_contig)
 358                 fputs("#define digit_val(c)\t((c) - '0')\n", hfile);
 359         else
 360                 fputs("#define digit_val(c)\t(digit_value[c])\n", hfile);
 361 }
 362
 363
 364
 365 /*
 366  * Output digit conversion table (if digits are not contiguous).
 367  */
 368
 369 static void
 370 digit_convert(void)
 371 {
 372         int maxdigit;
 373         static char digit[] = "0123456789";
 374         char *p;
 375         int i;
 376
 377         maxdigit = 0;
 378         for (p = digit ; *p ; p++)
 379                 if (*p > maxdigit)
 380                         maxdigit = *p;
 381         fputs("extern const char digit_value[];\n", hfile);
 382         fputs("\n\nconst char digit_value[] = {\n", cfile);
 383         for (i = 0 ; i <= maxdigit ; i++) {
 384                 for (p = digit ; *p && *p != i ; p++);
 385                 if (*p == '\0')
 386                         p = digit;
 387                 fprintf(cfile, "      %td,\n", p - digit);
 388         }
 389         fputs("};\n", cfile);
 390 }