4a018eedcfd3b1121bfe10cb02062d9f34cb0b81
[dragonfly.git] / contrib / mdocml / mdoc_macro.c
1 /*      $Id: mdoc_macro.c,v 1.123 2013/10/21 23:47:58 schwarze Exp $ */
2 /*
3  * Copyright (c) 2008-2012 Kristaps Dzonsons <kristaps@bsd.lv>
4  * Copyright (c) 2010, 2012, 2013 Ingo Schwarze <schwarze@openbsd.org>
5  *
6  * Permission to use, copy, modify, and distribute this software for any
7  * purpose with or without fee is hereby granted, provided that the above
8  * copyright notice and this permission notice appear in all copies.
9  *
10  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
11  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
12  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
13  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
14  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
15  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
16  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
17  */
18 #ifdef HAVE_CONFIG_H
19 #include "config.h"
20 #endif
21
22 #include <assert.h>
23 #include <ctype.h>
24 #include <stdlib.h>
25 #include <stdio.h>
26 #include <string.h>
27 #include <time.h>
28
29 #include "mdoc.h"
30 #include "mandoc.h"
31 #include "libmdoc.h"
32 #include "libmandoc.h"
33
34 enum    rew {   /* see rew_dohalt() */
35         REWIND_NONE,
36         REWIND_THIS,
37         REWIND_MORE,
38         REWIND_FORCE,
39         REWIND_LATER,
40         REWIND_ERROR
41 };
42
43 static  int             blk_full(MACRO_PROT_ARGS);
44 static  int             blk_exp_close(MACRO_PROT_ARGS);
45 static  int             blk_part_exp(MACRO_PROT_ARGS);
46 static  int             blk_part_imp(MACRO_PROT_ARGS);
47 static  int             ctx_synopsis(MACRO_PROT_ARGS);
48 static  int             in_line_eoln(MACRO_PROT_ARGS);
49 static  int             in_line_argn(MACRO_PROT_ARGS);
50 static  int             in_line(MACRO_PROT_ARGS);
51 static  int             obsolete(MACRO_PROT_ARGS);
52 static  int             phrase_ta(MACRO_PROT_ARGS);
53
54 static  int             dword(struct mdoc *, int, int, const char *,
55                                  enum mdelim, int);
56 static  int             append_delims(struct mdoc *, 
57                                 int, int *, char *);
58 static  enum mdoct      lookup(enum mdoct, const char *);
59 static  enum mdoct      lookup_raw(const char *);
60 static  int             make_pending(struct mdoc_node *, enum mdoct,
61                                 struct mdoc *, int, int);
62 static  int             phrase(struct mdoc *, int, int, char *);
63 static  enum mdoct      rew_alt(enum mdoct);
64 static  enum rew        rew_dohalt(enum mdoct, enum mdoc_type, 
65                                 const struct mdoc_node *);
66 static  int             rew_elem(struct mdoc *, enum mdoct);
67 static  int             rew_last(struct mdoc *, 
68                                 const struct mdoc_node *);
69 static  int             rew_sub(enum mdoc_type, struct mdoc *, 
70                                 enum mdoct, int, int);
71
72 const   struct mdoc_macro __mdoc_macros[MDOC_MAX] = {
73         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Ap */
74         { in_line_eoln, MDOC_PROLOGUE }, /* Dd */
75         { in_line_eoln, MDOC_PROLOGUE }, /* Dt */
76         { in_line_eoln, MDOC_PROLOGUE }, /* Os */
77         { blk_full, MDOC_PARSED | MDOC_JOIN }, /* Sh */
78         { blk_full, MDOC_PARSED | MDOC_JOIN }, /* Ss */
79         { in_line_eoln, 0 }, /* Pp */
80         { blk_part_imp, MDOC_PARSED | MDOC_JOIN }, /* D1 */
81         { blk_part_imp, MDOC_PARSED | MDOC_JOIN }, /* Dl */
82         { blk_full, MDOC_EXPLICIT }, /* Bd */
83         { blk_exp_close, MDOC_EXPLICIT | MDOC_JOIN }, /* Ed */
84         { blk_full, MDOC_EXPLICIT }, /* Bl */
85         { blk_exp_close, MDOC_EXPLICIT | MDOC_JOIN }, /* El */
86         { blk_full, MDOC_PARSED | MDOC_JOIN }, /* It */
87         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Ad */
88         { in_line, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* An */
89         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Ar */
90         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Cd */
91         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Cm */
92         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Dv */
93         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Er */
94         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Ev */
95         { in_line_eoln, 0 }, /* Ex */
96         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Fa */
97         { in_line_eoln, 0 }, /* Fd */
98         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Fl */
99         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Fn */
100         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Ft */
101         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Ic */
102         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* In */
103         { in_line, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Li */
104         { blk_full, MDOC_JOIN }, /* Nd */
105         { ctx_synopsis, MDOC_CALLABLE | MDOC_PARSED }, /* Nm */
106         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED }, /* Op */
107         { obsolete, 0 }, /* Ot */
108         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Pa */
109         { in_line_eoln, 0 }, /* Rv */
110         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* St */
111         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Va */
112         { ctx_synopsis, MDOC_CALLABLE | MDOC_PARSED }, /* Vt */
113         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* Xr */
114         { in_line_eoln, MDOC_JOIN }, /* %A */
115         { in_line_eoln, MDOC_JOIN }, /* %B */
116         { in_line_eoln, MDOC_JOIN }, /* %D */
117         { in_line_eoln, MDOC_JOIN }, /* %I */
118         { in_line_eoln, MDOC_JOIN }, /* %J */
119         { in_line_eoln, 0 }, /* %N */
120         { in_line_eoln, MDOC_JOIN }, /* %O */
121         { in_line_eoln, 0 }, /* %P */
122         { in_line_eoln, MDOC_JOIN }, /* %R */
123         { in_line_eoln, MDOC_JOIN }, /* %T */
124         { in_line_eoln, 0 }, /* %V */
125         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
126                          MDOC_EXPLICIT | MDOC_JOIN }, /* Ac */
127         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
128                         MDOC_EXPLICIT | MDOC_JOIN }, /* Ao */
129         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Aq */
130         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* At */
131         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
132                          MDOC_EXPLICIT | MDOC_JOIN }, /* Bc */
133         { blk_full, MDOC_EXPLICIT }, /* Bf */
134         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
135                         MDOC_EXPLICIT | MDOC_JOIN }, /* Bo */
136         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Bq */
137         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* Bsx */
138         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* Bx */
139         { in_line_eoln, 0 }, /* Db */
140         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
141                          MDOC_EXPLICIT | MDOC_JOIN }, /* Dc */
142         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
143                         MDOC_EXPLICIT | MDOC_JOIN }, /* Do */
144         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Dq */
145         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED | MDOC_EXPLICIT }, /* Ec */
146         { blk_exp_close, MDOC_EXPLICIT | MDOC_JOIN }, /* Ef */
147         { in_line, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Em */
148         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED | MDOC_EXPLICIT }, /* Eo */
149         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* Fx */
150         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Ms */
151         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED |
152                         MDOC_IGNDELIM | MDOC_JOIN }, /* No */
153         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED |
154                         MDOC_IGNDELIM | MDOC_JOIN }, /* Ns */
155         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* Nx */
156         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* Ox */
157         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
158                          MDOC_EXPLICIT | MDOC_JOIN }, /* Pc */
159         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED | MDOC_IGNDELIM }, /* Pf */
160         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
161                         MDOC_EXPLICIT | MDOC_JOIN }, /* Po */
162         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Pq */
163         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
164                          MDOC_EXPLICIT | MDOC_JOIN }, /* Qc */
165         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Ql */
166         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
167                         MDOC_EXPLICIT | MDOC_JOIN }, /* Qo */
168         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Qq */
169         { blk_exp_close, MDOC_EXPLICIT | MDOC_JOIN }, /* Re */
170         { blk_full, MDOC_EXPLICIT }, /* Rs */
171         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
172                          MDOC_EXPLICIT | MDOC_JOIN }, /* Sc */
173         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
174                         MDOC_EXPLICIT | MDOC_JOIN }, /* So */
175         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Sq */
176         { in_line_eoln, 0 }, /* Sm */
177         { in_line, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Sx */
178         { in_line, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Sy */
179         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Tn */
180         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Ux */
181         { blk_exp_close, MDOC_EXPLICIT | MDOC_CALLABLE | MDOC_PARSED }, /* Xc */
182         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED | MDOC_EXPLICIT }, /* Xo */
183         { blk_full, MDOC_EXPLICIT | MDOC_CALLABLE }, /* Fo */
184         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
185                          MDOC_EXPLICIT | MDOC_JOIN }, /* Fc */
186         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
187                         MDOC_EXPLICIT | MDOC_JOIN }, /* Oo */
188         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
189                          MDOC_EXPLICIT | MDOC_JOIN }, /* Oc */
190         { blk_full, MDOC_EXPLICIT }, /* Bk */
191         { blk_exp_close, MDOC_EXPLICIT | MDOC_JOIN }, /* Ek */
192         { in_line_eoln, 0 }, /* Bt */
193         { in_line_eoln, 0 }, /* Hf */
194         { obsolete, 0 }, /* Fr */
195         { in_line_eoln, 0 }, /* Ud */
196         { in_line, 0 }, /* Lb */
197         { in_line_eoln, 0 }, /* Lp */
198         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Lk */
199         { in_line, MDOC_CALLABLE | MDOC_PARSED }, /* Mt */
200         { blk_part_imp, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Brq */
201         { blk_part_exp, MDOC_CALLABLE | MDOC_PARSED |
202                         MDOC_EXPLICIT | MDOC_JOIN }, /* Bro */
203         { blk_exp_close, MDOC_CALLABLE | MDOC_PARSED |
204                          MDOC_EXPLICIT | MDOC_JOIN }, /* Brc */
205         { in_line_eoln, MDOC_JOIN }, /* %C */
206         { obsolete, 0 }, /* Es */
207         { obsolete, 0 }, /* En */
208         { in_line_argn, MDOC_CALLABLE | MDOC_PARSED }, /* Dx */
209         { in_line_eoln, MDOC_JOIN }, /* %Q */
210         { in_line_eoln, 0 }, /* br */
211         { in_line_eoln, 0 }, /* sp */
212         { in_line_eoln, 0 }, /* %U */
213         { phrase_ta, MDOC_CALLABLE | MDOC_PARSED | MDOC_JOIN }, /* Ta */
214 };
215
216 const   struct mdoc_macro * const mdoc_macros = __mdoc_macros;
217
218
219 /*
220  * This is called at the end of parsing.  It must traverse up the tree,
221  * closing out open [implicit] scopes.  Obviously, open explicit scopes
222  * are errors.
223  */
224 int
225 mdoc_macroend(struct mdoc *mdoc)
226 {
227         struct mdoc_node *n;
228
229         /* Scan for open explicit scopes. */
230
231         n = MDOC_VALID & mdoc->last->flags ?
232                         mdoc->last->parent : mdoc->last;
233
234         for ( ; n; n = n->parent)
235                 if (MDOC_BLOCK == n->type &&
236                     MDOC_EXPLICIT & mdoc_macros[n->tok].flags)
237                         mdoc_nmsg(mdoc, n, MANDOCERR_SCOPEEXIT);
238
239         /* Rewind to the first. */
240
241         return(rew_last(mdoc, mdoc->first));
242 }
243
244
245 /*
246  * Look up a macro from within a subsequent context.
247  */
248 static enum mdoct
249 lookup(enum mdoct from, const char *p)
250 {
251
252         if ( ! (MDOC_PARSED & mdoc_macros[from].flags))
253                 return(MDOC_MAX);
254         return(lookup_raw(p));
255 }
256
257
258 /*
259  * Lookup a macro following the initial line macro.
260  */
261 static enum mdoct
262 lookup_raw(const char *p)
263 {
264         enum mdoct       res;
265
266         if (MDOC_MAX == (res = mdoc_hash_find(p)))
267                 return(MDOC_MAX);
268         if (MDOC_CALLABLE & mdoc_macros[res].flags)
269                 return(res);
270         return(MDOC_MAX);
271 }
272
273
274 static int
275 rew_last(struct mdoc *mdoc, const struct mdoc_node *to)
276 {
277         struct mdoc_node *n, *np;
278
279         assert(to);
280         mdoc->next = MDOC_NEXT_SIBLING;
281
282         /* LINTED */
283         while (mdoc->last != to) {
284                 /*
285                  * Save the parent here, because we may delete the
286                  * mdoc->last node in the post-validation phase and reset
287                  * it to mdoc->last->parent, causing a step in the closing
288                  * out to be lost.
289                  */
290                 np = mdoc->last->parent;
291                 if ( ! mdoc_valid_post(mdoc))
292                         return(0);
293                 n = mdoc->last;
294                 mdoc->last = np;
295                 assert(mdoc->last);
296                 mdoc->last->last = n;
297         }
298
299         return(mdoc_valid_post(mdoc));
300 }
301
302
303 /*
304  * For a block closing macro, return the corresponding opening one.
305  * Otherwise, return the macro itself.
306  */
307 static enum mdoct
308 rew_alt(enum mdoct tok)
309 {
310         switch (tok) {
311         case (MDOC_Ac):
312                 return(MDOC_Ao);
313         case (MDOC_Bc):
314                 return(MDOC_Bo);
315         case (MDOC_Brc):
316                 return(MDOC_Bro);
317         case (MDOC_Dc):
318                 return(MDOC_Do);
319         case (MDOC_Ec):
320                 return(MDOC_Eo);
321         case (MDOC_Ed):
322                 return(MDOC_Bd);
323         case (MDOC_Ef):
324                 return(MDOC_Bf);
325         case (MDOC_Ek):
326                 return(MDOC_Bk);
327         case (MDOC_El):
328                 return(MDOC_Bl);
329         case (MDOC_Fc):
330                 return(MDOC_Fo);
331         case (MDOC_Oc):
332                 return(MDOC_Oo);
333         case (MDOC_Pc):
334                 return(MDOC_Po);
335         case (MDOC_Qc):
336                 return(MDOC_Qo);
337         case (MDOC_Re):
338                 return(MDOC_Rs);
339         case (MDOC_Sc):
340                 return(MDOC_So);
341         case (MDOC_Xc):
342                 return(MDOC_Xo);
343         default:
344                 return(tok);
345         }
346         /* NOTREACHED */
347 }
348
349
350 /*
351  * Rewinding to tok, how do we have to handle *p?
352  * REWIND_NONE: *p would delimit tok, but no tok scope is open
353  *   inside *p, so there is no need to rewind anything at all.
354  * REWIND_THIS: *p matches tok, so rewind *p and nothing else.
355  * REWIND_MORE: *p is implicit, rewind it and keep searching for tok.
356  * REWIND_FORCE: *p is explicit, but tok is full, force rewinding *p.
357  * REWIND_LATER: *p is explicit and still open, postpone rewinding.
358  * REWIND_ERROR: No tok block is open at all.
359  */
360 static enum rew
361 rew_dohalt(enum mdoct tok, enum mdoc_type type, 
362                 const struct mdoc_node *p)
363 {
364
365         /*
366          * No matching token, no delimiting block, no broken block.
367          * This can happen when full implicit macros are called for
368          * the first time but try to rewind their previous
369          * instance anyway.
370          */
371         if (MDOC_ROOT == p->type)
372                 return(MDOC_BLOCK == type &&
373                     MDOC_EXPLICIT & mdoc_macros[tok].flags ?
374                     REWIND_ERROR : REWIND_NONE);
375
376         /*
377          * When starting to rewind, skip plain text 
378          * and nodes that have already been rewound.
379          */
380         if (MDOC_TEXT == p->type || MDOC_VALID & p->flags)
381                 return(REWIND_MORE);
382
383         /*
384          * The easiest case:  Found a matching token.
385          * This applies to both blocks and elements.
386          */
387         tok = rew_alt(tok);
388         if (tok == p->tok)
389                 return(p->end ? REWIND_NONE :
390                     type == p->type ? REWIND_THIS : REWIND_MORE);
391
392         /*
393          * While elements do require rewinding for themselves,
394          * they never affect rewinding of other nodes.
395          */
396         if (MDOC_ELEM == p->type)
397                 return(REWIND_MORE);
398
399         /*
400          * Blocks delimited by our target token get REWIND_MORE.
401          * Blocks delimiting our target token get REWIND_NONE. 
402          */
403         switch (tok) {
404         case (MDOC_Bl):
405                 if (MDOC_It == p->tok)
406                         return(REWIND_MORE);
407                 break;
408         case (MDOC_It):
409                 if (MDOC_BODY == p->type && MDOC_Bl == p->tok)
410                         return(REWIND_NONE);
411                 break;
412         /*
413          * XXX Badly nested block handling still fails badly
414          * when one block is breaking two blocks of the same type.
415          * This is an incomplete and extremely ugly workaround,
416          * required to let the OpenBSD tree build.
417          */
418         case (MDOC_Oo):
419                 if (MDOC_Op == p->tok)
420                         return(REWIND_MORE);
421                 break;
422         case (MDOC_Nm):
423                 return(REWIND_NONE);
424         case (MDOC_Nd):
425                 /* FALLTHROUGH */
426         case (MDOC_Ss):
427                 if (MDOC_BODY == p->type && MDOC_Sh == p->tok)
428                         return(REWIND_NONE);
429                 /* FALLTHROUGH */
430         case (MDOC_Sh):
431                 if (MDOC_Nd == p->tok || MDOC_Ss == p->tok ||
432                     MDOC_Sh == p->tok)
433                         return(REWIND_MORE);
434                 break;
435         default:
436                 break;
437         }
438
439         /*
440          * Default block rewinding rules.
441          * In particular, always skip block end markers,
442          * and let all blocks rewind Nm children.
443          */
444         if (ENDBODY_NOT != p->end || MDOC_Nm == p->tok ||
445             (MDOC_BLOCK == p->type &&
446             ! (MDOC_EXPLICIT & mdoc_macros[tok].flags)))
447                 return(REWIND_MORE);
448
449         /*
450          * By default, closing out full blocks
451          * forces closing of broken explicit blocks,
452          * while closing out partial blocks
453          * allows delayed rewinding by default.
454          */
455         return (&blk_full == mdoc_macros[tok].fp ?
456             REWIND_FORCE : REWIND_LATER);
457 }
458
459
460 static int
461 rew_elem(struct mdoc *mdoc, enum mdoct tok)
462 {
463         struct mdoc_node *n;
464
465         n = mdoc->last;
466         if (MDOC_ELEM != n->type)
467                 n = n->parent;
468         assert(MDOC_ELEM == n->type);
469         assert(tok == n->tok);
470
471         return(rew_last(mdoc, n));
472 }
473
474
475 /*
476  * We are trying to close a block identified by tok,
477  * but the child block *broken is still open.
478  * Thus, postpone closing the tok block
479  * until the rew_sub call closing *broken.
480  */
481 static int
482 make_pending(struct mdoc_node *broken, enum mdoct tok,
483                 struct mdoc *mdoc, int line, int ppos)
484 {
485         struct mdoc_node *breaker;
486
487         /*
488          * Iterate backwards, searching for the block matching tok,
489          * that is, the block breaking the *broken block.
490          */
491         for (breaker = broken->parent; breaker; breaker = breaker->parent) {
492
493                 /*
494                  * If the *broken block had already been broken before
495                  * and we encounter its breaker, make the tok block
496                  * pending on the inner breaker.
497                  * Graphically, "[A breaker=[B broken=[C->B B] tok=A] C]"
498                  * becomes "[A broken=[B [C->B B] tok=A] C]"
499                  * and finally "[A [B->A [C->B B] A] C]".
500                  */
501                 if (breaker == broken->pending) {
502                         broken = breaker;
503                         continue;
504                 }
505
506                 if (REWIND_THIS != rew_dohalt(tok, MDOC_BLOCK, breaker))
507                         continue;
508                 if (MDOC_BODY == broken->type)
509                         broken = broken->parent;
510
511                 /*
512                  * Found the breaker.
513                  * If another, outer breaker is already pending on
514                  * the *broken block, we must not clobber the link
515                  * to the outer breaker, but make it pending on the
516                  * new, now inner breaker.
517                  * Graphically, "[A breaker=[B broken=[C->A A] tok=B] C]"
518                  * becomes "[A breaker=[B->A broken=[C A] tok=B] C]"
519                  * and finally "[A [B->A [C->B A] B] C]".
520                  */
521                 if (broken->pending) {
522                         struct mdoc_node *taker;
523
524                         /*
525                          * If the breaker had also been broken before,
526                          * it cannot take on the outer breaker itself,
527                          * but must hand it on to its own breakers.
528                          * Graphically, this is the following situation:
529                          * "[A [B breaker=[C->B B] broken=[D->A A] tok=C] D]"
530                          * "[A taker=[B->A breaker=[C->B B] [D->C A] C] D]"
531                          */
532                         taker = breaker;
533                         while (taker->pending)
534                                 taker = taker->pending;
535                         taker->pending = broken->pending;
536                 }
537                 broken->pending = breaker;
538                 mandoc_vmsg(MANDOCERR_SCOPENEST, mdoc->parse, line, ppos,
539                                 "%s breaks %s", mdoc_macronames[tok],
540                                 mdoc_macronames[broken->tok]);
541                 return(1);
542         }
543
544         /*
545          * Found no matching block for tok.
546          * Are you trying to close a block that is not open?
547          */
548         return(0);
549 }
550
551
552 static int
553 rew_sub(enum mdoc_type t, struct mdoc *mdoc, 
554                 enum mdoct tok, int line, int ppos)
555 {
556         struct mdoc_node *n;
557
558         n = mdoc->last;
559         while (n) {
560                 switch (rew_dohalt(tok, t, n)) {
561                 case (REWIND_NONE):
562                         return(1);
563                 case (REWIND_THIS):
564                         break;
565                 case (REWIND_FORCE):
566                         mandoc_vmsg(MANDOCERR_SCOPEBROKEN, mdoc->parse, 
567                                         line, ppos, "%s breaks %s", 
568                                         mdoc_macronames[tok],
569                                         mdoc_macronames[n->tok]);
570                         /* FALLTHROUGH */
571                 case (REWIND_MORE):
572                         n = n->parent;
573                         continue;
574                 case (REWIND_LATER):
575                         if (make_pending(n, tok, mdoc, line, ppos) ||
576                             MDOC_BLOCK != t)
577                                 return(1);
578                         /* FALLTHROUGH */
579                 case (REWIND_ERROR):
580                         mdoc_pmsg(mdoc, line, ppos, MANDOCERR_NOSCOPE);
581                         return(1);
582                 }
583                 break;
584         }
585
586         assert(n);
587         if ( ! rew_last(mdoc, n))
588                 return(0);
589
590         /*
591          * The current block extends an enclosing block.
592          * Now that the current block ends, close the enclosing block, too.
593          */
594         while (NULL != (n = n->pending)) {
595                 if ( ! rew_last(mdoc, n))
596                         return(0);
597                 if (MDOC_HEAD == n->type &&
598                     ! mdoc_body_alloc(mdoc, n->line, n->pos, n->tok))
599                         return(0);
600         }
601
602         return(1);
603 }
604
605 /*
606  * Allocate a word and check whether it's punctuation or not.
607  * Punctuation consists of those tokens found in mdoc_isdelim().
608  */
609 static int
610 dword(struct mdoc *mdoc, int line, int col, const char *p,
611                 enum mdelim d, int may_append)
612 {
613         
614         if (DELIM_MAX == d)
615                 d = mdoc_isdelim(p);
616
617         if (may_append &&
618             ! ((MDOC_SYNOPSIS | MDOC_KEEP | MDOC_SMOFF) & mdoc->flags) &&
619             DELIM_NONE == d && MDOC_TEXT == mdoc->last->type &&
620             DELIM_NONE == mdoc_isdelim(mdoc->last->string)) {
621                 mdoc_word_append(mdoc, p);
622                 return(1);
623         }
624
625         if ( ! mdoc_word_alloc(mdoc, line, col, p))
626                 return(0);
627
628         if (DELIM_OPEN == d)
629                 mdoc->last->flags |= MDOC_DELIMO;
630
631         /*
632          * Closing delimiters only suppress the preceding space
633          * when they follow something, not when they start a new
634          * block or element, and not when they follow `No'.
635          *
636          * XXX  Explicitly special-casing MDOC_No here feels
637          *      like a layering violation.  Find a better way
638          *      and solve this in the code related to `No'!
639          */
640
641         else if (DELIM_CLOSE == d && mdoc->last->prev &&
642                         mdoc->last->prev->tok != MDOC_No &&
643                         mdoc->last->parent->tok != MDOC_Fd)
644                 mdoc->last->flags |= MDOC_DELIMC;
645
646         return(1);
647 }
648
649 static int
650 append_delims(struct mdoc *mdoc, int line, int *pos, char *buf)
651 {
652         int              la;
653         enum margserr    ac;
654         char            *p;
655
656         if ('\0' == buf[*pos])
657                 return(1);
658
659         for (;;) {
660                 la = *pos;
661                 ac = mdoc_zargs(mdoc, line, pos, buf, &p);
662
663                 if (ARGS_ERROR == ac)
664                         return(0);
665                 else if (ARGS_EOLN == ac)
666                         break;
667
668                 dword(mdoc, line, la, p, DELIM_MAX, 1);
669
670                 /*
671                  * If we encounter end-of-sentence symbols, then trigger
672                  * the double-space.
673                  *
674                  * XXX: it's easy to allow this to propagate outward to
675                  * the last symbol, such that `. )' will cause the
676                  * correct double-spacing.  However, (1) groff isn't
677                  * smart enough to do this and (2) it would require
678                  * knowing which symbols break this behaviour, for
679                  * example, `.  ;' shouldn't propagate the double-space.
680                  */
681                 if (mandoc_eos(p, strlen(p), 0))
682                         mdoc->last->flags |= MDOC_EOS;
683         }
684
685         return(1);
686 }
687
688
689 /*
690  * Close out block partial/full explicit.  
691  */
692 static int
693 blk_exp_close(MACRO_PROT_ARGS)
694 {
695         struct mdoc_node *body;         /* Our own body. */
696         struct mdoc_node *later;        /* A sub-block starting later. */
697         struct mdoc_node *n;            /* For searching backwards. */
698
699         int              j, lastarg, maxargs, flushed, nl;
700         enum margserr    ac;
701         enum mdoct       atok, ntok;
702         char            *p;
703
704         nl = MDOC_NEWLINE & mdoc->flags;
705
706         switch (tok) {
707         case (MDOC_Ec):
708                 maxargs = 1;
709                 break;
710         case (MDOC_Ek):
711                 if ( ! (MDOC_SYNOPSIS & mdoc->flags))
712                         mdoc->flags &= ~MDOC_KEEP;
713         default:
714                 maxargs = 0;
715                 break;
716         }
717
718         /*
719          * Search backwards for beginnings of blocks,
720          * both of our own and of pending sub-blocks.
721          */
722         atok = rew_alt(tok);
723         body = later = NULL;
724         for (n = mdoc->last; n; n = n->parent) {
725                 if (MDOC_VALID & n->flags)
726                         continue;
727
728                 /* Remember the start of our own body. */
729                 if (MDOC_BODY == n->type && atok == n->tok) {
730                         if (ENDBODY_NOT == n->end)
731                                 body = n;
732                         continue;
733                 }
734
735                 if (MDOC_BLOCK != n->type || MDOC_Nm == n->tok)
736                         continue;
737                 if (atok == n->tok) {
738                         assert(body);
739
740                         /*
741                          * Found the start of our own block.
742                          * When there is no pending sub block,
743                          * just proceed to closing out.
744                          */
745                         if (NULL == later)
746                                 break;
747
748                         /* 
749                          * When there is a pending sub block,
750                          * postpone closing out the current block
751                          * until the rew_sub() closing out the sub-block.
752                          */
753                         make_pending(later, tok, mdoc, line, ppos);
754
755                         /*
756                          * Mark the place where the formatting - but not
757                          * the scope - of the current block ends.
758                          */
759                         if ( ! mdoc_endbody_alloc(mdoc, line, ppos,
760                             atok, body, ENDBODY_SPACE))
761                                 return(0);
762                         break;
763                 }
764
765                 /*
766                  * When finding an open sub block, remember the last
767                  * open explicit block, or, in case there are only
768                  * implicit ones, the first open implicit block.
769                  */
770                 if (later &&
771                     MDOC_EXPLICIT & mdoc_macros[later->tok].flags)
772                         continue;
773                 if (MDOC_It != n->tok)
774                         later = n;
775         }
776
777         if ( ! (MDOC_CALLABLE & mdoc_macros[tok].flags)) {
778                 /* FIXME: do this in validate */
779                 if (buf[*pos]) 
780                         mdoc_pmsg(mdoc, line, ppos, MANDOCERR_ARGSLOST);
781
782                 if ( ! rew_sub(MDOC_BODY, mdoc, tok, line, ppos))
783                         return(0);
784                 return(rew_sub(MDOC_BLOCK, mdoc, tok, line, ppos));
785         }
786
787         if ( ! rew_sub(MDOC_BODY, mdoc, tok, line, ppos))
788                 return(0);
789
790         if (NULL == later && maxargs > 0) 
791                 if ( ! mdoc_tail_alloc(mdoc, line, ppos, rew_alt(tok)))
792                         return(0);
793
794         for (flushed = j = 0; ; j++) {
795                 lastarg = *pos;
796
797                 if (j == maxargs && ! flushed) {
798                         if ( ! rew_sub(MDOC_BLOCK, mdoc, tok, line, ppos))
799                                 return(0);
800                         flushed = 1;
801                 }
802
803                 ac = mdoc_args(mdoc, line, pos, buf, tok, &p);
804
805                 if (ARGS_ERROR == ac)
806                         return(0);
807                 if (ARGS_PUNCT == ac)
808                         break;
809                 if (ARGS_EOLN == ac)
810                         break;
811
812                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup(tok, p);
813
814                 if (MDOC_MAX == ntok) {
815                         if ( ! dword(mdoc, line, lastarg, p, DELIM_MAX,
816                             MDOC_JOIN & mdoc_macros[tok].flags))
817                                 return(0);
818                         continue;
819                 }
820
821                 if ( ! flushed) {
822                         if ( ! rew_sub(MDOC_BLOCK, mdoc, tok, line, ppos))
823                                 return(0);
824                         flushed = 1;
825                 }
826
827                 mdoc->flags &= ~MDOC_NEWLINE;
828
829                 if ( ! mdoc_macro(mdoc, ntok, line, lastarg, pos, buf))
830                         return(0);
831                 break;
832         }
833
834         if ( ! flushed && ! rew_sub(MDOC_BLOCK, mdoc, tok, line, ppos))
835                 return(0);
836
837         if ( ! nl)
838                 return(1);
839         return(append_delims(mdoc, line, pos, buf));
840 }
841
842
843 static int
844 in_line(MACRO_PROT_ARGS)
845 {
846         int              la, scope, cnt, nc, nl;
847         enum margverr    av;
848         enum mdoct       ntok;
849         enum margserr    ac;
850         enum mdelim      d;
851         struct mdoc_arg *arg;
852         char            *p;
853
854         nl = MDOC_NEWLINE & mdoc->flags;
855
856         /*
857          * Whether we allow ignored elements (those without content,
858          * usually because of reserved words) to squeak by.
859          */
860
861         switch (tok) {
862         case (MDOC_An):
863                 /* FALLTHROUGH */
864         case (MDOC_Ar):
865                 /* FALLTHROUGH */
866         case (MDOC_Fl):
867                 /* FALLTHROUGH */
868         case (MDOC_Mt):
869                 /* FALLTHROUGH */
870         case (MDOC_Nm):
871                 /* FALLTHROUGH */
872         case (MDOC_Pa):
873                 nc = 1;
874                 break;
875         default:
876                 nc = 0;
877                 break;
878         }
879
880         for (arg = NULL;; ) {
881                 la = *pos;
882                 av = mdoc_argv(mdoc, line, tok, &arg, pos, buf);
883
884                 if (ARGV_WORD == av) {
885                         *pos = la;
886                         break;
887                 } 
888                 if (ARGV_EOLN == av)
889                         break;
890                 if (ARGV_ARG == av)
891                         continue;
892
893                 mdoc_argv_free(arg);
894                 return(0);
895         }
896
897         for (cnt = scope = 0;; ) {
898                 la = *pos;
899                 ac = mdoc_args(mdoc, line, pos, buf, tok, &p);
900
901                 if (ARGS_ERROR == ac)
902                         return(0);
903                 if (ARGS_EOLN == ac)
904                         break;
905                 if (ARGS_PUNCT == ac)
906                         break;
907
908                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup(tok, p);
909
910                 /* 
911                  * In this case, we've located a submacro and must
912                  * execute it.  Close out scope, if open.  If no
913                  * elements have been generated, either create one (nc)
914                  * or raise a warning.
915                  */
916
917                 if (MDOC_MAX != ntok) {
918                         if (scope && ! rew_elem(mdoc, tok))
919                                 return(0);
920                         if (nc && 0 == cnt) {
921                                 if ( ! mdoc_elem_alloc(mdoc, line,
922                                                 ppos, tok, arg))
923                                         return(0);
924                                 if ( ! rew_last(mdoc, mdoc->last))
925                                         return(0);
926                         } else if ( ! nc && 0 == cnt) {
927                                 mdoc_argv_free(arg);
928                                 mdoc_pmsg(mdoc, line, ppos,
929                                         MANDOCERR_MACROEMPTY);
930                         }
931
932                         if ( ! mdoc_macro(mdoc, ntok, line, la, pos, buf))
933                                 return(0);
934                         if ( ! nl)
935                                 return(1);
936                         return(append_delims(mdoc, line, pos, buf));
937                 } 
938
939                 /* 
940                  * Non-quote-enclosed punctuation.  Set up our scope, if
941                  * a word; rewind the scope, if a delimiter; then append
942                  * the word. 
943                  */
944
945                 d = ARGS_QWORD == ac ? DELIM_NONE : mdoc_isdelim(p);
946
947                 if (DELIM_NONE != d) {
948                         /*
949                          * If we encounter closing punctuation, no word
950                          * has been omitted, no scope is open, and we're
951                          * allowed to have an empty element, then start
952                          * a new scope.  `Ar', `Fl', and `Li', only do
953                          * this once per invocation.  There may be more
954                          * of these (all of them?).
955                          */
956                         if (0 == cnt && (nc || MDOC_Li == tok) && 
957                                         DELIM_CLOSE == d && ! scope) {
958                                 if ( ! mdoc_elem_alloc(mdoc, line,
959                                                 ppos, tok, arg))
960                                         return(0);
961                                 if (MDOC_Ar == tok || MDOC_Li == tok || 
962                                                 MDOC_Fl == tok)
963                                         cnt++;
964                                 scope = 1;
965                         }
966                         /*
967                          * Close out our scope, if one is open, before
968                          * any punctuation.
969                          */
970                         if (scope && ! rew_elem(mdoc, tok))
971                                 return(0);
972                         scope = 0;
973                 } else if ( ! scope) {
974                         if ( ! mdoc_elem_alloc(mdoc, line, ppos, tok, arg))
975                                 return(0);
976                         scope = 1;
977                 }
978
979                 if (DELIM_NONE == d)
980                         cnt++;
981
982                 if ( ! dword(mdoc, line, la, p, d,
983                     MDOC_JOIN & mdoc_macros[tok].flags))
984                         return(0);
985
986                 /*
987                  * `Fl' macros have their scope re-opened with each new
988                  * word so that the `-' can be added to each one without
989                  * having to parse out spaces.
990                  */
991                 if (scope && MDOC_Fl == tok) {
992                         if ( ! rew_elem(mdoc, tok))
993                                 return(0);
994                         scope = 0;
995                 }
996         }
997
998         if (scope && ! rew_elem(mdoc, tok))
999                 return(0);
1000
1001         /*
1002          * If no elements have been collected and we're allowed to have
1003          * empties (nc), open a scope and close it out.  Otherwise,
1004          * raise a warning.
1005          */
1006
1007         if (nc && 0 == cnt) {
1008                 if ( ! mdoc_elem_alloc(mdoc, line, ppos, tok, arg))
1009                         return(0);
1010                 if ( ! rew_last(mdoc, mdoc->last))
1011                         return(0);
1012         } else if ( ! nc && 0 == cnt) {
1013                 mdoc_argv_free(arg);
1014                 mdoc_pmsg(mdoc, line, ppos, MANDOCERR_MACROEMPTY);
1015         }
1016
1017         if ( ! nl)
1018                 return(1);
1019         return(append_delims(mdoc, line, pos, buf));
1020 }
1021
1022
1023 static int
1024 blk_full(MACRO_PROT_ARGS)
1025 {
1026         int               la, nl, nparsed;
1027         struct mdoc_arg  *arg;
1028         struct mdoc_node *head; /* save of head macro */
1029         struct mdoc_node *body; /* save of body macro */
1030         struct mdoc_node *n;
1031         enum mdoc_type    mtt;
1032         enum mdoct        ntok;
1033         enum margserr     ac, lac;
1034         enum margverr     av;
1035         char             *p;
1036
1037         nl = MDOC_NEWLINE & mdoc->flags;
1038
1039         /* Close out prior implicit scope. */
1040
1041         if ( ! (MDOC_EXPLICIT & mdoc_macros[tok].flags)) {
1042                 if ( ! rew_sub(MDOC_BODY, mdoc, tok, line, ppos))
1043                         return(0);
1044                 if ( ! rew_sub(MDOC_BLOCK, mdoc, tok, line, ppos))
1045                         return(0);
1046         }
1047
1048         /*
1049          * This routine accommodates implicitly- and explicitly-scoped
1050          * macro openings.  Implicit ones first close out prior scope
1051          * (seen above).  Delay opening the head until necessary to
1052          * allow leading punctuation to print.  Special consideration
1053          * for `It -column', which has phrase-part syntax instead of
1054          * regular child nodes.
1055          */
1056
1057         for (arg = NULL;; ) {
1058                 la = *pos;
1059                 av = mdoc_argv(mdoc, line, tok, &arg, pos, buf);
1060
1061                 if (ARGV_WORD == av) {
1062                         *pos = la;
1063                         break;
1064                 } 
1065
1066                 if (ARGV_EOLN == av)
1067                         break;
1068                 if (ARGV_ARG == av)
1069                         continue;
1070
1071                 mdoc_argv_free(arg);
1072                 return(0);
1073         }
1074
1075         if ( ! mdoc_block_alloc(mdoc, line, ppos, tok, arg))
1076                 return(0);
1077
1078         head = body = NULL;
1079
1080         /*
1081          * Exception: Heads of `It' macros in `-diag' lists are not
1082          * parsed, even though `It' macros in general are parsed.
1083          */
1084         nparsed = MDOC_It == tok &&
1085                 MDOC_Bl == mdoc->last->parent->tok &&
1086                 LIST_diag == mdoc->last->parent->norm->Bl.type;
1087
1088         /*
1089          * The `Nd' macro has all arguments in its body: it's a hybrid
1090          * of block partial-explicit and full-implicit.  Stupid.
1091          */
1092
1093         if (MDOC_Nd == tok) {
1094                 if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
1095                         return(0);
1096                 head = mdoc->last;
1097                 if ( ! rew_sub(MDOC_HEAD, mdoc, tok, line, ppos))
1098                         return(0);
1099                 if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1100                         return(0);
1101                 body = mdoc->last;
1102         }
1103
1104         if (MDOC_Bk == tok)
1105                 mdoc->flags |= MDOC_KEEP;
1106
1107         ac = ARGS_ERROR;
1108
1109         for ( ; ; ) {
1110                 la = *pos;
1111                 /* Initialise last-phrase-type with ARGS_PEND. */
1112                 lac = ARGS_ERROR == ac ? ARGS_PEND : ac;
1113                 ac = mdoc_args(mdoc, line, pos, buf, tok, &p);
1114
1115                 if (ARGS_PUNCT == ac)
1116                         break;
1117
1118                 if (ARGS_ERROR == ac)
1119                         return(0);
1120
1121                 if (ARGS_EOLN == ac) {
1122                         if (ARGS_PPHRASE != lac && ARGS_PHRASE != lac)
1123                                 break;
1124                         /*
1125                          * This is necessary: if the last token on a
1126                          * line is a `Ta' or tab, then we'll get
1127                          * ARGS_EOLN, so we must be smart enough to
1128                          * reopen our scope if the last parse was a
1129                          * phrase or partial phrase.
1130                          */
1131                         if ( ! rew_sub(MDOC_BODY, mdoc, tok, line, ppos))
1132                                 return(0);
1133                         if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1134                                 return(0);
1135                         body = mdoc->last;
1136                         break;
1137                 }
1138
1139                 /* 
1140                  * Emit leading punctuation (i.e., punctuation before
1141                  * the MDOC_HEAD) for non-phrase types.
1142                  */
1143
1144                 if (NULL == head && 
1145                                 ARGS_PEND != ac &&
1146                                 ARGS_PHRASE != ac &&
1147                                 ARGS_PPHRASE != ac &&
1148                                 ARGS_QWORD != ac &&
1149                                 DELIM_OPEN == mdoc_isdelim(p)) {
1150                         if ( ! dword(mdoc, line, la, p, DELIM_OPEN, 0))
1151                                 return(0);
1152                         continue;
1153                 }
1154
1155                 /* Open a head if one hasn't been opened. */
1156
1157                 if (NULL == head) {
1158                         if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
1159                                 return(0);
1160                         head = mdoc->last;
1161                 }
1162
1163                 if (ARGS_PHRASE == ac || 
1164                                 ARGS_PEND == ac ||
1165                                 ARGS_PPHRASE == ac) {
1166                         /*
1167                          * If we haven't opened a body yet, rewind the
1168                          * head; if we have, rewind that instead.
1169                          */
1170
1171                         mtt = body ? MDOC_BODY : MDOC_HEAD;
1172                         if ( ! rew_sub(mtt, mdoc, tok, line, ppos))
1173                                 return(0);
1174                         
1175                         /* Then allocate our body context. */
1176
1177                         if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1178                                 return(0);
1179                         body = mdoc->last;
1180
1181                         /*
1182                          * Process phrases: set whether we're in a
1183                          * partial-phrase (this effects line handling)
1184                          * then call down into the phrase parser.
1185                          */
1186
1187                         if (ARGS_PPHRASE == ac)
1188                                 mdoc->flags |= MDOC_PPHRASE;
1189                         if (ARGS_PEND == ac && ARGS_PPHRASE == lac)
1190                                 mdoc->flags |= MDOC_PPHRASE;
1191
1192                         if ( ! phrase(mdoc, line, la, buf))
1193                                 return(0);
1194
1195                         mdoc->flags &= ~MDOC_PPHRASE;
1196                         continue;
1197                 }
1198
1199                 ntok = nparsed || ARGS_QWORD == ac ? 
1200                         MDOC_MAX : lookup(tok, p);
1201
1202                 if (MDOC_MAX == ntok) {
1203                         if ( ! dword(mdoc, line, la, p, DELIM_MAX,
1204                             MDOC_JOIN & mdoc_macros[tok].flags))
1205                                 return(0);
1206                         continue;
1207                 }
1208
1209                 if ( ! mdoc_macro(mdoc, ntok, line, la, pos, buf))
1210                         return(0);
1211                 break;
1212         }
1213
1214         if (NULL == head) {
1215                 if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
1216                         return(0);
1217                 head = mdoc->last;
1218         }
1219         
1220         if (nl && ! append_delims(mdoc, line, pos, buf))
1221                 return(0);
1222
1223         /* If we've already opened our body, exit now. */
1224
1225         if (NULL != body)
1226                 goto out;
1227
1228         /*
1229          * If there is an open (i.e., unvalidated) sub-block requiring
1230          * explicit close-out, postpone switching the current block from
1231          * head to body until the rew_sub() call closing out that
1232          * sub-block.
1233          */
1234         for (n = mdoc->last; n && n != head; n = n->parent) {
1235                 if (MDOC_BLOCK == n->type && 
1236                                 MDOC_EXPLICIT & mdoc_macros[n->tok].flags &&
1237                                 ! (MDOC_VALID & n->flags)) {
1238                         n->pending = head;
1239                         return(1);
1240                 }
1241         }
1242
1243         /* Close out scopes to remain in a consistent state. */
1244
1245         if ( ! rew_sub(MDOC_HEAD, mdoc, tok, line, ppos))
1246                 return(0);
1247         if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1248                 return(0);
1249
1250 out:
1251         if ( ! (MDOC_FREECOL & mdoc->flags))
1252                 return(1);
1253
1254         if ( ! rew_sub(MDOC_BODY, mdoc, tok, line, ppos))
1255                 return(0);
1256         if ( ! rew_sub(MDOC_BLOCK, mdoc, tok, line, ppos))
1257                 return(0);
1258
1259         mdoc->flags &= ~MDOC_FREECOL;
1260         return(1);
1261 }
1262
1263
1264 static int
1265 blk_part_imp(MACRO_PROT_ARGS)
1266 {
1267         int               la, nl;
1268         enum mdoct        ntok;
1269         enum margserr     ac;
1270         char             *p;
1271         struct mdoc_node *blk; /* saved block context */
1272         struct mdoc_node *body; /* saved body context */
1273         struct mdoc_node *n;
1274
1275         nl = MDOC_NEWLINE & mdoc->flags;
1276
1277         /*
1278          * A macro that spans to the end of the line.  This is generally
1279          * (but not necessarily) called as the first macro.  The block
1280          * has a head as the immediate child, which is always empty,
1281          * followed by zero or more opening punctuation nodes, then the
1282          * body (which may be empty, depending on the macro), then zero
1283          * or more closing punctuation nodes.
1284          */
1285
1286         if ( ! mdoc_block_alloc(mdoc, line, ppos, tok, NULL))
1287                 return(0);
1288
1289         blk = mdoc->last;
1290
1291         if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
1292                 return(0);
1293         if ( ! rew_sub(MDOC_HEAD, mdoc, tok, line, ppos))
1294                 return(0);
1295
1296         /*
1297          * Open the body scope "on-demand", that is, after we've
1298          * processed all our the leading delimiters (open parenthesis,
1299          * etc.).
1300          */
1301
1302         for (body = NULL; ; ) {
1303                 la = *pos;
1304                 ac = mdoc_args(mdoc, line, pos, buf, tok, &p);
1305
1306                 if (ARGS_ERROR == ac)
1307                         return(0);
1308                 if (ARGS_EOLN == ac)
1309                         break;
1310                 if (ARGS_PUNCT == ac)
1311                         break;
1312
1313                 if (NULL == body && ARGS_QWORD != ac &&
1314                                 DELIM_OPEN == mdoc_isdelim(p)) {
1315                         if ( ! dword(mdoc, line, la, p, DELIM_OPEN, 0))
1316                                 return(0);
1317                         continue;
1318                 }
1319
1320                 if (NULL == body) {
1321                        if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1322                                return(0);
1323                         body = mdoc->last;
1324                 }
1325
1326                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup(tok, p);
1327
1328                 if (MDOC_MAX == ntok) {
1329                         if ( ! dword(mdoc, line, la, p, DELIM_MAX,
1330                             MDOC_JOIN & mdoc_macros[tok].flags))
1331                                 return(0);
1332                         continue;
1333                 }
1334
1335                 if ( ! mdoc_macro(mdoc, ntok, line, la, pos, buf))
1336                         return(0);
1337                 break;
1338         }
1339
1340         /* Clean-ups to leave in a consistent state. */
1341
1342         if (NULL == body) {
1343                 if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1344                         return(0);
1345                 body = mdoc->last;
1346         }
1347
1348         for (n = body->child; n && n->next; n = n->next)
1349                 /* Do nothing. */ ;
1350         
1351         /* 
1352          * End of sentence spacing: if the last node is a text node and
1353          * has a trailing period, then mark it as being end-of-sentence.
1354          */
1355
1356         if (n && MDOC_TEXT == n->type && n->string)
1357                 if (mandoc_eos(n->string, strlen(n->string), 1))
1358                         n->flags |= MDOC_EOS;
1359
1360         /* Up-propagate the end-of-space flag. */
1361
1362         if (n && (MDOC_EOS & n->flags)) {
1363                 body->flags |= MDOC_EOS;
1364                 body->parent->flags |= MDOC_EOS;
1365         }
1366
1367         /*
1368          * If there is an open sub-block requiring explicit close-out,
1369          * postpone closing out the current block
1370          * until the rew_sub() call closing out the sub-block.
1371          */
1372         for (n = mdoc->last; n && n != body && n != blk->parent;
1373                         n = n->parent) {
1374                 if (MDOC_BLOCK == n->type &&
1375                     MDOC_EXPLICIT & mdoc_macros[n->tok].flags &&
1376                     ! (MDOC_VALID & n->flags)) {
1377                         make_pending(n, tok, mdoc, line, ppos);
1378                         if ( ! mdoc_endbody_alloc(mdoc, line, ppos,
1379                             tok, body, ENDBODY_NOSPACE))
1380                                 return(0);
1381                         return(1);
1382                 }
1383         }
1384
1385         /* 
1386          * If we can't rewind to our body, then our scope has already
1387          * been closed by another macro (like `Oc' closing `Op').  This
1388          * is ugly behaviour nodding its head to OpenBSD's overwhelming
1389          * crufty use of `Op' breakage.
1390          */
1391         if (n != body)
1392                 mandoc_vmsg(MANDOCERR_SCOPENEST, mdoc->parse, line, ppos, 
1393                                 "%s broken", mdoc_macronames[tok]);
1394
1395         if (n && ! rew_sub(MDOC_BODY, mdoc, tok, line, ppos))
1396                 return(0);
1397
1398         /* Standard appending of delimiters. */
1399
1400         if (nl && ! append_delims(mdoc, line, pos, buf))
1401                 return(0);
1402
1403         /* Rewind scope, if applicable. */
1404
1405         if (n && ! rew_sub(MDOC_BLOCK, mdoc, tok, line, ppos))
1406                 return(0);
1407
1408         /* Move trailing .Ns out of scope. */
1409
1410         for (n = body->child; n && n->next; n = n->next)
1411                 /* Do nothing. */ ;
1412         if (n && MDOC_Ns == n->tok)
1413                 mdoc_node_relink(mdoc, n);
1414
1415         return(1);
1416 }
1417
1418
1419 static int
1420 blk_part_exp(MACRO_PROT_ARGS)
1421 {
1422         int               la, nl;
1423         enum margserr     ac;
1424         struct mdoc_node *head; /* keep track of head */
1425         struct mdoc_node *body; /* keep track of body */
1426         char             *p;
1427         enum mdoct        ntok;
1428
1429         nl = MDOC_NEWLINE & mdoc->flags;
1430
1431         /*
1432          * The opening of an explicit macro having zero or more leading
1433          * punctuation nodes; a head with optional single element (the
1434          * case of `Eo'); and a body that may be empty.
1435          */
1436
1437         if ( ! mdoc_block_alloc(mdoc, line, ppos, tok, NULL))
1438                 return(0); 
1439
1440         for (head = body = NULL; ; ) {
1441                 la = *pos;
1442                 ac = mdoc_args(mdoc, line, pos, buf, tok, &p);
1443
1444                 if (ARGS_ERROR == ac)
1445                         return(0);
1446                 if (ARGS_PUNCT == ac)
1447                         break;
1448                 if (ARGS_EOLN == ac)
1449                         break;
1450
1451                 /* Flush out leading punctuation. */
1452
1453                 if (NULL == head && ARGS_QWORD != ac &&
1454                                 DELIM_OPEN == mdoc_isdelim(p)) {
1455                         assert(NULL == body);
1456                         if ( ! dword(mdoc, line, la, p, DELIM_OPEN, 0))
1457                                 return(0);
1458                         continue;
1459                 }
1460
1461                 if (NULL == head) {
1462                         assert(NULL == body);
1463                         if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
1464                                 return(0);
1465                         head = mdoc->last;
1466                 }
1467
1468                 /*
1469                  * `Eo' gobbles any data into the head, but most other
1470                  * macros just immediately close out and begin the body.
1471                  */
1472
1473                 if (NULL == body) {
1474                         assert(head);
1475                         /* No check whether it's a macro! */
1476                         if (MDOC_Eo == tok)
1477                                 if ( ! dword(mdoc, line, la, p, DELIM_MAX, 0))
1478                                         return(0);
1479
1480                         if ( ! rew_sub(MDOC_HEAD, mdoc, tok, line, ppos))
1481                                 return(0);
1482                         if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1483                                 return(0);
1484                         body = mdoc->last;
1485
1486                         if (MDOC_Eo == tok)
1487                                 continue;
1488                 }
1489
1490                 assert(NULL != head && NULL != body);
1491
1492                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup(tok, p);
1493
1494                 if (MDOC_MAX == ntok) {
1495                         if ( ! dword(mdoc, line, la, p, DELIM_MAX,
1496                             MDOC_JOIN & mdoc_macros[tok].flags))
1497                                 return(0);
1498                         continue;
1499                 }
1500
1501                 if ( ! mdoc_macro(mdoc, ntok, line, la, pos, buf))
1502                         return(0);
1503                 break;
1504         }
1505
1506         /* Clean-up to leave in a consistent state. */
1507
1508         if (NULL == head)
1509                 if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
1510                         return(0);
1511
1512         if (NULL == body) {
1513                 if ( ! rew_sub(MDOC_HEAD, mdoc, tok, line, ppos))
1514                         return(0);
1515                 if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
1516                         return(0);
1517         }
1518
1519         /* Standard appending of delimiters. */
1520
1521         if ( ! nl)
1522                 return(1);
1523         return(append_delims(mdoc, line, pos, buf));
1524 }
1525
1526
1527 /* ARGSUSED */
1528 static int
1529 in_line_argn(MACRO_PROT_ARGS)
1530 {
1531         int              la, flushed, j, maxargs, nl;
1532         enum margserr    ac;
1533         enum margverr    av;
1534         struct mdoc_arg *arg;
1535         char            *p;
1536         enum mdoct       ntok;
1537
1538         nl = MDOC_NEWLINE & mdoc->flags;
1539
1540         /*
1541          * A line macro that has a fixed number of arguments (maxargs).
1542          * Only open the scope once the first non-leading-punctuation is
1543          * found (unless MDOC_IGNDELIM is noted, like in `Pf'), then
1544          * keep it open until the maximum number of arguments are
1545          * exhausted.
1546          */
1547
1548         switch (tok) {
1549         case (MDOC_Ap):
1550                 /* FALLTHROUGH */
1551         case (MDOC_No):
1552                 /* FALLTHROUGH */
1553         case (MDOC_Ns):
1554                 /* FALLTHROUGH */
1555         case (MDOC_Ux):
1556                 maxargs = 0;
1557                 break;
1558         case (MDOC_Bx):
1559                 /* FALLTHROUGH */
1560         case (MDOC_Xr):
1561                 maxargs = 2;
1562                 break;
1563         default:
1564                 maxargs = 1;
1565                 break;
1566         }
1567
1568         for (arg = NULL; ; ) {
1569                 la = *pos;
1570                 av = mdoc_argv(mdoc, line, tok, &arg, pos, buf);
1571
1572                 if (ARGV_WORD == av) {
1573                         *pos = la;
1574                         break;
1575                 } 
1576
1577                 if (ARGV_EOLN == av)
1578                         break;
1579                 if (ARGV_ARG == av)
1580                         continue;
1581
1582                 mdoc_argv_free(arg);
1583                 return(0);
1584         }
1585
1586         for (flushed = j = 0; ; ) {
1587                 la = *pos;
1588                 ac = mdoc_args(mdoc, line, pos, buf, tok, &p);
1589
1590                 if (ARGS_ERROR == ac)
1591                         return(0);
1592                 if (ARGS_PUNCT == ac)
1593                         break;
1594                 if (ARGS_EOLN == ac)
1595                         break;
1596
1597                 if ( ! (MDOC_IGNDELIM & mdoc_macros[tok].flags) && 
1598                                 ARGS_QWORD != ac && 0 == j && 
1599                                 DELIM_OPEN == mdoc_isdelim(p)) {
1600                         if ( ! dword(mdoc, line, la, p, DELIM_OPEN, 0))
1601                                 return(0);
1602                         continue;
1603                 } else if (0 == j)
1604                        if ( ! mdoc_elem_alloc(mdoc, line, la, tok, arg))
1605                                return(0);
1606
1607                 if (j == maxargs && ! flushed) {
1608                         if ( ! rew_elem(mdoc, tok))
1609                                 return(0);
1610                         flushed = 1;
1611                 }
1612
1613                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup(tok, p);
1614
1615                 if (MDOC_MAX != ntok) {
1616                         if ( ! flushed && ! rew_elem(mdoc, tok))
1617                                 return(0);
1618                         flushed = 1;
1619                         if ( ! mdoc_macro(mdoc, ntok, line, la, pos, buf))
1620                                 return(0);
1621                         j++;
1622                         break;
1623                 }
1624
1625                 if ( ! (MDOC_IGNDELIM & mdoc_macros[tok].flags) &&
1626                                 ARGS_QWORD != ac &&
1627                                 ! flushed &&
1628                                 DELIM_NONE != mdoc_isdelim(p)) {
1629                         if ( ! rew_elem(mdoc, tok))
1630                                 return(0);
1631                         flushed = 1;
1632                 }
1633
1634                 if ( ! dword(mdoc, line, la, p, DELIM_MAX,
1635                     MDOC_JOIN & mdoc_macros[tok].flags))
1636                         return(0);
1637                 j++;
1638         }
1639
1640         if (0 == j && ! mdoc_elem_alloc(mdoc, line, la, tok, arg))
1641                return(0);
1642
1643         /* Close out in a consistent state. */
1644
1645         if ( ! flushed && ! rew_elem(mdoc, tok))
1646                 return(0);
1647         if ( ! nl)
1648                 return(1);
1649         return(append_delims(mdoc, line, pos, buf));
1650 }
1651
1652
1653 static int
1654 in_line_eoln(MACRO_PROT_ARGS)
1655 {
1656         int              la;
1657         enum margserr    ac;
1658         enum margverr    av;
1659         struct mdoc_arg *arg;
1660         char            *p;
1661         enum mdoct       ntok;
1662
1663         assert( ! (MDOC_PARSED & mdoc_macros[tok].flags));
1664
1665         if (tok == MDOC_Pp)
1666                 rew_sub(MDOC_BLOCK, mdoc, MDOC_Nm, line, ppos);
1667
1668         /* Parse macro arguments. */
1669
1670         for (arg = NULL; ; ) {
1671                 la = *pos;
1672                 av = mdoc_argv(mdoc, line, tok, &arg, pos, buf);
1673
1674                 if (ARGV_WORD == av) {
1675                         *pos = la;
1676                         break;
1677                 }
1678                 if (ARGV_EOLN == av) 
1679                         break;
1680                 if (ARGV_ARG == av)
1681                         continue;
1682
1683                 mdoc_argv_free(arg);
1684                 return(0);
1685         }
1686
1687         /* Open element scope. */
1688
1689         if ( ! mdoc_elem_alloc(mdoc, line, ppos, tok, arg))
1690                 return(0);
1691
1692         /* Parse argument terms. */
1693
1694         for (;;) {
1695                 la = *pos;
1696                 ac = mdoc_args(mdoc, line, pos, buf, tok, &p);
1697
1698                 if (ARGS_ERROR == ac)
1699                         return(0);
1700                 if (ARGS_EOLN == ac)
1701                         break;
1702
1703                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup(tok, p);
1704
1705                 if (MDOC_MAX == ntok) {
1706                         if ( ! dword(mdoc, line, la, p, DELIM_MAX,
1707                             MDOC_JOIN & mdoc_macros[tok].flags))
1708                                 return(0);
1709                         continue;
1710                 }
1711
1712                 if ( ! rew_elem(mdoc, tok))
1713                         return(0);
1714                 return(mdoc_macro(mdoc, ntok, line, la, pos, buf));
1715         }
1716
1717         /* Close out (no delimiters). */
1718
1719         return(rew_elem(mdoc, tok));
1720 }
1721
1722
1723 /* ARGSUSED */
1724 static int
1725 ctx_synopsis(MACRO_PROT_ARGS)
1726 {
1727         int              nl;
1728
1729         nl = MDOC_NEWLINE & mdoc->flags;
1730
1731         /* If we're not in the SYNOPSIS, go straight to in-line. */
1732         if ( ! (MDOC_SYNOPSIS & mdoc->flags))
1733                 return(in_line(mdoc, tok, line, ppos, pos, buf));
1734
1735         /* If we're a nested call, same place. */
1736         if ( ! nl)
1737                 return(in_line(mdoc, tok, line, ppos, pos, buf));
1738
1739         /*
1740          * XXX: this will open a block scope; however, if later we end
1741          * up formatting the block scope, then child nodes will inherit
1742          * the formatting.  Be careful.
1743          */
1744         if (MDOC_Nm == tok)
1745                 return(blk_full(mdoc, tok, line, ppos, pos, buf));
1746         assert(MDOC_Vt == tok);
1747         return(blk_part_imp(mdoc, tok, line, ppos, pos, buf));
1748 }
1749
1750
1751 /* ARGSUSED */
1752 static int
1753 obsolete(MACRO_PROT_ARGS)
1754 {
1755
1756         mdoc_pmsg(mdoc, line, ppos, MANDOCERR_MACROOBS);
1757         return(1);
1758 }
1759
1760
1761 /*
1762  * Phrases occur within `Bl -column' entries, separated by `Ta' or tabs.
1763  * They're unusual because they're basically free-form text until a
1764  * macro is encountered.
1765  */
1766 static int
1767 phrase(struct mdoc *mdoc, int line, int ppos, char *buf)
1768 {
1769         int              la, pos;
1770         enum margserr    ac;
1771         enum mdoct       ntok;
1772         char            *p;
1773
1774         for (pos = ppos; ; ) {
1775                 la = pos;
1776
1777                 ac = mdoc_zargs(mdoc, line, &pos, buf, &p);
1778
1779                 if (ARGS_ERROR == ac)
1780                         return(0);
1781                 if (ARGS_EOLN == ac)
1782                         break;
1783
1784                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup_raw(p);
1785
1786                 if (MDOC_MAX == ntok) {
1787                         if ( ! dword(mdoc, line, la, p, DELIM_MAX, 1))
1788                                 return(0);
1789                         continue;
1790                 }
1791
1792                 if ( ! mdoc_macro(mdoc, ntok, line, la, &pos, buf))
1793                         return(0);
1794                 return(append_delims(mdoc, line, &pos, buf));
1795         }
1796
1797         return(1);
1798 }
1799
1800
1801 /* ARGSUSED */
1802 static int
1803 phrase_ta(MACRO_PROT_ARGS)
1804 {
1805         struct mdoc_node *n;
1806         int               la;
1807         enum mdoct        ntok;
1808         enum margserr     ac;
1809         char             *p;
1810
1811         /* Make sure we are in a column list or ignore this macro. */
1812         n = mdoc->last;
1813         while (NULL != n && MDOC_Bl != n->tok)
1814                 n = n->parent;
1815         if (NULL == n || LIST_column != n->norm->Bl.type) {
1816                 mdoc_pmsg(mdoc, line, ppos, MANDOCERR_STRAYTA);
1817                 return(1);
1818         }
1819
1820         /* Advance to the next column. */
1821         if ( ! rew_sub(MDOC_BODY, mdoc, MDOC_It, line, ppos))
1822                 return(0);
1823         if ( ! mdoc_body_alloc(mdoc, line, ppos, MDOC_It))
1824                 return(0);
1825
1826         for (;;) {
1827                 la = *pos;
1828                 ac = mdoc_zargs(mdoc, line, pos, buf, &p);
1829
1830                 if (ARGS_ERROR == ac)
1831                         return(0);
1832                 if (ARGS_EOLN == ac)
1833                         break;
1834
1835                 ntok = ARGS_QWORD == ac ? MDOC_MAX : lookup_raw(p);
1836
1837                 if (MDOC_MAX == ntok) {
1838                         if ( ! dword(mdoc, line, la, p, DELIM_MAX,
1839                             MDOC_JOIN & mdoc_macros[tok].flags))
1840                                 return(0);
1841                         continue;
1842                 }
1843
1844                 if ( ! mdoc_macro(mdoc, ntok, line, la, pos, buf))
1845                         return(0);
1846                 return(append_delims(mdoc, line, pos, buf));
1847         }
1848
1849         return(1);
1850 }