95aad3d56a55d1a8f4ab0f0941496d9e9ac89981
[dragonfly.git] / bin / pax / tables.c
1 /*-
2  * Copyright (c) 1992 Keith Muller.
3  * Copyright (c) 1992, 1993
4  *      The Regents of the University of California.  All rights reserved.
5  *
6  * This code is derived from software contributed to Berkeley by
7  * Keith Muller of the University of California, San Diego.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. All advertising materials mentioning features or use of this software
18  *    must display the following acknowledgement:
19  *      This product includes software developed by the University of
20  *      California, Berkeley and its contributors.
21  * 4. Neither the name of the University nor the names of its contributors
22  *    may be used to endorse or promote products derived from this software
23  *    without specific prior written permission.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
26  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
29  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
30  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
31  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
32  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
33  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
34  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
35  * SUCH DAMAGE.
36  *
37  * @(#)tables.c 8.1 (Berkeley) 5/31/93
38  * $FreeBSD: src/bin/pax/tables.c,v 1.13.2.1 2001/08/01 05:03:12 obrien Exp $
39  * $DragonFly: src/bin/pax/tables.c,v 1.5 2004/10/30 13:34:50 liamfoy Exp $
40  */
41
42 #include <sys/types.h>
43 #include <sys/time.h>
44 #include <sys/stat.h>
45 #include <sys/fcntl.h>
46 #include <errno.h>
47 #include <stdio.h>
48 #include <stdlib.h>
49 #include <string.h>
50 #include <unistd.h>
51 #include "pax.h"
52 #include "tables.h"
53 #include "extern.h"
54
55 /*
56  * Routines for controlling the contents of all the different databases pax
57  * keeps. Tables are dynamically created only when they are needed. The
58  * goal was speed and the ability to work with HUGE archives. The databases
59  * were kept simple, but do have complex rules for when the contents change.
60  * As of this writing, the POSIX library functions were more complex than
61  * needed for this application (pax databases have very short lifetimes and
62  * do not survive after pax is finished). Pax is required to handle very
63  * large archives. These database routines carefully combine memory usage and
64  * temporary file storage in ways which will not significantly impact runtime
65  * performance while allowing the largest possible archives to be handled.
66  * Trying to force the fit to the POSIX databases routines was not considered
67  * time well spent.
68  */
69
70 static HRDLNK **ltab = NULL;    /* hard link table for detecting hard links */
71 static FTM **ftab = NULL;       /* file time table for updating arch */
72 static NAMT **ntab = NULL;      /* interactive rename storage table */
73 static DEVT **dtab = NULL;      /* device/inode mapping tables */
74 static ATDIR **atab = NULL;     /* file tree directory time reset table */
75 static int dirfd = -1;          /* storage for setting created dir time/mode */
76 static u_long dircnt;           /* entries in dir time/mode storage */
77 static int ffd = -1;            /* tmp file for file time table name storage */
78
79 static DEVT *chk_dev (dev_t, int);
80
81 /*
82  * hard link table routines
83  *
84  * The hard link table tries to detect hard links to files using the device and
85  * inode values. We do this when writing an archive, so we can tell the format
86  * write routine that this file is a hard link to another file. The format
87  * write routine then can store this file in whatever way it wants (as a hard
88  * link if the format supports that like tar, or ignore this info like cpio).
89  * (Actually a field in the format driver table tells us if the format wants
90  * hard link info. if not, we do not waste time looking for them). We also use
91  * the same table when reading an archive. In that situation, this table is
92  * used by the format read routine to detect hard links from stored dev and
93  * inode numbers (like cpio). This will allow pax to create a link when one
94  * can be detected by the archive format.
95  */
96
97 /*
98  * lnk_start
99  *      Creates the hard link table.
100  * Return:
101  *      0 if created, -1 if failure
102  */
103
104 int
105 lnk_start(void)
106 {
107         if (ltab != NULL)
108                 return(0);
109         if ((ltab = (HRDLNK **)calloc(L_TAB_SZ, sizeof(HRDLNK *))) == NULL) {
110                 paxwarn(1, "Cannot allocate memory for hard link table");
111                 return(-1);
112         }
113         return(0);
114 }
115
116 /*
117  * chk_lnk()
118  *      Looks up entry in hard link hash table. If found, it copies the name
119  *      of the file it is linked to (we already saw that file) into ln_name.
120  *      lnkcnt is decremented and if goes to 1 the node is deleted from the
121  *      database. (We have seen all the links to this file). If not found,
122  *      we add the file to the database if it has the potential for having
123  *      hard links to other files we may process (it has a link count > 1)
124  * Return:
125  *      if found returns 1; if not found returns 0; -1 on error
126  */
127
128 int
129 chk_lnk(ARCHD *arcn)
130 {
131         HRDLNK *pt;
132         HRDLNK **ppt;
133         u_int indx;
134
135         if (ltab == NULL)
136                 return(-1);
137         /*
138          * ignore those nodes that cannot have hard links
139          */
140         if ((arcn->type == PAX_DIR) || (arcn->sb.st_nlink <= 1))
141                 return(0);
142
143         /*
144          * hash inode number and look for this file
145          */
146         indx = ((unsigned)arcn->sb.st_ino) % L_TAB_SZ;
147         if ((pt = ltab[indx]) != NULL) {
148                 /*
149                  * it's hash chain in not empty, walk down looking for it
150                  */
151                 ppt = &(ltab[indx]);
152                 while (pt != NULL) {
153                         if ((pt->ino == arcn->sb.st_ino) &&
154                             (pt->dev == arcn->sb.st_dev))
155                                 break;
156                         ppt = &(pt->fow);
157                         pt = pt->fow;
158                 }
159
160                 if (pt != NULL) {
161                         /*
162                          * found a link. set the node type and copy in the
163                          * name of the file it is to link to. we need to
164                          * handle hardlinks to regular files differently than
165                          * other links.
166                          */
167                         arcn->ln_nlen = l_strncpy(arcn->ln_name, pt->name,
168                                 sizeof(arcn->ln_name) - 1);
169                         arcn->ln_name[arcn->ln_nlen] = '\0';
170                         if (arcn->type == PAX_REG)
171                                 arcn->type = PAX_HRG;
172                         else
173                                 arcn->type = PAX_HLK;
174
175                         /*
176                          * if we have found all the links to this file, remove
177                          * it from the database
178                          */
179                         if (--pt->nlink <= 1) {
180                                 *ppt = pt->fow;
181                                 (void)free((char *)pt->name);
182                                 (void)free((char *)pt);
183                         }
184                         return(1);
185                 }
186         }
187
188         /*
189          * we never saw this file before. It has links so we add it to the
190          * front of this hash chain
191          */
192         if ((pt = (HRDLNK *)malloc(sizeof(HRDLNK))) != NULL) {
193                 if ((pt->name = strdup(arcn->name)) != NULL) {
194                         pt->dev = arcn->sb.st_dev;
195                         pt->ino = arcn->sb.st_ino;
196                         pt->nlink = arcn->sb.st_nlink;
197                         pt->fow = ltab[indx];
198                         ltab[indx] = pt;
199                         return(0);
200                 }
201                 (void)free((char *)pt);
202         }
203
204         paxwarn(1, "Hard link table out of memory");
205         return(-1);
206 }
207
208 /*
209  * purg_lnk
210  *      remove reference for a file that we may have added to the data base as
211  *      a potential source for hard links. We ended up not using the file, so
212  *      we do not want to accidently point another file at it later on.
213  */
214
215 void
216 purg_lnk(ARCHD *arcn)
217 {
218         HRDLNK *pt;
219         HRDLNK **ppt;
220         u_int indx;
221
222         if (ltab == NULL)
223                 return;
224         /*
225          * do not bother to look if it could not be in the database
226          */
227         if ((arcn->sb.st_nlink <= 1) || (arcn->type == PAX_DIR) ||
228             (arcn->type == PAX_HLK) || (arcn->type == PAX_HRG))
229                 return;
230
231         /*
232          * find the hash chain for this inode value, if empty return
233          */
234         indx = ((unsigned)arcn->sb.st_ino) % L_TAB_SZ;
235         if ((pt = ltab[indx]) == NULL)
236                 return;
237
238         /*
239          * walk down the list looking for the inode/dev pair, unlink and
240          * free if found
241          */
242         ppt = &(ltab[indx]);
243         while (pt != NULL) {
244                 if ((pt->ino == arcn->sb.st_ino) &&
245                     (pt->dev == arcn->sb.st_dev))
246                         break;
247                 ppt = &(pt->fow);
248                 pt = pt->fow;
249         }
250         if (pt == NULL)
251                 return;
252
253         /*
254          * remove and free it
255          */
256         *ppt = pt->fow;
257         (void)free((char *)pt->name);
258         (void)free((char *)pt);
259 }
260
261 /*
262  * lnk_end()
263  *      pull apart a existing link table so we can reuse it. We do this between
264  *      read and write phases of append with update. (The format may have
265  *      used the link table, and we need to start with a fresh table for the
266  *      write phase
267  */
268
269 void
270 lnk_end(void)
271 {
272         int i;
273         HRDLNK *pt;
274         HRDLNK *ppt;
275
276         if (ltab == NULL)
277                 return;
278
279         for (i = 0; i < L_TAB_SZ; ++i) {
280                 if (ltab[i] == NULL)
281                         continue;
282                 pt = ltab[i];
283                 ltab[i] = NULL;
284
285                 /*
286                  * free up each entry on this chain
287                  */
288                 while (pt != NULL) {
289                         ppt = pt;
290                         pt = ppt->fow;
291                         (void)free((char *)ppt->name);
292                         (void)free((char *)ppt);
293                 }
294         }
295         return;
296 }
297
298 /*
299  * modification time table routines
300  *
301  * The modification time table keeps track of last modification times for all
302  * files stored in an archive during a write phase when -u is set. We only
303  * add a file to the archive if it is newer than a file with the same name
304  * already stored on the archive (if there is no other file with the same
305  * name on the archive it is added). This applies to writes and appends.
306  * An append with an -u must read the archive and store the modification time
307  * for every file on that archive before starting the write phase. It is clear
308  * that this is one HUGE database. To save memory space, the actual file names
309  * are stored in a scatch file and indexed by an in memory hash table. The
310  * hash table is indexed by hashing the file path. The nodes in the table store
311  * the length of the filename and the lseek offset within the scratch file
312  * where the actual name is stored. Since there are never any deletions to this
313  * table, fragmentation of the scratch file is never a issue. Lookups seem to
314  * not exhibit any locality at all (files in the database are rarely
315  * looked up more than once...). So caching is just a waste of memory. The
316  * only limitation is the amount of scatch file space available to store the
317  * path names.
318  */
319
320 /*
321  * ftime_start()
322  *      create the file time hash table and open for read/write the scratch
323  *      file. (after created it is unlinked, so when we exit we leave
324  *      no witnesses).
325  * Return:
326  *      0 if the table and file was created ok, -1 otherwise
327  */
328
329 int
330 ftime_start(void)
331 {
332
333         if (ftab != NULL)
334                 return(0);
335         if ((ftab = (FTM **)calloc(F_TAB_SZ, sizeof(FTM *))) == NULL) {
336                 paxwarn(1, "Cannot allocate memory for file time table");
337                 return(-1);
338         }
339
340         /*
341          * get random name and create temporary scratch file, unlink name
342          * so it will get removed on exit
343          */
344         memcpy(tempbase, _TFILE_BASE, sizeof(_TFILE_BASE));
345         if ((ffd = mkstemp(tempfile)) < 0) {
346                 syswarn(1, errno, "Unable to create temporary file: %s",
347                     tempfile);
348                 return(-1);
349         }
350         (void)unlink(tempfile);
351
352         return(0);
353 }
354
355 /*
356  * chk_ftime()
357  *      looks up entry in file time hash table. If not found, the file is
358  *      added to the hash table and the file named stored in the scratch file.
359  *      If a file with the same name is found, the file times are compared and
360  *      the most recent file time is retained. If the new file was younger (or
361  *      was not in the database) the new file is selected for storage.
362  * Return:
363  *      0 if file should be added to the archive, 1 if it should be skipped,
364  *      -1 on error
365  */
366
367 int
368 chk_ftime(ARCHD *arcn)
369 {
370         FTM *pt;
371         int namelen;
372         u_int indx;
373         char ckname[PAXPATHLEN+1];
374
375         /*
376          * no info, go ahead and add to archive
377          */
378         if (ftab == NULL)
379                 return(0);
380
381         /*
382          * hash the pathname and look up in table
383          */
384         namelen = arcn->nlen;
385         indx = st_hash(arcn->name, namelen, F_TAB_SZ);
386         if ((pt = ftab[indx]) != NULL) {
387                 /*
388                  * the hash chain is not empty, walk down looking for match
389                  * only read up the path names if the lengths match, speeds
390                  * up the search a lot
391                  */
392                 while (pt != NULL) {
393                         if (pt->namelen == namelen) {
394                                 /*
395                                  * potential match, have to read the name
396                                  * from the scratch file.
397                                  */
398                                 if (lseek(ffd,pt->seek,SEEK_SET) != pt->seek) {
399                                         syswarn(1, errno,
400                                             "Failed ftime table seek");
401                                         return(-1);
402                                 }
403                                 if (read(ffd, ckname, namelen) != namelen) {
404                                         syswarn(1, errno,
405                                             "Failed ftime table read");
406                                         return(-1);
407                                 }
408
409                                 /*
410                                  * if the names match, we are done
411                                  */
412                                 if (!strncmp(ckname, arcn->name, namelen))
413                                         break;
414                         }
415
416                         /*
417                          * try the next entry on the chain
418                          */
419                         pt = pt->fow;
420                 }
421
422                 if (pt != NULL) {
423                         /*
424                          * found the file, compare the times, save the newer
425                          */
426                         if (arcn->sb.st_mtime > pt->mtime) {
427                                 /*
428                                  * file is newer
429                                  */
430                                 pt->mtime = arcn->sb.st_mtime;
431                                 return(0);
432                         }
433                         /*
434                          * file is older
435                          */
436                         return(1);
437                 }
438         }
439
440         /*
441          * not in table, add it
442          */
443         if ((pt = (FTM *)malloc(sizeof(FTM))) != NULL) {
444                 /*
445                  * add the name at the end of the scratch file, saving the
446                  * offset. add the file to the head of the hash chain
447                  */
448                 if ((pt->seek = lseek(ffd, (off_t)0, SEEK_END)) >= 0) {
449                         if (write(ffd, arcn->name, namelen) == namelen) {
450                                 pt->mtime = arcn->sb.st_mtime;
451                                 pt->namelen = namelen;
452                                 pt->fow = ftab[indx];
453                                 ftab[indx] = pt;
454                                 return(0);
455                         }
456                         syswarn(1, errno, "Failed write to file time table");
457                 } else
458                         syswarn(1, errno, "Failed seek on file time table");
459         } else
460                 paxwarn(1, "File time table ran out of memory");
461
462         if (pt != NULL)
463                 (void)free((char *)pt);
464         return(-1);
465 }
466
467 /*
468  * Interactive rename table routines
469  *
470  * The interactive rename table keeps track of the new names that the user
471  * assigns to files from tty input. Since this map is unique for each file
472  * we must store it in case there is a reference to the file later in archive
473  * (a link). Otherwise we will be unable to find the file we know was
474  * extracted. The remapping of these files is stored in a memory based hash
475  * table (it is assumed since input must come from /dev/tty, it is unlikely to
476  * be a very large table).
477  */
478
479 /*
480  * name_start()
481  *      create the interactive rename table
482  * Return:
483  *      0 if successful, -1 otherwise
484  */
485
486 int
487 name_start(void)
488 {
489         if (ntab != NULL)
490                 return(0);
491         if ((ntab = (NAMT **)calloc(N_TAB_SZ, sizeof(NAMT *))) == NULL) {
492                 paxwarn(1, "Cannot allocate memory for interactive rename table");
493                 return(-1);
494         }
495         return(0);
496 }
497
498 /*
499  * add_name()
500  *      add the new name to old name mapping just created by the user.
501  *      If an old name mapping is found (there may be duplicate names on an
502  *      archive) only the most recent is kept.
503  * Return:
504  *      0 if added, -1 otherwise
505  */
506
507 int
508 add_name(char *oname, int onamelen, char *nname)
509 {
510         NAMT *pt;
511         u_int indx;
512
513         if (ntab == NULL) {
514                 /*
515                  * should never happen
516                  */
517                 paxwarn(0, "No interactive rename table, links may fail\n");
518                 return(0);
519         }
520
521         /*
522          * look to see if we have already mapped this file, if so we
523          * will update it
524          */
525         indx = st_hash(oname, onamelen, N_TAB_SZ);
526         if ((pt = ntab[indx]) != NULL) {
527                 /*
528                  * look down the has chain for the file
529                  */
530                 while ((pt != NULL) && (strcmp(oname, pt->oname) != 0))
531                         pt = pt->fow;
532
533                 if (pt != NULL) {
534                         /*
535                          * found an old mapping, replace it with the new one
536                          * the user just input (if it is different)
537                          */
538                         if (strcmp(nname, pt->nname) == 0)
539                                 return(0);
540
541                         (void)free((char *)pt->nname);
542                         if ((pt->nname = strdup(nname)) == NULL) {
543                                 paxwarn(1, "Cannot update rename table");
544                                 return(-1);
545                         }
546                         return(0);
547                 }
548         }
549
550         /*
551          * this is a new mapping, add it to the table
552          */
553         if ((pt = (NAMT *)malloc(sizeof(NAMT))) != NULL) {
554                 if ((pt->oname = strdup(oname)) != NULL) {
555                         if ((pt->nname = strdup(nname)) != NULL) {
556                                 pt->fow = ntab[indx];
557                                 ntab[indx] = pt;
558                                 return(0);
559                         }
560                         (void)free((char *)pt->oname);
561                 }
562                 (void)free((char *)pt);
563         }
564         paxwarn(1, "Interactive rename table out of memory");
565         return(-1);
566 }
567
568 /*
569  * sub_name()
570  *      look up a link name to see if it points at a file that has been
571  *      remapped by the user. If found, the link is adjusted to contain the
572  *      new name (oname is the link to name)
573  */
574
575 void
576 sub_name(char *oname, int *onamelen, size_t onamesize)
577 {
578         NAMT *pt;
579         u_int indx;
580
581         if (ntab == NULL)
582                 return;
583         /*
584          * look the name up in the hash table
585          */
586         indx = st_hash(oname, *onamelen, N_TAB_SZ);
587         if ((pt = ntab[indx]) == NULL)
588                 return;
589
590         while (pt != NULL) {
591                 /*
592                  * walk down the hash chain looking for a match
593                  */
594                 if (strcmp(oname, pt->oname) == 0) {
595                         /*
596                          * found it, replace it with the new name
597                          * and return (we know that oname has enough space)
598                          */
599                         *onamelen = l_strncpy(oname, pt->nname, onamesize - 1);
600                         oname[*onamelen] = '\0';
601                         return;
602                 }
603                 pt = pt->fow;
604         }
605
606         /*
607          * no match, just return
608          */
609         return;
610 }
611
612 /*
613  * device/inode mapping table routines
614  * (used with formats that store device and inodes fields)
615  *
616  * device/inode mapping tables remap the device field in a archive header. The
617  * device/inode fields are used to determine when files are hard links to each
618  * other. However these values have very little meaning outside of that. This
619  * database is used to solve one of two different problems.
620  *
621  * 1) when files are appended to an archive, while the new files may have hard
622  * links to each other, you cannot determine if they have hard links to any
623  * file already stored on the archive from a prior run of pax. We must assume
624  * that these inode/device pairs are unique only within a SINGLE run of pax
625  * (which adds a set of files to an archive). So we have to make sure the
626  * inode/dev pairs we add each time are always unique. We do this by observing
627  * while the inode field is very dense, the use of the dev field is fairly
628  * sparse. Within each run of pax, we remap any device number of a new archive
629  * member that has a device number used in a prior run and already stored in a
630  * file on the archive. During the read phase of the append, we store the
631  * device numbers used and mark them to not be used by any file during the
632  * write phase. If during write we go to use one of those old device numbers,
633  * we remap it to a new value.
634  *
635  * 2) Often the fields in the archive header used to store these values are
636  * too small to store the entire value. The result is an inode or device value
637  * which can be truncated. This really can foul up an archive. With truncation
638  * we end up creating links between files that are really not links (after
639  * truncation the inodes are the same value). We address that by detecting
640  * truncation and forcing a remap of the device field to split truncated
641  * inodes away from each other. Each truncation creates a pattern of bits that
642  * are removed. We use this pattern of truncated bits to partition the inodes
643  * on a single device to many different devices (each one represented by the
644  * truncated bit pattern). All inodes on the same device that have the same
645  * truncation pattern are mapped to the same new device. Two inodes that
646  * truncate to the same value clearly will always have different truncation
647  * bit patterns, so they will be split from away each other. When we spot
648  * device truncation we remap the device number to a non truncated value.
649  * (for more info see table.h for the data structures involved).
650  */
651
652 /*
653  * dev_start()
654  *      create the device mapping table
655  * Return:
656  *      0 if successful, -1 otherwise
657  */
658
659 int
660 dev_start(void)
661 {
662         if (dtab != NULL)
663                 return(0);
664         if ((dtab = (DEVT **)calloc(D_TAB_SZ, sizeof(DEVT *))) == NULL) {
665                 paxwarn(1, "Cannot allocate memory for device mapping table");
666                 return(-1);
667         }
668         return(0);
669 }
670
671 /*
672  * add_dev()
673  *      add a device number to the table. this will force the device to be
674  *      remapped to a new value if it be used during a write phase. This
675  *      function is called during the read phase of an append to prohibit the
676  *      use of any device number already in the archive.
677  * Return:
678  *      0 if added ok, -1 otherwise
679  */
680
681 int
682 add_dev(ARCHD *arcn)
683 {
684         if (chk_dev(arcn->sb.st_dev, 1) == NULL)
685                 return(-1);
686         return(0);
687 }
688
689 /*
690  * chk_dev()
691  *      check for a device value in the device table. If not found and the add
692  *      flag is set, it is added. This does NOT assign any mapping values, just
693  *      adds the device number as one that need to be remapped. If this device
694  *      is already mapped, just return with a pointer to that entry.
695  * Return:
696  *      pointer to the entry for this device in the device map table. Null
697  *      if the add flag is not set and the device is not in the table (it is
698  *      not been seen yet). If add is set and the device cannot be added, null
699  *      is returned (indicates an error).
700  */
701
702 static DEVT *
703 chk_dev(dev_t dev, int add)
704 {
705         DEVT *pt;
706         u_int indx;
707
708         if (dtab == NULL)
709                 return(NULL);
710         /*
711          * look to see if this device is already in the table
712          */
713         indx = ((unsigned)dev) % D_TAB_SZ;
714         if ((pt = dtab[indx]) != NULL) {
715                 while ((pt != NULL) && (pt->dev != dev))
716                         pt = pt->fow;
717
718                 /*
719                  * found it, return a pointer to it
720                  */
721                 if (pt != NULL)
722                         return(pt);
723         }
724
725         /*
726          * not in table, we add it only if told to as this may just be a check
727          * to see if a device number is being used.
728          */
729         if (add == 0)
730                 return(NULL);
731
732         /*
733          * allocate a node for this device and add it to the front of the hash
734          * chain. Note we do not assign remaps values here, so the pt->list
735          * list must be NULL.
736          */
737         if ((pt = (DEVT *)malloc(sizeof(DEVT))) == NULL) {
738                 paxwarn(1, "Device map table out of memory");
739                 return(NULL);
740         }
741         pt->dev = dev;
742         pt->list = NULL;
743         pt->fow = dtab[indx];
744         dtab[indx] = pt;
745         return(pt);
746 }
747 /*
748  * map_dev()
749  *      given an inode and device storage mask (the mask has a 1 for each bit
750  *      the archive format is able to store in a header), we check for inode
751  *      and device truncation and remap the device as required. Device mapping
752  *      can also occur when during the read phase of append a device number was
753  *      seen (and was marked as do not use during the write phase). WE ASSUME
754  *      that unsigned longs are the same size or bigger than the fields used
755  *      for ino_t and dev_t. If not the types will have to be changed.
756  * Return:
757  *      0 if all ok, -1 otherwise.
758  */
759
760 int
761 map_dev(ARCHD *arcn, u_long dev_mask, u_long ino_mask)
762 {
763         DEVT *pt;
764         DLIST *dpt;
765         static dev_t lastdev = 0;       /* next device number to try */
766         int trc_ino = 0;
767         int trc_dev = 0;
768         ino_t trunc_bits = 0;
769         ino_t nino;
770
771         if (dtab == NULL)
772                 return(0);
773         /*
774          * check for device and inode truncation, and extract the truncated
775          * bit pattern.
776          */
777         if ((arcn->sb.st_dev & (dev_t)dev_mask) != arcn->sb.st_dev)
778                 ++trc_dev;
779         if ((nino = arcn->sb.st_ino & (ino_t)ino_mask) != arcn->sb.st_ino) {
780                 ++trc_ino;
781                 trunc_bits = arcn->sb.st_ino & (ino_t)(~ino_mask);
782         }
783
784         /*
785          * see if this device is already being mapped, look up the device
786          * then find the truncation bit pattern which applies
787          */
788         if ((pt = chk_dev(arcn->sb.st_dev, 0)) != NULL) {
789                 /*
790                  * this device is already marked to be remapped
791                  */
792                 for (dpt = pt->list; dpt != NULL; dpt = dpt->fow)
793                         if (dpt->trunc_bits == trunc_bits)
794                                 break;
795
796                 if (dpt != NULL) {
797                         /*
798                          * we are being remapped for this device and pattern
799                          * change the device number to be stored and return
800                          */
801                         arcn->sb.st_dev = dpt->dev;
802                         arcn->sb.st_ino = nino;
803                         return(0);
804                 }
805         } else {
806                 /*
807                  * this device is not being remapped YET. if we do not have any
808                  * form of truncation, we do not need a remap
809                  */
810                 if (!trc_ino && !trc_dev)
811                         return(0);
812
813                 /*
814                  * we have truncation, have to add this as a device to remap
815                  */
816                 if ((pt = chk_dev(arcn->sb.st_dev, 1)) == NULL)
817                         goto bad;
818
819                 /*
820                  * if we just have a truncated inode, we have to make sure that
821                  * all future inodes that do not truncate (they have the
822                  * truncation pattern of all 0's) continue to map to the same
823                  * device number. We probably have already written inodes with
824                  * this device number to the archive with the truncation
825                  * pattern of all 0's. So we add the mapping for all 0's to the
826                  * same device number.
827                  */
828                 if (!trc_dev && (trunc_bits != 0)) {
829                         if ((dpt = (DLIST *)malloc(sizeof(DLIST))) == NULL)
830                                 goto bad;
831                         dpt->trunc_bits = 0;
832                         dpt->dev = arcn->sb.st_dev;
833                         dpt->fow = pt->list;
834                         pt->list = dpt;
835                 }
836         }
837
838         /*
839          * look for a device number not being used. We must watch for wrap
840          * around on lastdev (so we do not get stuck looking forever!)
841          */
842         while (++lastdev > 0) {
843                 if (chk_dev(lastdev, 0) != NULL)
844                         continue;
845                 /*
846                  * found an unused value. If we have reached truncation point
847                  * for this format we are hosed, so we give up. Otherwise we
848                  * mark it as being used.
849                  */
850                 if (((lastdev & ((dev_t)dev_mask)) != lastdev) ||
851                     (chk_dev(lastdev, 1) == NULL))
852                         goto bad;
853                 break;
854         }
855
856         if ((lastdev <= 0) || ((dpt = (DLIST *)malloc(sizeof(DLIST))) == NULL))
857                 goto bad;
858
859         /*
860          * got a new device number, store it under this truncation pattern.
861          * change the device number this file is being stored with.
862          */
863         dpt->trunc_bits = trunc_bits;
864         dpt->dev = lastdev;
865         dpt->fow = pt->list;
866         pt->list = dpt;
867         arcn->sb.st_dev = lastdev;
868         arcn->sb.st_ino = nino;
869         return(0);
870
871     bad:
872         paxwarn(1, "Unable to fix truncated inode/device field when storing %s",
873             arcn->name);
874         paxwarn(0, "Archive may create improper hard links when extracted");
875         return(0);
876 }
877
878 /*
879  * directory access/mod time reset table routines (for directories READ by pax)
880  *
881  * The pax -t flag requires that access times of archive files to be the same
882  * before being read by pax. For regular files, access time is restored after
883  * the file has been copied. This database provides the same functionality for
884  * directories read during file tree traversal. Restoring directory access time
885  * is more complex than files since directories may be read several times until
886  * all the descendants in their subtree are visited by fts. Directory access
887  * and modification times are stored during the fts pre-order visit (done
888  * before any descendants in the subtree is visited) and restored after the
889  * fts post-order visit (after all the descendants have been visited). In the
890  * case of premature exit from a subtree (like from the effects of -n), any
891  * directory entries left in this database are reset during final cleanup
892  * operations of pax. Entries are hashed by inode number for fast lookup.
893  */
894
895 /*
896  * atdir_start()
897  *      create the directory access time database for directories READ by pax.
898  * Return:
899  *      0 is created ok, -1 otherwise.
900  */
901
902 int
903 atdir_start(void)
904 {
905         if (atab != NULL)
906                 return(0);
907         if ((atab = (ATDIR **)calloc(A_TAB_SZ, sizeof(ATDIR *))) == NULL) {
908                 paxwarn(1,"Cannot allocate space for directory access time table");
909                 return(-1);
910         }
911         return(0);
912 }
913
914
915 /*
916  * atdir_end()
917  *      walk through the directory access time table and reset the access time
918  *      of any directory who still has an entry left in the database. These
919  *      entries are for directories READ by pax
920  */
921
922 void
923 atdir_end(void)
924 {
925         ATDIR *pt;
926         int i;
927
928         if (atab == NULL)
929                 return;
930         /*
931          * for each non-empty hash table entry reset all the directories
932          * chained there.
933          */
934         for (i = 0; i < A_TAB_SZ; ++i) {
935                 if ((pt = atab[i]) == NULL)
936                         continue;
937                 /*
938                  * remember to force the times, set_ftime() looks at pmtime
939                  * and patime, which only applies to things CREATED by pax,
940                  * not read by pax. Read time reset is controlled by -t.
941                  */
942                 for (; pt != NULL; pt = pt->fow)
943                         set_ftime(pt->name, pt->mtime, pt->atime, 1);
944         }
945 }
946
947 /*
948  * add_atdir()
949  *      add a directory to the directory access time table. Table is hashed
950  *      and chained by inode number. This is for directories READ by pax
951  */
952
953 void
954 add_atdir(char *fname, dev_t dev, ino_t ino, time_t mtime, time_t atime)
955 {
956         ATDIR *pt;
957         u_int indx;
958
959         if (atab == NULL)
960                 return;
961
962         /*
963          * make sure this directory is not already in the table, if so just
964          * return (the older entry always has the correct time). The only
965          * way this will happen is when the same subtree can be traversed by
966          * different args to pax and the -n option is aborting fts out of a
967          * subtree before all the post-order visits have been made).
968          */
969         indx = ((unsigned)ino) % A_TAB_SZ;
970         if ((pt = atab[indx]) != NULL) {
971                 while (pt != NULL) {
972                         if ((pt->ino == ino) && (pt->dev == dev))
973                                 break;
974                         pt = pt->fow;
975                 }
976
977                 /*
978                  * oops, already there. Leave it alone.
979                  */
980                 if (pt != NULL)
981                         return;
982         }
983
984         /*
985          * add it to the front of the hash chain
986          */
987         if ((pt = (ATDIR *)malloc(sizeof(ATDIR))) != NULL) {
988                 if ((pt->name = strdup(fname)) != NULL) {
989                         pt->dev = dev;
990                         pt->ino = ino;
991                         pt->mtime = mtime;
992                         pt->atime = atime;
993                         pt->fow = atab[indx];
994                         atab[indx] = pt;
995                         return;
996                 }
997                 (void)free((char *)pt);
998         }
999
1000         paxwarn(1, "Directory access time reset table ran out of memory");
1001         return;
1002 }
1003
1004 /*
1005  * get_atdir()
1006  *      look up a directory by inode and device number to obtain the access
1007  *      and modification time you want to set to. If found, the modification
1008  *      and access time parameters are set and the entry is removed from the
1009  *      table (as it is no longer needed). These are for directories READ by
1010  *      pax
1011  * Return:
1012  *      0 if found, -1 if not found.
1013  */
1014
1015 int
1016 get_atdir(dev_t dev, ino_t ino, time_t *mtime, time_t *atime)
1017 {
1018         ATDIR *pt;
1019         ATDIR **ppt;
1020         u_int indx;
1021
1022         if (atab == NULL)
1023                 return(-1);
1024         /*
1025          * hash by inode and search the chain for an inode and device match
1026          */
1027         indx = ((unsigned)ino) % A_TAB_SZ;
1028         if ((pt = atab[indx]) == NULL)
1029                 return(-1);
1030
1031         ppt = &(atab[indx]);
1032         while (pt != NULL) {
1033                 if ((pt->ino == ino) && (pt->dev == dev))
1034                         break;
1035                 /*
1036                  * no match, go to next one
1037                  */
1038                 ppt = &(pt->fow);
1039                 pt = pt->fow;
1040         }
1041
1042         /*
1043          * return if we did not find it.
1044          */
1045         if (pt == NULL)
1046                 return(-1);
1047
1048         /*
1049          * found it. return the times and remove the entry from the table.
1050          */
1051         *ppt = pt->fow;
1052         *mtime = pt->mtime;
1053         *atime = pt->atime;
1054         (void)free((char *)pt->name);
1055         (void)free((char *)pt);
1056         return(0);
1057 }
1058
1059 /*
1060  * directory access mode and time storage routines (for directories CREATED
1061  * by pax).
1062  *
1063  * Pax requires that extracted directories, by default, have their access/mod
1064  * times and permissions set to the values specified in the archive. During the
1065  * actions of extracting (and creating the destination subtree during -rw copy)
1066  * directories extracted may be modified after being created. Even worse is
1067  * that these directories may have been created with file permissions which
1068  * prohibits any descendants of these directories from being extracted. When
1069  * directories are created by pax, access rights may be added to permit the
1070  * creation of files in their subtree. Every time pax creates a directory, the
1071  * times and file permissions specified by the archive are stored. After all
1072  * files have been extracted (or copied), these directories have their times
1073  * and file modes reset to the stored values. The directory info is restored in
1074  * reverse order as entries were added to the data file from root to leaf. To
1075  * restore atime properly, we must go backwards. The data file consists of
1076  * records with two parts, the file name followed by a DIRDATA trailer. The
1077  * fixed sized trailer contains the size of the name plus the off_t location in
1078  * the file. To restore we work backwards through the file reading the trailer
1079  * then the file name.
1080  */
1081
1082 /*
1083  * dir_start()
1084  *      set up the directory time and file mode storage for directories CREATED
1085  *      by pax.
1086  * Return:
1087  *      0 if ok, -1 otherwise
1088  */
1089
1090 int
1091 dir_start(void)
1092 {
1093
1094         if (dirfd != -1)
1095                 return(0);
1096
1097         /*
1098          * unlink the file so it goes away at termination by itself
1099          */
1100         memcpy(tempbase, _TFILE_BASE, sizeof(_TFILE_BASE));
1101         if ((dirfd = mkstemp(tempfile)) >= 0) {
1102                 (void)unlink(tempfile);
1103                 return(0);
1104         }
1105         paxwarn(1, "Unable to create temporary file for directory times: %s",
1106             tempfile);
1107         return(-1);
1108 }
1109
1110 /*
1111  * add_dir()
1112  *      add the mode and times for a newly CREATED directory
1113  *      name is name of the directory, psb the stat buffer with the data in it,
1114  *      frc_mode is a flag that says whether to force the setting of the mode
1115  *      (ignoring the user set values for preserving file mode). Frc_mode is
1116  *      for the case where we created a file and found that the resulting
1117  *      directory was not writeable and the user asked for file modes to NOT
1118  *      be preserved. (we have to preserve what was created by default, so we
1119  *      have to force the setting at the end. this is stated explicitly in the
1120  *      pax spec)
1121  */
1122
1123 void
1124 add_dir(char *name, int nlen, struct stat *psb, int frc_mode)
1125 {
1126         DIRDATA dblk;
1127
1128         if (dirfd < 0)
1129                 return;
1130
1131         /*
1132          * get current position (where file name will start) so we can store it
1133          * in the trailer
1134          */
1135         if ((dblk.npos = lseek(dirfd, 0L, SEEK_CUR)) < 0) {
1136                 paxwarn(1,"Unable to store mode and times for directory: %s",name);
1137                 return;
1138         }
1139
1140         /*
1141          * write the file name followed by the trailer
1142          */
1143         dblk.nlen = nlen + 1;
1144         dblk.mode = psb->st_mode & 0xffff;
1145         dblk.mtime = psb->st_mtime;
1146         dblk.atime = psb->st_atime;
1147         dblk.frc_mode = frc_mode;
1148         if ((write(dirfd, name, dblk.nlen) == dblk.nlen) &&
1149             (write(dirfd, (char *)&dblk, sizeof(dblk)) == sizeof(dblk))) {
1150                 ++dircnt;
1151                 return;
1152         }
1153
1154         paxwarn(1,"Unable to store mode and times for created directory: %s",name);
1155         return;
1156 }
1157
1158 /*
1159  * proc_dir()
1160  *      process all file modes and times stored for directories CREATED
1161  *      by pax
1162  */
1163
1164 void
1165 proc_dir(void)
1166 {
1167         char name[PAXPATHLEN+1];
1168         DIRDATA dblk;
1169         u_long cnt;
1170
1171         if (dirfd < 0)
1172                 return;
1173         /*
1174          * read backwards through the file and process each directory
1175          */
1176         for (cnt = 0; cnt < dircnt; ++cnt) {
1177                 /*
1178                  * read the trailer, then the file name, if this fails
1179                  * just give up.
1180                  */
1181                 if (lseek(dirfd, -((off_t)sizeof(dblk)), SEEK_CUR) < 0)
1182                         break;
1183                 if (read(dirfd,(char *)&dblk, sizeof(dblk)) != sizeof(dblk))
1184                         break;
1185                 if (lseek(dirfd, dblk.npos, SEEK_SET) < 0)
1186                         break;
1187                 if (read(dirfd, name, dblk.nlen) != dblk.nlen)
1188                         break;
1189                 if (lseek(dirfd, dblk.npos, SEEK_SET) < 0)
1190                         break;
1191
1192                 /*
1193                  * frc_mode set, make sure we set the file modes even if
1194                  * the user didn't ask for it (see file_subs.c for more info)
1195                  */
1196                 if (pmode || dblk.frc_mode)
1197                         set_pmode(name, dblk.mode);
1198                 if (patime || pmtime)
1199                         set_ftime(name, dblk.mtime, dblk.atime, 0);
1200         }
1201
1202         (void)close(dirfd);
1203         dirfd = -1;
1204         if (cnt != dircnt)
1205                 paxwarn(1,"Unable to set mode and times for created directories");
1206         return;
1207 }
1208
1209 /*
1210  * database independent routines
1211  */
1212
1213 /*
1214  * st_hash()
1215  *      hashes filenames to a u_int for hashing into a table. Looks at the tail
1216  *      end of file, as this provides far better distribution than any other
1217  *      part of the name. For performance reasons we only care about the last
1218  *      MAXKEYLEN chars (should be at LEAST large enough to pick off the file
1219  *      name). Was tested on 500,000 name file tree traversal from the root
1220  *      and gave almost a perfectly uniform distribution of keys when used with
1221  *      prime sized tables (MAXKEYLEN was 128 in test). Hashes (sizeof int)
1222  *      chars at a time and pads with 0 for last addition.
1223  * Return:
1224  *      the hash value of the string MOD (%) the table size.
1225  */
1226
1227 u_int
1228 st_hash(char *name, int len, int tabsz)
1229 {
1230         char *pt;
1231         char *dest;
1232         char *end;
1233         int i;
1234         u_int key = 0;
1235         int steps;
1236         int res;
1237         u_int val;
1238
1239         /*
1240          * only look at the tail up to MAXKEYLEN, we do not need to waste
1241          * time here (remember these are pathnames, the tail is what will
1242          * spread out the keys)
1243          */
1244         if (len > MAXKEYLEN) {
1245                 pt = &(name[len - MAXKEYLEN]);
1246                 len = MAXKEYLEN;
1247         } else
1248                 pt = name;
1249
1250         /*
1251          * calculate the number of u_int size steps in the string and if
1252          * there is a runt to deal with
1253          */
1254         steps = len/sizeof(u_int);
1255         res = len % sizeof(u_int);
1256
1257         /*
1258          * add up the value of the string in unsigned integer sized pieces
1259          * too bad we cannot have unsigned int aligned strings, then we
1260          * could avoid the expensive copy.
1261          */
1262         for (i = 0; i < steps; ++i) {
1263                 end = pt + sizeof(u_int);
1264                 dest = (char *)&val;
1265                 while (pt < end)
1266                         *dest++ = *pt++;
1267                 key += val;
1268         }
1269
1270         /*
1271          * add in the runt padded with zero to the right
1272          */
1273         if (res) {
1274                 val = 0;
1275                 end = pt + res;
1276                 dest = (char *)&val;
1277                 while (pt < end)
1278                         *dest++ = *pt++;
1279                 key += val;
1280         }
1281
1282         /*
1283          * return the result mod the table size
1284          */
1285         return(key % tabsz);
1286 }