c7477c15547ed7e46195ec07e304032868f10fd2
[dragonfly.git] / usr.bin / locate / locate / locate.c
1 /*
2  * Copyright (c) 1995 Wolfram Schneider <wosch@FreeBSD.org>. Berlin.
3  * Copyright (c) 1989, 1993
4  *      The Regents of the University of California.  All rights reserved.
5  *
6  * This code is derived from software contributed to Berkeley by
7  * James A. Woods.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. All advertising materials mentioning features or use of this software
18  *    must display the following acknowledgement:
19  *      This product includes software developed by the University of
20  *      California, Berkeley and its contributors.
21  * 4. Neither the name of the University nor the names of its contributors
22  *    may be used to endorse or promote products derived from this software
23  *    without specific prior written permission.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
26  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
29  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
30  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
31  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
32  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
33  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
34  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
35  * SUCH DAMAGE.
36  *
37  * @(#) Copyright (c) 1995-1996 Wolfram Schneider, Berlin. @(#) Copyright (c) 1989, 1993 The Regents of the University of California.  All rights reserved.
38  * @(#)locate.c    8.1 (Berkeley) 6/6/93
39  * $FreeBSD: src/usr.bin/locate/locate/locate.c,v 1.12.2.1 2001/03/04 08:47:25 kris Exp $
40  */
41
42 /*
43  * Ref: Usenix ;login:, Vol 8, No 1, February/March, 1983, p. 8.
44  *
45  * Locate scans a file list for the full pathname of a file given only part
46  * of the name.  The list has been processed with with "front-compression"
47  * and bigram coding.  Front compression reduces space by a factor of 4-5,
48  * bigram coding by a further 20-25%.
49  *
50  * The codes are:
51  *
52  *      0-28    likeliest differential counts + offset to make nonnegative
53  *      30      switch code for out-of-range count to follow in next word
54  *      31      an 8 bit char followed
55  *      128-255 bigram codes (128 most common, as determined by 'updatedb')
56  *      32-127  single character (printable) ascii residue (ie, literal)
57  *
58  * A novel two-tiered string search technique is employed:
59  *
60  * First, a metacharacter-free subpattern and partial pathname is matched
61  * BACKWARDS to avoid full expansion of the pathname list.  The time savings
62  * is 40-50% over forward matching, which cannot efficiently handle
63  * overlapped search patterns and compressed path residue.
64  *
65  * Then, the actual shell glob-style regular expression (if in this form) is
66  * matched against the candidate pathnames using the slower routines provided
67  * in the standard 'find'.
68  */
69
70 #include <sys/param.h>
71 #include <ctype.h>
72 #include <err.h>
73 #include <fnmatch.h>
74 #include <locale.h>
75 #include <stdio.h>
76 #include <stdlib.h>
77 #include <string.h>
78 #include <unistd.h>
79
80 #ifdef MMAP
81 #  include <sys/types.h>
82 #  include <sys/stat.h>
83 #  include <sys/mman.h>
84 #  include <fcntl.h>
85 #endif
86
87
88 #ifdef sun
89 #include <netinet/in.h> /* SunOS byteorder(3) htohl(3) */
90 #endif
91
92 #include "locate.h"
93 #include "pathnames.h"
94
95 #ifdef DEBUG
96 #  include <sys/time.h>
97 #  include <sys/types.h>
98 #  include <sys/resource.h>
99 #endif
100
101 static char *path_fcodes; /* locate database */
102 static int f_mmap;      /* use mmap */
103 static int f_icase;     /* ignore case */
104 static int f_stdin;     /* read database from stdin */
105 static int f_statistic; /* print statistic */
106 static int f_silent;    /* suppress output, show only count of matches */
107 static int f_limit;     /* limit number of output lines, 0 == infinite */
108 static u_int counter;   /* counter for matches [-c] */
109
110
111 static void    usage(void) __dead2;
112 static void    statistic(FILE *, char *);
113 static void    fastfind(FILE *, char *, char *);
114 static void    fastfind_icase(FILE *, char *, char *);
115 static void    fastfind_mmap(char *, caddr_t, int, char *);
116 static void    fastfind_mmap_icase(char *, caddr_t, int, char *);
117 static void     search_mmap(char *, char **);
118 static void     search_fopen(char *, char **);
119 #ifdef DEBUG
120 static unsigned long cputime(void);
121 #endif
122
123 extern char     **colon(char **, char*, char*);
124 extern void     print_matches(u_int);
125 extern int      getwm(caddr_t);
126 extern int      getwf(FILE *);
127 extern u_char   *tolower_word(u_char *);
128 extern int      check_bigram_char(int);
129 extern char     *patprep(char *);
130
131 int
132 main(int argc, char **argv)
133 {
134         register int ch;
135         char **dbv = NULL;
136 #ifdef MMAP
137         f_mmap = 1;             /* mmap is default */
138 #endif
139         (void) setlocale(LC_ALL, "");
140
141         while ((ch = getopt(argc, argv, "Scd:il:ms")) != -1)
142                 switch(ch) {
143                 case 'S':       /* statistic lines */   
144                         f_statistic = 1;
145                         break;
146                 case 'l': /* limit number of output lines, 0 == infinite */
147                         f_limit = atoi(optarg);
148                         break;
149                 case 'd':       /* database */
150                         dbv = colon(dbv, optarg, _PATH_FCODES);
151                         break;
152                 case 'i':       /* ignore case */
153                         f_icase = 1;
154                         break;
155                 case 'm':       /* mmap */
156 #ifdef MMAP
157                         f_mmap = 1;
158 #else
159                                                 warnx("mmap(2) not implemented");
160 #endif
161                         break;
162                 case 's':       /* stdio lib */
163                         f_mmap = 0;
164                         break;
165                 case 'c': /* suppress output, show only count of matches */
166                         f_silent = 1;
167                         break;
168                 default:
169                         usage();
170                 }
171         argv += optind;
172         argc -= optind;
173
174         /* to few arguments */
175         if (argc < 1 && !(f_statistic))
176                 usage();
177
178         /* no (valid) database as argument */
179         if (dbv == NULL || *dbv == NULL) {
180                 /* try to read database from environment */
181                 if ((path_fcodes = getenv("LOCATE_PATH")) == NULL ||
182                      *path_fcodes == '\0')
183                         /* use default database */
184                         dbv = colon(dbv, _PATH_FCODES, _PATH_FCODES);
185                 else            /* $LOCATE_PATH */
186                         dbv = colon(dbv, path_fcodes, _PATH_FCODES);
187         }
188
189         if (f_icase && UCHAR_MAX < 4096) /* init tolower lookup table */
190                 for (ch = 0; ch < UCHAR_MAX + 1; ch++)
191                         myctype[ch] = tolower(ch);
192
193         /* foreach database ... */
194         while((path_fcodes = *dbv) != NULL) {
195                 dbv++;
196
197                 if (!strcmp(path_fcodes, "-"))
198                         f_stdin = 1;
199                 else
200                         f_stdin = 0;
201
202 #ifndef MMAP
203                 f_mmap = 0;     /* be paranoid */
204 #endif
205                 if (!f_mmap || f_stdin || f_statistic) 
206                         search_fopen(path_fcodes, argv);
207                 else 
208                         search_mmap(path_fcodes, argv);
209         }
210
211         if (f_silent)
212                 print_matches(counter);
213         exit(0);
214 }
215
216
217 static void
218 search_fopen(char *db, char **s)
219 {
220         FILE *fp;
221 #ifdef DEBUG
222         long t0;
223 #endif
224                
225         /* can only read stdin once */
226         if (f_stdin) { 
227                 fp = stdin;
228                 if (*(s+1) != NULL) {
229                         warnx("read database from stdin, use only `%s' as pattern", *s);
230                         *(s+1) = NULL;
231                 }
232         } 
233         else if ((fp = fopen(path_fcodes, "r")) == NULL)
234                 err(1,  "`%s'", path_fcodes);
235
236         /* count only chars or lines */
237         if (f_statistic) {
238                 statistic(fp, path_fcodes);
239                 (void)fclose(fp);
240                 return;
241         }
242
243         /* foreach search string ... */
244         while(*s != NULL) {
245 #ifdef DEBUG
246                 t0 = cputime();
247 #endif
248                 if (!f_stdin &&
249                     fseek(fp, (long)0, SEEK_SET) == -1)
250                         err(1, "fseek to begin of ``%s''\n", path_fcodes);
251
252                 if (f_icase)
253                         fastfind_icase(fp, *s, path_fcodes);
254                 else
255                         fastfind(fp, *s, path_fcodes);
256 #ifdef DEBUG
257                 warnx("fastfind %ld ms", cputime () - t0);
258 #endif
259                 s++;
260         } 
261         (void)fclose(fp);
262
263
264 #ifdef MMAP
265 static void
266 search_mmap(char *db, char **s)
267 {
268         struct stat sb;
269         int fd;
270         caddr_t p;
271         off_t len;
272 #ifdef DEBUG
273         long t0;
274 #endif
275         if ((fd = open(path_fcodes, O_RDONLY)) == -1 ||
276             fstat(fd, &sb) == -1)
277                 err(1, "`%s'", path_fcodes);
278         len = sb.st_size;
279
280         if ((p = mmap((caddr_t)0, (size_t)len,
281                       PROT_READ, MAP_SHARED,
282                       fd, (off_t)0)) == MAP_FAILED)
283                 err(1, "mmap ``%s''", path_fcodes);
284
285         /* foreach search string ... */
286         while (*s != NULL) {
287 #ifdef DEBUG
288                 t0 = cputime();
289 #endif
290                 if (f_icase)
291                         fastfind_mmap_icase(*s, p, (int)len, path_fcodes);
292                 else
293                         fastfind_mmap(*s, p, (int)len, path_fcodes);
294 #ifdef DEBUG
295                 warnx("fastfind %ld ms", cputime () - t0);
296 #endif
297                 s++;
298         }
299
300         if (munmap(p, (size_t)len) == -1)
301                 warn("munmap %s\n", path_fcodes);
302         
303         (void)close(fd);
304 }
305 #endif /* MMAP */
306
307 #ifdef DEBUG
308 static unsigned long
309 cputime (void)
310 {
311         struct rusage rus;
312
313         getrusage(0, &rus);
314         return(rus.ru_utime.tv_sec * 1000 + rus.ru_utime.tv_usec / 1000);
315 }
316 #endif /* DEBUG */
317
318 static void
319 usage (void)
320 {
321         (void)fprintf(stderr,
322         "usage: locate [-Scims] [-l limit] [-d database] pattern ...\n\n");
323         (void)fprintf(stderr,
324         "default database: `%s' or $LOCATE_PATH\n", _PATH_FCODES);
325         exit(1);
326 }
327
328
329 /* load fastfind functions */
330
331 /* statistic */
332 /* fastfind_mmap, fastfind_mmap_icase */
333 #ifdef MMAP
334 #undef FF_MMAP
335 #undef FF_ICASE
336
337 #define FF_MMAP
338 #include "fastfind.c"
339 #define FF_ICASE
340 #include "fastfind.c"
341 #endif /* MMAP */
342
343 /* fopen */
344 /* fastfind, fastfind_icase */
345 #undef FF_MMAP
346 #undef FF_ICASE
347 #include "fastfind.c"
348 #define FF_ICASE
349 #include "fastfind.c"