ba6d77a60cb923a5043a51730b5f7d538e8a2aa1
[dragonfly.git] / usr.bin / locate / locate / locate.c
1 /*
2  * Copyright (c) 1995 Wolfram Schneider <wosch@FreeBSD.org>. Berlin.
3  * Copyright (c) 1989, 1993
4  *      The Regents of the University of California.  All rights reserved.
5  *
6  * This code is derived from software contributed to Berkeley by
7  * James A. Woods.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. All advertising materials mentioning features or use of this software
18  *    must display the following acknowledgement:
19  *      This product includes software developed by the University of
20  *      California, Berkeley and its contributors.
21  * 4. Neither the name of the University nor the names of its contributors
22  *    may be used to endorse or promote products derived from this software
23  *    without specific prior written permission.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
26  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
29  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
30  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
31  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
32  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
33  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
34  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
35  * SUCH DAMAGE.
36  *
37  * @(#) Copyright (c) 1995-1996 Wolfram Schneider, Berlin. @(#) Copyright (c) 1989, 1993 The Regents of the University of California.  All rights reserved.
38  * @(#)locate.c    8.1 (Berkeley) 6/6/93
39  * $FreeBSD: src/usr.bin/locate/locate/locate.c,v 1.12.2.1 2001/03/04 08:47:25 kris Exp $
40  * $DragonFly: src/usr.bin/locate/locate/locate.c,v 1.2 2003/06/17 04:29:28 dillon Exp $
41  */
42
43 /*
44  * Ref: Usenix ;login:, Vol 8, No 1, February/March, 1983, p. 8.
45  *
46  * Locate scans a file list for the full pathname of a file given only part
47  * of the name.  The list has been processed with with "front-compression"
48  * and bigram coding.  Front compression reduces space by a factor of 4-5,
49  * bigram coding by a further 20-25%.
50  *
51  * The codes are:
52  *
53  *      0-28    likeliest differential counts + offset to make nonnegative
54  *      30      switch code for out-of-range count to follow in next word
55  *      31      an 8 bit char followed
56  *      128-255 bigram codes (128 most common, as determined by 'updatedb')
57  *      32-127  single character (printable) ascii residue (ie, literal)
58  *
59  * A novel two-tiered string search technique is employed:
60  *
61  * First, a metacharacter-free subpattern and partial pathname is matched
62  * BACKWARDS to avoid full expansion of the pathname list.  The time savings
63  * is 40-50% over forward matching, which cannot efficiently handle
64  * overlapped search patterns and compressed path residue.
65  *
66  * Then, the actual shell glob-style regular expression (if in this form) is
67  * matched against the candidate pathnames using the slower routines provided
68  * in the standard 'find'.
69  */
70
71 #include <sys/param.h>
72 #include <ctype.h>
73 #include <err.h>
74 #include <fnmatch.h>
75 #include <locale.h>
76 #include <stdio.h>
77 #include <stdlib.h>
78 #include <string.h>
79 #include <unistd.h>
80
81 #ifdef MMAP
82 #  include <sys/types.h>
83 #  include <sys/stat.h>
84 #  include <sys/mman.h>
85 #  include <fcntl.h>
86 #endif
87
88
89 #ifdef sun
90 #include <netinet/in.h> /* SunOS byteorder(3) htohl(3) */
91 #ifndef __P
92 #define __P(x) x
93 #endif
94 #endif
95
96 #include "locate.h"
97 #include "pathnames.h"
98
99 #ifdef DEBUG
100 #  include <sys/time.h>
101 #  include <sys/types.h>
102 #  include <sys/resource.h>
103 #endif
104
105 char *path_fcodes;      /* locate database */
106 int f_mmap;             /* use mmap */
107 int f_icase;            /* ignore case */
108 int f_stdin;            /* read database from stdin */
109 int f_statistic;        /* print statistic */
110 int f_silent;           /* suppress output, show only count of matches */
111 int f_limit;            /* limit number of output lines, 0 == infinite */
112 u_int counter;          /* counter for matches [-c] */
113
114
115 void    usage __P((void));
116 void    statistic __P((FILE *, char *));
117 void    fastfind __P((FILE *, char *, char *));
118 void    fastfind_icase __P((FILE *, char *, char *));
119 void    fastfind_mmap __P((char *, caddr_t, int, char *));
120 void    fastfind_mmap_icase __P((char *, caddr_t, int, char *));
121 void    search_mmap __P((char *, char **));
122 void    search_fopen __P((char *, char **));
123 unsigned long cputime __P((void));
124
125 extern char     **colon __P((char **, char*, char*));
126 extern void     print_matches __P((u_int));
127 extern int      getwm __P((caddr_t));
128 extern int      getwf __P((FILE *));
129 extern u_char   *tolower_word __P((u_char *));
130 extern int      check_bigram_char __P((int));
131 extern char     *patprep __P((char *));
132
133 int
134 main(argc, argv)
135         int argc;
136         char **argv;
137 {
138         register int ch;
139         char **dbv = NULL;
140 #ifdef MMAP
141         f_mmap = 1;             /* mmap is default */
142 #endif
143         (void) setlocale(LC_ALL, "");
144
145         while ((ch = getopt(argc, argv, "Scd:il:ms")) != -1)
146                 switch(ch) {
147                 case 'S':       /* statistic lines */   
148                         f_statistic = 1;
149                         break;
150                 case 'l': /* limit number of output lines, 0 == infinite */
151                         f_limit = atoi(optarg);
152                         break;
153                 case 'd':       /* database */
154                         dbv = colon(dbv, optarg, _PATH_FCODES);
155                         break;
156                 case 'i':       /* ignore case */
157                         f_icase = 1;
158                         break;
159                 case 'm':       /* mmap */
160 #ifdef MMAP
161                         f_mmap = 1;
162 #else
163                                                 warnx("mmap(2) not implemented");
164 #endif
165                         break;
166                 case 's':       /* stdio lib */
167                         f_mmap = 0;
168                         break;
169                 case 'c': /* suppress output, show only count of matches */
170                         f_silent = 1;
171                         break;
172                 default:
173                         usage();
174                 }
175         argv += optind;
176         argc -= optind;
177
178         /* to few arguments */
179         if (argc < 1 && !(f_statistic))
180                 usage();
181
182         /* no (valid) database as argument */
183         if (dbv == NULL || *dbv == NULL) {
184                 /* try to read database from enviroment */
185                 if ((path_fcodes = getenv("LOCATE_PATH")) == NULL ||
186                      *path_fcodes == '\0')
187                         /* use default database */
188                         dbv = colon(dbv, _PATH_FCODES, _PATH_FCODES);
189                 else            /* $LOCATE_PATH */
190                         dbv = colon(dbv, path_fcodes, _PATH_FCODES);
191         }
192
193         if (f_icase && UCHAR_MAX < 4096) /* init tolower lookup table */
194                 for (ch = 0; ch < UCHAR_MAX + 1; ch++)
195                         myctype[ch] = tolower(ch);
196
197         /* foreach database ... */
198         while((path_fcodes = *dbv) != NULL) {
199                 dbv++;
200
201                 if (!strcmp(path_fcodes, "-"))
202                         f_stdin = 1;
203                 else
204                         f_stdin = 0;
205
206 #ifndef MMAP
207                 f_mmap = 0;     /* be paranoid */
208 #endif
209                 if (!f_mmap || f_stdin || f_statistic) 
210                         search_fopen(path_fcodes, argv);
211                 else 
212                         search_mmap(path_fcodes, argv);
213         }
214
215         if (f_silent)
216                 print_matches(counter);
217         exit(0);
218 }
219
220
221 void
222 search_fopen(db, s)
223         char *db; /* database */
224         char **s; /* search strings */
225 {
226         FILE *fp;
227 #ifdef DEBUG
228         long t0;
229 #endif
230                
231         /* can only read stdin once */
232         if (f_stdin) { 
233                 fp = stdin;
234                 if (*(s+1) != NULL) {
235                         warnx("read database from stdin, use only `%s' as pattern", *s);
236                         *(s+1) = NULL;
237                 }
238         } 
239         else if ((fp = fopen(path_fcodes, "r")) == NULL)
240                 err(1,  "`%s'", path_fcodes);
241
242         /* count only chars or lines */
243         if (f_statistic) {
244                 statistic(fp, path_fcodes);
245                 (void)fclose(fp);
246                 return;
247         }
248
249         /* foreach search string ... */
250         while(*s != NULL) {
251 #ifdef DEBUG
252                 t0 = cputime();
253 #endif
254                 if (!f_stdin &&
255                     fseek(fp, (long)0, SEEK_SET) == -1)
256                         err(1, "fseek to begin of ``%s''\n", path_fcodes);
257
258                 if (f_icase)
259                         fastfind_icase(fp, *s, path_fcodes);
260                 else
261                         fastfind(fp, *s, path_fcodes);
262 #ifdef DEBUG
263                 warnx("fastfind %ld ms", cputime () - t0);
264 #endif
265                 s++;
266         } 
267         (void)fclose(fp);
268
269
270 #ifdef MMAP
271 void
272 search_mmap(db, s)
273         char *db; /* database */
274         char **s; /* search strings */
275 {
276         struct stat sb;
277         int fd;
278         caddr_t p;
279         off_t len;
280 #ifdef DEBUG
281         long t0;
282 #endif
283         if ((fd = open(path_fcodes, O_RDONLY)) == -1 ||
284             fstat(fd, &sb) == -1)
285                 err(1, "`%s'", path_fcodes);
286         len = sb.st_size;
287
288         if ((p = mmap((caddr_t)0, (size_t)len,
289                       PROT_READ, MAP_SHARED,
290                       fd, (off_t)0)) == MAP_FAILED)
291                 err(1, "mmap ``%s''", path_fcodes);
292
293         /* foreach search string ... */
294         while (*s != NULL) {
295 #ifdef DEBUG
296                 t0 = cputime();
297 #endif
298                 if (f_icase)
299                         fastfind_mmap_icase(*s, p, (int)len, path_fcodes);
300                 else
301                         fastfind_mmap(*s, p, (int)len, path_fcodes);
302 #ifdef DEBUG
303                 warnx("fastfind %ld ms", cputime () - t0);
304 #endif
305                 s++;
306         }
307
308         if (munmap(p, (size_t)len) == -1)
309                 warn("munmap %s\n", path_fcodes);
310         
311         (void)close(fd);
312 }
313 #endif /* MMAP */
314
315 #ifdef DEBUG
316 unsigned long
317 cputime ()
318 {
319         struct rusage rus;
320
321         getrusage(0, &rus);
322         return(rus.ru_utime.tv_sec * 1000 + rus.ru_utime.tv_usec / 1000);
323 }
324 #endif /* DEBUG */
325
326 void
327 usage ()
328 {
329         (void)fprintf(stderr,
330         "usage: locate [-Scims] [-l limit] [-d database] pattern ...\n\n");
331         (void)fprintf(stderr,
332         "default database: `%s' or $LOCATE_PATH\n", _PATH_FCODES);
333         exit(1);
334 }
335
336
337 /* load fastfind functions */
338
339 /* statistic */
340 /* fastfind_mmap, fastfind_mmap_icase */
341 #ifdef MMAP
342 #undef FF_MMAP
343 #undef FF_ICASE
344
345 #define FF_MMAP
346 #include "fastfind.c"
347 #define FF_ICASE
348 #include "fastfind.c"
349 #endif /* MMAP */
350
351 /* fopen */
352 /* fastfind, fastfind_icase */
353 #undef FF_MMAP
354 #undef FF_ICASE
355 #include "fastfind.c"
356 #define FF_ICASE
357 #include "fastfind.c"