- sync usage() to manual
[dragonfly.git] / sbin / hammer / cmd_cleanup.c
1 /*
2  * Copyright (c) 2008 The DragonFly Project.  All rights reserved.
3  * 
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@backplane.com>
6  * 
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in
15  *    the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of The DragonFly Project nor the names of its
18  *    contributors may be used to endorse or promote products derived
19  *    from this software without specific, prior written permission.
20  * 
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  * 
34  * $DragonFly: src/sbin/hammer/cmd_cleanup.c,v 1.6 2008/10/07 22:28:41 thomas Exp $
35  */
36 /*
37  * Clean up a specific HAMMER filesystem or all HAMMER filesystems.
38  *
39  * Each filesystem is expected to have a <mount>/snapshots directory.
40  * No cleanup will be performed on any filesystem that does not.  If
41  * no filesystems are specified the 'df' program is run and any HAMMER
42  * or null-mounted hammer PFS's are extracted.
43  *
44  * The snapshots directory may contain a config file called 'config'.  If
45  * no config file is present one will be created with the following
46  * defaults:
47  *
48  *      snapshots 1d 60d        (0d 60d for /tmp, /var/tmp, /usr/obj)
49  *      prune     1d 5m
50  *      reblock   1d 5m
51  *      recopy    30d 5m
52  *
53  * All hammer commands create and maintain cycle files in the snapshots
54  * directory.
55  */
56
57 #include "hammer.h"
58
59 struct didpfs {
60         struct didpfs *next;
61         uuid_t          uuid;
62 };
63
64 static void do_cleanup(const char *path);
65 static int strtosecs(char *ptr);
66 static const char *dividing_slash(const char *path);
67 static int check_period(const char *snapshots_path, const char *cmd, int arg1,
68                         time_t *savep);
69 static void save_period(const char *snapshots_path, const char *cmd,
70                         time_t savet);
71 static int check_softlinks(const char *snapshots_path);
72 static void cleanup_softlinks(const char *path, const char *snapshots_path,
73                         int arg2);
74 static int check_expired(const char *fpath, int arg2);
75
76 static int cleanup_snapshots(const char *path, const char *snapshots_path,
77                               int arg1, int arg2);
78 static int cleanup_prune(const char *path, const char *snapshots_path,
79                               int arg1, int arg2, int snapshots_disabled);
80 static int cleanup_reblock(const char *path, const char *snapshots_path,
81                               int arg1, int arg2);
82 static int cleanup_recopy(const char *path, const char *snapshots_path,
83                               int arg1, int arg2);
84
85 static void runcmd(int *resp, const char *ctl, ...);
86
87 #define WS      " \t\r\n"
88
89 struct didpfs *FirstPFS;
90
91 void
92 hammer_cmd_cleanup(char **av, int ac)
93 {
94         FILE *fp;
95         char *ptr;
96         char *path;
97         char buf[256];
98
99         tzset();
100         if (ac == 0) {
101                 fp = popen("df -t hammer,null", "r");
102                 if (fp == NULL)
103                         errx(1, "hammer cleanup: 'df' failed");
104                 while (fgets(buf, sizeof(buf), fp) != NULL) {
105                         ptr = strtok(buf, WS);
106                         if (ptr && strcmp(ptr, "Filesystem") == 0)
107                                 continue;
108                         if (ptr)
109                                 ptr = strtok(NULL, WS);
110                         if (ptr)
111                                 ptr = strtok(NULL, WS);
112                         if (ptr)
113                                 ptr = strtok(NULL, WS);
114                         if (ptr)
115                                 ptr = strtok(NULL, WS);
116                         if (ptr) {
117                                 path = strtok(NULL, WS);
118                                 if (path)
119                                         do_cleanup(path);
120                         }
121                 }
122                 fclose(fp);
123         } else {
124                 while (ac) {
125                         do_cleanup(*av);
126                         --ac;
127                         ++av;
128                 }
129         }
130 }
131
132 static
133 void
134 do_cleanup(const char *path)
135 {
136         struct hammer_ioc_pseudofs_rw pfs;
137         union hammer_ioc_mrecord_any mrec_tmp;
138         char *snapshots_path;
139         char *config_path;
140         struct stat st;
141         char *cmd;
142         char *ptr;
143         int arg1;
144         int arg2;
145         time_t savet;
146         char buf[256];
147         FILE *fp;
148         struct didpfs *didpfs;
149         int snapshots_disabled = 0;
150         int prune_warning = 0;
151         int fd;
152         int r;
153
154         bzero(&pfs, sizeof(pfs));
155         bzero(&mrec_tmp, sizeof(mrec_tmp));
156         pfs.ondisk = &mrec_tmp.pfs.pfsd;
157         pfs.bytes = sizeof(mrec_tmp.pfs.pfsd);
158         pfs.pfs_id = -1;
159
160         printf("cleanup %-20s -", path);
161         fd = open(path, O_RDONLY);
162         if (fd < 0) {
163                 printf(" unable to access directory: %s\n", strerror(errno));
164                 return;
165         }
166         if (ioctl(fd, HAMMERIOC_GET_PSEUDOFS, &pfs) != 0) {
167                 printf(" not a HAMMER filesystem: %s\n", strerror(errno));
168                 return;
169         }
170         close(fd);
171         if (pfs.version != HAMMER_IOC_PSEUDOFS_VERSION) {
172                 printf(" unrecognized HAMMER version\n");
173                 return;
174         }
175
176         /*
177          * Make sure we have not already handled this PFS.  Several nullfs
178          * mounts might alias the same PFS.
179          */
180         for (didpfs = FirstPFS; didpfs; didpfs = didpfs->next) {
181                 if (bcmp(&didpfs->uuid, &mrec_tmp.pfs.pfsd.unique_uuid, sizeof(uuid_t)) == 0) {
182                         printf(" PFS #%d already handled\n", pfs.pfs_id);
183                         return;
184                 }
185         }
186         didpfs = malloc(sizeof(*didpfs));
187         didpfs->next = FirstPFS;
188         FirstPFS = didpfs;
189         didpfs->uuid = mrec_tmp.pfs.pfsd.unique_uuid;
190
191         /*
192          * Figure out where the snapshot directory is.
193          */
194         if (mrec_tmp.pfs.pfsd.snapshots[0] == '/') {
195                 asprintf(&snapshots_path, "%s", mrec_tmp.pfs.pfsd.snapshots);
196         } else if (mrec_tmp.pfs.pfsd.snapshots[0]) {
197                 printf(" WARNING: pfs-slave's snapshots dir is not absolute\n");
198                 return;
199         } else if (mrec_tmp.pfs.pfsd.mirror_flags & HAMMER_PFSD_SLAVE) {
200                 printf(" WARNING: must configure snapshot dir for PFS slave\n");
201                 printf("\tWe suggest <fs>/var/slaves/<name> where "
202                        "<fs> is the base HAMMER fs\n");
203                 printf("\tcontaining the slave\n");
204                 return;
205         } else {
206                 asprintf(&snapshots_path,
207                          "%s%ssnapshots", path, dividing_slash(path));
208         }
209
210         /*
211          * Create a snapshot directory if necessary, and a config file if
212          * necessary.
213          */
214         if (stat(snapshots_path, &st) < 0) {
215                 if (mkdir(snapshots_path, 0755) != 0) {
216                         free(snapshots_path);
217                         printf(" unable to create snapshot dir \"%s\": %s\n",
218                                 snapshots_path, strerror(errno));
219                         return;
220                 }
221         }
222         asprintf(&config_path, "%s/config", snapshots_path);
223         if ((fp = fopen(config_path, "r")) == NULL) {
224                 fp = fopen(config_path, "w");
225                 if (fp == NULL) {
226                         printf(" cannot create %s: %s\n",
227                                 config_path, strerror(errno));
228                         return;
229                 }
230                 if (strcmp(path, "/tmp") == 0 ||
231                     strcmp(path, "/var/tmp") == 0 ||
232                     strcmp(path, "/usr/obj") == 0) {
233                         fprintf(fp, "snapshots 0d 60d\n");
234                 } else {
235                         fprintf(fp, "snapshots 1d 60d\n");
236                 }
237                 fprintf(fp, 
238                         "prune     1d 5m\n"
239                         "reblock   1d 5m\n"
240                         "recopy    30d 10m\n");
241                 fclose(fp);
242                 fp = fopen(config_path, "r");
243         }
244         if (fp == NULL) {
245                 printf(" cannot access %s: %s\n",
246                        config_path, strerror(errno));
247                 return;
248         }
249
250         printf(" handle PFS #%d using %s\n", pfs.pfs_id, snapshots_path);
251
252         /*
253          * Process the config file
254          */
255         while (fgets(buf, sizeof(buf), fp) != NULL) {
256                 cmd = strtok(buf, WS);
257                 arg1 = 0;
258                 arg2 = 0;
259                 if ((ptr = strtok(NULL, WS)) != NULL) {
260                         arg1 = strtosecs(ptr);
261                         if ((ptr = strtok(NULL, WS)) != NULL)
262                                 arg2 = strtosecs(ptr);
263                 }
264
265                 printf("%20s - ", cmd);
266                 fflush(stdout);
267
268                 if (arg1 == 0) {
269                         printf("disabled\n");
270                         if (strcmp(cmd, "snapshots") == 0) {
271                                 if (check_softlinks(snapshots_path))
272                                         prune_warning = 1;
273                                 else
274                                         snapshots_disabled = 1;
275                         }
276                         continue;
277                 }
278
279                 r = 1;
280                 if (strcmp(cmd, "snapshots") == 0) {
281                         if (check_period(snapshots_path, cmd, arg1, &savet)) {
282                                 printf("run\n");
283                                 cleanup_softlinks(path, snapshots_path, arg2);
284                                 r = cleanup_snapshots(path, snapshots_path,
285                                                   arg1, arg2);
286                         } else {
287                                 printf("skip\n");
288                         }
289                 } else if (strcmp(cmd, "prune") == 0) {
290                         if (check_period(snapshots_path, cmd, arg1, &savet)) {
291                                 if (prune_warning)
292                                         printf("run - WARNING snapshot softlinks present "
293                                                 "but snapshots disabled\n");
294                                 else
295                                         printf("run\n");
296                                 r = cleanup_prune(path, snapshots_path,
297                                               arg1, arg2, snapshots_disabled);
298                         } else {
299                                 printf("skip\n");
300                         }
301                 } else if (strcmp(cmd, "reblock") == 0) {
302                         if (check_period(snapshots_path, cmd, arg1, &savet)) {
303                                 printf("run");
304                                 fflush(stdout);
305                                 if (VerboseOpt)
306                                         printf("\n");
307                                 r = cleanup_reblock(path, snapshots_path,
308                                                 arg1, arg2);
309                         } else {
310                                 printf("skip\n");
311                         }
312                 } else if (strcmp(cmd, "recopy") == 0) {
313                         if (check_period(snapshots_path, cmd, arg1, &savet)) {
314                                 printf("run");
315                                 fflush(stdout);
316                                 if (VerboseOpt)
317                                         printf("\n");
318                                 r = cleanup_recopy(path, snapshots_path,
319                                                arg1, arg2);
320                         } else {
321                                 printf("skip\n");
322                         }
323                 } else {
324                         printf("unknown directive\n");
325                         r = 1;
326                 }
327                 if (r == 0)
328                         save_period(snapshots_path, cmd, savet);
329         }
330         fclose(fp);
331         usleep(1000);
332 }
333
334 static
335 int
336 strtosecs(char *ptr)
337 {
338         int val;
339
340         val = strtol(ptr, &ptr, 0);
341         switch(*ptr) {
342         case 'd':
343                 val *= 24;
344                 /* fall through */
345         case 'h':
346                 val *= 60;
347                 /* fall through */
348         case 'm':
349                 val *= 60;
350                 /* fall through */
351         case 's':
352                 break;
353         default:
354                 errx(1, "illegal suffix converting %s\n", ptr);
355                 break;
356         }
357         return(val);
358 }
359
360 static const char *
361 dividing_slash(const char *path)
362 {
363         int len = strlen(path);
364         if (len && path[len-1] == '/')
365                 return("");
366         else
367                 return("/");
368 }
369
370 /*
371  * Check whether the desired period has elapsed since the last successful
372  * run.  The run may take a while and cross a boundary so we remember the
373  * current time_t so we can save it later on.
374  *
375  * Periods in minutes, hours, or days are assumed to have been crossed
376  * if the local time crosses a minute, hour, or day boundary regardless
377  * of how close the last operation actually was.
378  */
379 static int
380 check_period(const char *snapshots_path, const char *cmd, int arg1,
381         time_t *savep)
382 {
383         char *check_path;
384         struct tm tp1;
385         struct tm tp2;
386         FILE *fp;
387         time_t baset, lastt;
388         char buf[256];
389
390         time(savep);
391         localtime_r(savep, &tp1);
392
393         /*
394          * Retrieve the start time of the last successful operation.
395          */
396         asprintf(&check_path, "%s/.%s.period", snapshots_path, cmd);
397         fp = fopen(check_path, "r");
398         free(check_path);
399         if (fp == NULL)
400                 return(1);
401         if (fgets(buf, sizeof(buf), fp) == NULL) {
402                 fclose(fp);
403                 return(1);
404         }
405         fclose(fp);
406
407         lastt = strtol(buf, NULL, 0);
408         localtime_r(&lastt, &tp2);
409
410         /*
411          * Normalize the times.  e.g. if asked to do something on a 1-day
412          * interval the operation will be performed as soon as the day
413          * turns over relative to the previous operation, even if the previous
414          * operation ran a few seconds ago just before midnight.
415          */
416         if (arg1 % 60 == 0) {
417                 tp1.tm_sec = 0;
418                 tp2.tm_sec = 0;
419         }
420         if (arg1 % (60 * 60) == 0) {
421                 tp1.tm_min = 0;
422                 tp2.tm_min = 0;
423         }
424         if (arg1 % (24 * 60 * 60) == 0) {
425                 tp1.tm_hour = 0;
426                 tp2.tm_hour = 0;
427         }
428
429         baset = mktime(&tp1);
430         lastt = mktime(&tp2);
431
432 #if 0
433         printf("%lld vs %lld\n", (long long)(baset - lastt), (long long)arg1);
434 #endif
435
436         if ((int)(baset - lastt) >= arg1)
437                 return(1);
438         return(0);
439 }
440
441 /*
442  * Store the start time of the last successful operation.
443  */
444 static void
445 save_period(const char *snapshots_path, const char *cmd,
446                         time_t savet)
447 {
448         char *ocheck_path;
449         char *ncheck_path;
450         FILE *fp;
451
452         asprintf(&ocheck_path, "%s/.%s.period", snapshots_path, cmd);
453         asprintf(&ncheck_path, "%s/.%s.period.new", snapshots_path, cmd);
454         fp = fopen(ncheck_path, "w");
455         fprintf(fp, "0x%08llx\n", (long long)savet);
456         if (fclose(fp) == 0)
457                 rename(ncheck_path, ocheck_path);
458         remove(ncheck_path);
459 }
460
461 /*
462  * Simply count the number of softlinks in the snapshots dir
463  */
464 static int
465 check_softlinks(const char *snapshots_path)
466 {
467         struct dirent *den;
468         struct stat st;
469         DIR *dir;
470         char *fpath;
471         int res = 0;
472
473         if ((dir = opendir(snapshots_path)) != NULL) {
474                 while ((den = readdir(dir)) != NULL) {
475                         if (den->d_name[0] == '.')
476                                 continue;
477                         asprintf(&fpath, "%s/%s", snapshots_path, den->d_name);
478                         if (lstat(fpath, &st) == 0 && S_ISLNK(st.st_mode))
479                                 ++res;
480                         free(fpath);
481                 }
482                 closedir(dir);
483         }
484         return(res);
485 }
486
487 /*
488  * Clean up expired softlinks in the snapshots dir
489  */
490 static void
491 cleanup_softlinks(const char *path __unused, const char *snapshots_path, int arg2)
492 {
493         struct dirent *den;
494         struct stat st;
495         DIR *dir;
496         char *fpath;
497
498         if ((dir = opendir(snapshots_path)) != NULL) {
499                 while ((den = readdir(dir)) != NULL) {
500                         if (den->d_name[0] == '.')
501                                 continue;
502                         asprintf(&fpath, "%s/%s", snapshots_path, den->d_name);
503                         if (lstat(fpath, &st) == 0 && S_ISLNK(st.st_mode) &&
504                             strncmp(den->d_name, "snap-", 5) == 0) {
505                                 if (check_expired(den->d_name, arg2)) {
506                                         if (VerboseOpt) {
507                                                 printf("    expire %s\n",
508                                                         fpath);
509                                         }
510                                         remove(fpath);
511                                 }
512                         }
513                         free(fpath);
514                 }
515                 closedir(dir);
516         }
517 }
518
519 /*
520  * Take a softlink path in the form snap-yyyymmdd-hhmm and the
521  * expiration in seconds (arg2) and return non-zero if the softlink
522  * has expired.
523  */
524 static int
525 check_expired(const char *fpath, int arg2)
526 {
527         struct tm tm;
528         time_t t;
529         int year;
530         int month;
531         int day;
532         int hour;
533         int minute;
534         int r;
535
536         r = sscanf(fpath, "snap-%4d%2d%2d-%2d%2d",
537                    &year, &month, &day, &hour, &minute);
538         if (r == 5) {
539                 bzero(&tm, sizeof(tm));
540                 tm.tm_isdst = -1;
541                 tm.tm_min = minute;
542                 tm.tm_hour = hour;
543                 tm.tm_mday = day;
544                 tm.tm_mon = month - 1;
545                 tm.tm_year = year - 1900;
546                 t = time(NULL) - mktime(&tm);
547                 if ((int)t > arg2)
548                         return(1);
549         }
550         return(0);
551 }
552
553 /*
554  * Issue a snapshot.
555  */
556 static int
557 cleanup_snapshots(const char *path __unused, const char *snapshots_path,
558                   int arg1 __unused, int arg2 __unused)
559 {
560         int r;
561
562         runcmd(&r, "hammer snapshot %s %s", path, snapshots_path);
563         return(r);
564 }
565
566 static int
567 cleanup_prune(const char *path __unused, const char *snapshots_path,
568                   int arg1 __unused, int arg2, int snapshots_disabled)
569 {
570         /*
571          * If snapshots have been disabled run prune-everything instead
572          * of prune.
573          */
574         if (snapshots_disabled && arg2) {
575                 runcmd(NULL, "hammer -c %s/.prune.cycle -t %d prune-everything %s",
576                         snapshots_path, arg2, path);
577         } else if (snapshots_disabled) {
578                 runcmd(NULL, "hammer prune-everything %s", path);
579         } else if (arg2) {
580                 runcmd(NULL, "hammer -c %s/.prune.cycle -t %d prune %s",
581                         snapshots_path, arg2, snapshots_path);
582         } else {
583                 runcmd(NULL, "hammer prune %s", snapshots_path);
584         }
585         return(0);
586 }
587
588 static int
589 cleanup_reblock(const char *path, const char *snapshots_path,
590                   int arg1 __unused, int arg2)
591 {
592         if (VerboseOpt == 0) {
593                 printf(".");
594                 fflush(stdout);
595         }
596         runcmd(NULL,
597                "hammer -c %s/.reblock-1.cycle -t %d reblock-btree %s 95",
598                snapshots_path, arg2, path);
599         if (VerboseOpt == 0) {
600                 printf(".");
601                 fflush(stdout);
602         }
603         runcmd(NULL,
604                "hammer -c %s/.reblock-2.cycle -t %d reblock-inodes %s 95",
605                snapshots_path, arg2, path);
606         if (VerboseOpt == 0) {
607                 printf(".");
608                 fflush(stdout);
609         }
610         runcmd(NULL,
611                "hammer -c %s/.reblock-3.cycle -t %d reblock-data %s 95",
612                snapshots_path, arg2, path);
613         if (VerboseOpt == 0)
614                 printf("\n");
615         return(0);
616 }
617
618 static int
619 cleanup_recopy(const char *path, const char *snapshots_path,
620                   int arg1 __unused, int arg2)
621 {
622         if (VerboseOpt == 0) {
623                 printf(".");
624                 fflush(stdout);
625         }
626         runcmd(NULL,
627                "hammer -c %s/.recopy-1.cycle -t %d reblock-btree %s",
628                snapshots_path, arg2, path);
629         if (VerboseOpt == 0) {
630                 printf(".");
631                 fflush(stdout);
632         }
633         runcmd(NULL,
634                "hammer -c %s/.recopy-2.cycle -t %d reblock-inodes %s",
635                snapshots_path, arg2, path);
636         if (VerboseOpt == 0) {
637                 printf(".");
638                 fflush(stdout);
639         }
640         runcmd(NULL,
641                "hammer -c %s/.recopy-3.cycle -t %d reblock-data %s",
642                snapshots_path, arg2, path);
643         if (VerboseOpt == 0)
644                 printf("\n");
645         return(0);
646 }
647
648 static
649 void
650 runcmd(int *resp, const char *ctl, ...)
651 {
652         va_list va;
653         char *cmd;
654         char *arg;
655         char **av;
656         int n;
657         int nmax;
658         int res;
659         pid_t pid;
660
661         /*
662          * Generate the command
663          */
664         va_start(va, ctl);
665         vasprintf(&cmd, ctl, va);
666         va_end(va);
667         if (VerboseOpt)
668                 printf("    %s\n", cmd);
669
670         /*
671          * Break us down into arguments.  We do not just use system() here
672          * because it blocks SIGINT and friends.
673          */
674         n = 0;
675         nmax = 16;
676         av = malloc(sizeof(char *) * nmax);
677
678         for (arg = strtok(cmd, WS); arg; arg = strtok(NULL, WS)) {
679                 if (n == nmax - 1) {
680                         nmax += 16;
681                         av = realloc(av, sizeof(char *) * nmax);
682                 }
683                 av[n++] = arg;
684         }
685         av[n++] = NULL;
686
687         /*
688          * Run the command.
689          */
690         if ((pid = fork()) == 0) {
691                 if (VerboseOpt < 2) {
692                         int fd = open("/dev/null", O_RDWR);
693                         dup2(fd, 1);
694                         close(fd);
695                 }
696                 execvp(av[0], av);
697                 _exit(127);
698         } else if (pid < 0) {
699                 res = 127;
700         } else {
701                 int status;
702                 while (waitpid(pid, &status, 0) != pid)
703                         ;
704                 res = WEXITSTATUS(status);
705         }
706
707         free(cmd);
708         free(av);
709         if (resp)
710                 *resp = res;
711 }
712
713