db925edd30cdb078dc369a34afcc78500c613c74
[dragonfly.git] / sbin / hammer / hammer.8
1 .\" Copyright (c) 2007 The DragonFly Project.  All rights reserved.
2 .\"
3 .\" This code is derived from software contributed to The DragonFly Project
4 .\" by Matthew Dillon <dillon@backplane.com>
5 .\"
6 .\" Redistribution and use in source and binary forms, with or without
7 .\" modification, are permitted provided that the following conditions
8 .\" are met:
9 .\"
10 .\" 1. Redistributions of source code must retain the above copyright
11 .\"    notice, this list of conditions and the following disclaimer.
12 .\" 2. Redistributions in binary form must reproduce the above copyright
13 .\"    notice, this list of conditions and the following disclaimer in
14 .\"    the documentation and/or other materials provided with the
15 .\"    distribution.
16 .\" 3. Neither the name of The DragonFly Project nor the names of its
17 .\"    contributors may be used to endorse or promote products derived
18 .\"    from this software without specific, prior written permission.
19 .\"
20 .\" THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
21 .\" ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
22 .\" LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
23 .\" FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
24 .\" COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
25 .\" INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
26 .\" BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
27 .\" LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
28 .\" AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
29 .\" OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
30 .\" OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31 .\" SUCH DAMAGE.
32 .\"
33 .Dd April 16, 2017
34 .Dt HAMMER 8
35 .Os
36 .Sh NAME
37 .Nm hammer
38 .Nd HAMMER file system utility
39 .Sh SYNOPSIS
40 .Nm
41 .Fl h
42 .Nm
43 .Op Fl 2ABFqrvXy
44 .Op Fl b Ar bandwidth
45 .Op Fl C Ar cachesize Ns Op Ns Cm \&: Ns Ar readahead
46 .Op Fl R Ar restrictcmd
47 .Op Fl T Ar restrictpath
48 .Op Fl c Ar cyclefile
49 .Op Fl e Ar scoreboardfile
50 .Op Fl f Ar blkdevs
51 .\" .Op Fl s Ar linkpath
52 .Op Fl i Ar delay
53 .Op Fl p Ar ssh-port
54 .Op Fl S Ar splitsize
55 .Op Fl t Ar seconds
56 .Op Fl m Ar memlimit
57 .Ar command
58 .Op Ar argument ...
59 .Sh DESCRIPTION
60 This manual page documents the
61 .Nm
62 utility which provides miscellaneous functions related to managing a
63 .Nm HAMMER
64 file system.
65 For a general introduction to the
66 .Nm HAMMER
67 file system, its features, and
68 examples on how to set up and maintain one, see
69 .Xr HAMMER 5 .
70 .Pp
71 The options are as follows:
72 .Bl -tag -width indent
73 .It Fl 2
74 Tell the mirror commands to use a 2-way protocol, which allows
75 automatic negotiation of transaction id ranges.
76 This option is automatically enabled by the
77 .Cm mirror-copy
78 command.
79 .It Fl A
80 Make per PFS commands perform on all PFSs if possible.
81 If the command supports this option, it targets all PFSs of the
82 .Nm HAMMER
83 filesystem that the
84 .Ar filesystem
85 argument (of that command) belongs to.
86 Currently
87 .Cm rebalance ,
88 .Cm reblock ,
89 .Cm reblock-btree ,
90 .Cm reblock-inodes ,
91 .Cm reblock-dirs
92 and
93 .Cm reblock-data
94 commands support this option.
95 If the command does not support this option, it does nothing.
96 .It Fl B
97 Bulk transfer.
98 .Cm Mirror-stream
99 will not attempt to break-up large initial bulk transfers into smaller
100 pieces.
101 This can save time but if the link is lost in the middle of the
102 initial bulk transfer you will have to start over from scratch.
103 For more information see the
104 .Fl S
105 option.
106 .It Fl b Ar bandwidth
107 Specify a bandwidth limit in bytes per second for mirroring streams.
108 This option is typically used to prevent batch mirroring operations from
109 loading down the machine.
110 The bandwidth may be suffixed with
111 .Cm k , m ,
112 or
113 .Cm g
114 to specify values in kilobytes, megabytes, and gigabytes per second.
115 If no suffix is specified, bytes per second is assumed.
116 .Pp
117 Unfortunately this is only applicable to the pre-compression bandwidth
118 when compression is used, so a better solution would probably be to
119 use a
120 .Xr ipfw 8
121 pipe or a
122 .Xr pf 4
123 queue.
124 .It Fl C Ar cachesize Ns Op Ns Cm \&: Ns Ar readahead
125 Set the memory cache size for any raw
126 .Tn I/O .
127 The default is 16MB.
128 A suffix of
129 .Cm k
130 for kilobytes and
131 .Cm m
132 for megabytes is allowed,
133 else the cache size is specified in bytes.
134 .Pp
135 The read-behind/read-ahead defaults to 4
136 .Nm HAMMER
137 blocks.
138 .Pp
139 This option is typically only used with diagnostic commands
140 as kernel-supported commands will use the kernel's buffer cache.
141 .It Fl R Ar restrictcmd
142 This option is used by hammer ssh-remote to restrict the command later
143 on in the argument list.  Multiple commands may be specified, separated
144 by a comma (all one argument).
145 .It Fl T Ar restrictpath
146 This option is used by hammer ssh-remote to restrict the filesystem path
147 specified later on in the argument list.
148 .It Fl c Ar cyclefile
149 When pruning, rebalancing or reblocking you can tell the utility
150 to start at the object id stored in the specified file.
151 If the file does not exist
152 .Nm
153 will start at the beginning.
154 If
155 .Nm
156 is told to run for a specific period of time
157 .Pq Fl t
158 and is unable to complete the operation it will write out
159 the current object id so the next run can pick up where it left off.
160 If
161 .Nm
162 runs to completion it will delete
163 .Ar cyclefile .
164 .It Fl e Ar scoreboardfile
165 Update scoreboard file with progress, primarily used by mirror-stream.
166 .It Fl F
167 Force operation.
168 E.g.\&
169 .Cm cleanup
170 will not check that time period has elapsed if this option is given.
171 .It Fl f Ar blkdevs
172 Specify the volumes making up a
173 .Nm HAMMER
174 file system.
175 .Ar Blkdevs
176 is a colon-separated list of devices, each specifying a
177 .Nm HAMMER
178 volume.
179 .It Fl h
180 Show usage.
181 .It Fl i Ar delay
182 Specify delay in seconds for
183 .Cm mirror-read-stream .
184 When maintaining a streaming mirroring this option specifies the
185 minimum delay after a batch ends before the next batch is allowed
186 to start.
187 The default is five seconds.
188 .It Fl m Ar memlimit
189 Specify the maximum amount of memory
190 .Nm
191 will allocate during a dedup pass.
192 Specify a suffix 'm', 'g', or 't' for megabytes, gigabytes, or terabytes.
193 By default
194 .Nm
195 will allocate up to 1G of ram to hold CRC/SHA tables while running dedup.
196 When the limit is reached the dedup code restricts the range of CRCs to
197 keep memory use within bounds and runs multiple passes as necessary until
198 the entire filesystem has been deduped.
199 .It Fl p Ar ssh-port
200 Pass the
201 .Fl p Ar ssh-port
202 option to
203 .Xr ssh 1
204 when using a remote
205 specification for the source and/or destination.
206 .It Fl q
207 Decrease verboseness.
208 May be specified multiple times.
209 .It Fl r
210 Specify recursion for those commands which support it.
211 .It Fl S Ar splitsize
212 Specify the bulk splitup size in bytes for mirroring streams.
213 When a
214 .Cm mirror-stream
215 is first started
216 .Nm
217 will do an initial run-through of the data to calculate good
218 transaction ids to cut up the bulk transfers, creating
219 restart points in case the stream is interrupted.
220 If we don't do this and the stream is interrupted it might
221 have to start all over again.
222 The default is a
223 .Ar splitsize
224 of 4GB.
225 .Pp
226 At the moment the run-through is disk-bandwidth-heavy but some
227 future version will limit the run-through to just the B-Tree
228 records and not the record data.
229 .Pp
230 The splitsize may be suffixed with
231 .Cm k , m ,
232 or
233 .Cm g
234 to specify values in kilobytes, megabytes, or gigabytes.
235 If no suffix is specified, bytes is assumed.
236 .Pp
237 When mirroring very large filesystems the minimum recommended
238 split size is 4GB.
239 A small split size may wind up generating a great deal of overhead
240 but very little actual incremental data and is not recommended.
241 .It Fl t Ar seconds
242 Specify timeout in seconds.
243 When pruning, rebalancing, reblocking or mirror-reading
244 you can tell the utility to stop after a certain period of time.
245 A value of 0 means unlimited.
246 This option is used along with the
247 .Fl c Ar cyclefile
248 option to prune, rebalance or reblock incrementally.
249 .It Fl v
250 Increase verboseness.
251 May be specified multiple times.
252 .It Fl X
253 Enable compression for any remote ssh specifications.
254 This option is typically used with the mirroring directives.
255 .It Fl y
256 Force
257 .Dq yes
258 for interactive questions.
259 .El
260 .Pp
261 The commands are as follows:
262 .Bl -tag -width indent
263 .\" ==== synctid ====
264 .It Cm synctid Ar filesystem Op Cm quick
265 Generate a guaranteed, formal 64-bit transaction id representing the
266 current state of the specified
267 .Nm HAMMER
268 file system.
269 The file system will be synced to the media.
270 .Pp
271 If the
272 .Cm quick
273 keyword is specified the file system will be soft-synced, meaning that a
274 crash might still undo the state of the file system as of the transaction
275 id returned but any new modifications will occur after the returned
276 transaction id as expected.
277 .Pp
278 This operation does not create a snapshot.
279 It is meant to be used
280 to track temporary fine-grained changes to a subset of files and
281 will only remain valid for
282 .Ql @@
283 access purposes for the
284 .Cm prune-min
285 period configured for the PFS.
286 If you desire a real snapshot then the
287 .Cm snapq
288 directive may be what you are looking for.
289 .\" ==== bstats ====
290 .It Cm bstats Op Ar interval
291 Output
292 .Nm HAMMER
293 B-Tree statistics until interrupted.
294 Pause
295 .Ar interval
296 seconds between each display.
297 The default interval is one second.
298 .\" ==== iostats ====
299 .It Cm iostats Op Ar interval
300 Output
301 .Nm HAMMER
302 .Tn I/O
303 statistics until interrupted.
304 Pause
305 .Ar interval
306 seconds between each display.
307 The default interval is one second.
308 .\" ==== stats ====
309 .It Cm stats Op Ar interval
310 Output
311 .Nm HAMMER
312 B-Tree and
313 .Tn I/O
314 statistics until interrupted.
315 Pause
316 .Ar interval
317 seconds between each display.
318 The default interval is one second.
319 .\" ==== history ====
320 .It Cm history Ns Oo Cm @ Ns Ar offset Ns Oo Cm \&, Ns Ar length Oc Oc Ar path Ns Oo Cm @ Ns Ar offset Ns Oo Cm \&, Ns Ar length Oc Oc Ar ...
321 Show the modification history for inode and data of
322 .Nm HAMMER
323 files.
324 If
325 .Ar offset
326 is given history is shown for data block at given offset,
327 otherwise history is shown for inode.
328 If
329 .Fl v
330 is specified
331 .Ar length
332 data bytes at given offset are dumped for each version,
333 default is 32.
334 .Pp
335 For each
336 .Ar path
337 this directive shows object id and sync status,
338 and for each object version it shows transaction id and time stamp.
339 Files has to exist for this directive to be applicable,
340 to track inodes which has been deleted or renamed see
341 .Xr undo 1 .
342 .Pp
343 Different
344 .Ar offset
345 and
346 .Ar length
347 can be used for each
348 .Ar path
349 by specifying
350 .Ar offset
351 and
352 .Ar length
353 for each
354 .Ar path .
355 .\" ==== blockmap ====
356 .It Cm blockmap
357 Dump the blockmap for the file system.
358 The
359 .Nm HAMMER
360 blockmap is two-layer
361 blockmap representing the maximum possible file system size of 1 Exabyte.
362 Needless to say the second layer is only present for blocks which exist.
363 .Nm HAMMER Ns 's
364 blockmap represents 8-Megabyte blocks, called big-blocks.
365 Each big-block has an append
366 point, a free byte count, and a typed zone id which allows content to be
367 reverse engineered to some degree.
368 .Pp
369 In
370 .Nm HAMMER
371 allocations are essentially appended to a selected big-block using
372 the append offset and deducted from the free byte count.
373 When space is freed the free byte count is adjusted but
374 .Nm HAMMER
375 does not track holes in big-blocks for reallocation.
376 A big-block must be completely freed, either
377 through normal file system operations or through reblocking, before
378 it can be reused.
379 .Pp
380 Data blocks can be shared by deducting the space used from the free byte
381 count for each shared references.
382 This means the free byte count can legally go negative.
383 .Pp
384 This command needs the
385 .Fl f Ar blkdevs
386 option.
387 .\" ==== checkmap ====
388 .It Cm checkmap
389 Check the blockmap allocation count.
390 .Nm
391 will scan the freemap, B-Tree, UNDO/REDO FIFO, then collect allocation information,
392 and construct a blockmap in-memory.
393 It will then check that blockmap against the on-disk blockmap.
394 .Pp
395 This command needs the
396 .Fl f Ar blkdevs
397 option.
398 .\" ==== show ====
399 .It Cm show Op Ar localization Ns Op Cm \&: Ns Ar object_id Ns Op Cm \&: Ns Ar rec_type Ns Op Cm \&: Ns Ar key Ns Op Cm \&: Ns Ar create_tid
400 Dump the B-Tree.
401 By default this command will validate all B-Tree
402 linkages and CRCs, including data CRCs, and will report the most verbose
403 information it can dig up.
404 Any errors will show up with a
405 .Ql B
406 in column 1 along with various
407 other error flags.
408 .Pp
409 If you specify
410 .Ar localization
411 or
412 .Ar localization Ns Cm \&: Ns Ar object_id
413 or
414 .Ar localization Ns Cm \&: Ns Ar object_id Ns Cm \&: Ns Ar rec_type
415 or
416 .Ar localization Ns Cm \&: Ns Ar object_id Ns Cm \&: Ns Ar rec_type Ns Cm \&: Ns Ar key
417 or
418 .Ar localization Ns Cm \&: Ns Ar object_id Ns Cm \&: Ns Ar rec_type Ns Cm \&: Ns Ar key Ns Cm \&: Ns Ar create_tid
419 the dump will
420 search for the key printing nodes as it recurses down, and then
421 will iterate forwards.
422 These fields are specified in HEX.
423 Note that the PFS id is the top 16 bits of the 32-bit localization
424 field so PFS#1 would be 00010000.
425 .Pp
426 If you use
427 .Fl q
428 the command will report less information about the inode contents.
429 .Pp
430 If you use
431 .Fl qq
432 the command will not report the content of the inode or other typed
433 data at all.
434 .Pp
435 If you use
436 .Fl qqq
437 the command will not report volume header information, big-block fill
438 ratios, mirror transaction ids, or report or check data CRCs.
439 B-Tree CRCs and linkages are still checked.
440 .Pp
441 This command needs the
442 .Fl f Ar blkdevs
443 option.
444 .\" ==== show-undo ====
445 .It Cm show-undo
446 .Nm ( HAMMER
447 VERSION 4+)
448 Dump the UNDO/REDO map.
449 .Pp
450 This command needs the
451 .Fl f Ar blkdevs
452 option.
453 .\" .It Ar blockmap
454 .\" Dump the B-Tree, record, large-data, and small-data blockmaps, showing
455 .\" physical block assignments and free space percentages.
456 .\" ==== ssh-remote ====
457 .It Cm ssh-remote Ar command Ar targetdir
458 Used in a ssh authorized_keys line such as
459 command="/sbin/hammer ssh-remote mirror-read /fubarmount" ... to allow
460 mirror-read or mirror-write access to a particular subdirectory tree.
461 This way you do not have to give shell access to the remote box.
462 .Nm
463 will obtain the original command line from the SSH_ORIGINAL_COMMAND
464 environment variable, validate it against the restriction, and then
465 re-exec hammer with the validated arguments.
466 .Pp
467 The remote hammer command does not allow the
468 .Fl c
469 or
470 .Fl f
471 options to be passed in.
472 .\" ==== recover ====
473 .It Cm recover Ar targetdir Op Cm full|quick
474 Recover data from a corrupted
475 .Nm HAMMER
476 filesystem.
477 This is a low level command which operates on the filesystem image and
478 attempts to locate and recover files from a corrupted filesystem.
479 The entire image is scanned linearly looking for B-Tree nodes.
480 Any node
481 found which passes its CRC test is scanned for file, inode, and directory
482 fragments and the target directory is populated with the resulting data.
483 files and directories in the target directory are initially named after
484 the object id and are renamed as fragmentary information is processed.
485 .Pp
486 This command keeps track of filename/object_id translations and may eat a
487 considerably amount of memory while operating.
488 .Pp
489 This command is literally the last line of defense when it comes to
490 recovering data from a dead filesystem.
491 .Pp
492 If the
493 .Cm full
494 keyword is specified, this command scans all the big-blocks within the
495 entire image, regardless of whether big-blocks contain active data or meta-data.
496 By default, it linearly scans only up to the last big-block that contains
497 active data or meta-data, if such big-block is detectable.
498 .Pp
499 If the
500 .Cm quick
501 keyword is specified, this command only scans big-blocks that contain
502 B-Tree nodes and associated records, without linearly scanning the entire image.
503 This may speed up the recovery process provided that big-blocks for
504 B-Tree nodes are not corrupted.
505 .Pp
506 This command needs the
507 .Fl f Ar blkdevs
508 option.
509 .\" ==== strip ====
510 .It Cm strip
511 Strip
512 .Nm HAMMER
513 filesystem volume header and other meta-data by overwriting them with irrelevant data.
514 .Nm HAMMER
515 volumes need to be unmounted.
516 .Pp
517 This is a fast way to make
518 .Nm HAMMER
519 filesystem unmountable and unrecoverable.
520 After running this command,
521 .Nm HAMMER
522 filesystem data is no longer recoverable using
523 .Cm recover
524 command, although the data still exists within the volumes.
525 As safety measure the
526 .Fl y
527 flag have no effect on this directive.
528 .Pp
529 This command needs the
530 .Fl f Ar blkdevs
531 option.
532 .\" ==== namekey1 ====
533 .It Cm namekey1 Ar filename
534 Generate a
535 .Nm HAMMER
536 64-bit directory hash for the specified file name, using
537 the original directory hash algorithm in version 1 of the file system.
538 The low 32 bits are used as an iterator for hash collisions and will be
539 output as 0.
540 .\" ==== namekey2 ====
541 .It Cm namekey2 Ar filename
542 Generate a
543 .Nm HAMMER
544 64-bit directory hash for the specified file name, using
545 the new directory hash algorithm in version 2 of the file system.
546 The low 32 bits are still used as an iterator but will start out containing
547 part of the hash key.
548 .\" ==== namekey32 ====
549 .It Cm namekey32 Ar filename
550 Generate the top 32 bits of a
551 .Nm HAMMER
552 64 bit directory hash for the specified file name.
553 .\" ==== info ====
554 .It Cm info Ar dirpath ...
555 Show extended information about all
556 .Nm HAMMER
557 file systems mounted in the system or the one mounted in
558 .Ar dirpath
559 when this argument is specified.
560 .Pp
561 The information is divided into sections:
562 .Bl -tag -width indent
563 .It Volume identification
564 General information, like the label of the
565 .Nm HAMMER
566 filesystem, the number of volumes it contains, the FSID, and the
567 .Nm HAMMER
568 version being used.
569 .It Big-block information
570 Big-block statistics, such as total, used, reserved and free big-blocks.
571 .It Space information
572 Information about space used on the filesystem.
573 Currently total size, used, reserved and free space are displayed.
574 .It PFS information
575 Basic information about the PFSs currently present on a
576 .Nm HAMMER
577 filesystem.
578 .Pp
579 .Dq PFS ID
580 is the ID of the PFS, with 0 being the root PFS.
581 .Dq Snaps
582 is the current snapshot count on the PFS.
583 .Dq Mounted on
584 displays the mount point of the PFS is currently mounted on (if any).
585 .El
586 .\" ==== cleanup ====
587 .It Cm cleanup Op Ar filesystem ...
588 This is a meta-command which executes snapshot, prune, rebalance, dedup
589 and reblock commands on the specified
590 .Nm HAMMER
591 file systems.
592 If no
593 .Ar filesystem
594 is specified this command will clean-up all
595 .Nm HAMMER
596 file systems in use, including PFS's.
597 To do this it will scan all
598 .Nm HAMMER
599 and
600 .Nm null
601 mounts, extract PFS id's, and clean-up each PFS found.
602 .Pp
603 This command will access a snapshots
604 directory and a configuration file for each
605 .Ar filesystem ,
606 creating them if necessary.
607 .Bl -tag -width indent
608 .It Nm HAMMER No version 2-
609 The configuration file is
610 .Pa config
611 in the snapshots directory which defaults to
612 .Pa <pfs>/snapshots .
613 .It Nm HAMMER No version 3+
614 The configuration file is saved in file system meta-data, see
615 .Nm
616 .Cm config .
617 The snapshots directory defaults to
618 .Pa /var/hammer/<pfs>
619 .Pa ( /var/hammer/root
620 for root mount).
621 .El
622 .Pp
623 The format of the configuration file is:
624 .Bd -literal -offset indent
625 snapshots  <period> <retention-time> [any]
626 prune      <period> <max-runtime>
627 rebalance  <period> <max-runtime>
628 dedup      <period> <max-runtime>
629 reblock    <period> <max-runtime>
630 recopy     <period> <max-runtime>
631 .Ed
632 .Pp
633 Defaults are:
634 .Bd -literal -offset indent
635 snapshots  1d 60d  # 0d 0d  for PFS /tmp, /var/tmp, /usr/obj
636 prune      1d 5m
637 rebalance  1d 5m
638 #dedup      1d 5m  # not enabled by default
639 reblock    1d 5m
640 recopy     30d 10m
641 .Ed
642 .Pp
643 Time is given with a suffix of
644 .Cm d ,
645 .Cm h ,
646 .Cm m
647 or
648 .Cm s
649 meaning day, hour, minute and second.
650 .Pp
651 If the
652 .Cm snapshots
653 directive has a period of 0 and a retention time of 0
654 then snapshot generation is disabled, removal of old snapshots are
655 disabled, and prunes will use
656 .Cm prune-everything .
657 .Pp
658 If the
659 .Cm snapshots
660 directive has a period of 0 but a non-zero retention time
661 then this command will not create any new snapshots but will remove old
662 snapshots it finds based on the retention time.
663 This form should be
664 used on PFS masters where you are generating your own snapshot softlinks
665 manually and on PFS slaves when all you wish to do is prune away existing
666 snapshots inherited via the mirroring stream.
667 .Pp
668 By default only snapshots in the form
669 .Ql snap- Ns Ar yyyymmdd Ns Op - Ns Ar HHMM
670 are processed.
671 If the
672 .Cm any
673 directive is specified as a third argument on the
674 .Cm snapshots
675 config line then any softlink of the form
676 .Ql *- Ns Ar yyyymmdd Ns Op - Ns Ar HHMM
677 or
678 .Ql *. Ns Ar yyyymmdd Ns Op - Ns Ar HHMM
679 will be processed.
680 .Pp
681 A period of 0 for prune, rebalance, dedup, reblock or recopy disables the directive.
682 A max-runtime of 0 means unlimited.
683 .Pp
684 If period hasn't passed since the previous
685 .Cm cleanup
686 run nothing is done.
687 For example a day has passed when midnight is passed (localtime).
688 If the
689 .Fl F
690 flag is given the period is ignored.
691 By default,
692 .Dx
693 is set up to run
694 .Nm Cm cleanup
695 nightly via
696 .Xr periodic 8 .
697 .Pp
698 The default configuration file will create a daily snapshot, do a daily
699 pruning, rebalancing, deduping and reblocking run and a monthly recopy run.
700 Reblocking is defragmentation with a level of 95%,
701 and recopy is full defragmentation.
702 .Pp
703 By default prune, dedup and rebalance operations are time limited to 5 minutes,
704 and reblock operations to a bit over 5 minutes,
705 and recopy operations to a bit over 10 minutes.
706 Reblocking and recopy runs are each broken down into four separate functions:
707 B-Tree, inodes, dirs and data.
708 Each function is time limited to the time given in the configuration file,
709 but the B-Tree, inodes and dirs functions usually does not take very long time,
710 full defragmentation is always used for these three functions.
711 Also note that this directive will by default disable snapshots on
712 the following PFS's:
713 .Pa /tmp ,
714 .Pa /var/tmp
715 and
716 .Pa /usr/obj .
717 .Pp
718 The defaults may be adjusted by modifying the configuration file.
719 The pruning and reblocking commands automatically maintain a cyclefile
720 for incremental operation.
721 If you interrupt (^C) the program the cyclefile will be updated,
722 but a sub-command
723 may continue to run in the background for a few seconds until the
724 .Nm HAMMER
725 ioctl detects the interrupt.
726 The
727 .Cm snapshots
728 PFS option can be set to use another location for the snapshots directory.
729 .Pp
730 Work on this command is still in progress.
731 Expected additions:
732 An ability to remove snapshots dynamically as the
733 file system becomes full.
734 .\" ==== abort-cleanup ====
735 .It Cm abort-cleanup
736 This command will terminate all active
737 .Cm cleanup
738 processes.
739 .\" ==== config ====
740 .It Cm config Op Ar filesystem Op Ar configfile
741 .Nm ( HAMMER
742 VERSION 3+)
743 Show or change configuration for
744 .Ar filesystem .
745 If zero or one arguments are specified this function dumps the current
746 configuration file to stdout.
747 Zero arguments specifies the PFS containing the current directory.
748 This configuration file is stored in file system meta-data.
749 If two arguments are specified this function installs a new configuration file
750 .Ar configfile .
751 .Pp
752 In
753 .Nm HAMMER
754 versions less than 3 the configuration file is by default stored in
755 .Pa <pfs>/snapshots/config ,
756 but in all later versions the configuration file is stored in file system
757 meta-data.
758 .\" ==== viconfig ====
759 .It Cm viconfig Op Ar filesystem
760 .Nm ( HAMMER
761 VERSION 3+)
762 Edit the configuration file and reinstall into file system meta-data when done.
763 Zero arguments specifies the PFS containing the current directory.
764 .\" ==== volume-add ====
765 .It Cm volume-add Ar device Ar filesystem
766 Add volume
767 .Ar device
768 to
769 .Ar filesystem .
770 This will format
771 .Ar device
772 and add all of its space to
773 .Ar filesystem .
774 A
775 .Nm HAMMER
776 file system can use up to 256 volumes.
777 .Pp
778 .Em NOTE!
779 All existing data contained on
780 .Ar device
781 will be destroyed by this operation!
782 If
783 .Ar device
784 contains a valid
785 .Nm HAMMER
786 file system, formatting will be denied.
787 You can overcome this sanity check by using
788 .Xr dd 1
789 to erase the beginning sectors of the device.
790 .Pp
791 Remember that you have to specify
792 .Ar device ,
793 together with any other device that make up the file system,
794 colon-separated to
795 .Pa /etc/fstab
796 and
797 .Xr mount_hammer 8 .
798 If
799 .Ar filesystem
800 is root file system, also remember to add
801 .Ar device
802 to
803 .Va vfs.root.mountfrom
804 in
805 .Pa /boot/loader.conf ,
806 see
807 .Xr loader 8 .
808 .\" ==== volume-del ====
809 .It Cm volume-del Ar device Ar filesystem
810 Remove volume
811 .Ar device
812 from
813 .Ar filesystem .
814 .Pp
815 Remember that you have to remove
816 .Ar device
817 from the colon-separated list in
818 .Pa /etc/fstab
819 and
820 .Xr mount_hammer 8 .
821 If
822 .Ar filesystem
823 is root file system, also remember to remove
824 .Ar device
825 from
826 .Va vfs.root.mountfrom
827 in
828 .Pa /boot/loader.conf ,
829 see
830 .Xr loader 8 .
831 .Pp
832 It is not possible to remove the
833 .Ar root-volume
834 as it contains
835 .Ar filesystem
836 meta data such as
837 .Nm HAMMER Ns 's
838 layer1 blockmap and UNDO/REDO FIFO.
839 .Pp
840 This command may
841 .Cm reblock
842 filesystem before it attempts to remove the volume if the volume is not empty.
843 .\" ==== volume-list ====
844 .It Cm volume-list Ar filesystem
845 List the volumes that make up
846 .Ar filesystem .
847 If -v is specified the command shows volume number for each volume as well as
848 .Ar root-volume
849 information.
850 .\" ==== volume-blkdevs ====
851 .It Cm volume-blkdevs Ar filesystem
852 List the volumes that make up
853 .Ar filesystem
854 in
855 .Ar blkdevs
856 format.
857 .\" ==== snapshot ====
858 .It Cm snapshot Oo Ar filesystem Oc Ar snapshot-dir
859 .It Cm snapshot Ar filesystem Ar snapshot-dir Op Ar note
860 Take a snapshot of the file system either explicitly given by
861 .Ar filesystem
862 or implicitly derived from the
863 .Ar snapshot-dir
864 argument and creates a symlink in the directory provided by
865 .Ar snapshot-dir
866 pointing to the snapshot.
867 If
868 .Ar snapshot-dir
869 is not a directory, it is assumed to be a format string passed to
870 .Xr strftime 3
871 with the current time as parameter.
872 If
873 .Ar snapshot-dir
874 refers to an existing directory, a default format string of
875 .Ql snap-%Y%m%d-%H%M
876 is assumed and used as name for the newly created symlink.
877 .Pp
878 Snapshot is a per PFS operation, so each PFS in a
879 .Nm HAMMER
880 file system have to be snapshot separately.
881 .Pp
882 Example, assuming that
883 .Pa /mysnapshots
884 is on file system
885 .Pa /
886 and that
887 .Pa /obj
888 and
889 .Pa /usr
890 are file systems on their own, the following invocations:
891 .Bd -literal -offset indent
892 hammer snapshot /mysnapshots
893
894 hammer snapshot /mysnapshots/%Y-%m-%d
895
896 hammer snapshot /obj /mysnapshots/obj-%Y-%m-%d
897
898 hammer snapshot /usr /my/snaps/usr "note"
899 .Ed
900 .Pp
901 Would create symlinks similar to:
902 .Bd -literal -offset indent
903 /mysnapshots/snap-20080627-1210 -> /@@0x10d2cd05b7270d16
904
905 /mysnapshots/2008-06-27 -> /@@0x10d2cd05b7270d16
906
907 /mysnapshots/obj-2008-06-27 -> /obj@@0x10d2cd05b7270d16
908
909 /my/snaps/usr/snap-20080627-1210 -> /usr@@0x10d2cd05b7270d16
910 .Ed
911 .Pp
912 When run on a
913 .Nm HAMMER
914 version 3+ file system the snapshot is also recorded in file system meta-data
915 along with the optional
916 .Ar note .
917 See the
918 .Cm snapls
919 directive.
920 .\" ==== snap* ====
921 .It Cm snap Ar path Op Ar note
922 .Nm ( HAMMER
923 VERSION 3+)
924 Create a snapshot for the PFS containing
925 .Ar path
926 and create a snapshot softlink.
927 If the path specified is a
928 directory a standard snapshot softlink will be created in the directory.
929 The snapshot softlink points to the base of the mounted PFS.
930 .It Cm snaplo Ar path Op Ar note
931 .Nm ( HAMMER
932 VERSION 3+)
933 Create a snapshot for the PFS containing
934 .Ar path
935 and create a snapshot softlink.
936 If the path specified is a
937 directory a standard snapshot softlink will be created in the directory.
938 The snapshot softlink points into the directory it is contained in.
939 .It Cm snapq Ar dir Op Ar note
940 .Nm ( HAMMER
941 VERSION 3+)
942 Create a snapshot for the PFS containing the specified directory but do
943 not create a softlink.
944 Instead output a path which can be used to access
945 the directory via the snapshot.
946 .Pp
947 An absolute or relative path may be specified.
948 The path will be used as-is as a prefix in the path output to stdout.
949 As with the other
950 snap and snapshot directives the snapshot transaction id will be registered
951 in the file system meta-data.
952 .It Cm snaprm Ar path Ar ...
953 .It Cm snaprm Ar transaction_id Ar ...
954 .It Cm snaprm Ar filesystem Ar transaction_id Ar ...
955 .Nm ( HAMMER
956 VERSION 3+)
957 Remove a snapshot given its softlink or transaction id.
958 If specifying a transaction id
959 the snapshot is removed from file system meta-data but you are responsible
960 for removing any related softlinks.
961 .Pp
962 If a softlink path is specified the filesystem and transaction id
963 is derived from the contents of the softlink.
964 If just a transaction id is specified it is assumed to be a snapshot in the
965 .Nm HAMMER
966 filesystem you are currently chdir'd into.
967 You can also specify the filesystem and transaction id explicitly.
968 .It Cm snapls Op Ar path ...
969 .Nm ( HAMMER
970 VERSION 3+)
971 Dump the snapshot meta-data for PFSs containing each
972 .Ar path
973 listing all available snapshots and their notes.
974 If no arguments are specified snapshots for the PFS containing the
975 current directory are listed.
976 This is the definitive list of snapshots for the file system.
977 .\" ==== prune ====
978 .It Cm prune Ar softlink-dir
979 Prune the file system based on previously created snapshot softlinks.
980 Pruning is the act of deleting file system history.
981 The
982 .Cm prune
983 command will delete file system history such that
984 the file system state is retained for the given snapshots,
985 and all history after the latest snapshot.
986 By setting the per PFS parameter
987 .Cm prune-min ,
988 history is guaranteed to be saved at least this time interval.
989 All other history is deleted.
990 .Pp
991 The target directory is expected to contain softlinks pointing to
992 snapshots of the file systems you wish to retain.
993 The directory is scanned non-recursively and the mount points and
994 transaction ids stored in the softlinks are extracted and sorted.
995 The file system is then explicitly pruned according to what is found.
996 Cleaning out portions of the file system is as simple as removing a
997 snapshot softlink and then running the
998 .Cm prune
999 command.
1000 .Pp
1001 As a safety measure pruning only occurs if one or more softlinks are found
1002 containing the
1003 .Ql @@
1004 snapshot id extension.
1005 Currently the scanned softlink directory must contain softlinks pointing
1006 to a single
1007 .Nm HAMMER
1008 mount.
1009 The softlinks may specify absolute or relative paths.
1010 Softlinks must use 20-character
1011 .Ql @@0x%016llx
1012 transaction ids, as might be returned from
1013 .Nm Cm synctid Ar filesystem .
1014 .Pp
1015 Pruning is a per PFS operation, so each PFS in a
1016 .Nm HAMMER
1017 file system have to be pruned separately.
1018 .Pp
1019 Note that pruning a file system may not immediately free-up space,
1020 though typically some space will be freed if a large number of records are
1021 pruned out.
1022 The file system must be reblocked to completely recover all available space.
1023 .Pp
1024 Example, lets say your that you didn't set
1025 .Cm prune-min ,
1026 and snapshot directory contains the following links:
1027 .Bd -literal -offset indent
1028 lrwxr-xr-x  1 root  wheel  29 May 31 17:57 snap1 ->
1029 /usr/obj/@@0x10d2cd05b7270d16
1030
1031 lrwxr-xr-x  1 root  wheel  29 May 31 17:58 snap2 ->
1032 /usr/obj/@@0x10d2cd13f3fde98f
1033
1034 lrwxr-xr-x  1 root  wheel  29 May 31 17:59 snap3 ->
1035 /usr/obj/@@0x10d2cd222adee364
1036 .Ed
1037 .Pp
1038 If you were to run the
1039 .Cm prune
1040 command on this directory, then the
1041 .Nm HAMMER
1042 .Pa /usr/obj
1043 mount will be pruned to retain the above three snapshots.
1044 In addition, history for modifications made to the file system older than
1045 the oldest snapshot will be destroyed and history for potentially fine-grained
1046 modifications made to the file system more recently than the most recent
1047 snapshot will be retained.
1048 .Pp
1049 If you then delete the
1050 .Pa snap2
1051 softlink and rerun the
1052 .Cm prune
1053 command,
1054 history for modifications pertaining to that snapshot would be destroyed.
1055 .Pp
1056 In
1057 .Nm HAMMER
1058 file system versions 3+ this command also scans the snapshots stored
1059 in the file system meta-data and includes them in the prune.
1060 .\" ==== prune-everything ====
1061 .It Cm prune-everything Ar filesystem
1062 Remove all historical records from
1063 .Ar filesystem .
1064 Use this directive with caution on PFSs where you intend to use history.
1065 .Pp
1066 This command does not remove snapshot softlinks but will delete all
1067 snapshots recorded in file system meta-data (for file system version 3+).
1068 The user is responsible for deleting any softlinks.
1069 .Pp
1070 Pruning is a per PFS operation, so each PFS in a
1071 .Nm HAMMER
1072 file system have to be pruned separately.
1073 .\" ==== rebalance ====
1074 .It Cm rebalance Ar filesystem Op Ar saturation_percentage
1075 Rebalance the B-Tree, nodes with small number of
1076 elements will be combined and element counts will be smoothed out
1077 between nodes.
1078 .Pp
1079 The saturation percentage is between 50% and 100%.
1080 The default is 85% (the
1081 .Sq %
1082 suffix is not needed).
1083 .Pp
1084 Rebalancing is a per PFS operation, so each PFS in a
1085 .Nm HAMMER
1086 file system have to be rebalanced separately.
1087 .\" ==== dedup ====
1088 .It Cm dedup Ar filesystem
1089 .Nm ( HAMMER
1090 VERSION 5+)
1091 Perform offline (post-process) deduplication.
1092 Deduplication occurs at
1093 the block level, currently only data blocks of the same size can be
1094 deduped, metadata blocks can not.
1095 The hash function used for comparing
1096 data blocks is CRC-32 (CRCs are computed anyways as part of
1097 .Nm HAMMER
1098 data integrity features, so there's no additional overhead).
1099 Since CRC is a weak hash function a byte-by-byte comparison is done
1100 before actual deduping.
1101 In case of a CRC collision (two data blocks have the same CRC
1102 but different contents) the checksum is upgraded to SHA-256.
1103 .Pp
1104 Currently
1105 .Nm HAMMER
1106 reblocker may partially blow up (re-expand) dedup (reblocker's normal
1107 operation is to reallocate every record, so it's possible for deduped
1108 blocks to be re-expanded back).
1109 .Pp
1110 Deduplication is a per PFS operation, so each PFS in a
1111 .Nm HAMMER
1112 file system have to be deduped separately.
1113 This also
1114 means that if you have duplicated data in two different PFSs that data
1115 won't be deduped, however the addition of such feature is planned.
1116 .Pp
1117 The
1118 .Fl m Ar memlimit
1119 option should be used to limit memory use during the dedup run if the
1120 default 1G limit is too much for the machine.
1121 .\" ==== dedup-simulate ====
1122 .It Cm dedup-simulate Ar filesystem
1123 Shows potential space savings (simulated dedup ratio) one can get after
1124 running
1125 .Cm dedup
1126 command.
1127 If the estimated dedup ratio is greater than 1.00 you will see
1128 dedup space savings.
1129 Remember that this is an estimated number, in
1130 practice real dedup ratio will be slightly smaller because of
1131 .Nm HAMMER
1132 big-block underflows, B-Tree locking issues and other factors.
1133 .Pp
1134 Note that deduplication currently works only on bulk data so if you
1135 try to run
1136 .Cm dedup-simulate
1137 or
1138 .Cm dedup
1139 commands on a PFS that contains metadata only (directory entries,
1140 softlinks) you will get a 0.00 dedup ratio.
1141 .Pp
1142 The
1143 .Fl m Ar memlimit
1144 option should be used to limit memory use during the dedup run if the
1145 default 1G limit is too much for the machine.
1146 .\" ==== reblock* ====
1147 .It Cm reblock Ar filesystem Op Ar fill_percentage
1148 .It Cm reblock-btree Ar filesystem Op Ar fill_percentage
1149 .It Cm reblock-inodes Ar filesystem Op Ar fill_percentage
1150 .It Cm reblock-dirs Ar filesystem Op Ar fill_percentage
1151 .It Cm reblock-data Ar filesystem Op Ar fill_percentage
1152 Attempt to defragment and free space for reuse by reblocking a live
1153 .Nm HAMMER
1154 file system.
1155 Big-blocks cannot be reused by
1156 .Nm HAMMER
1157 until they are completely free.
1158 This command also has the effect of reordering all elements, effectively
1159 defragmenting the file system.
1160 .Pp
1161 The default fill percentage is 100% and will cause the file system to be
1162 completely defragmented.
1163 All specified element types will be reallocated and rewritten.
1164 If you wish to quickly free up space instead try specifying
1165 a smaller fill percentage, such as 90% or 80% (the
1166 .Sq %
1167 suffix is not needed).
1168 .Pp
1169 Since this command may rewrite the entire contents of the disk it is
1170 best to do it incrementally from a
1171 .Xr cron 8
1172 job along with the
1173 .Fl c Ar cyclefile
1174 and
1175 .Fl t Ar seconds
1176 options to limit the run time.
1177 The file system would thus be defragmented over long period of time.
1178 .Pp
1179 It is recommended that separate invocations be used for each data type.
1180 B-Tree nodes, inodes, and directories are typically the most important
1181 elements needing defragmentation.
1182 Data can be defragmented over a longer period of time.
1183 .Pp
1184 Reblocking is a per PFS operation, so each PFS in a
1185 .Nm HAMMER
1186 file system have to be reblocked separately.
1187 .\" ==== pfs-status ====
1188 .It Cm pfs-status Ar dirpath ...
1189 Retrieve the mirroring configuration parameters for the specified
1190 .Nm HAMMER
1191 file systems or pseudo-filesystems (PFS's).
1192 .\" ==== pfs-master ====
1193 .It Cm pfs-master Ar dirpath Op Ar options
1194 Create a pseudo-filesystem (PFS) inside a
1195 .Nm HAMMER
1196 file system.
1197 Up to 65536 PFSs can be created.
1198 Each PFS uses an independent inode numbering space making it suitable
1199 for replication.
1200 .Pp
1201 The
1202 .Cm pfs-master
1203 directive creates a PFS that you can read, write, and use as a mirroring
1204 source.
1205 .Pp
1206 A PFS can only be truly destroyed with the
1207 .Cm pfs-destroy
1208 directive.
1209 Removing the softlink will not destroy the underlying PFS.
1210 .Pp
1211 A PFS can only be created in the root PFS,
1212 not in a PFS created by
1213 .Cm pfs-master
1214 or
1215 .Cm pfs-slave .
1216 .Pp
1217 It is recommended that
1218 .Ar dirpath
1219 is of the form
1220 .Pa <fs>/pfs/<name>
1221 (i.e.\& located in
1222 .Pa PFS
1223 directory at root of
1224 .Nm HAMMER
1225 file system).
1226 .Pp
1227 It is recommended to use a
1228 .Nm null
1229 mount to access a PFS, except for root PFS, for more information see
1230 .Xr HAMMER 5 .
1231 .\" ==== pfs-slave ====
1232 .It Cm pfs-slave Ar dirpath Op Ar options
1233 Create a pseudo-filesystem (PFS) inside a
1234 .Nm HAMMER
1235 file system.
1236 Up to 65536 PFSs can be created.
1237 Each PFS uses an independent inode numbering space making it suitable
1238 for replication.
1239 .Pp
1240 The
1241 .Cm pfs-slave
1242 directive creates a PFS that you can use as a mirroring source or target.
1243 You will not be able to access a slave PFS until you have completed the
1244 first mirroring operation with it as the target (its root directory will
1245 not exist until then).
1246 .Pp
1247 Access to the pfs-slave via the special softlink, as described in the
1248 .Sx PSEUDO-FILESYSTEM (PFS) NOTES
1249 below, allows
1250 .Nm HAMMER
1251 to
1252 dynamically modify the snapshot transaction id by returning a dynamic result
1253 from
1254 .Xr readlink 2
1255 calls.
1256 .Pp
1257 A PFS can only be truly destroyed with the
1258 .Cm pfs-destroy
1259 directive.
1260 Removing the softlink will not destroy the underlying PFS.
1261 .Pp
1262 A PFS can only be created in the root PFS,
1263 not in a PFS created by
1264 .Cm pfs-master
1265 or
1266 .Cm pfs-slave .
1267 .Pp
1268 It is recommended that
1269 .Ar dirpath
1270 is of the form
1271 .Pa <fs>/pfs/<name>
1272 (i.e.\& located in
1273 .Pa PFS
1274 directory at root of
1275 .Nm HAMMER
1276 file system).
1277 .Pp
1278 It is recommended to use a
1279 .Nm null
1280 mount to access a PFS, except for root PFS, for more information see
1281 .Xr HAMMER 5 .
1282 .\" ==== pfs-update ====
1283 .It Cm pfs-update Ar dirpath Op Ar options
1284 Update the configuration parameters for an existing
1285 .Nm HAMMER
1286 file system or pseudo-filesystem.
1287 Options that may be specified:
1288 .Bl -tag -width indent
1289 .It Cm sync-beg-tid= Ns Ar 0x16llx
1290 This is the automatic snapshot access starting transaction id for
1291 mirroring slaves.
1292 This parameter is normally updated automatically by the
1293 .Cm mirror-write
1294 directive.
1295 .Pp
1296 It is important to note that accessing a mirroring slave
1297 with a transaction id greater than the last fully synchronized transaction
1298 id can result in an unreliable snapshot since you will be accessing
1299 data that is still undergoing synchronization.
1300 .Pp
1301 Manually modifying this field is dangerous and can result in a broken mirror.
1302 .It Cm sync-end-tid= Ns Ar 0x16llx
1303 This is the current synchronization point for mirroring slaves.
1304 This parameter is normally updated automatically by the
1305 .Cm mirror-write
1306 directive.
1307 .Pp
1308 Manually modifying this field is dangerous and can result in a broken mirror.
1309 .It Cm shared-uuid= Ns Ar uuid
1310 Set the shared UUID for this file system.
1311 All mirrors must have the same shared UUID.
1312 For safety purposes the
1313 .Cm mirror-write
1314 directives will refuse to operate on a target with a different shared UUID.
1315 .Pp
1316 Changing the shared UUID on an existing, non-empty mirroring target,
1317 including an empty but not completely pruned target,
1318 can lead to corruption of the mirroring target.
1319 .It Cm unique-uuid= Ns Ar uuid
1320 Set the unique UUID for this file system.
1321 This UUID should not be used anywhere else,
1322 even on exact copies of the file system.
1323 .It Cm label= Ns Ar string
1324 Set a descriptive label for this file system.
1325 .It Cm snapshots= Ns Ar string
1326 Specify the snapshots directory which
1327 .Nm
1328 .Cm cleanup
1329 will use to manage this PFS.
1330 .Bl -tag -width indent
1331 .It Nm HAMMER No version 2-
1332 The snapshots directory does not need to be configured for
1333 PFS masters and will default to
1334 .Pa <pfs>/snapshots .
1335 .Pp
1336 PFS slaves are mirroring slaves so you cannot configure a snapshots
1337 directory on the slave itself to be managed by the slave's machine.
1338 In fact, the slave will likely have a
1339 .Pa snapshots
1340 sub-directory mirrored
1341 from the master, but that directory contains the configuration the master
1342 is using for its copy of the file system, not the configuration that we
1343 want to use for our slave.
1344 .Pp
1345 It is recommended that
1346 .Pa <fs>/var/slaves/<name>
1347 be configured for a PFS slave, where
1348 .Pa <fs>
1349 is the base
1350 .Nm HAMMER
1351 file system, and
1352 .Pa <name>
1353 is an appropriate label.
1354 .It Nm HAMMER No version 3+
1355 The snapshots directory does not need to be configured for PFS masters or
1356 slaves.
1357 The snapshots directory defaults to
1358 .Pa /var/hammer/<pfs>
1359 .Pa ( /var/hammer/root
1360 for root mount).
1361 .El
1362 .Pp
1363 You can control snapshot retention on your slave independent of the master.
1364 .It Cm snapshots-clear
1365 Zero out the
1366 .Cm snapshots
1367 directory path for this PFS.
1368 .It Cm prune-min= Ns Ar N Ns Cm d
1369 .It Cm prune-min= Ns Oo Ar N Ns Cm d/ Oc Ns \
1370 Ar hh Ns Op Cm \&: Ns Ar mm Ns Op Cm \&: Ns Ar ss
1371 Set the minimum fine-grained data retention period.
1372 .Nm HAMMER
1373 always retains fine-grained history up to the most recent snapshot.
1374 You can extend the retention period further by specifying a non-zero
1375 pruning minimum.
1376 Any snapshot softlinks within the retention period are ignored
1377 for the purposes of pruning (i.e.\& the fine grained history is retained).
1378 Number of days, hours, minutes and seconds are given as
1379 .Ar N , hh , mm
1380 and
1381 .Ar ss .
1382 .Pp
1383 Because the transaction id in the snapshot softlink cannot be used
1384 to calculate a timestamp,
1385 .Nm HAMMER
1386 uses the earlier of the
1387 .Fa st_ctime
1388 or
1389 .Fa st_mtime
1390 field of the softlink to
1391 determine which snapshots fall within the retention period.
1392 Users must be sure to retain one of these two fields when manipulating
1393 the softlink.
1394 .El
1395 .\" ==== pfs-upgrade ====
1396 .It Cm pfs-upgrade Ar dirpath
1397 Upgrade a PFS from slave to master operation.
1398 The PFS will be rolled back to the current end synchronization transaction id
1399 (removing any partial synchronizations), and will then become writable.
1400 .Pp
1401 .Em WARNING!
1402 .Nm HAMMER
1403 currently supports only single masters and using
1404 this command can easily result in file system corruption
1405 if you don't know what you are doing.
1406 .Pp
1407 This directive will refuse to run if any programs have open descriptors
1408 in the PFS, including programs chdir'd into the PFS.
1409 .\" ==== pfs-downgrade ====
1410 .It Cm pfs-downgrade Ar dirpath
1411 Downgrade a master PFS from master to slave operation.
1412 The PFS becomes read-only and access will be locked to its
1413 .Cm sync-end-tid .
1414 .Pp
1415 This directive will refuse to run if any programs have open descriptors
1416 in the PFS, including programs chdir'd into the PFS.
1417 .\" ==== pfs-destroy ====
1418 .It Cm pfs-destroy Ar dirpath
1419 This permanently destroys a PFS.
1420 .Pp
1421 This directive will refuse to run if any programs have open descriptors
1422 in the PFS, including programs chdir'd into the PFS.
1423 As safety measure the
1424 .Fl y
1425 flag have no effect on this directive.
1426 .\" ==== mirror-read ====
1427 .It Cm mirror-read Ar filesystem Op Ar begin-tid
1428 Generate a mirroring stream to stdout.
1429 The stream ends when the transaction id space has been exhausted.
1430 .Ar filesystem
1431 may be a master or slave PFS.
1432 .\" ==== mirror-read-stream ====
1433 .It Cm mirror-read-stream Ar filesystem Op Ar begin-tid
1434 Generate a mirroring stream to stdout.
1435 Upon completion the stream is paused until new data is synced to the
1436 .Ar filesystem ,
1437 then resumed.
1438 Operation continues until the pipe is broken.
1439 See the
1440 .Cm mirror-stream
1441 command for more details.
1442 .\" ==== mirror-write ====
1443 .It Cm mirror-write Ar filesystem
1444 Take a mirroring stream on stdin.
1445 .Ar filesystem
1446 must be a slave PFS.
1447 .Pp
1448 This command will fail if the
1449 .Cm shared-uuid
1450 configuration field for the two file systems do not match.
1451 See the
1452 .Cm mirror-copy
1453 command for more details.
1454 .Pp
1455 If the target PFS does not exist this command will ask you whether
1456 you want to create a compatible PFS slave for the target or not.
1457 .\" ==== mirror-dump ====
1458 .It Ar mirror-dump Ar [header]
1459 A
1460 .Cm mirror-read
1461 can be piped into a
1462 .Cm mirror-dump
1463 to dump an ASCII representation of the mirroring stream.
1464 If the keyword
1465 .Ar header
1466 is specified, only the header information is shown.
1467 .\" ==== mirror-copy ====
1468 .\".It Cm mirror-copy Ar [[user@]host:]filesystem [[user@]host:]filesystem
1469 .It Cm mirror-copy \
1470 Oo Oo Ar user Ns Cm @ Oc Ns Ar host Ns Cm \&: Oc Ns Ar filesystem \
1471 Oo Oo Ar user Ns Cm @ Oc Ns Ar host Ns Cm \&: Oc Ns Ar filesystem
1472 This is a shortcut which pipes a
1473 .Cm mirror-read
1474 command to a
1475 .Cm mirror-write
1476 command.
1477 If a remote host specification is made the program forks a
1478 .Xr ssh 1
1479 (or other program as specified by the
1480 .Ev HAMMER_RSH
1481 environment variable) and execs the
1482 .Cm mirror-read
1483 and/or
1484 .Cm mirror-write
1485 on the appropriate host.
1486 The source may be a master or slave PFS, and the target must be a slave PFS.
1487 .Pp
1488 This command also establishes full duplex communication and turns on
1489 the 2-way protocol feature
1490 .Fl ( 2 )
1491 which automatically negotiates transaction id
1492 ranges without having to use a cyclefile.
1493 If the operation completes successfully the target PFS's
1494 .Cm sync-end-tid
1495 will be updated.
1496 Note that you must re-chdir into the target PFS to see the updated information.
1497 If you do not you will still be in the previous snapshot.
1498 .Pp
1499 If the target PFS does not exist this command will ask you whether
1500 you want to create a compatible PFS slave for the target or not.
1501 .\" ==== mirror-stream ====
1502 .\".It Cm mirror-stream Ar [[user@]host:]filesystem [[user@]host:]filesystem
1503 .It Cm mirror-stream \
1504 Oo Oo Ar user Ns Cm @ Oc Ns Ar host Ns Cm \&: Oc Ns Ar filesystem \
1505 Oo Oo Ar user Ns Cm @ Oc Ns Ar host Ns Cm \&: Oc Ns Ar filesystem
1506 This is a shortcut which pipes a
1507 .Cm mirror-read-stream
1508 command to a
1509 .Cm mirror-write
1510 command.
1511 This command works similarly to
1512 .Cm mirror-copy
1513 but does not exit after the initial mirroring completes.
1514 The mirroring operation will resume as changes continue to be made to the
1515 source.
1516 The command is commonly used with
1517 .Fl i Ar delay
1518 and
1519 .Fl b Ar bandwidth
1520 options to keep the mirroring target in sync with the source on a continuing
1521 basis.
1522 .Pp
1523 If the pipe is broken the command will automatically retry after sleeping
1524 for a short while.
1525 The time slept will be 15 seconds plus the time given in the
1526 .Fl i
1527 option.
1528 .Pp
1529 This command also detects the initial-mirroring case and spends some
1530 time scanning the B-Tree to find good break points, allowing the initial
1531 bulk mirroring operation to be broken down into 4GB pieces.
1532 This means that the user can kill and restart the operation and it will
1533 not have to start from scratch once it has gotten past the first chunk.
1534 The
1535 .Fl S
1536 option may be used to change the size of pieces and the
1537 .Fl B
1538 option may be used to disable this feature and perform an initial bulk
1539 transfer instead.
1540 .\" ==== version ====
1541 .It Cm version Ar filesystem
1542 This command returns the
1543 .Nm HAMMER
1544 file system version for the specified
1545 .Ar filesystem
1546 as well as the range of versions supported in the kernel.
1547 The
1548 .Fl q
1549 option may be used to remove the summary at the end.
1550 .\" ==== version-upgrade ====
1551 .It Cm version-upgrade Ar filesystem Ar version Op Cm force
1552 Upgrade the
1553 .Nm HAMMER
1554 .Ar filesystem
1555 to the specified
1556 .Ar version .
1557 Once upgraded a file system may not be downgraded.
1558 If you wish to upgrade a file system to a version greater or equal to the
1559 work-in-progress (WIP) version number you must specify the
1560 .Cm force
1561 directive.
1562 Use of WIP versions should be relegated to testing and may require wiping
1563 the file system as development progresses, even though the WIP version might
1564 not change.
1565 .Pp
1566 .Em NOTE!
1567 This command operates on the entire
1568 .Nm HAMMER
1569 file system and is not a per PFS operation.
1570 All PFS's will be affected.
1571 .Bl -tag -width indent
1572 .It 1
1573 .Dx 2.0
1574 default version, first
1575 .Nm HAMMER
1576 release.
1577 .It 2
1578 .Dx 2.3 .
1579 New directory entry layout.
1580 This version is using a new directory hash key.
1581 .It 3
1582 .Dx 2.5 .
1583 New snapshot management, using file system meta-data for saving
1584 configuration file and snapshots (transaction ids etc.).
1585 Also default snapshots directory has changed.
1586 .It 4
1587 .Dx 2.6
1588 default version.
1589 New undo/redo/flush, giving
1590 .Nm HAMMER
1591 a much faster sync and fsync.
1592 .It 5
1593 .Dx 2.9 .
1594 Deduplication support.
1595 .It 6
1596 .Dx 2.9 .
1597 Directory hash ALG1.
1598 Tends to maintain inode number / directory name entry ordering better
1599 for files after minor renaming.
1600 .It 7
1601 .Dx 4.8 .
1602 Use the ISCSI crc32 algorithm instead of our custom polynomial.  This makes
1603 it easier to use faster cpu implementation of the crc algorithm.  CPU
1604 overhead is reduced but performance is unlikely to be impacted a whole lot.
1605 .El
1606 .El
1607 .Sh PSEUDO-FILESYSTEM (PFS) NOTES
1608 The root of a PFS is not hooked into the primary
1609 .Nm HAMMER
1610 file system as a directory.
1611 Instead,
1612 .Nm HAMMER
1613 creates a special softlink called
1614 .Ql @@PFS%05d
1615 (exactly 10 characters long) in the primary
1616 .Nm HAMMER
1617 file system.
1618 .Nm HAMMER
1619 then modifies the contents of the softlink as read by
1620 .Xr readlink 2 ,
1621 and thus what you see with an
1622 .Nm ls
1623 command or if you were to
1624 .Nm cd
1625 into the link.
1626 If the PFS is a master the link reflects the current state of the PFS.
1627 If the PFS is a slave the link reflects the last completed snapshot, and the
1628 contents of the link will change when the next snapshot is completed, and
1629 so forth.
1630 .Pp
1631 The
1632 .Nm
1633 utility employs numerous safeties to reduce user foot-shooting.
1634 The
1635 .Cm mirror-copy
1636 directive requires that the target be configured as a slave and that the
1637 .Cm shared-uuid
1638 field of the mirroring source and target match.
1639 The
1640 .Cm pfs-master
1641 and
1642 .Cm pfs-slave
1643 directives require that the PFS softlink be created under the main
1644 .Nm
1645 filesystem mount. You may only access PFS softlinks via the main
1646 .Nm
1647 filesystem mount.
1648 .Sh DOUBLE_BUFFER MODE
1649 There is a limit to the number of vnodes the kernel can cache, and because
1650 file buffers are associated with a vnode the related data cache can get
1651 blown away when operating on large numbers of files even if the system has
1652 sufficient memory to hold the file data.
1653 .Pp
1654 If you turn on
1655 .Nm HAMMER Ns 's
1656 double buffer mode by setting the
1657 .Xr sysctl 8
1658 node
1659 .Va vfs.hammer.double_buffer
1660 to 1
1661 .Nm HAMMER
1662 will cache file data via the block device and copy it into the per-file
1663 buffers as needed.  The data will be double-cached at least until the
1664 buffer cache throws away the file buffer.
1665 This mode is typically used in conjunction with
1666 .Xr swapcache 8
1667 when
1668 .Va vm.swapcache.data_enable
1669 is turned on in order to prevent unnecessary re-caching of file data
1670 due to vnode recycling.
1671 The swapcache will save the cached VM pages related to
1672 .Nm HAMMER Ns 's
1673 block
1674 device (which doesn't recycle unless you umount the filesystem) instead
1675 of the cached VM pages backing the file vnodes.
1676 .Pp
1677 Double buffering is normally desirable when working with large filesystems,
1678 particularly when swapcache is used.
1679 The swapcache can only back active VM objects, including the block device,
1680 and large filesystems often have far more inodes than the kernel can support.
1681 In addition, when using this mode, you may wish to reduce the
1682 .Va kern.maxvnodes
1683 setting for the system to force the system to do less caching of logical
1684 file buffers and more caching of device buffers, since the device buffers
1685 are backing the logical file buffers.
1686 .Sh UPGRADE INSTRUCTIONS HAMMER V1 TO V2
1687 This upgrade changes the way directory entries are stored.
1688 It is possible to upgrade a V1 file system to V2 in place, but
1689 directories created prior to the upgrade will continue to use
1690 the old layout.
1691 .Pp
1692 Note that the slave mirroring code in the target kernel had bugs in
1693 V1 which can create an incompatible root directory on the slave.
1694 Do not mix a
1695 .Nm HAMMER
1696 master created after the upgrade with a
1697 .Nm HAMMER
1698 slave created prior to the upgrade.
1699 .Pp
1700 Any directories created after upgrading will use a new layout.
1701 .Sh UPGRADE INSTRUCTIONS HAMMER V2 TO V3
1702 This upgrade adds meta-data elements to the B-Tree.
1703 It is possible to upgrade a V2 file system to V3 in place.
1704 After issuing the upgrade be sure to run a
1705 .Nm
1706 .Cm cleanup
1707 to perform post-upgrade tasks.
1708 .Pp
1709 After making this upgrade running a
1710 .Nm
1711 .Cm cleanup
1712 will move the
1713 .Pa <pfs>/snapshots
1714 directory for each PFS mount into
1715 .Pa /var/hammer/<pfs> .
1716 A
1717 .Nm HAMMER
1718 root mount will migrate
1719 .Pa /snapshots
1720 into
1721 .Pa /var/hammer/root .
1722 Migration occurs only once and only if you have not specified
1723 a snapshots directory in the PFS configuration.
1724 If you have specified a snapshots directory in the PFS configuration no
1725 automatic migration will occur.
1726 .Pp
1727 For slaves, if you desire, you can migrate your snapshots
1728 config to the new location manually and then clear the
1729 snapshot directory configuration in the slave PFS.
1730 The new snapshots hierarchy is designed to work with
1731 both master and slave PFSs equally well.
1732 .Pp
1733 In addition, the old config file will be moved to file system meta-data,
1734 editable via the new
1735 .Nm
1736 .Cm viconfig
1737 directive.
1738 The old config file will be deleted.
1739 Migration occurs only once.
1740 .Pp
1741 The V3 file system has new
1742 .Cm snap*
1743 directives for creating snapshots.
1744 All snapshot directives, including the original, will create
1745 meta-data entries for the snapshots and the pruning code will
1746 automatically incorporate these entries into its list and
1747 expire them the same way it expires softlinks.
1748 If you by accident blow away your snapshot softlinks you can use the
1749 .Cm snapls
1750 directive to get a definitive list from the file system meta-data and
1751 regenerate them from that list.
1752 .Pp
1753 .Em WARNING!
1754 If you are using
1755 .Nm
1756 to backup file systems your scripts may be using the
1757 .Cm synctid
1758 directive to generate transaction ids.
1759 This directive does not create a snapshot.
1760 You will have to modify your scripts to use the
1761 .Cm snapq
1762 directive to generate the linkbuf for the softlink you create, or
1763 use one of the other
1764 .Cm snap*
1765 directives.
1766 The older
1767 .Cm snapshot
1768 directive will continue to work as expected and in V3 it will also
1769 record the snapshot transaction id in file system meta-data.
1770 You may also want to make use of the new
1771 .Ar note
1772 tag for the meta-data.
1773 .Pp
1774 .Em WARNING!
1775 If you used to remove snapshot softlinks with
1776 .Nm rm
1777 you should probably start using the
1778 .Cm snaprm
1779 directive instead to also remove the related meta-data.
1780 The pruning code scans the meta-data so just removing the
1781 softlink is not sufficient.
1782 .Sh UPGRADE INSTRUCTIONS HAMMER V3 TO V4
1783 This upgrade changes undo/flush, giving faster sync.
1784 It is possible to upgrade a V3 file system to V4 in place.
1785 This upgrade reformats the UNDO/REDO FIFO (typically 1GB),
1786 so upgrade might take a minute or two depending.
1787 .Pp
1788 Version 4 allows the UNDO/REDO FIFO to be flushed without also having
1789 to flush the volume header, removing 2 of the 4 disk syncs typically
1790 required for an
1791 .Fn fsync
1792 and removing 1 of the 2 disk syncs typically
1793 required for a flush sequence.
1794 Version 4 also implements the REDO log (see
1795 .Sx FSYNC FLUSH MODES
1796 below) which is capable
1797 of fsync()ing with either one disk flush or zero disk flushes.
1798 .Sh UPGRADE INSTRUCTIONS HAMMER V4 TO V5
1799 This upgrade brings in deduplication support.
1800 It is possible to upgrade a V4 file system to V5 in place.
1801 Technically it makes the layer2
1802 .Va bytes_free
1803 field a signed value instead of unsigned, allowing it to go negative.
1804 A version 5 filesystem is required for dedup operation.
1805 .Sh UPGRADE INSTRUCTIONS HAMMER V5 TO V6
1806 It is possible to upgrade a V5 file system to V6 in place.
1807 .Sh UPGRADE INSTRUCTIONS HAMMER V6 TO V7
1808 It is possible to upgrade a V6 file system to V7 in place.
1809 After upgrading any new files will use the new, faster CRC.
1810 You can convert all existing files to use the new CRC by issuing
1811 a full reblock via 'hammer reblock <fs>'.
1812 You only have to do this once.
1813 .Sh FSYNC FLUSH MODES
1814 .Nm HAMMER
1815 implements five different fsync flush modes via the
1816 .Va vfs.hammer.fsync_mode
1817 sysctl, for
1818 .Nm HAMMER
1819 version 4+ file systems.
1820 .Pp
1821 As of
1822 .Dx 2.6
1823 fsync mode 3 is set by default.
1824 REDO operation and recovery is enabled by default.
1825 .Bl -tag -width indent
1826 .It mode 0
1827 Full synchronous fsync semantics without REDO.
1828 .Pp
1829 .Nm HAMMER
1830 will not generate REDOs.
1831 A
1832 .Fn fsync
1833 will completely sync
1834 the data and meta-data and double-flush the FIFO, including
1835 issuing two disk synchronization commands.
1836 The data is guaranteed
1837 to be on the media as of when
1838 .Fn fsync
1839 returns.
1840 Needless to say, this is slow.
1841 .It mode 1
1842 Relaxed asynchronous fsync semantics without REDO.
1843 .Pp
1844 This mode works the same as mode 0 except the last disk synchronization
1845 command is not issued.
1846 It is faster than mode 0 but not even remotely
1847 close to the speed you get with mode 2 or mode 3.
1848 .Pp
1849 Note that there is no chance of meta-data corruption when using this
1850 mode, it simply means that the data you wrote and then
1851 .Fn fsync Ns 'd
1852 might not have made it to the media if the storage system crashes at a bad
1853 time.
1854 .It mode 2
1855 Full synchronous fsync semantics using REDO.
1856 NOTE: If not running a
1857 .Nm HAMMER
1858 version 4 filesystem or later mode 0 is silently used.
1859 .Pp
1860 .Nm HAMMER
1861 will generate REDOs in the UNDO/REDO FIFO based on a heuristic.
1862 If this is sufficient to satisfy the
1863 .Fn fsync
1864 operation the blocks will be written out and
1865 .Nm HAMMER
1866 will wait for the I/Os to complete,
1867 and then followup with a disk sync command to guarantee the data
1868 is on the media before returning.
1869 This is slower than mode 3 and can result in significant disk or
1870 SSDs overheads, though not as bad as mode 0 or mode 1.
1871 .It mode 3
1872 Relaxed asynchronous fsync semantics using REDO.
1873 NOTE: If not running a
1874 .Nm HAMMER
1875 version 4 filesystem or later mode 1 is silently used.
1876 .Pp
1877 .Nm HAMMER
1878 will generate REDOs in the UNDO/REDO FIFO based on a heuristic.
1879 If this is sufficient to satisfy the
1880 .Fn fsync
1881 operation the blocks
1882 will be written out and
1883 .Nm HAMMER
1884 will wait for the I/Os to complete,
1885 but will
1886 .Em NOT
1887 issue a disk synchronization command.
1888 .Pp
1889 Note that there is no chance of meta-data corruption when using this
1890 mode, it simply means that the data you wrote and then
1891 .Fn fsync Ns 'd
1892 might
1893 not have made it to the media if the storage system crashes at a bad
1894 time.
1895 .Pp
1896 This mode is the fastest production fsyncing mode available.
1897 This mode is equivalent to how the UFS fsync in the
1898 .Bx Ns s
1899 operates.
1900 .It mode 4
1901 fsync is ignored.
1902 .Pp
1903 Calls to
1904 .Fn fsync
1905 will be ignored.
1906 This mode is primarily designed
1907 for testing and should not be used on a production system.
1908 .El
1909 .Sh RESTORING FROM A SNAPSHOT BACKUP
1910 You restore a snapshot by copying it over to live, but there is a caveat.
1911 The mtime and atime fields for files accessed via a snapshot is locked
1912 to the ctime in order to keep the snapshot consistent, because neither
1913 mtime nor atime changes roll any history.
1914 .Pp
1915 In order to avoid unnecessary copying it is recommended that you use
1916 .Nm cpdup
1917 .Fl VV
1918 .Fl v
1919 when doing the copyback.
1920 Also make sure you traverse the snapshot softlink by appending a ".",
1921 as in "<snapshotpath>/.", and you match up the directory properly.
1922 .Sh RESTORING A PFS FROM A MIRROR
1923 A PFS can be restored from a mirror with
1924 .Cm mirror-copy .
1925 .Cm config
1926 data must be copied separately.
1927 At last the PFS can be upgraded to master using
1928 .Cm pfs-upgrade .
1929 .Pp
1930 It is not possible to restore the root PFS by using mirroring,
1931 as the root PFS is always a master PFS.
1932 A normal copy (e.g.\& using
1933 .Xr cpdup 1 )
1934 must be done, ignoring history.
1935 If history is important, old root PFS can me restored to a new PFS, and
1936 important directories/files can be
1937 .Nm null
1938 mounted to the new PFS.
1939 .Sh ENVIRONMENT
1940 The following environment variables affect the execution of
1941 .Nm :
1942 .Bl -tag -width ".Ev EDITOR"
1943 .It Ev EDITOR
1944 The editor program specified in the variable
1945 .Ev EDITOR
1946 will be invoked instead of the default editor, which is
1947 .Xr vi 1 .
1948 .It Ev HAMMER_RSH
1949 The command specified in the variable
1950 .Ev HAMMER_RSH
1951 will be used to initiate remote operations for the mirror-copy and
1952 mirror-stream commands instead of the default command, which is
1953 .Xr ssh 1 .
1954 The program will be invoked via
1955 .Xr execvp 3
1956 using a typical
1957 .Xr rsh 1
1958 style
1959 .Cm -l user host <remote-command>
1960 command line.
1961 .It Ev VISUAL
1962 Same effect as
1963 .Ev EDITOR
1964 variable.
1965 .El
1966 .Sh FILES
1967 .Bl -tag -width ".It Pa <fs>/var/slaves/<name>" -compact
1968 .It Pa <pfs>/snapshots
1969 default per PFS snapshots directory
1970 .Nm ( HAMMER
1971 VERSION 2-)
1972 .It Pa /var/hammer/<pfs>
1973 default per PFS snapshots directory (not root)
1974 .Nm ( HAMMER
1975 VERSION 3+)
1976 .It Pa /var/hammer/root
1977 default snapshots directory for root directory
1978 .Nm ( HAMMER
1979 VERSION 3+)
1980 .It Pa <snapshots>/config
1981 per PFS
1982 .Nm
1983 .Cm cleanup
1984 configuration file
1985 .Nm ( HAMMER
1986 VERSION 2-)
1987 .It Pa <fs>/var/slaves/<name>
1988 recommended slave PFS snapshots directory
1989 .Nm ( HAMMER
1990 VERSION 2-)
1991 .It Pa <fs>/pfs
1992 recommended PFS directory
1993 .El
1994 .Sh EXIT STATUS
1995 .Ex -std
1996 .Sh SEE ALSO
1997 .Xr ssh 1 ,
1998 .Xr undo 1 ,
1999 .Xr HAMMER 5 ,
2000 .Xr periodic.conf 5 ,
2001 .Xr loader 8 ,
2002 .Xr mount_hammer 8 ,
2003 .Xr mount_null 8 ,
2004 .Xr newfs_hammer 8 ,
2005 .Xr swapcache 8 ,
2006 .Xr sysctl 8
2007 .Sh HISTORY
2008 The
2009 .Nm
2010 utility first appeared in
2011 .Dx 1.11 .
2012 .Sh AUTHORS
2013 .An Matthew Dillon Aq Mt dillon@backplane.com