hammer2.8: Fix some mdoc and other issues.
[dragonfly.git] / sbin / hammer2 / hammer2.8
1 .\" Copyright (c) 2015-2019 The DragonFly Project.  All rights reserved.
2 .\"
3 .\" This code is derived from software contributed to The DragonFly Project
4 .\" by Matthew Dillon <dillon@backplane.com>
5 .\"
6 .\" Redistribution and use in source and binary forms, with or without
7 .\" modification, are permitted provided that the following conditions
8 .\" are met:
9 .\"
10 .\" 1. Redistributions of source code must retain the above copyright
11 .\"    notice, this list of conditions and the following disclaimer.
12 .\" 2. Redistributions in binary form must reproduce the above copyright
13 .\"    notice, this list of conditions and the following disclaimer in
14 .\"    the documentation and/or other materials provided with the
15 .\"    distribution.
16 .\" 3. Neither the name of The DragonFly Project nor the names of its
17 .\"    contributors may be used to endorse or promote products derived
18 .\"    from this software without specific, prior written permission.
19 .\"
20 .\" THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
21 .\" ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
22 .\" LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
23 .\" FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
24 .\" COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
25 .\" INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
26 .\" BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
27 .\" LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
28 .\" AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
29 .\" OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
30 .\" OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31 .\" SUCH DAMAGE.
32 .\"
33 .Dd September 29, 2019
34 .Dt HAMMER2 8
35 .Os
36 .Sh NAME
37 .Nm hammer2
38 .Nd hammer2 file system utility
39 .Sh SYNOPSIS
40 .Nm
41 .Fl h
42 .Nm
43 .Op Fl s Ar path
44 .Op Fl t Ar type
45 .Op Fl u Ar uuid
46 .Op Fl m Ar mem
47 .Ar command
48 .Op Ar argument ...
49 .Sh DESCRIPTION
50 The
51 .Nm
52 utility provides miscellaneous support functions for a
53 HAMMER2 file system.
54 .Pp
55 The options are as follows:
56 .Bl -tag -width indent
57 .It Fl s Ar path
58 Specify the path to a mounted HAMMER2 filesystem.
59 At least one PFS on a HAMMER2 filesystem must be mounted for the system
60 to act on all PFSs managed by it.
61 Every HAMMER2 filesystem typically has a PFS called "LOCAL" for this purpose.
62 .It Fl t Ar type
63 Specify the type when creating, upgrading, or downgrading a PFS.
64 Supported types are MASTER, SLAVE, SOFT_MASTER, SOFT_SLAVE, CACHE, and DUMMY.
65 If not specified the pfs-create directive will default to MASTER if no
66 UUID is specified, and SLAVE if a UUID is specified.
67 .It Fl u Ar uuid
68 Specify the cluster UUID when creating a PFS.
69 If not specified, a unique, random UUID will be generated.
70 Note that every PFS also has a unique pfs_id which is always generated
71 and cannot be overridden with an option.
72 The { pfs_clid, pfs_fsid } tuple uniquely identifies a component of a cluster.
73 .It Fl m Ar mem
74 Specify how much tracking memory to use for certain directives.
75 At the moment, this option is only applicable to the
76 .Cm bulkfree
77 directive, allowing it to operate in fewer passes when given more memory.
78 A nominal value for a 4TB drive with a ton of stuff on it would be around
79 a gigabyte '-m 1g'.
80 .El
81 .Pp
82 .Nm
83 directives are as shown below.
84 Note that most directives require you to either be CD'd into a hammer2
85 filesystem, specify a path to a mounted hammer2 filesystem via the
86 .Fl s
87 option, or specify a path after the directive.
88 It depends on the directive.
89 All hammer2 filesystem have a PFS called "LOCAL" which is typically mounted
90 locally on the host in order to be able to issue commands for other PFSs
91 on the filesystem.
92 The mount also enables PFS configuration scanning for that filesystem.
93 .Bl -tag -width indent
94 .\" ==== cleanup ====
95 .It Cm cleanup Op path
96 Perform manual cleanup passes on paths or all mounted partitions.
97 .\" ==== connect ====
98 .It Cm connect Ar target
99 Add a cluster link entry to the volume header.
100 The volume header can support up to 255 link entries.
101 This feature is not currently used.
102 .\" ==== destroy ====
103 .It Cm destroy Ar path...
104 Destroy the specified directory entry in a hammer2 filesystem.
105 This bypasses
106 all normal checks and will unconditionally destroy the directory entry.
107 The underlying inode is not checked and, if it does exist, its nlinks count
108 is not decremented.
109 This directive should only be used to destroy a corrupted directory entry
110 which no longer has a working inode.
111 .Pp
112 Note that this command may desynchronize the system namecache for the
113 specified entry.
114 If this happens, you may have to unmount and remount the filesystem.
115 .\" ==== destroy-inum ====
116 .It Cm destroy-inum Ar path...
117 Destroy the specified inode in a hammer2 filesystem.
118 .\" ==== disconnect ====
119 .It Cm disconnect Ar target
120 Delete a cluster link entry from the volume header.
121 This feature is not currently used.
122 .\" ==== emergency-mode-enable ===
123 .It Cm emergency-mode-enable Ar target
124 Flag emergency operations mode in the filesystem.
125 This mode may be used
126 as a last resort to delete files and directories from a full filesystem.
127 Inode creation, file writes, and certain meta-data cleanups are disallowed
128 while emergency mode is active.
129 File and directory removal and mode/attr setting is still allowed.
130 This mode is extremely dangerous and should only be used as a last resort.
131 .Pp
132 This mode allows the filesystem to modify blocks in-place when it is unable
133 to allocate a copy.
134 Thus it is possible to chflags and remove files and
135 directories even when the filesystem is completely full.
136 However, there is a price.
137 This mode of operation WILL LIKELY CORRUPT ANY SNAPSHOTS related
138 to this filesystem.
139 The filesystem will report this condition if it encounters
140 it but if you are forced to use this mode to fix a filesystem full condition
141 your snapshots can get a bit dicey.
142 It is usually safest to delete any related snapshots when using this mode.
143 .Pp
144 You can detect whether related snapshots have been corrupted by running
145 a bulkfree pass and checking the console output for reported CRC errors.
146 If no errors are reported, your snapshots are fine.
147 If errors are reported
148 you should delete related snapshots until bulkfree reports no further errors.
149 .Pp
150 The emergency mode will also make meta-data updates unsafe due to the lack of
151 copy-on-write, causing potential harm if the system unexpectedly panics or
152 loses power.
153 GREAT CARE MUST BE TAKEN WHILE THIS MODE IS ACTIVE.
154 .Bl -enum
155 .It
156 Determine that you are unable to recover space with normal file and directory
157 removal commands due to
158 .Er ENOSPC
159 errors being returned by 'rm', or through the
160 removal of snapshots (if any).  The 'bulkfree' directive must be issued to
161 scan the filesystem and free up the actual space, then check with 'df'.
162 Continue if you still have insufficient space and are unable to remove items
163 normally.
164 .It
165 If you need any related snapshots, this is a good time to copy them elsewhere.
166 .It
167 Idle or kill any processes trying to use the filesystem.
168 .It
169 Issue the emergency-mode-enable directive on the filesystem.
170 Once enabled, run 'sync' to update any dirty inodes which may still
171 be dirty due to not being able to flush.
172 Please remember that this
173 directive is a LAST RESORT, is dangerous, and will likely corrupt any
174 other snapshots you have based on the filesystem you are removing files
175 from.
176 .It
177 Remove file trees as necessary with 'rm -rf' to free space, being cognizant
178 of any warnings issued by the kernel on the console (via 'dmesg') while
179 doing so.
180 .It
181 Issue the 'bulkfree' directive to actually free the space and check that
182 sufficient space has been freed with 'df'.
183 .It
184 If bulkfree reports CHECK errors, or if you have snapshots and insufficient
185 space has been freed, you will need to delete snapshots.
186 Re-run bulkfree and delete snapshots until no errors are reported.
187 .It
188 Issue the emergency-mode-disable directive when done.
189 It might also be a
190 good idea to reboot after using this mode, but theoretically you should not
191 have to.
192 .It
193 Restore services using the filesystem.
194 .El
195 .\" ==== emergency-mode-disable ===
196 .It Cm emergency-mode-disable Ar target
197 Turn off the emergency operations mode on a filesystem, restoring normal
198 operation.
199 .\" ==== info ====
200 .It Cm info Op devpath...
201 Access and print the status and super-root entries for all HAMMER2
202 partitions found in /dev/serno or the specified device path(s).
203 The partitions do not have to be mounted.
204 Note that only mounted partitions will be under active management.
205 This is accomplished by mounting at least one PFS within the partition.
206 Typically at least the @LOCAL PFS is mounted.
207 .\" ==== mountall ====
208 .It Cm mountall Op devpath...
209 This directive mounts the @LOCAL PFS on all HAMMER2 partitions found
210 in /dev/serno, or the specified device path(s).
211 The partitions are mounted as /var/hammer2/LOCAL.<id>.
212 Mounts are executed in the background and this command will wait a
213 limited amount of time for the mounts to complete before returning.
214 .\" ==== status ====
215 .It Cm status Op path...
216 Dump a list of all cluster link entries configured in the volume header.
217 .\" ==== hash ====
218 .It Cm hash Op filename...
219 Compute and print the directory hash for any number of filenames.
220 .\" ==== dhash ====
221 .It Cm dhash Op filename...
222 Compute and print the data hash for long directory entry for any number of filenames.
223 .\" ==== pfs-list ====
224 .It Cm pfs-list Op path...
225 List all local PFSs available on a mounted HAMMER2 filesystem, their type,
226 and their current status.
227 You must mount at least one PFS in order to be able to access the whole list.
228 .\" ==== pfs-clid ====
229 .It Cm pfs-clid Ar label
230 Print the cluster id for a PFS specified by name.
231 .\" ==== pfs-fsid ====
232 .It Cm pfs-fsid Ar label
233 Print the unique filesystem id for a PFS specified by name.
234 .\" ==== pfs-create ====
235 .It Cm pfs-create Ar label
236 Create a local PFS on a mounted HAMMER2 filesystem.
237 If no UUID is specified the pfs-type defaults to MASTER.
238 If a UUID is specified via the
239 .Fl u
240 option the pfs-type defaults to SLAVE.
241 Other types can be specified with the
242 .Fl t
243 option.
244 .Pp
245 If you wish to add a MASTER to an existing cluster, you must first add it as
246 a SLAVE and then upgrade it to MASTER to properly synchronize it.
247 .Pp
248 The DUMMY pfs-type is used to tie network-accessible clusters into the local
249 machine when no local storage is desired.
250 This type should be used on minimal H2 partitions or entirely in ram for
251 netboot-centric systems to provide a tie-in point for the mount command,
252 or on more complex systems where you need to also access network-centric
253 clusters.
254 .Pp
255 The CACHE or SLAVE pfs-type is typically used when the main store is on
256 the network but local storage is desired to improve performance.
257 SLAVE is also used when a backup is desired.
258 .Pp
259 Generally speaking, you can mount any PFS element of a cluster in order to
260 access the cluster via the full cluster protocol.
261 There are two exceptions.
262 If you mount a SOFT_SLAVE or a SOFT_MASTER then soft quorum semantics are
263 employed... the soft slave or soft master's current state will always be used
264 and the quorum protocol will not be used.
265 The soft PFS will still be
266 synchronized to masters in the background when available.
267 Also, you can use
268 .Sq mount -o local
269 to mount ONLY a local HAMMER2 PFS and
270 not run any network or quorum protocols for the mount.
271 All such mounts except for a SOFT_MASTER mount will be read-only.
272 Other than that, you will be mounting the whole cluster when you mount any
273 PFS within the cluster.
274 .Pp
275 DUMMY - Create a PFS skeleton intended to be the mount point for a
276 more complex cluster, probably one that is entirely network based.
277 No data will be synchronized to this PFS so it is suitable for use
278 in a network boot image or memory filesystem.
279 This allows you to create placeholders for mount points on your local
280 disk, SSD, or memory disk.
281 .Pp
282 CACHE - Create a PFS for caching portions of the cluster piecemeal.
283 This is similar to a SLAVE but does not synchronize the entire contents of
284 the cluster to the PFS.
285 Elements found in the CACHE PFS which are validated against the cluster
286 will be read, presumably a faster access than having to go to the cluster.
287 Only local CACHEs will be updated.
288 Network-accessible CACHE PFSs might be read but will not be written to.
289 If you have a large hard-drive-based cluster you can set up localized
290 SSD CACHE PFSs to improve performance.
291 .Pp
292 SLAVE - Create a PFS which maintains synchronization with and provides a
293 read-only copy of the cluster.
294 HAMMER2 will prioritize local SLAVEs for data retrieval after validating
295 their transaction id against the cluster.
296 The difference between a CACHE and a SLAVE is that the SLAVE is synchronized
297 to a full copy of the cluster and thus can serve as a backup or be staged
298 for use as a MASTER later on.
299 .Pp
300 SOFT_SLAVE - Create a PFS which maintains synchronization with and provides
301 a read-only copy of the cluster.
302 This is one of the special mount cases.
303 A SOFT_SLAVE will synchronize with
304 the cluster when the cluster is available, but can still be accessed when
305 the cluster is not available.
306 .Pp
307 MASTER - Create a PFS which will hold a master copy of the cluster.
308 If you create several MASTER PFSs with the same cluster id you are
309 effectively creating a multi-master cluster and causing a quorum and
310 cache coherency protocol to be used to validate operations.
311 The total number of masters is stored in each PFSs making up the cluster.
312 Filesystem operations will stall for normal mounts if a quorum cannot be
313 obtained to validate the operation.
314 MASTER nodes which go offline and return later will synchronize in the
315 background.
316 Note that when adding a MASTER to an existing cluster you must add the
317 new PFS as a SLAVE and then upgrade it to a MASTER.
318 .Pp
319 SOFT_MASTER - Create a PFS which maintains synchronization with and provides
320 a read-write copy of the cluster.
321 This is one of the special mount cases.
322 A SOFT_MASTER will synchronize with
323 the cluster when the cluster is available, but can still be read AND written
324 to even when the cluster is not available.
325 Modifications made to a SOFT_MASTER will be automatically flushed to the
326 cluster when it becomes accessible again, and vise-versa.
327 Manual intervention may be required if a conflict occurs during
328 synchronization.
329 .\" ==== pfs-delete ====
330 .It Cm pfs-delete Ar label
331 Delete a local PFS on a mounted HAMMER2 filesystem.
332 Deleting a PFS of type MASTER requires first downgrading it to a SLAVE (XXX).
333 .\" ==== snapshot ====
334 .It Cm snapshot Ar path Op label
335 Create a snapshot of a directory.
336 This can only be used on a local PFS, and is only really useful if the PFS
337 contains a complete copy of what you desire to snapshot so that typically
338 means a local MASTER, SOFT_MASTER, SLAVE, or SOFT_SLAVE must be present.
339 Snapshots are created simply by flushing a PFS mount to disk and then copying
340 the directory inode to the PFS.
341 The topology is snapshotted without having to be copied or scanned.
342 Snapshots are effectively separate from the cluster they came from
343 and can be used as a starting point for a new cluster.
344 So unless you build a new cluster from the snapshot, it will stay local
345 to the machine it was made on.
346 .\" ==== snapshot-debug ====
347 .It Cm snapshot-debug Ar path Op label
348 Snapshot without filesystem sync.
349 .\" ==== service ====
350 .It Cm service
351 Start the
352 .Nm
353 service daemon.
354 This daemon is also automatically started when you run
355 .Xr mount_hammer2 8 .
356 The hammer2 service daemon handles incoming TCP connections and maintains
357 outgoing TCP connections.
358 It will interconnect available services on the
359 machine (e.g. hammer2 mounts and xdisks) to the network.
360 .\" ==== stat ====
361 .It Cm stat Op path...
362 Print the inode statistics, compression, and other meta-data associated
363 with a list of paths.
364 .\" ==== leaf ====
365 .It Cm leaf
366 XXX
367 .\" ==== shell ====
368 .It Cm shell Op host
369 Start a debug shell to the local hammer2 service daemon via the DMSG protocol.
370 .\" ==== debugspan ====
371 .It Cm debugspan Ar target
372 (do not use)
373 .\" ==== rsainit ====
374 .It Cm rsainit Op path
375 Create the
376 .Pa /etc/hammer2
377 directory and initialize a public/private keypair in that directory for
378 use by the network cluster protocols.
379 .\" ==== show ====
380 .It Cm show Ar devpath
381 Dump the radix tree for the HAMMER2 filesystem by scanning a
382 block device directly.
383 No mount is required.
384 .\" ==== freemap ====
385 .It Cm freemap Ar devpath
386 Dump the freemap tree for the HAMMER2 filesystem by scanning a
387 block device directly.
388 No mount is required.
389 .\" ==== volhdr ====
390 .It Cm volhdr Ar devpath
391 Dump the volume header for the HAMMER2 filesystem by scanning a
392 block device directly.
393 No mount is required.
394 .\" ==== setcomp ====
395 .It Cm setcomp Ar mode[:level] Ar path...
396 Set the compression mode as specified for any newly created elements at or
397 under the path if not overridden by deeper elements.
398 Available modes are none, autozero, lz4, or zlib.
399 When zlib is used the compression level can be set.
400 The default will be 6 which is the best trade-off between performance and
401 time.
402 .Pp
403 newfs_hammer2 will set the default compression to lz4 which prioritizes
404 speed over performance.
405 Also note that HAMMER2 contains a heuristic and will not attempt to
406 compress every block if it detects a sufficient amount of uncompressable
407 data.
408 .Pp
409 Hammer2 compression is only effective when it can reduce the size of dataset
410 (typically a 64KB block) by one or more powers of 2.  A 64K block which
411 only compresses to 40K will not yield any storage improvement.
412 .Pp
413 Generally speaking you do not want to set the compression mode to
414 .Sq none ,
415 as this will cause blocks of all-zeros to be written as all-zero blocks,
416 instead of holes.
417 The
418 .Sq autozero
419 compression mode detects blocks of all-zeros
420 and writes them as holes.
421 However, HAMMER2 will rewrite data in-place if the compression mode is set to
422 .Sq none
423 and the check code is set to
424 .Sq  disabled .
425 Formal snapshots will still snapshot such files.
426 However, de-duplication will no longer function on the data blocks.
427 .\" ==== setcheck ====
428 .It Cm setcheck Ar check Ar path...
429 Set the check code as specified for any newly created elements at or under
430 the path if not overridden by deeper elements.
431 Available codes are default, disabled, crc32, xxhash64, or sha192.
432 .\" ==== clrcheck ====
433 .It Cm clrcheck Op path...
434 Clear the check code override for the specified paths.
435 Overrides may still be present in deeper elements.
436 .\" ==== setcrc32 ====
437 .It Cm setcrc32 Op path...
438 Set the check code to the ISCSI 32-bit CRC for any newly created elements
439 at or under the path if not overridden by deeper elements.
440 .\" ==== setxxhash64 ====
441 .It Cm setxxhash64 Op path...
442 Set the check code to XXHASH64, a fast 64-bit hash
443 .\" ==== setsha192 ====
444 .It Cm setsha192 Op path...
445 Set the check code to SHA192 for any newly created elements at or under
446 the path if not overridden by deeper elements.
447 .\" ==== bulkfree ====
448 .It Cm bulkfree Ar path
449 Run a bulkfree pass on a HAMMER2 mount.
450 You can specify any PFS for the mount, the bulkfree pass is run on the
451 entire partition.
452 Note that it takes two passes to actually free space.
453 By default this directive will use up to 1/16 physical memory to track
454 the freemap.
455 The amount of memory used may be overridden with the
456 .Op Fl m Ar mem
457 option.
458 .\" ==== printinode ====
459 .It Cm printinode Ar path
460 Dump inode.
461 .\" ==== dumpchain ====
462 .It Cm dumpchain Op path Op chnflags
463 Dump in-memory chain topology.
464 .El
465 .Sh SYSCTLS
466 .Bl -tag -width indent
467 .It Va vfs.hammer2.dedup_enable (default on)
468 Enables live de-duplication.
469 Any recently read data that is on-media
470 (already synchronized to media) is tested against pending writes for
471 compatibility.
472 If a match is found, the write will reference the
473 existing on-media data instead of writing new data.
474 .It Va vfs.hammer2.always_compress (default off)
475 This disables the H2 compression heuristic and forces H2 to always
476 try to compress data blocks, even if they look uncompressable.
477 Enabling this option reduces performance but has higher de-duplication
478 repeatability.
479 .It Va vfs.hammer2.cluster_data_read (default 4)
480 .It Va vfs.hammer2.cluster_meta_read (default 1)
481 Set the amount of read-ahead clustering to perform on data and meta-data
482 blocks.
483 .It Va vfs.hammer2.cluster_write (default 4)
484 Set the amount of write-behind clustering to perform in buffers.
485 Each buffer represents 64KB.
486 The default is 4 and higher values typically do not improve performance.
487 A value of 0 disables clustered writes.
488 This variable applies to the underlying media device, not to logical
489 file writes, so it should not interfere with temporary file optimization.
490 Generally speaking you want this enabled to generate smoothly pipelined
491 writes to the media.
492 .It Va vfs.hammer2.bulkfree_tps (default 5000)
493 Set bulkfree's maximum scan rate.
494 This is primarily intended to limit
495 I/O utilization on SSDs and CPU utilization when the meta-data is mostly
496 cached in memory.
497 .El
498 .Sh SETTING UP /etc/hammer2
499 The
500 .Sq rsainit
501 directive will create the
502 .Pa /etc/hammer2
503 directory with appropriate permissions and also generate a public key
504 pair in this directory for the machine.
505 These files will be
506 .Pa rsa.pub
507 and
508 .Pa rsa.prv
509 and needless to say, the private key shouldn't leave the host.
510 .Pp
511 The service daemon will also scan the
512 .Pa /etc/hammer2/autoconn
513 file which contains a list of hosts which it will automatically maintain
514 connections to to form your cluster.
515 The service daemon will automatically reconnect on any failure and will
516 also monitor the file for changes.
517 .Pp
518 When the service daemon receives a connection it expects to find a
519 public key for that connection in a file in
520 .Pa /etc/hammer2/remote/
521 called
522 .Pa <IPADDR>.pub .
523 You normally copy the
524 .Pa rsa.pub
525 key from the host in question to this file.
526 The IP address must match exactly or the connection will not be allowed.
527 .Pp
528 If you want to use an unencrypted connection you can create empty,
529 dummy files in the remote directory in the form
530 .Pa <IPADDR>.none .
531 We do not recommend using unencrypted connections.
532 .Sh CLUSTER SERVICES
533 Currently there are two services which use the cluster network infrastructure,
534 HAMMER2 mounts and XDISK.
535 Any HAMMER2 mount will make all PFSs for that filesystem available to the
536 cluster.
537 And if the XDISK kernel module is loaded, the hammer2 service daemon will make
538 your machine's block devices available to the cluster (you must load the
539 xdisk.ko kernel module before starting the hammer2 service).
540 They will show up as
541 .Pa /dev/xa*
542 and
543 .Pa /dev/serno/*
544 devices on the remote machines making up the cluster.
545 Remote block devices are just what they appear to be... direct access to a
546 block device on a remote machine.
547 If the link goes down remote accesses
548 will stall until it comes back up again, then automatically requeue any
549 pending I/O and resume as if nothing happened.
550 However, if the server hosting the physical disks crashes or is rebooted,
551 any remote opens to its devices will see a permanent I/O failure requiring a
552 close and open sequence to re-establish.
553 The latter is necessary because the server's drives might not have committed
554 the data before the crash, but had already acknowledged the transfer.
555 .Pp
556 Data commits work exactly the same as they do for real block devices.
557 The originater must issue a BUF_CMD_FLUSH.
558 .Sh ADDING A NEW MASTER TO A CLUSTER
559 When you
560 .Xr newfs_hammer2 8
561 a HAMMER2 filesystem or use the
562 .Sq pfs-create
563 directive on one already mounted
564 to create a new PFS, with no special options, you wind up with a PFS
565 typed as a MASTER and a unique cluster UUID, but because there is only one
566 PFS for that cluster (for each PFS you create via pfs-create), it will
567 act just like a normal filesystem would act and does not require any special
568 protocols to operate.
569 .Pp
570 If you use the
571 .Sq pfs-create
572 directive along with the
573 .Fl u
574 option to specify a cluster UUID that already exists in the cluster,
575 you are adding a PFS to an existing cluster and this can trigger a whole
576 series of events in the background.
577 When you specify the
578 .Fl u
579 option in a
580 .Sq pfs-create ,
581 .Nm
582 will by default create a SLAVE PFS.
583 In fact, this is what must be created first even if you want to add a new
584 MASTER to your cluster.
585 .Pp
586 The most common action a system admin will want to take is to upgrade or
587 downgrade a PFS.
588 A new MASTER can be added to the cluster by upgrading an existing SLAVE
589 to MASTER.
590 A MASTER can be removed from the cluster by downgrading it to a SLAVE.
591 Upgrades and downgrades will put nodes in the cluster in a transition state
592 until the operation is complete.
593 For downgrades the transition state is fleeting unless one or more other
594 masters has not acknowledged the change.
595 For upgrades a background synchronization process must complete before the
596 transition can be said to be complete, and the node remains (really) a SLAVE
597 until that transition is complete.
598 .Sh USE CASES FOR A SOFT_MASTER
599 The SOFT_MASTER PFS type is a special type which must be specifically
600 mounted by a machine.
601 It is a R/W mount which does not use the quorum protocol and is not
602 cache coherent with the cluster, but which synchronizes from the cluster
603 and allows modifying operations which will synchronize to the cluster.
604 The most common case is to use a SOFT_MASTER PFS in a laptop allowing you
605 to work on your laptop when you are on the road and not connected to
606 your main servers, and for the laptop to synchronize when a connection is
607 available.
608 .Sh USE CASES FOR A SOFT_SLAVE
609 A SOFT_SLAVE PFS type is a special type which must be specifically mounted
610 by a machine.
611 It is a RO mount which does not use the quorum protocol and is not
612 cache coherent with the cluster.
613 It will receive synchronization from
614 the cluster when network connectivity is available but will not stall if
615 network connectivity is lost.
616 .Sh FSYNC FLUSH MODES
617 TODO.
618 .Sh RESTORING FROM A SNAPSHOT BACKUP
619 TODO.
620 .Sh PERFORMANCE TUNING
621 Because HAMMER2 implements compression, decompression, and dedup natively,
622 it always double-buffers file data.
623 This means that the file data is
624 cached via the device vnode (in compressed / dedupped-form) and the same
625 data is also cached by the file vnode (in decompressed / non-dedupped form).
626 .Pp
627 While HAMMER2 will try to age the logical file buffers on its, some
628 additional performance tuning may be necessary for optimal operation
629 whether swapcache is used or not.
630 Our recommendation is to reduce the
631 number of vnodes (and thus also the logical buffer cache behind the
632 vnodes) that the system caches via the
633 .Va kern.maxvnodes
634 sysctl.
635 .Pp
636 Too-large a value will result in excessive double-caching and can cause
637 unnecessary read disk I/O.
638 We recommend a number between 25000 and 250000 vnodes, depending on your
639 use case.
640 Keep in mind that even though the vnode cache is smaller, this will make
641 room for a great deal more device-level buffer caching which can encompasses
642 far more data and meta-data than the vnode-level caching.
643 .Sh ENVIRONMENT
644 TODO.
645 .Sh FILES
646 .Bl -tag -width ".It Pa <fs>/abc/defghi/<name>" -compact
647 .It Pa /etc/hammer2/
648 .It Pa /etc/hammer2/rsa.pub
649 .It Pa /etc/hammer2/rsa.prv
650 .It Pa /etc/hammer2/autoconn
651 .It Pa /etc/hammer2/remote/<IP>.pub
652 .It Pa /etc/hammer2/remote/<IP>.none
653 .El
654 .Sh EXIT STATUS
655 .Ex -std
656 .Sh SEE ALSO
657 .Xr mount_hammer2 8 ,
658 .Xr mount_null 8 ,
659 .Xr newfs_hammer2 8 ,
660 .Xr swapcache 8 ,
661 .Xr sysctl 8
662 .Sh HISTORY
663 The
664 .Nm
665 utility first appeared in
666 .Dx 4.1 .
667 .Sh AUTHORS
668 .An Matthew Dillon Aq Mt dillon@backplane.com