sys/vfs/hammer/hammerfs.h

   1 /*
   2  * Copyright (c) 2007 The DragonFly Project.  All rights reserved.
   3  *
   4  * This code is derived from software contributed to The DragonFly Project
   5  * by Matthew Dillon <dillon@backplane.com>
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in
  15  *    the documentation and/or other materials provided with the
  16  *    distribution.
  17  * 3. Neither the name of The DragonFly Project nor the names of its
  18  *    contributors may be used to endorse or promote products derived
  19  *    from this software without specific, prior written permission.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  *
  34  * $DragonFly: src/sys/vfs/hammer/Attic/hammerfs.h,v 1.1 2007/10/10 19:37:25 dillon Exp $
  35  */
  36
  37 #ifndef _SYS_UUID_H_
  38 #include <sys/uuid.h>
  39 #endif
  40
  41 /*
  42  * The structures below represent the on-disk format for a HAMMER
  43  * filesystem.  Note that all fields for on-disk structures are naturally
  44  * aligned.  The host endian format is used - compatibility is possible
  45  * if the implementation detects reversed endian and adjusts data accordingly.
  46  *
  47  * Most of HAMMER revolves around the concept of an object identifier.  An
  48  * obj_id is a 64 bit quantity which uniquely identifies a filesystem object
  49  * FOR THE ENTIRE LIFE OF THE FILESYSTEM.  This uniqueness allows backups
  50  * and mirrors to retain varying amounts of filesystem history by removing
  51  * any possibility of conflict through identifier reuse.
  52  *
  53  * A HAMMER filesystem may spam multiple volumes.
  54  *
  55  * A HAMMER filesystem uses a 16K filesystem buffer size.  All filesystem
  56  * I/O is done in multiples of 16K.
  57  */
  58 #define HAMMER_BUFSIZE  16384
  59 #define HAMMER_BUFMASK  (HAMMER_BUFSIZE - 1)
  60
  61 /*
  62  * Hammer transction ids are 64 bit unsigned integers and are usually
  63  * synchronized with the time of day in nanoseconds.
  64  */
  65 typedef u_int64_t hammer_tid_t;
  66
  67 /*
  68  * Storage allocations are managed in powers of 2 with a hinted radix tree
  69  * based in volume and cluster headers.  The tree is not necessarily
  70  * contained within the header and may recurse into other storage elements.
  71  *
  72  * The allocator's basic storage element is the hammer_almeta structure
  73  * which is laid out recursively in a buffer.  Allocations are driven using
  74  * a template called hammer_alist which is constructed in memory and NOT
  75  * stored in the filesystem.
  76  */
  77 struct hammer_almeta {
  78         u_int32_t       bm_bitmap;
  79         int32_t         bm_bighint;
  80 };
  81
  82 #define HAMMER_ALMETA_SIZE      8
  83
  84 struct hammer_alist {
  85         int32_t bl_blocks;      /* area of coverage */
  86         int32_t bl_radix;       /* coverage radix */
  87         int32_t bl_skip;        /* starting skip for linear layout */
  88         int32_t bl_free;        /* number of free blocks */
  89         int32_t bl_rootblks;    /* meta-blocks allocated for tree */
  90 };
  91
  92 typedef struct hammer_almeta    hammer_almeta_t;
  93 typedef struct hammer_alist     *hammer_alist_t;
  94
  95 #define HAMMER_ALIST_META_RADIX (sizeof(u_int32_t) * 4)   /* 16 */
  96 #define HAMMER_ALIST_BMAP_RADIX (sizeof(u_int32_t) * 8)   /* 32 */
  97 #define HAMMER_ALIST_BLOCK_NONE ((int32_t)-1)
  98 #define HAMMER_ALIST_FORWARDS   0x0001
  99 #define HAMMER_ALIST_BACKWARDS  0x0002
 100
 101 /*
 102  * Most HAMMER data structures are embedded in 16K filesystem buffers.
 103  * All filesystem buffers except those designated as pure-data buffers
 104  * contain this 128-byte header.
 105  *
 106  * This structure contains an embedded A-List used to manage space within
 107  * the filesystem buffer.  It is not used by volume or cluster header
 108  * buffers, or by pure-data buffers.  The granularity is variable and
 109  * depends on the type of filesystem buffer.  BLKSIZE is just a minimum.
 110  */
 111
 112 #define HAMMER_FSBUF_HEAD_SIZE  128
 113 #define HAMMER_FSBUF_MAXBLKS    256
 114 #define HAMMER_FSBUF_METAELMS   10      /* 10 elements needed for 256 blks */
 115
 116 struct hammer_fsbuf_head {
 117         u_int64_t buf_type;
 118         u_int32_t buf_crc;
 119         u_int32_t buf_reserved07;
 120         u_int32_t reserved[8];
 121         struct hammer_almeta buf_almeta[HAMMER_FSBUF_METAELMS];
 122 };
 123
 124 typedef struct hammer_fsbuf_head *hammer_fsbuf_head_t;
 125
 126 #define HAMMER_FSBUF_VOLUME     0xC8414D4DC5523031ULL   /* HAMMER01 */
 127 #define HAMMER_FSBUF_CLUSTER    0xC8414D52C34C5553ULL   /* HAMRCLUS */
 128 #define HAMMER_FSBUF_RECORDS    0xC8414D52D2454353ULL   /* HAMRRECS */
 129 #define HAMMER_FSBUF_BTREE      0xC8414D52C2545245ULL   /* HAMRBTRE */
 130 #define HAMMER_FSBUF_DATA       0xC8414D52C4415441ULL   /* HAMRDATA */
 131
 132 #define HAMMER_FSBUF_VOLUME_REV 0x313052C54D4D41C8ULL   /* (reverse endian) */
 133
 134 /*
 135  * The B-Tree structures need hammer_fsbuf_head.
 136  */
 137 #include "hammer_btree.h"
 138
 139 /*
 140  * HAMMER Volume header
 141  *
 142  * A HAMMER filesystem is built from any number of block devices,  Each block
 143  * device contains a volume header followed by however many clusters
 144  * fit in the volume.  Clusters cannot be migrated but the data they contain
 145  * can, so HAMMER can use a truncated cluster for any extra space at the
 146  * end of the volume.
 147  *
 148  * The volume containing the root cluster is designated as the master volume.
 149  * The root cluster designation can be moved to any volume.
 150  *
 151  * The volume header takes up an entire 16K filesystem buffer and includes
 152  * an A-list to manage the clusters contained within the volume (up to 32768).
 153  * With 512M clusters a volume will be limited to 16TB.
 154  */
 155 #define HAMMER_VOL_MAXCLUSTERS  32768
 156 #define HAMMER_VOL_METAELMS     1094
 157
 158 struct hammer_volume_ondisk {
 159         struct hammer_fsbuf_head head;
 160         int64_t vol_beg;        /* byte offset of first cluster in volume */
 161         int64_t vol_end;        /* byte offset of volume EOF */
 162         int64_t vol_locked;     /* reserved clusters are >= this offset */
 163
 164         uuid_t    vol_fsid;     /* identify filesystem */
 165         uuid_t    vol_fstype;   /* identify filesystem type */
 166         char      vol_name[64]; /* Name of volume */
 167
 168         int32_t vol_no;         /* volume number within filesystem */
 169         int32_t vol_count;      /* number of volumes making up FS */
 170
 171         u_int32_t vol_version;  /* version control information */
 172         u_int32_t vol_segsize;  /* cluster size power of 2, 512M max */
 173         u_int32_t vol_flags;    /* volume flags */
 174         u_int32_t vol_rootvol;  /* which volume is the root volume? */
 175
 176         int32_t vol_clsize;     /* cluster size (same for all volumes) */
 177         u_int32_t vol_reserved05;
 178         u_int32_t vol_reserved06;
 179         u_int32_t vol_reserved07;
 180
 181         /*
 182          * These fields are initialized and space is reserved in every
 183          * volume making up a HAMMER filesytem, but only the master volume
 184          * contains valid data.
 185          */
 186         int32_t vol0_rootcluster;       /* root cluster no (index) in rootvol */
 187         u_int32_t vol0_reserved02;
 188         u_int32_t vol0_reserved03;
 189         hammer_tid_t vol0_nexttid;      /* next TID */
 190         u_int64_t vol0_recid;           /* fs-wide record id allocator */
 191
 192         char    reserved[1024];
 193
 194         hammer_almeta_t vol_almeta[HAMMER_VOL_METAELMS];
 195         u_int32_t       vol0_bitmap[1024];
 196 };
 197
 198 #define HAMMER_VOLF_VALID       0x0001  /* valid entry */
 199 #define HAMMER_VOLF_OPEN        0x0002  /* volume is open */
 200
 201 /*
 202  * HAMMER Cluster header
 203  *
 204  * The cluster header contains all the information required to identify a
 205  * cluster, locate critical information areas within the cluster, and
 206  * to manage space within the cluster.
 207  *
 208  * A Cluster contains pure data, incremental data, b-tree nodes, and records.
 209  */
 210 #define HAMMER_CLU_MAXBUFFERS   32768
 211 #define HAMMER_CLU_METAELMS     1094
 212
 213 struct hammer_cluster_ondisk {
 214         struct hammer_fsbuf_head head;
 215         uuid_t  vol_fsid;       /* identify filesystem - sanity check */
 216         uuid_t  vol_fstype;     /* identify filesystem type - sanity check */
 217
 218         u_int64_t clu_gen;      /* identify generation number of cluster */
 219         u_int64_t clu_unused01;
 220
 221         hammer_tid_t clu_id;    /* unique cluster self identification */
 222         int32_t vol_no;         /* cluster contained in volume (sanity) */
 223         u_int32_t clu_flags;    /* cluster flags */
 224
 225         int32_t clu_start;      /* start of data (byte offset) */
 226         int32_t clu_limit;      /* end of data (byte offset) */
 227         int32_t clu_no;         /* cluster index in volume (sanity) */
 228         u_int32_t clu_reserved03;
 229
 230         u_int32_t clu_reserved04;
 231         u_int32_t clu_reserved05;
 232         u_int32_t clu_reserved06;
 233         u_int32_t clu_reserved07;
 234
 235         int32_t idx_data;       /* data append point (byte offset) */
 236         int32_t idx_index;      /* index append point (byte offset) */
 237         int32_t idx_record;     /* record prepend point (byte offset) */
 238         u_int32_t idx_reserved03;
 239
 240         /*
 241          * Specify the range of information stored in this cluster.  These
 242          * structures match the B-Tree elements in our parent cluster
 243          * (if any) that point to us.  Note that clu_objend is
 244          * range-inclusive, not range-exclusive so e.g. 0-1023 instead
 245          * of 0-1024.
 246          */
 247         int64_t clu_parent;             /* parent vol & cluster */
 248         struct hammer_base_elm clu_objstart;
 249         struct hammer_base_elm clu_objend;
 250
 251         /*
 252          * The root node of the cluster's B-Tree is embedded in the
 253          * cluster header.  The node is 504 bytes.
 254          */
 255         struct hammer_btree_node clu_btree_root;
 256
 257         /*
 258          * HAMMER needs a separate bitmap to indicate which buffers are
 259          * managed (contain a hammer_fsbuf_head).  Any buffers not so
 260          * designated are either unused or contain pure data.
 261          *
 262          * synchronized_rec_id is the synchronization point for the
 263          * cluster.  Any records with a greater or equal rec_id found
 264          * when recovering a cluster are likely incomplete and will be
 265          * ignored.
 266          */
 267         u_int64_t synchronized_rec_id;
 268         u_int32_t managed_buffers_bitmap[HAMMER_CLU_MAXBUFFERS/32];
 269
 270         char    reserved[1024];
 271         hammer_almeta_t clu_almeta[HAMMER_CLU_METAELMS];
 272 };
 273
 274 /*
 275  * HAMMER records are 96 byte entities encoded into 16K filesystem buffers.
 276  * Each record has a 64 byte header and a 32 byte extension.  170 records
 277  * fit into each buffer.  Storage is managed by the buffer's A-List.
 278  *
 279  * Each record may have an explicit data reference to a block of data up
 280  * to 2^31-1 bytes in size within the current cluster.  Note that multiple
 281  * records may share the same or overlapping data references.
 282  */
 283
 284 /*
 285  * All HAMMER records have a common 64-byte base and a 32-byte extension.
 286  *
 287  * Many HAMMER record types reference out-of-band data within the cluster.
 288  * This data can also be stored in-band in the record itself if it is small
 289  * enough.  Either way, (data_offset, data_len) points to it.
 290  *
 291  * Key comparison order:  obj_id, rec_type, key, create_tid
 292  */
 293 struct hammer_base_record {
 294         int64_t obj_id;         /* 00 object record is associated with */
 295         int64_t key;            /* 08 indexing key (offset or namekey) */
 296
 297         hammer_tid_t create_tid;/* 10 transaction id for record creation */
 298         hammer_tid_t delete_tid;/* 18 transaction id for record update/delete */
 299
 300         u_int16_t rec_type;     /* 20 type of record */
 301         u_int16_t obj_type;     /* 22 type of object (if inode) */
 302         u_int32_t data_offset;  /* 24 intra-cluster data reference */
 303                                 /*    An offset of 0 indicates zero-fill */
 304         int32_t data_len;       /* 28 size of data (remainder zero-fill) */
 305         u_int32_t data_crc;     /* 2C data sanity check */
 306         u_int64_t rec_id;       /* 30 record id (iterator for recovery) */
 307         u_int64_t reserved07;   /* 38 */
 308                                 /* 40 */
 309 };
 310
 311 #define HAMMER_RECTYPE_UNKNOWN          0
 312 #define HAMMER_RECTYPE_INODE            1       /* inode in obj_id space */
 313 #define HAMMER_RECTYPE_SLAVE            2       /* slave inode */
 314 #define HAMMER_RECTYPE_OBJZONE          3       /* subdivide obj_id space */
 315 #define HAMMER_RECTYPE_DATA_CREATE      0x10
 316 #define HAMMER_RECTYPE_DATA_ZEROFILL    0x11
 317 #define HAMMER_RECTYPE_DATA_DELETE      0x12
 318 #define HAMMER_RECTYPE_DATA_UPDATE      0x13
 319 #define HAMMER_RECTYPE_DIR_CREATE       0x20
 320 #define HAMMER_RECTYPE_DIR_DELETE       0x22
 321 #define HAMMER_RECTYPE_DIR_UPDATE       0x23
 322 #define HAMMER_RECTYPE_DB_CREATE        0x30
 323 #define HAMMER_RECTYPE_DB_DELETE        0x32
 324 #define HAMMER_RECTYPE_DB_UPDATE        0x33
 325 #define HAMMER_RECTYPE_EXT_CREATE       0x40    /* ext attributes */
 326 #define HAMMER_RECTYPE_EXT_DELETE       0x42
 327 #define HAMMER_RECTYPE_EXT_UPDATE       0x43
 328
 329 #define HAMMER_OBJTYPE_DIRECTORY        1
 330 #define HAMMER_OBJTYPE_REGFILE          2
 331 #define HAMMER_OBJTYPE_DBFILE           3
 332 #define HAMMER_OBJTYPE_FIFO             4
 333 #define HAMMER_OBJTYPE_DEVNODE          5
 334 #define HAMMER_OBJTYPE_SOFTLINK         6
 335
 336 /*
 337  * Generic full-sized record
 338  */
 339 struct hammer_generic_record {
 340         struct hammer_base_record base;
 341         char filler[32];
 342 };
 343
 344 /*
 345  * A HAMMER inode record.
 346  *
 347  * This forms the basis for a filesystem object.  obj_id is the inode number,
 348  * key1 represents the pseudo filesystem id for security partitioning
 349  * (preventing cross-links and/or restricting a NFS export and specifying the
 350  * security policy), and key2 represents the data retention policy id.
 351  *
 352  * Inode numbers are 64 bit quantities which uniquely identify a filesystem
 353  * object for the ENTIRE life of the filesystem, even after the object has
 354  * been deleted.  For all intents and purposes inode numbers are simply
 355  * allocated by incrementing a sequence space.
 356  *
 357  * There is an important distinction between the data stored in the inode
 358  * record and the record's data reference.  The record references a
 359  * hammer_inode_data structure but the filesystem object size and hard link
 360  * count is stored in the inode record itself.  This allows multiple inodes
 361  * to share the same hammer_inode_data structure.  This is possible because
 362  * any modifications will lay out new data.  The HAMMER implementation need
 363  * not use the data-sharing ability when laying down new records.
 364  *
 365  * A HAMMER inode is subject to the same historical storage requirements
 366  * as any other record.  In particular any change in filesystem or hard link
 367  * count will lay down a new inode record when the filesystem is synced to
 368  * disk.  This can lead to a lot of junk records which get cleaned up by
 369  * the data retention policy.
 370  *
 371  * The ino_atime and ino_mtime fields are a special case.  Modifications to
 372  * these fields do NOT lay down a new record by default, though the values
 373  * are effectively frozen for snapshots which access historical versions
 374  * of the inode record due to other operations.  This means that atime will
 375  * not necessarily be accurate in snapshots, backups, or mirrors.  mtime
 376  * will be accurate in backups and mirrors since it can be regenerated from
 377  * the mirroring stream.
 378  *
 379  * Because nlinks is historically retained the hardlink count will be
 380  * accurate when accessing a HAMMER filesystem snapshot.
 381  */
 382 struct hammer_inode_record {
 383         struct hammer_base_record base;
 384         u_int64_t ino_atime;    /* last access time (not historical) */
 385         u_int64_t ino_mtime;    /* last modified time (not historical) */
 386         u_int64_t ino_size;     /* filesystem object size */
 387         u_int64_t ino_nlinks;   /* hard links */
 388 };
 389
 390 /*
 391  * Data records specify the entire contents of a regular file object,
 392  * including attributes.  Small amounts of data can theoretically be
 393  * embedded in the record itself but the use of this ability verses using
 394  * an out-of-band data reference depends on the implementation.
 395  */
 396 struct hammer_data_record {
 397         struct hammer_base_record base;
 398         char filler[32];
 399 };
 400
 401 /*
 402  * A directory entry specifies the HAMMER filesystem object id, a copy of
 403  * the file type, and file name (either embedded or as out-of-band data).
 404  * If the file name is short enough to fit into den_name[] (including a
 405  * terminating nul) then it will be embedded in the record, otherwise it
 406  * is stored out-of-band.  The base record's data reference always points
 407  * to the nul-terminated filename regardless.
 408  *
 409  * Directory entries are indexed with a 128 bit namekey rather then an
 410  * offset.  A portion of the namekey is an iterator or randomizer to deal
 411  * with collisions.
 412  */
 413 struct hammer_entry_record {
 414         struct hammer_base_record base;
 415         u_int64_t obj_id;               /* object being referenced */
 416         u_int64_t reserved01;
 417         u_int8_t  den_type;             /* cached file type */
 418         char      den_name[15];         /* short file names fit in record */
 419 };
 420
 421 /*
 422  * Hammer rollup record
 423  */
 424 union hammer_record {
 425         struct hammer_base_record       base;
 426         struct hammer_generic_record    generic;
 427         struct hammer_inode_record      inode;
 428         struct hammer_data_record       data;
 429         struct hammer_entry_record      entry;
 430 };
 431
 432 typedef union hammer_record *hammer_record_t;
 433
 434 /*
 435  * Filesystem buffer for records
 436  */
 437 #define HAMMER_RECORD_NODES     \
 438         ((HAMMER_BUFSIZE - sizeof(struct hammer_fsbuf_head)) / \
 439         sizeof(union hammer_record))
 440
 441 struct hammer_fsbuf_recs {
 442         struct hammer_fsbuf_head        head;
 443         char                            unused[32];
 444         union hammer_record             recs[HAMMER_RECORD_NODES];
 445 };
 446
 447 /*
 448  * Filesystem buffer for piecemeal data.  Note that this does not apply
 449  * to dedicated pure-data buffers as such buffers do not have a header.
 450  */
 451
 452 #define HAMMER_DATA_SIZE        (HAMMER_BUFSIZE - sizeof(struct hammer_fsbuf_head))
 453 #define HAMMER_DATA_BLKSIZE     64
 454 #define HAMMER_DATA_NODES       (HAMMER_DATA_SIZE / HAMMER_DATA_BLKSIZE)
 455
 456 struct hammer_fsbuf_data {
 457         struct hammer_fsbuf_head head;
 458         u_int8_t                data[HAMMER_DATA_NODES][HAMMER_DATA_BLKSIZE];
 459 };
 460
 461
 462 /*
 463  * HAMMER UNIX Attribute data
 464  *
 465  * The data reference in a HAMMER inode record points to this structure.  Any
 466  * modifications to the contents of this structure will result in a record
 467  * replacement operation.
 468  *
 469  * state_sum allows a filesystem object to be validated to a degree by
 470  * generating a checksum of all of its pieces (in no particular order) and
 471  * checking it against this field.
 472  */
 473 struct hammer_inode_data {
 474         u_int16_t version;      /* inode data version */
 475         u_int16_t mode;         /* basic unix permissions */
 476         u_int32_t uflags;       /* chflags */
 477         u_int64_t reserved01;
 478         u_int64_t reserved02;
 479         u_int64_t state_sum;    /* cumulative checksum */
 480         uuid_t  uid;
 481         uuid_t  gid;
 482 };
 483
 484 #define HAMMER_INODE_DATA_VERSION       1
 485
 486 /*
 487  * Function library support available to kernel and userland
 488  */
 489 void hammer_alist_template(hammer_alist_t, int blocks, int maxmeta);
 490 void hammer_alist_init(hammer_alist_t bl, hammer_almeta_t *meta);
 491 int32_t hammer_alist_alloc(hammer_alist_t bl, hammer_almeta_t *meta,
 492                         int32_t count);
 493 int32_t hammer_alist_alloc_rev(hammer_alist_t bl, hammer_almeta_t *meta,
 494                         int32_t count);
 495 #if 0
 496 int32_t hammer_alist_alloc_from(hammer_alist_t bl, hammer_almeta_t *meta,
 497                         int32_t count, int32_t start, int flags);
 498 #endif
 499 void hammer_alist_free(hammer_alist_t bl, hammer_almeta_t *meta,
 500                         int32_t blkno, int32_t count);
 501