HAMMER VFS - Fix degenerate stall condition in flusher during unmount
[dragonfly.git] / sys / vfs / hammer / hammer_flusher.c
1 /*
2  * Copyright (c) 2008 The DragonFly Project.  All rights reserved.
3  * 
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@backplane.com>
6  * 
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in
15  *    the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of The DragonFly Project nor the names of its
18  *    contributors may be used to endorse or promote products derived
19  *    from this software without specific, prior written permission.
20  * 
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  * 
34  * $DragonFly: src/sys/vfs/hammer/hammer_flusher.c,v 1.45 2008/07/31 04:42:04 dillon Exp $
35  */
36 /*
37  * HAMMER dependancy flusher thread
38  *
39  * Meta data updates create buffer dependancies which are arranged as a
40  * hierarchy of lists.
41  */
42
43 #include "hammer.h"
44
45 static void hammer_flusher_master_thread(void *arg);
46 static void hammer_flusher_slave_thread(void *arg);
47 static int hammer_flusher_flush(hammer_mount_t hmp, int *nomorep);
48 static void hammer_flusher_flush_inode(hammer_inode_t ip,
49                                         hammer_transaction_t trans);
50
51 RB_GENERATE(hammer_fls_rb_tree, hammer_inode, rb_flsnode,
52               hammer_ino_rb_compare);
53
54 /*
55  * Inodes are sorted and assigned to slave threads in groups of 128.
56  * We want a flush group size large enough such that the slave threads
57  * are not likely to interfere with each other when accessing the B-Tree,
58  * but not so large that we lose concurrency.
59  */
60 #define HAMMER_FLUSH_GROUP_SIZE 128
61
62 /*
63  * Support structures for the flusher threads.
64  */
65 struct hammer_flusher_info {
66         TAILQ_ENTRY(hammer_flusher_info) entry;
67         struct hammer_mount *hmp;
68         thread_t        td;
69         int             runstate;
70         int             count;
71         hammer_flush_group_t flg;
72         hammer_inode_t  work_array[HAMMER_FLUSH_GROUP_SIZE];
73 };
74
75 typedef struct hammer_flusher_info *hammer_flusher_info_t;
76
77 /*
78  * Sync all inodes pending on the flusher.
79  *
80  * All flush groups will be flushed.  This does not queue dirty inodes
81  * to the flush groups, it just flushes out what has already been queued!
82  */
83 void
84 hammer_flusher_sync(hammer_mount_t hmp)
85 {
86         int seq;
87
88         seq = hammer_flusher_async(hmp, NULL);
89         hammer_flusher_wait(hmp, seq);
90 }
91
92 /*
93  * Sync all flush groups through to close_flg - return immediately.
94  * If close_flg is NULL all flush groups are synced.
95  *
96  * Returns the sequence number of the last closed flush group,
97  * which may be close_flg.  When syncing to the end if there
98  * are no flush groups pending we still cycle the flusher, and
99  * must allocate a sequence number to placemark the spot even
100  * though no flush group will ever be associated with it.
101  */
102 int
103 hammer_flusher_async(hammer_mount_t hmp, hammer_flush_group_t close_flg)
104 {
105         hammer_flush_group_t flg;
106         int seq;
107
108         /*
109          * Already closed
110          */
111         if (close_flg && close_flg->closed)
112                 return(close_flg->seq);
113
114         /*
115          * Close flush groups until we hit the end of the list
116          * or close_flg.
117          */
118         while ((flg = hmp->next_flush_group) != NULL) {
119                 KKASSERT(flg->closed == 0 && flg->running == 0);
120                 flg->closed = 1;
121                 hmp->next_flush_group = TAILQ_NEXT(flg, flush_entry);
122                 if (flg == close_flg)
123                         break;
124         }
125
126         if (hmp->flusher.td) {
127                 if (hmp->flusher.signal++ == 0)
128                         wakeup(&hmp->flusher.signal);
129                 if (flg) {
130                         seq = flg->seq;
131                 } else {
132                         seq = hmp->flusher.next;
133                         ++hmp->flusher.next;
134                 }
135         } else {
136                 seq = hmp->flusher.done;
137         }
138         return(seq);
139 }
140
141 /*
142  * Flush the current/next flushable flg.  This function is typically called
143  * in a loop along with hammer_flusher_wait(hmp, returned_seq) to iterate
144  * flush groups until specific conditions are met.
145  *
146  * If a flush is currently in progress its seq is returned.
147  *
148  * If no flush is currently in progress the next available flush group
149  * will be flushed and its seq returned.
150  *
151  * If no flush groups are present a dummy seq will be allocated and
152  * returned and the flusher will be activated (e.g. to flush the
153  * undo/redo and the volume header).
154  */
155 int
156 hammer_flusher_async_one(hammer_mount_t hmp)
157 {
158         hammer_flush_group_t flg;
159         int seq;
160
161         if (hmp->flusher.td) {
162                 flg = TAILQ_FIRST(&hmp->flush_group_list);
163                 seq = hammer_flusher_async(hmp, flg);
164         } else {
165                 seq = hmp->flusher.done;
166         }
167         return(seq);
168 }
169
170 /*
171  * Wait for the flusher to finish flushing the specified sequence
172  * number.  The flush is already running and will signal us on
173  * each completion.
174  */
175 void
176 hammer_flusher_wait(hammer_mount_t hmp, int seq)
177 {
178         while ((int)(seq - hmp->flusher.done) > 0)
179                 tsleep(&hmp->flusher.done, 0, "hmrfls", 0);
180 }
181
182 void
183 hammer_flusher_wait_next(hammer_mount_t hmp)
184 {
185         int seq;
186
187         seq = hammer_flusher_async_one(hmp);
188         hammer_flusher_wait(hmp, seq);
189 }
190
191 void
192 hammer_flusher_create(hammer_mount_t hmp)
193 {
194         hammer_flusher_info_t info;
195         int i;
196
197         hmp->flusher.signal = 0;
198         hmp->flusher.done = 0;
199         hmp->flusher.next = 1;
200         hammer_ref(&hmp->flusher.finalize_lock);
201         TAILQ_INIT(&hmp->flusher.run_list);
202         TAILQ_INIT(&hmp->flusher.ready_list);
203
204         lwkt_create(hammer_flusher_master_thread, hmp,
205                     &hmp->flusher.td, NULL, 0, -1, "hammer-M");
206         for (i = 0; i < HAMMER_MAX_FLUSHERS; ++i) {
207                 info = kmalloc(sizeof(*info), hmp->m_misc, M_WAITOK|M_ZERO);
208                 info->hmp = hmp;
209                 TAILQ_INSERT_TAIL(&hmp->flusher.ready_list, info, entry);
210                 lwkt_create(hammer_flusher_slave_thread, info,
211                             &info->td, NULL, 0, -1, "hammer-S%d", i);
212         }
213 }
214
215 void
216 hammer_flusher_destroy(hammer_mount_t hmp)
217 {
218         hammer_flusher_info_t info;
219
220         /*
221          * Kill the master
222          */
223         hmp->flusher.exiting = 1;
224         while (hmp->flusher.td) {
225                 ++hmp->flusher.signal;
226                 wakeup(&hmp->flusher.signal);
227                 tsleep(&hmp->flusher.exiting, 0, "hmrwex", hz);
228         }
229
230         /*
231          * Kill the slaves
232          */
233         while ((info = TAILQ_FIRST(&hmp->flusher.ready_list)) != NULL) {
234                 KKASSERT(info->runstate == 0);
235                 TAILQ_REMOVE(&hmp->flusher.ready_list, info, entry);
236                 info->runstate = -1;
237                 wakeup(&info->runstate);
238                 while (info->td)
239                         tsleep(&info->td, 0, "hmrwwc", 0);
240                 kfree(info, hmp->m_misc);
241         }
242 }
243
244 /*
245  * The master flusher thread manages the flusher sequence id and
246  * synchronization with the slave work threads.
247  */
248 static void
249 hammer_flusher_master_thread(void *arg)
250 {
251         hammer_mount_t hmp;
252         int seq;
253         int nomore;
254
255         hmp = arg;
256
257         lwkt_gettoken(&hmp->fs_token);
258
259         for (;;) {
260                 /*
261                  * Flush all sequence numbers up to but not including .next,
262                  * or until an open flush group is encountered.
263                  */
264                 for (;;) {
265                         while (hmp->flusher.group_lock)
266                                 tsleep(&hmp->flusher.group_lock, 0, "hmrhld",0);
267                         hammer_flusher_clean_loose_ios(hmp);
268
269                         seq = hammer_flusher_flush(hmp, &nomore);
270                         hmp->flusher.done = seq;
271                         wakeup(&hmp->flusher.done);
272
273                         if (hmp->flags & HAMMER_MOUNT_CRITICAL_ERROR)
274                                 break;
275                         if (nomore)
276                                 break;
277                 }
278
279                 /*
280                  * Wait for activity.
281                  */
282                 if (hmp->flusher.exiting && TAILQ_EMPTY(&hmp->flush_group_list))
283                         break;
284                 while (hmp->flusher.signal == 0)
285                         tsleep(&hmp->flusher.signal, 0, "hmrwwa", 0);
286                 hmp->flusher.signal = 0;
287         }
288
289         /*
290          * And we are done.
291          */
292         hmp->flusher.td = NULL;
293         wakeup(&hmp->flusher.exiting);
294         lwkt_reltoken(&hmp->fs_token);
295         lwkt_exit();
296 }
297
298 /*
299  * Flush the next sequence number until an open flush group is encountered
300  * or we reach (next).  Not all sequence numbers will have flush groups
301  * associated with them.  These require that the UNDO/REDO FIFO still be
302  * flushed since it can take at least one additional run to synchronize
303  * the FIFO, and more to also synchronize the reserve structures.
304  */
305 static int
306 hammer_flusher_flush(hammer_mount_t hmp, int *nomorep)
307 {
308         hammer_flusher_info_t info;
309         hammer_flush_group_t flg;
310         hammer_reserve_t resv;
311         hammer_inode_t ip;
312         hammer_inode_t next_ip;
313         int slave_index;
314         int count;
315         int seq;
316
317         /*
318          * Just in-case there's a flush race on mount.  Seq number
319          * does not change.
320          */
321         if (TAILQ_FIRST(&hmp->flusher.ready_list) == NULL) {
322                 *nomorep = 1;
323                 return (hmp->flusher.done);
324         }
325         *nomorep = 0;
326
327         /*
328          * Flush the next sequence number.  Sequence numbers can exist
329          * without an assigned flush group, indicating that just a FIFO flush
330          * should occur.
331          */
332         seq = hmp->flusher.done + 1;
333         flg = TAILQ_FIRST(&hmp->flush_group_list);
334         if (flg == NULL) {
335                 if (seq == hmp->flusher.next) {
336                         *nomorep = 1;
337                         return (hmp->flusher.done);
338                 }
339         } else if (seq == flg->seq) {
340                 if (flg->closed) {
341                         KKASSERT(flg->running == 0);
342                         flg->running = 1;
343                         if (hmp->fill_flush_group == flg) {
344                                 hmp->fill_flush_group =
345                                         TAILQ_NEXT(flg, flush_entry);
346                         }
347                 } else {
348                         *nomorep = 1;
349                         return (hmp->flusher.done);
350                 }
351         } else {
352                 KKASSERT((int)(flg->seq - seq) > 0);
353                 flg = NULL;
354         }
355
356         /*
357          * We only do one flg but we may have to loop/retry.
358          *
359          * Due to various races it is possible to come across a flush
360          * group which as not yet been closed.
361          */
362         count = 0;
363         while (flg && flg->running) {
364                 ++count;
365                 if (hammer_debug_general & 0x0001) {
366                         kprintf("hammer_flush %d ttl=%d recs=%d\n",
367                                 flg->seq, flg->total_count, flg->refs);
368                 }
369                 if (hmp->flags & HAMMER_MOUNT_CRITICAL_ERROR)
370                         break;
371                 hammer_start_transaction_fls(&hmp->flusher.trans, hmp);
372
373                 /*
374                  * If the previous flush cycle just about exhausted our
375                  * UNDO space we may have to do a dummy cycle to move the
376                  * first_offset up before actually digging into a new cycle,
377                  * or the new cycle will not have sufficient undo space.
378                  */
379                 if (hammer_flusher_undo_exhausted(&hmp->flusher.trans, 3))
380                         hammer_flusher_finalize(&hmp->flusher.trans, 0);
381
382                 KKASSERT(hmp->next_flush_group != flg);
383
384                 /*
385                  * Iterate the inodes in the flg's flush_tree and assign
386                  * them to slaves.
387                  */
388                 slave_index = 0;
389                 info = TAILQ_FIRST(&hmp->flusher.ready_list);
390                 next_ip = RB_FIRST(hammer_fls_rb_tree, &flg->flush_tree);
391
392                 while ((ip = next_ip) != NULL) {
393                         next_ip = RB_NEXT(hammer_fls_rb_tree,
394                                           &flg->flush_tree, ip);
395
396                         if (++hmp->check_yield > hammer_yield_check) {
397                                 hmp->check_yield = 0;
398                                 lwkt_yield();
399                         }
400
401                         /*
402                          * Add ip to the slave's work array.  The slave is
403                          * not currently running.
404                          */
405                         info->work_array[info->count++] = ip;
406                         if (info->count != HAMMER_FLUSH_GROUP_SIZE)
407                                 continue;
408
409                         /*
410                          * Get the slave running
411                          */
412                         TAILQ_REMOVE(&hmp->flusher.ready_list, info, entry);
413                         TAILQ_INSERT_TAIL(&hmp->flusher.run_list, info, entry);
414                         info->flg = flg;
415                         info->runstate = 1;
416                         wakeup(&info->runstate);
417
418                         /*
419                          * Get a new slave.  We may have to wait for one to
420                          * finish running.
421                          */
422                         while ((info = TAILQ_FIRST(&hmp->flusher.ready_list)) == NULL) {
423                                 tsleep(&hmp->flusher.ready_list, 0, "hmrfcc", 0);
424                         }
425                 }
426
427                 /*
428                  * Run the current slave if necessary
429                  */
430                 if (info->count) {
431                         TAILQ_REMOVE(&hmp->flusher.ready_list, info, entry);
432                         TAILQ_INSERT_TAIL(&hmp->flusher.run_list, info, entry);
433                         info->flg = flg;
434                         info->runstate = 1;
435                         wakeup(&info->runstate);
436                 }
437
438                 /*
439                  * Wait for all slaves to finish running
440                  */
441                 while (TAILQ_FIRST(&hmp->flusher.run_list) != NULL)
442                         tsleep(&hmp->flusher.ready_list, 0, "hmrfcc", 0);
443
444                 /*
445                  * Do the final finalization, clean up
446                  */
447                 hammer_flusher_finalize(&hmp->flusher.trans, 1);
448                 hmp->flusher.tid = hmp->flusher.trans.tid;
449
450                 hammer_done_transaction(&hmp->flusher.trans);
451
452                 /*
453                  * Loop up on the same flg.  If the flg is done clean it up
454                  * and break out.  We only flush one flg.
455                  */
456                 if (RB_EMPTY(&flg->flush_tree)) {
457                         KKASSERT(flg->refs == 0);
458                         TAILQ_REMOVE(&hmp->flush_group_list, flg, flush_entry);
459                         kfree(flg, hmp->m_misc);
460                         break;
461                 }
462                 KKASSERT(TAILQ_FIRST(&hmp->flush_group_list) == flg);
463         }
464
465         /*
466          * We may have pure meta-data to flush, or we may have to finish
467          * cycling the UNDO FIFO, even if there were no flush groups.
468          */
469         if (count == 0 && hammer_flusher_haswork(hmp)) {
470                 hammer_start_transaction_fls(&hmp->flusher.trans, hmp);
471                 hammer_flusher_finalize(&hmp->flusher.trans, 1);
472                 hammer_done_transaction(&hmp->flusher.trans);
473         }
474
475         /*
476          * Clean up any freed big-blocks (typically zone-2). 
477          * resv->flush_group is typically set several flush groups ahead
478          * of the free to ensure that the freed block is not reused until
479          * it can no longer be reused.
480          */
481         while ((resv = TAILQ_FIRST(&hmp->delay_list)) != NULL) {
482                 if ((int)(resv->flush_group - seq) > 0)
483                         break;
484                 hammer_reserve_clrdelay(hmp, resv);
485         }
486         return (seq);
487 }
488
489
490 /*
491  * The slave flusher thread pulls work off the master flush list until no
492  * work is left.
493  */
494 static void
495 hammer_flusher_slave_thread(void *arg)
496 {
497         hammer_flush_group_t flg;
498         hammer_flusher_info_t info;
499         hammer_mount_t hmp;
500         hammer_inode_t ip;
501         int i;
502
503         info = arg;
504         hmp = info->hmp;
505         lwkt_gettoken(&hmp->fs_token);
506
507         for (;;) {
508                 while (info->runstate == 0)
509                         tsleep(&info->runstate, 0, "hmrssw", 0);
510                 if (info->runstate < 0)
511                         break;
512                 flg = info->flg;
513
514                 for (i = 0; i < info->count; ++i) {
515                         ip = info->work_array[i];
516                         hammer_flusher_flush_inode(ip, &hmp->flusher.trans);
517                         ++hammer_stats_inode_flushes;
518                 }
519                 info->count = 0;
520                 info->runstate = 0;
521                 TAILQ_REMOVE(&hmp->flusher.run_list, info, entry);
522                 TAILQ_INSERT_TAIL(&hmp->flusher.ready_list, info, entry);
523                 wakeup(&hmp->flusher.ready_list);
524         }
525         info->td = NULL;
526         wakeup(&info->td);
527         lwkt_reltoken(&hmp->fs_token);
528         lwkt_exit();
529 }
530
531 void
532 hammer_flusher_clean_loose_ios(hammer_mount_t hmp)
533 {
534         hammer_buffer_t buffer;
535         hammer_io_t io;
536
537         /*
538          * loose ends - buffers without bp's aren't tracked by the kernel
539          * and can build up, so clean them out.  This can occur when an
540          * IO completes on a buffer with no references left.
541          *
542          * The io_token is needed to protect the list.
543          */
544         if ((io = RB_ROOT(&hmp->lose_root)) != NULL) {
545                 lwkt_gettoken(&hmp->io_token);
546                 while ((io = RB_ROOT(&hmp->lose_root)) != NULL) {
547                         KKASSERT(io->mod_root == &hmp->lose_root);
548                         RB_REMOVE(hammer_mod_rb_tree, io->mod_root, io);
549                         io->mod_root = NULL;
550                         hammer_ref(&io->lock);
551                         buffer = (void *)io;
552                         hammer_rel_buffer(buffer, 0);
553                 }
554                 lwkt_reltoken(&hmp->io_token);
555         }
556 }
557
558 /*
559  * Flush a single inode that is part of a flush group.
560  *
561  * Flusher errors are extremely serious, even ENOSPC shouldn't occur because
562  * the front-end should have reserved sufficient space on the media.  Any
563  * error other then EWOULDBLOCK will force the mount to be read-only.
564  */
565 static
566 void
567 hammer_flusher_flush_inode(hammer_inode_t ip, hammer_transaction_t trans)
568 {
569         hammer_mount_t hmp = ip->hmp;
570         int error;
571
572         hammer_flusher_clean_loose_ios(hmp);
573         error = hammer_sync_inode(trans, ip);
574
575         /*
576          * EWOULDBLOCK can happen under normal operation, all other errors
577          * are considered extremely serious.  We must set WOULDBLOCK
578          * mechanics to deal with the mess left over from the abort of the
579          * previous flush.
580          */
581         if (error) {
582                 ip->flags |= HAMMER_INODE_WOULDBLOCK;
583                 if (error == EWOULDBLOCK)
584                         error = 0;
585         }
586         hammer_flush_inode_done(ip, error);
587         while (hmp->flusher.finalize_want)
588                 tsleep(&hmp->flusher.finalize_want, 0, "hmrsxx", 0);
589         if (hammer_flusher_undo_exhausted(trans, 1)) {
590                 kprintf("HAMMER: Warning: UNDO area too small!\n");
591                 hammer_flusher_finalize(trans, 1);
592         } else if (hammer_flusher_meta_limit(trans->hmp)) {
593                 hammer_flusher_finalize(trans, 0);
594         }
595 }
596
597 /*
598  * Return non-zero if the UNDO area has less then (QUARTER / 4) of its
599  * space left.
600  *
601  * 1/4 - Emergency free undo space level.  Below this point the flusher
602  *       will finalize even if directory dependancies have not been resolved.
603  *
604  * 2/4 - Used by the pruning and reblocking code.  These functions may be
605  *       running in parallel with a flush and cannot be allowed to drop
606  *       available undo space to emergency levels.
607  *
608  * 3/4 - Used at the beginning of a flush to force-sync the volume header
609  *       to give the flush plenty of runway to work in.
610  */
611 int
612 hammer_flusher_undo_exhausted(hammer_transaction_t trans, int quarter)
613 {
614         if (hammer_undo_space(trans) <
615             hammer_undo_max(trans->hmp) * quarter / 4) {
616                 return(1);
617         } else {
618                 return(0);
619         }
620 }
621
622 /*
623  * Flush all pending UNDOs, wait for write completion, update the volume
624  * header with the new UNDO end position, and flush it.  Then
625  * asynchronously flush the meta-data.
626  *
627  * If this is the last finalization in a flush group we also synchronize
628  * our cached blockmap and set hmp->flusher_undo_start and our cached undo
629  * fifo first_offset so the next flush resets the FIFO pointers.
630  *
631  * If this is not final it is being called because too many dirty meta-data
632  * buffers have built up and must be flushed with UNDO synchronization to
633  * avoid a buffer cache deadlock.
634  */
635 void
636 hammer_flusher_finalize(hammer_transaction_t trans, int final)
637 {
638         hammer_volume_t root_volume;
639         hammer_blockmap_t cundomap, dundomap;
640         hammer_mount_t hmp;
641         hammer_io_t io;
642         hammer_off_t save_undo_next_offset;
643         int count;
644         int i;
645
646         hmp = trans->hmp;
647         root_volume = trans->rootvol;
648
649         /*
650          * Exclusively lock the flusher.  This guarantees that all dirty
651          * buffers will be idled (have a mod-count of 0).
652          */
653         ++hmp->flusher.finalize_want;
654         hammer_lock_ex(&hmp->flusher.finalize_lock);
655
656         /*
657          * If this isn't the final sync several threads may have hit the
658          * meta-limit at the same time and raced.  Only sync if we really
659          * have to, after acquiring the lock.
660          */
661         if (final == 0 && !hammer_flusher_meta_limit(hmp))
662                 goto done;
663
664         if (hmp->flags & HAMMER_MOUNT_CRITICAL_ERROR)
665                 goto done;
666
667         /*
668          * Flush data buffers.  This can occur asynchronously and at any
669          * time.  We must interlock against the frontend direct-data write
670          * but do not have to acquire the sync-lock yet.
671          *
672          * These data buffers have already been collected prior to the
673          * related inode(s) getting queued to the flush group.
674          */
675         count = 0;
676         while ((io = RB_FIRST(hammer_mod_rb_tree, &hmp->data_root)) != NULL) {
677                 if (io->ioerror)
678                         break;
679                 hammer_ref(&io->lock);
680                 hammer_io_write_interlock(io);
681                 KKASSERT(io->type != HAMMER_STRUCTURE_VOLUME);
682                 hammer_io_flush(io, 0);
683                 hammer_io_done_interlock(io);
684                 hammer_rel_buffer((hammer_buffer_t)io, 0);
685                 hammer_io_limit_backlog(hmp);
686                 ++count;
687         }
688
689         /*
690          * The sync-lock is required for the remaining sequence.  This lock
691          * prevents meta-data from being modified.
692          */
693         hammer_sync_lock_ex(trans);
694
695         /*
696          * If we have been asked to finalize the volume header sync the
697          * cached blockmap to the on-disk blockmap.  Generate an UNDO
698          * record for the update.
699          */
700         if (final) {
701                 cundomap = &hmp->blockmap[0];
702                 dundomap = &root_volume->ondisk->vol0_blockmap[0];
703                 if (root_volume->io.modified) {
704                         hammer_modify_volume(trans, root_volume,
705                                              dundomap, sizeof(hmp->blockmap));
706                         for (i = 0; i < HAMMER_MAX_ZONES; ++i)
707                                 hammer_crc_set_blockmap(&cundomap[i]);
708                         bcopy(cundomap, dundomap, sizeof(hmp->blockmap));
709                         hammer_modify_volume_done(root_volume);
710                 }
711         }
712
713         /*
714          * Flush UNDOs.  This can occur concurrently with the data flush
715          * because data writes never overwrite.
716          *
717          * This also waits for I/Os to complete and flushes the cache on
718          * the target disk.
719          *
720          * Record the UNDO append point as this can continue to change
721          * after we have flushed the UNDOs.
722          */
723         cundomap = &hmp->blockmap[HAMMER_ZONE_UNDO_INDEX];
724         hammer_lock_ex(&hmp->undo_lock);
725         save_undo_next_offset = cundomap->next_offset;
726         hammer_unlock(&hmp->undo_lock);
727         hammer_flusher_flush_undos(hmp, HAMMER_FLUSH_UNDOS_FORCED);
728
729         if (hmp->flags & HAMMER_MOUNT_CRITICAL_ERROR)
730                 goto failed;
731
732         /*
733          * HAMMER VERSION < 4:
734          *      Update the on-disk volume header with new UNDO FIFO end
735          *      position (do not generate new UNDO records for this change).
736          *      We have to do this for the UNDO FIFO whether (final) is
737          *      set or not in order for the UNDOs to be recognized on
738          *      recovery.
739          *
740          * HAMMER VERSION >= 4:
741          *      The UNDO FIFO data written above will be recognized on
742          *      recovery without us having to sync the volume header.
743          *
744          * Also update the on-disk next_tid field.  This does not require
745          * an UNDO.  However, because our TID is generated before we get
746          * the sync lock another sync may have beat us to the punch.
747          *
748          * This also has the side effect of updating first_offset based on
749          * a prior finalization when the first finalization of the next flush
750          * cycle occurs, removing any undo info from the prior finalization
751          * from consideration.
752          *
753          * The volume header will be flushed out synchronously.
754          */
755         dundomap = &root_volume->ondisk->vol0_blockmap[HAMMER_ZONE_UNDO_INDEX];
756         cundomap = &hmp->blockmap[HAMMER_ZONE_UNDO_INDEX];
757
758         if (dundomap->first_offset != cundomap->first_offset ||
759                    dundomap->next_offset != save_undo_next_offset) {
760                 hammer_modify_volume(NULL, root_volume, NULL, 0);
761                 dundomap->first_offset = cundomap->first_offset;
762                 dundomap->next_offset = save_undo_next_offset;
763                 hammer_crc_set_blockmap(dundomap);
764                 hammer_modify_volume_done(root_volume);
765         }
766
767         /*
768          * vol0_next_tid is used for TID selection and is updated without
769          * an UNDO so we do not reuse a TID that may have been rolled-back.
770          *
771          * vol0_last_tid is the highest fully-synchronized TID.  It is
772          * set-up when the UNDO fifo is fully synced, later on (not here).
773          *
774          * The root volume can be open for modification by other threads
775          * generating UNDO or REDO records.  For example, reblocking,
776          * pruning, REDO mode fast-fsyncs, so the write interlock is
777          * mandatory.
778          */
779         if (root_volume->io.modified) {
780                 hammer_modify_volume(NULL, root_volume, NULL, 0);
781                 if (root_volume->ondisk->vol0_next_tid < trans->tid)
782                         root_volume->ondisk->vol0_next_tid = trans->tid;
783                 hammer_crc_set_volume(root_volume->ondisk);
784                 hammer_modify_volume_done(root_volume);
785                 hammer_io_write_interlock(&root_volume->io);
786                 hammer_io_flush(&root_volume->io, 0);
787                 hammer_io_done_interlock(&root_volume->io);
788         }
789
790         /*
791          * Wait for I/Os to complete.
792          *
793          * For HAMMER VERSION 4+ filesystems we do not have to wait for
794          * the I/O to complete as the new UNDO FIFO entries are recognized
795          * even without the volume header update.  This allows the volume
796          * header to flushed along with meta-data, significantly reducing
797          * flush overheads.
798          */
799         hammer_flusher_clean_loose_ios(hmp);
800         if (hmp->version < HAMMER_VOL_VERSION_FOUR)
801                 hammer_io_wait_all(hmp, "hmrfl3", 1);
802
803         if (hmp->flags & HAMMER_MOUNT_CRITICAL_ERROR)
804                 goto failed;
805
806         /*
807          * Flush meta-data.  The meta-data will be undone if we crash
808          * so we can safely flush it asynchronously.  There is no need
809          * to wait for I/O to complete (or issue a synchronous disk flush).
810          *
811          * In fact, even if we did wait the meta-data will still be undone
812          * by a crash up until the next flush cycle due to the first_offset
813          * in the volume header for the UNDO FIFO not being adjusted until
814          * the following flush cycle.
815          *
816          * No io interlock is needed, bioops callbacks will not mess with
817          * meta data buffers.
818          */
819         count = 0;
820         while ((io = RB_FIRST(hammer_mod_rb_tree, &hmp->meta_root)) != NULL) {
821                 if (io->ioerror)
822                         break;
823                 KKASSERT(io->modify_refs == 0);
824                 hammer_ref(&io->lock);
825                 KKASSERT(io->type != HAMMER_STRUCTURE_VOLUME);
826                 hammer_io_flush(io, 0);
827                 hammer_rel_buffer((hammer_buffer_t)io, 0);
828                 hammer_io_limit_backlog(hmp);
829                 ++count;
830         }
831
832         /*
833          * If this is the final finalization for the flush group set
834          * up for the next sequence by setting a new first_offset in
835          * our cached blockmap and clearing the undo history.
836          *
837          * Even though we have updated our cached first_offset, the on-disk
838          * first_offset still governs available-undo-space calculations.
839          *
840          * We synchronize to save_undo_next_offset rather than
841          * cundomap->next_offset because that is what we flushed out
842          * above.
843          *
844          * NOTE! UNDOs can only be added with the sync_lock held
845          *       so we can clear the undo history without racing.
846          *       REDOs can be added at any time which is why we
847          *       have to be careful and use save_undo_next_offset
848          *       when setting the new first_offset.
849          */
850         if (final) {
851                 cundomap = &hmp->blockmap[HAMMER_ZONE_UNDO_INDEX];
852                 if (cundomap->first_offset != save_undo_next_offset) {
853                         cundomap->first_offset = save_undo_next_offset;
854                         hmp->hflags |= HMNT_UNDO_DIRTY;
855                 } else if (cundomap->first_offset != cundomap->next_offset) {
856                         hmp->hflags |= HMNT_UNDO_DIRTY;
857                 } else {
858                         hmp->hflags &= ~HMNT_UNDO_DIRTY;
859                 }
860                 hammer_clear_undo_history(hmp);
861
862                 /*
863                  * Flush tid sequencing.  flush_tid1 is fully synchronized,
864                  * meaning a crash will not roll it back.  flush_tid2 has
865                  * been written out asynchronously and a crash will roll
866                  * it back.  flush_tid1 is used for all mirroring masters.
867                  */
868                 if (hmp->flush_tid1 != hmp->flush_tid2) {
869                         hmp->flush_tid1 = hmp->flush_tid2;
870                         wakeup(&hmp->flush_tid1);
871                 }
872                 hmp->flush_tid2 = trans->tid;
873
874                 /*
875                  * Clear the REDO SYNC flag.  This flag is used to ensure
876                  * that the recovery span in the UNDO/REDO FIFO contains
877                  * at least one REDO SYNC record.
878                  */
879                 hmp->flags &= ~HAMMER_MOUNT_REDO_SYNC;
880         }
881
882         /*
883          * Cleanup.  Report any critical errors.
884          */
885 failed:
886         hammer_sync_unlock(trans);
887
888         if (hmp->flags & HAMMER_MOUNT_CRITICAL_ERROR) {
889                 kprintf("HAMMER(%s): Critical write error during flush, "
890                         "refusing to sync UNDO FIFO\n",
891                         root_volume->ondisk->vol_name);
892         }
893
894 done:
895         hammer_unlock(&hmp->flusher.finalize_lock);
896
897         if (--hmp->flusher.finalize_want == 0)
898                 wakeup(&hmp->flusher.finalize_want);
899         hammer_stats_commits += final;
900 }
901
902 /*
903  * Flush UNDOs.
904  */
905 void
906 hammer_flusher_flush_undos(hammer_mount_t hmp, int mode)
907 {
908         hammer_io_t io;
909         int count;
910
911         count = 0;
912         while ((io = RB_FIRST(hammer_mod_rb_tree, &hmp->undo_root)) != NULL) {
913                 if (io->ioerror)
914                         break;
915                 hammer_ref(&io->lock);
916                 KKASSERT(io->type != HAMMER_STRUCTURE_VOLUME);
917                 hammer_io_write_interlock(io);
918                 hammer_io_flush(io, hammer_undo_reclaim(io));
919                 hammer_io_done_interlock(io);
920                 hammer_rel_buffer((hammer_buffer_t)io, 0);
921                 hammer_io_limit_backlog(hmp);
922                 ++count;
923         }
924         hammer_flusher_clean_loose_ios(hmp);
925         if (mode == HAMMER_FLUSH_UNDOS_FORCED ||
926             (mode == HAMMER_FLUSH_UNDOS_AUTO && count)) {
927                 hammer_io_wait_all(hmp, "hmrfl1", 1);
928         } else {
929                 hammer_io_wait_all(hmp, "hmrfl2", 0);
930         }
931 }
932
933 /*
934  * Return non-zero if too many dirty meta-data buffers have built up.
935  *
936  * Since we cannot allow such buffers to flush until we have dealt with
937  * the UNDOs, we risk deadlocking the kernel's buffer cache.
938  */
939 int
940 hammer_flusher_meta_limit(hammer_mount_t hmp)
941 {
942         if (hmp->locked_dirty_space + hmp->io_running_space >
943             hammer_limit_dirtybufspace) {
944                 return(1);
945         }
946         return(0);
947 }
948
949 /*
950  * Return non-zero if too many dirty meta-data buffers have built up.
951  *
952  * This version is used by background operations (mirror, prune, reblock)
953  * to leave room for foreground operations.
954  */
955 int
956 hammer_flusher_meta_halflimit(hammer_mount_t hmp)
957 {
958         if (hmp->locked_dirty_space + hmp->io_running_space >
959             hammer_limit_dirtybufspace / 2) {
960                 return(1);
961         }
962         return(0);
963 }
964
965 /*
966  * Return non-zero if the flusher still has something to flush.
967  */
968 int
969 hammer_flusher_haswork(hammer_mount_t hmp)
970 {
971         if (hmp->ronly)
972                 return(0);
973         if (hmp->flags & HAMMER_MOUNT_CRITICAL_ERROR)
974                 return(0);
975         if (TAILQ_FIRST(&hmp->flush_group_list) ||      /* dirty inodes */
976             RB_ROOT(&hmp->volu_root) ||                 /* dirty buffers */
977             RB_ROOT(&hmp->undo_root) ||
978             RB_ROOT(&hmp->data_root) ||
979             RB_ROOT(&hmp->meta_root) ||
980             (hmp->hflags & HMNT_UNDO_DIRTY)             /* UNDO FIFO sync */
981         ) {
982                 return(1);
983         }
984         return(0);
985 }
986