HAMMER 61C/Many: Stabilization
[dragonfly.git] / sys / vfs / hammer / hammer_flusher.c
1 /*
2  * Copyright (c) 2008 The DragonFly Project.  All rights reserved.
3  * 
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@backplane.com>
6  * 
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in
15  *    the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of The DragonFly Project nor the names of its
18  *    contributors may be used to endorse or promote products derived
19  *    from this software without specific, prior written permission.
20  * 
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  * 
34  * $DragonFly: src/sys/vfs/hammer/hammer_flusher.c,v 1.36 2008/07/11 05:44:23 dillon Exp $
35  */
36 /*
37  * HAMMER dependancy flusher thread
38  *
39  * Meta data updates create buffer dependancies which are arranged as a
40  * hierarchy of lists.
41  */
42
43 #include "hammer.h"
44
45 static void hammer_flusher_master_thread(void *arg);
46 static void hammer_flusher_slave_thread(void *arg);
47 static void hammer_flusher_flush(hammer_mount_t hmp);
48 static void hammer_flusher_flush_inode(hammer_inode_t ip,
49                                         hammer_transaction_t trans);
50
51 /*
52  * Support structures for the flusher threads.
53  */
54 struct hammer_flusher_info {
55         struct hammer_mount *hmp;
56         thread_t        td;
57         int             startit;
58         hammer_inode_t  work_array[HAMMER_FLUSH_GROUP_SIZE];
59 };
60
61 typedef struct hammer_flusher_info *hammer_flusher_info_t;
62
63 /*
64  * Sync all inodes pending on the flusher.  This routine may have to be
65  * called twice to get them all as some may be queued to a later flush group.
66  */
67 void
68 hammer_flusher_sync(hammer_mount_t hmp)
69 {
70         int seq;
71
72         if (hmp->flusher.td) {
73                 seq = hmp->flusher.next;
74                 if (hmp->flusher.signal++ == 0)
75                         wakeup(&hmp->flusher.signal);
76                 while ((int)(seq - hmp->flusher.done) > 0)
77                         tsleep(&hmp->flusher.done, 0, "hmrfls", 0);
78         }
79 }
80
81 /*
82  * Sync all inodes pending on the flusher - return immediately.
83  */
84 int
85 hammer_flusher_async(hammer_mount_t hmp)
86 {
87         int seq;
88
89         if (hmp->flusher.td) {
90                 seq = hmp->flusher.next;
91                 if (hmp->flusher.signal++ == 0)
92                         wakeup(&hmp->flusher.signal);
93         } else {
94                 seq = hmp->flusher.done;
95         }
96         return(seq);
97 }
98
99 void
100 hammer_flusher_wait(hammer_mount_t hmp, int seq)
101 {
102         while ((int)(seq - hmp->flusher.done) > 0)
103                 tsleep(&hmp->flusher.done, 0, "hmrfls", 0);
104 }
105
106 void
107 hammer_flusher_create(hammer_mount_t hmp)
108 {
109         hammer_flusher_info_t info;
110         int i;
111
112         hmp->flusher.signal = 0;
113         hmp->flusher.act = 0;
114         hmp->flusher.done = 0;
115         hmp->flusher.next = 1;
116         hmp->flusher.count = 0;
117         hammer_ref(&hmp->flusher.finalize_lock);
118
119         lwkt_create(hammer_flusher_master_thread, hmp,
120                     &hmp->flusher.td, NULL, 0, -1, "hammer-M");
121         for (i = 0; i < HAMMER_MAX_FLUSHERS; ++i) {
122                 info = kmalloc(sizeof(*info), M_HAMMER, M_WAITOK|M_ZERO);
123                 info->hmp = hmp;
124                 ++hmp->flusher.count;
125                 hmp->flusher.info[i] = info;
126                 lwkt_create(hammer_flusher_slave_thread, info,
127                             &info->td, NULL, 0, -1, "hammer-S%d", i);
128         }
129 }
130
131 void
132 hammer_flusher_destroy(hammer_mount_t hmp)
133 {
134         hammer_flusher_info_t info;
135         int i;
136
137         /*
138          * Kill the master
139          */
140         hmp->flusher.exiting = 1;
141         while (hmp->flusher.td) {
142                 ++hmp->flusher.signal;
143                 wakeup(&hmp->flusher.signal);
144                 tsleep(&hmp->flusher.exiting, 0, "hmrwex", hz);
145         }
146
147         /*
148          * Kill the slaves
149          */
150         for (i = 0; i < HAMMER_MAX_FLUSHERS; ++i) {
151                 if ((info = hmp->flusher.info[i]) != NULL) {
152                         KKASSERT(info->startit == 0);
153                         info->startit = -1;
154                         wakeup(&info->startit);
155                         while (info->td) {
156                                 tsleep(&info->td, 0, "hmrwwc", 0);
157                         }
158                         hmp->flusher.info[i] = NULL;
159                         kfree(info, M_HAMMER);
160                         --hmp->flusher.count;
161                 }
162         }
163         KKASSERT(hmp->flusher.count == 0);
164 }
165
166 /*
167  * The master flusher thread manages the flusher sequence id and
168  * synchronization with the slave work threads.
169  */
170 static void
171 hammer_flusher_master_thread(void *arg)
172 {
173         hammer_mount_t hmp = arg;
174
175         for (;;) {
176                 while (hmp->flusher.group_lock)
177                         tsleep(&hmp->flusher.group_lock, 0, "hmrhld", 0);
178                 hmp->flusher.act = hmp->flusher.next;
179                 ++hmp->flusher.next;
180                 hammer_flusher_clean_loose_ios(hmp);
181                 hammer_flusher_flush(hmp);
182                 hmp->flusher.done = hmp->flusher.act;
183                 wakeup(&hmp->flusher.done);
184
185                 /*
186                  * Wait for activity.
187                  */
188                 if (hmp->flusher.exiting && TAILQ_EMPTY(&hmp->flush_list))
189                         break;
190
191                 /*
192                  * This is a hack until we can dispose of frontend buffer
193                  * cache buffers on the frontend.
194                  */
195                 while (hmp->flusher.signal == 0)
196                         tsleep(&hmp->flusher.signal, 0, "hmrwwa", 0);
197                 hmp->flusher.signal = 0;
198         }
199
200         /*
201          * And we are done.
202          */
203         hmp->flusher.td = NULL;
204         wakeup(&hmp->flusher.exiting);
205         lwkt_exit();
206 }
207
208 /*
209  * The slave flusher thread pulls work off the master flush_list until no
210  * work is left.
211  */
212 static void
213 hammer_flusher_slave_thread(void *arg)
214 {
215         hammer_flusher_info_t info;
216         hammer_mount_t hmp;
217         hammer_inode_t ip;
218         int c;
219         int i;
220         int n;
221
222         info = arg;
223         hmp = info->hmp;
224
225         for (;;) {
226                 while (info->startit == 0)
227                         tsleep(&info->startit, 0, "hmrssw", 0);
228                 if (info->startit < 0)
229                         break;
230                 info->startit = 0;
231
232                 /*
233                  * Try to pull out around ~64 inodes at a time to flush.
234                  * The idea is to try to avoid deadlocks between the slaves.
235                  */
236                 n = c = 0;
237                 while ((ip = TAILQ_FIRST(&hmp->flush_list)) != NULL) {
238                         if (ip->flush_group != hmp->flusher.act)
239                                 break;
240                         TAILQ_REMOVE(&hmp->flush_list, ip, flush_entry);
241                         info->work_array[n++] = ip;
242                         c += ip->rsv_recs;
243                         if (n < HAMMER_FLUSH_GROUP_SIZE &&
244                             c < HAMMER_FLUSH_GROUP_SIZE * 8) {
245                                 continue;
246                         }
247                         for (i = 0; i < n; ++i){
248                                 hammer_flusher_flush_inode(info->work_array[i],
249                                                         &hmp->flusher.trans);
250                         }
251                         n = c = 0;
252                 }
253                 for (i = 0; i < n; ++i) {
254                         hammer_flusher_flush_inode(info->work_array[i],
255                                                    &hmp->flusher.trans);
256                 }
257                 if (--hmp->flusher.running == 0)
258                         wakeup(&hmp->flusher.running);
259         }
260         info->td = NULL;
261         wakeup(&info->td);
262         lwkt_exit();
263 }
264
265 void
266 hammer_flusher_clean_loose_ios(hammer_mount_t hmp)
267 {
268         hammer_buffer_t buffer;
269         hammer_io_t io;
270
271         /*
272          * loose ends - buffers without bp's aren't tracked by the kernel
273          * and can build up, so clean them out.  This can occur when an
274          * IO completes on a buffer with no references left.
275          */
276         if ((io = TAILQ_FIRST(&hmp->lose_list)) != NULL) {
277                 crit_enter();   /* biodone() race */
278                 while ((io = TAILQ_FIRST(&hmp->lose_list)) != NULL) {
279                         KKASSERT(io->mod_list == &hmp->lose_list);
280                         TAILQ_REMOVE(&hmp->lose_list, io, mod_entry);
281                         io->mod_list = NULL;
282                         if (io->lock.refs == 0)
283                                 ++hammer_count_refedbufs;
284                         hammer_ref(&io->lock);
285                         buffer = (void *)io;
286                         hammer_rel_buffer(buffer, 0);
287                 }
288                 crit_exit();
289         }
290 }
291
292 /*
293  * Flush all inodes in the current flush group.
294  */
295 static void
296 hammer_flusher_flush(hammer_mount_t hmp)
297 {
298         hammer_flusher_info_t info;
299         hammer_reserve_t resv;
300         int i;
301         int n;
302
303         hammer_start_transaction_fls(&hmp->flusher.trans, hmp);
304
305         /*
306          * If the previous flush cycle just about exhausted our UNDO space
307          * we may have to do a dummy cycle to move the first_offset up
308          * before actually digging into a new cycle, or the new cycle will
309          * not have sufficient undo space.
310          */
311         if (hammer_flusher_undo_exhausted(&hmp->flusher.trans, 3))
312                 hammer_flusher_finalize(&hmp->flusher.trans, 0);
313
314         /*
315          * Start work threads.
316          */
317         i = 0;
318         n = hmp->count_iqueued / HAMMER_FLUSH_GROUP_SIZE;
319         if (TAILQ_FIRST(&hmp->flush_list)) {
320                 for (i = 0; i <= n; ++i) {
321                         if (i == HAMMER_MAX_FLUSHERS ||
322                             hmp->flusher.info[i] == NULL) {
323                                 break;
324                         }
325                         info = hmp->flusher.info[i];
326                         if (info->startit == 0) {
327                                 ++hmp->flusher.running;
328                                 info->startit = 1;
329                                 wakeup(&info->startit);
330                         }
331                 }
332         }
333         while (hmp->flusher.running)
334                 tsleep(&hmp->flusher.running, 0, "hmrfcc", 0);
335
336         hammer_flusher_finalize(&hmp->flusher.trans, 1);
337         hmp->flusher.tid = hmp->flusher.trans.tid;
338
339         /*
340          * Clean up any freed big-blocks (typically zone-2). 
341          * resv->flush_group is typically set several flush groups ahead
342          * of the free to ensure that the freed block is not reused until
343          * it can no longer be reused.
344          */
345         while ((resv = TAILQ_FIRST(&hmp->delay_list)) != NULL) {
346                 if (resv->flush_group != hmp->flusher.act)
347                         break;
348                 hammer_reserve_clrdelay(hmp, resv);
349         }
350         hammer_done_transaction(&hmp->flusher.trans);
351 }
352
353 /*
354  * Flush a single inode that is part of a flush group.
355  *
356  * NOTE!  The sync code can return EWOULDBLOCK if the flush operation
357  * would otherwise blow out the buffer cache.  hammer_flush_inode_done()
358  * will re-queue the inode for the next flush sequence and force the
359  * flusher to run again if this occurs.
360  */
361 static
362 void
363 hammer_flusher_flush_inode(hammer_inode_t ip, hammer_transaction_t trans)
364 {
365         hammer_mount_t hmp = ip->hmp;
366         int error;
367
368         hammer_flusher_clean_loose_ios(hmp);
369         error = hammer_sync_inode(ip);
370         if (error != EWOULDBLOCK)
371                 ip->error = error;
372         hammer_flush_inode_done(ip);
373         while (hmp->flusher.finalize_want)
374                 tsleep(&hmp->flusher.finalize_want, 0, "hmrsxx", 0);
375         if (hammer_flusher_undo_exhausted(trans, 1)) {
376                 kprintf("HAMMER: Warning: UNDO area too small!\n");
377                 hammer_flusher_finalize(trans, 1);
378         } else if (hammer_flusher_meta_limit(trans->hmp)) {
379                 hammer_flusher_finalize(trans, 0);
380         }
381 }
382
383 /*
384  * Return non-zero if the UNDO area has less then (QUARTER / 4) of its
385  * space left.
386  *
387  * 1/4 - Emergency free undo space level.  Below this point the flusher
388  *       will finalize even if directory dependancies have not been resolved.
389  *
390  * 2/4 - Used by the pruning and reblocking code.  These functions may be
391  *       running in parallel with a flush and cannot be allowed to drop
392  *       available undo space to emergency levels.
393  *
394  * 3/4 - Used at the beginning of a flush to force-sync the volume header
395  *       to give the flush plenty of runway to work in.
396  */
397 int
398 hammer_flusher_undo_exhausted(hammer_transaction_t trans, int quarter)
399 {
400         if (hammer_undo_space(trans) <
401             hammer_undo_max(trans->hmp) * quarter / 4) {
402                 return(1);
403         } else {
404                 return(0);
405         }
406 }
407
408 /*
409  * Flush all pending UNDOs, wait for write completion, update the volume
410  * header with the new UNDO end position, and flush it.  Then
411  * asynchronously flush the meta-data.
412  *
413  * If this is the last finalization in a flush group we also synchronize
414  * our cached blockmap and set hmp->flusher_undo_start and our cached undo
415  * fifo first_offset so the next flush resets the FIFO pointers.
416  *
417  * If this is not final it is being called because too many dirty meta-data
418  * buffers have built up and must be flushed with UNDO synchronization to
419  * avoid a buffer cache deadlock.
420  */
421 void
422 hammer_flusher_finalize(hammer_transaction_t trans, int final)
423 {
424         hammer_volume_t root_volume;
425         hammer_blockmap_t cundomap, dundomap;
426         hammer_mount_t hmp;
427         hammer_io_t io;
428         int count;
429         int i;
430
431         hmp = trans->hmp;
432         root_volume = trans->rootvol;
433
434         /*
435          * Exclusively lock the flusher.  This guarantees that all dirty
436          * buffers will be idled (have a mod-count of 0).
437          */
438         ++hmp->flusher.finalize_want;
439         hammer_lock_ex(&hmp->flusher.finalize_lock);
440
441         /*
442          * If this isn't the final sync several threads may have hit the
443          * meta-limit at the same time and raced.  Only sync if we really
444          * have to, after acquiring the lock.
445          */
446         if (final == 0 && !hammer_flusher_meta_limit(hmp))
447                 goto done;
448
449         /*
450          * Flush data buffers.  This can occur asynchronously and at any
451          * time.  We must interlock against the frontend direct-data write
452          * but do not have to acquire the sync-lock yet.
453          */
454         count = 0;
455         while ((io = TAILQ_FIRST(&hmp->data_list)) != NULL) {
456                 if (io->lock.refs == 0)
457                         ++hammer_count_refedbufs;
458                 hammer_ref(&io->lock);
459                 hammer_io_write_interlock(io);
460                 KKASSERT(io->type != HAMMER_STRUCTURE_VOLUME);
461                 hammer_io_flush(io);
462                 hammer_io_done_interlock(io);
463                 hammer_rel_buffer((hammer_buffer_t)io, 0);
464                 ++count;
465         }
466
467         /*
468          * The sync-lock is required for the remaining sequence.  This lock
469          * prevents meta-data from being modified.
470          */
471         hammer_sync_lock_ex(trans);
472
473         /*
474          * If we have been asked to finalize the volume header sync the
475          * cached blockmap to the on-disk blockmap.  Generate an UNDO
476          * record for the update.
477          */
478         if (final) {
479                 cundomap = &hmp->blockmap[0];
480                 dundomap = &root_volume->ondisk->vol0_blockmap[0];
481                 if (root_volume->io.modified) {
482                         hammer_modify_volume(trans, root_volume,
483                                              dundomap, sizeof(hmp->blockmap));
484                         for (i = 0; i < HAMMER_MAX_ZONES; ++i)
485                                 hammer_crc_set_blockmap(&cundomap[i]);
486                         bcopy(cundomap, dundomap, sizeof(hmp->blockmap));
487                         hammer_modify_volume_done(root_volume);
488                 }
489         }
490
491         /*
492          * Flush UNDOs
493          */
494         count = 0;
495         while ((io = TAILQ_FIRST(&hmp->undo_list)) != NULL) {
496                 KKASSERT(io->modify_refs == 0);
497                 if (io->lock.refs == 0)
498                         ++hammer_count_refedbufs;
499                 hammer_ref(&io->lock);
500                 KKASSERT(io->type != HAMMER_STRUCTURE_VOLUME);
501                 hammer_io_flush(io);
502                 hammer_rel_buffer((hammer_buffer_t)io, 0);
503                 ++count;
504         }
505
506         /*
507          * Wait for I/Os to complete
508          */
509         hammer_flusher_clean_loose_ios(hmp);
510         hammer_io_wait_all(hmp, "hmrfl1");
511
512         /*
513          * Update the on-disk volume header with new UNDO FIFO end position
514          * (do not generate new UNDO records for this change).  We have to
515          * do this for the UNDO FIFO whether (final) is set or not.
516          *
517          * Also update the on-disk next_tid field.  This does not require
518          * an UNDO.  However, because our TID is generated before we get
519          * the sync lock another sync may have beat us to the punch.
520          *
521          * This also has the side effect of updating first_offset based on
522          * a prior finalization when the first finalization of the next flush
523          * cycle occurs, removing any undo info from the prior finalization
524          * from consideration.
525          *
526          * The volume header will be flushed out synchronously.
527          */
528         dundomap = &root_volume->ondisk->vol0_blockmap[HAMMER_ZONE_UNDO_INDEX];
529         cundomap = &hmp->blockmap[HAMMER_ZONE_UNDO_INDEX];
530
531         if (dundomap->first_offset != cundomap->first_offset ||
532             dundomap->next_offset != cundomap->next_offset) {
533                 hammer_modify_volume(NULL, root_volume, NULL, 0);
534                 dundomap->first_offset = cundomap->first_offset;
535                 dundomap->next_offset = cundomap->next_offset;
536                 hammer_crc_set_blockmap(dundomap);
537                 hammer_modify_volume_done(root_volume);
538         }
539
540         if (root_volume->io.modified) {
541                 hammer_modify_volume(NULL, root_volume, NULL, 0);
542                 if (root_volume->ondisk->vol0_next_tid < trans->tid)
543                         root_volume->ondisk->vol0_next_tid = trans->tid;
544                 hammer_crc_set_volume(root_volume->ondisk);
545                 hammer_modify_volume_done(root_volume);
546                 hammer_io_flush(&root_volume->io);
547         }
548
549         /*
550          * Wait for I/Os to complete
551          */
552         hammer_flusher_clean_loose_ios(hmp);
553         hammer_io_wait_all(hmp, "hmrfl2");
554
555         /*
556          * Flush meta-data.  The meta-data will be undone if we crash
557          * so we can safely flush it asynchronously.
558          *
559          * Repeated catchups will wind up flushing this update's meta-data
560          * and the UNDO buffers for the next update simultaniously.  This
561          * is ok.
562          */
563         count = 0;
564         while ((io = TAILQ_FIRST(&hmp->meta_list)) != NULL) {
565                 KKASSERT(io->modify_refs == 0);
566                 if (io->lock.refs == 0)
567                         ++hammer_count_refedbufs;
568                 hammer_ref(&io->lock);
569                 KKASSERT(io->type != HAMMER_STRUCTURE_VOLUME);
570                 hammer_io_flush(io);
571                 hammer_rel_buffer((hammer_buffer_t)io, 0);
572                 ++count;
573         }
574
575         /*
576          * If this is the final finalization for the flush group set
577          * up for the next sequence by setting a new first_offset in
578          * our cached blockmap and clearing the undo history.
579          *
580          * Even though we have updated our cached first_offset, the on-disk
581          * first_offset still governs available-undo-space calculations.
582          */
583         if (final) {
584                 cundomap = &hmp->blockmap[HAMMER_ZONE_UNDO_INDEX];
585                 cundomap->first_offset = cundomap->next_offset;
586                 hammer_clear_undo_history(hmp);
587         }
588
589         hammer_sync_unlock(trans);
590
591 done:
592         hammer_unlock(&hmp->flusher.finalize_lock);
593         if (--hmp->flusher.finalize_want == 0)
594                 wakeup(&hmp->flusher.finalize_want);
595 }
596
597 /*
598  * Return non-zero if too many dirty meta-data buffers have built up.
599  *
600  * Since we cannot allow such buffers to flush until we have dealt with
601  * the UNDOs, we risk deadlocking the kernel's buffer cache.
602  */
603 int
604 hammer_flusher_meta_limit(hammer_mount_t hmp)
605 {
606         if (hmp->locked_dirty_space + hmp->io_running_space >
607             hammer_limit_dirtybufspace) {
608                 return(1);
609         }
610         return(0);
611 }
612
613 int
614 hammer_flusher_meta_halflimit(hammer_mount_t hmp)
615 {
616         if (hmp->locked_dirty_space + hmp->io_running_space >
617             hammer_limit_dirtybufspace / 2) {
618                 return(1);
619         }
620         return(0);
621 }
622