Merge branch 'vendor/FILE'
[dragonfly.git] / sys / kern / kern_timeout.c
1 /*
2  * Copyright (c) 2004 The DragonFly Project.  All rights reserved.
3  * 
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@backplane.com>
6  * 
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in
15  *    the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of The DragonFly Project nor the names of its
18  *    contributors may be used to endorse or promote products derived
19  *    from this software without specific, prior written permission.
20  * 
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  */
34 /*
35  * Copyright (c) 1982, 1986, 1991, 1993
36  *      The Regents of the University of California.  All rights reserved.
37  * (c) UNIX System Laboratories, Inc.
38  * All or some portions of this file are derived from material licensed
39  * to the University of California by American Telephone and Telegraph
40  * Co. or Unix System Laboratories, Inc. and are reproduced herein with
41  * the permission of UNIX System Laboratories, Inc.
42  *
43  * Redistribution and use in source and binary forms, with or without
44  * modification, are permitted provided that the following conditions
45  * are met:
46  * 1. Redistributions of source code must retain the above copyright
47  *    notice, this list of conditions and the following disclaimer.
48  * 2. Redistributions in binary form must reproduce the above copyright
49  *    notice, this list of conditions and the following disclaimer in the
50  *    documentation and/or other materials provided with the distribution.
51  * 3. All advertising materials mentioning features or use of this software
52  *    must display the following acknowledgement:
53  *      This product includes software developed by the University of
54  *      California, Berkeley and its contributors.
55  * 4. Neither the name of the University nor the names of its contributors
56  *    may be used to endorse or promote products derived from this software
57  *    without specific prior written permission.
58  *
59  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
60  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
61  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
62  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
63  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
64  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
65  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
66  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
67  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
68  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
69  * SUCH DAMAGE.
70  *
71  *      From: @(#)kern_clock.c  8.5 (Berkeley) 1/21/94
72  * $FreeBSD: src/sys/kern/kern_timeout.c,v 1.59.2.1 2001/11/13 18:24:52 archie Exp $
73  */
74 /*
75  * DRAGONFLY BGL STATUS
76  *
77  *      All the API functions should be MP safe.
78  *
79  *      The callback functions will be flagged as being MP safe if the
80  *      timeout structure is initialized with callout_init_mp() instead of
81  *      callout_init().
82  *
83  *      The helper threads cannot be made preempt-capable until after we
84  *      clean up all the uses of splsoftclock() and related interlocks (which
85  *      require the related functions to be MP safe as well).
86  */
87 /*
88  * The callout mechanism is based on the work of Adam M. Costello and 
89  * George Varghese, published in a technical report entitled "Redesigning
90  * the BSD Callout and Timer Facilities" and modified slightly for inclusion
91  * in FreeBSD by Justin T. Gibbs.  The original work on the data structures
92  * used in this implementation was published by G. Varghese and T. Lauck in
93  * the paper "Hashed and Hierarchical Timing Wheels: Data Structures for
94  * the Efficient Implementation of a Timer Facility" in the Proceedings of
95  * the 11th ACM Annual Symposium on Operating Systems Principles,
96  * Austin, Texas Nov 1987.
97  *
98  * The per-cpu augmentation was done by Matthew Dillon.
99  */
100
101 #include <sys/param.h>
102 #include <sys/systm.h>
103 #include <sys/callout.h>
104 #include <sys/kernel.h>
105 #include <sys/interrupt.h>
106 #include <sys/thread.h>
107
108 #include <sys/thread2.h>
109 #include <sys/mplock2.h>
110
111 #ifndef MAX_SOFTCLOCK_STEPS
112 #define MAX_SOFTCLOCK_STEPS 100 /* Maximum allowed value of steps. */
113 #endif
114
115
116 struct softclock_pcpu {
117         struct callout_tailq *callwheel;
118         struct callout * volatile next;
119         struct callout *running;/* currently running callout */
120         int softticks;          /* softticks index */
121         int curticks;           /* per-cpu ticks counter */
122         int isrunning;
123         struct thread thread;
124
125 };
126
127 typedef struct softclock_pcpu *softclock_pcpu_t;
128
129 /*
130  * TODO:
131  *      allocate more timeout table slots when table overflows.
132  */
133 static MALLOC_DEFINE(M_CALLOUT, "callout", "callout structures");
134 static int callwheelsize;
135 static int callwheelmask;
136 static struct softclock_pcpu softclock_pcpu_ary[MAXCPU];
137
138 static void softclock_handler(void *arg);
139
140 static void
141 swi_softclock_setup(void *arg)
142 {
143         int cpu;
144         int i;
145
146         /*
147          * Figure out how large a callwheel we need.  It must be a power of 2.
148          */
149         callwheelsize = 1;
150         while (callwheelsize < ncallout)
151                 callwheelsize <<= 1;
152         callwheelmask = callwheelsize - 1;
153
154         /*
155          * Initialize per-cpu data structures.
156          */
157         for (cpu = 0; cpu < ncpus; ++cpu) {
158                 softclock_pcpu_t sc;
159
160                 sc = &softclock_pcpu_ary[cpu];
161
162                 sc->callwheel = kmalloc(sizeof(*sc->callwheel) * callwheelsize,
163                                         M_CALLOUT, M_WAITOK|M_ZERO);
164                 for (i = 0; i < callwheelsize; ++i)
165                         TAILQ_INIT(&sc->callwheel[i]);
166
167                 /*
168                  * Mark the softclock handler as being an interrupt thread
169                  * even though it really isn't, but do not allow it to
170                  * preempt other threads (do not assign td_preemptable).
171                  *
172                  * Kernel code now assumes that callouts do not preempt
173                  * the cpu they were scheduled on.
174                  */
175                 lwkt_create(softclock_handler, sc, NULL,
176                             &sc->thread, TDF_NOSTART | TDF_INTTHREAD,
177                             cpu, "softclock %d", cpu);
178         }
179 }
180
181 /*
182  * Must occur after ncpus has been initialized.
183  */
184 SYSINIT(softclock_setup, SI_BOOT2_SOFTCLOCK, SI_ORDER_SECOND,
185         swi_softclock_setup, NULL);
186
187 /*
188  * This routine is called from the hardclock() (basically a FASTint/IPI) on
189  * each cpu in the system.  sc->curticks is this cpu's notion of the timebase.
190  * It IS NOT NECESSARILY SYNCHRONIZED WITH 'ticks'!  sc->softticks is where
191  * the callwheel is currently indexed.
192  *
193  * WARNING!  The MP lock is not necessarily held on call, nor can it be
194  * safely obtained.
195  *
196  * sc->softticks is adjusted by either this routine or our helper thread
197  * depending on whether the helper thread is running or not.
198  */
199 void
200 hardclock_softtick(globaldata_t gd)
201 {
202         softclock_pcpu_t sc;
203
204         sc = &softclock_pcpu_ary[gd->gd_cpuid];
205         ++sc->curticks;
206         if (sc->isrunning)
207                 return;
208         if (sc->softticks == sc->curticks) {
209                 /*
210                  * in sync, only wakeup the thread if there is something to
211                  * do.
212                  */
213                 if (TAILQ_FIRST(&sc->callwheel[sc->softticks & callwheelmask]))
214                 {
215                         sc->isrunning = 1;
216                         lwkt_schedule(&sc->thread);
217                 } else {
218                         ++sc->softticks;
219                 }
220         } else {
221                 /*
222                  * out of sync, wakeup the thread unconditionally so it can
223                  * catch up.
224                  */
225                 sc->isrunning = 1;
226                 lwkt_schedule(&sc->thread);
227         }
228 }
229
230 /*
231  * This procedure is the main loop of our per-cpu helper thread.  The
232  * sc->isrunning flag prevents us from racing hardclock_softtick() and
233  * a critical section is sufficient to interlock sc->curticks and protect
234  * us from remote IPI's / list removal.
235  *
236  * The thread starts with the MP lock released and not in a critical
237  * section.  The loop itself is MP safe while individual callbacks
238  * may or may not be, so we obtain or release the MP lock as appropriate.
239  */
240 static void
241 softclock_handler(void *arg)
242 {
243         softclock_pcpu_t sc;
244         struct callout *c;
245         struct callout_tailq *bucket;
246         void (*c_func)(void *);
247         void *c_arg;
248 #ifdef SMP
249         int mpsafe = 1;
250 #endif
251
252         /*
253          * Run the callout thread at the same priority as other kernel
254          * threads so it can be round-robined.
255          */
256         /*lwkt_setpri_self(TDPRI_SOFT_NORM);*/
257
258         sc = arg;
259         crit_enter();
260 loop:
261         while (sc->softticks != (int)(sc->curticks + 1)) {
262                 bucket = &sc->callwheel[sc->softticks & callwheelmask];
263
264                 for (c = TAILQ_FIRST(bucket); c; c = sc->next) {
265                         if (c->c_time != sc->softticks) {
266                                 sc->next = TAILQ_NEXT(c, c_links.tqe);
267                                 continue;
268                         }
269 #ifdef SMP
270                         if (c->c_flags & CALLOUT_MPSAFE) {
271                                 if (mpsafe == 0) {
272                                         mpsafe = 1;
273                                         rel_mplock();
274                                 }
275                         } else {
276                                 /*
277                                  * The request might be removed while we 
278                                  * are waiting to get the MP lock.  If it
279                                  * was removed sc->next will point to the
280                                  * next valid request or NULL, loop up.
281                                  */
282                                 if (mpsafe) {
283                                         mpsafe = 0;
284                                         sc->next = c;
285                                         get_mplock();
286                                         if (c != sc->next)
287                                                 continue;
288                                 }
289                         }
290 #endif
291                         sc->next = TAILQ_NEXT(c, c_links.tqe);
292                         TAILQ_REMOVE(bucket, c, c_links.tqe);
293
294                         sc->running = c;
295                         c_func = c->c_func;
296                         c_arg = c->c_arg;
297                         c->c_func = NULL;
298                         KKASSERT(c->c_flags & CALLOUT_DID_INIT);
299                         c->c_flags &= ~CALLOUT_PENDING;
300                         crit_exit();
301                         c_func(c_arg);
302                         crit_enter();
303                         sc->running = NULL;
304                         /* NOTE: list may have changed */
305                 }
306                 ++sc->softticks;
307         }
308         sc->isrunning = 0;
309         lwkt_deschedule_self(&sc->thread);      /* == curthread */
310         lwkt_switch();
311         goto loop;
312         /* NOT REACHED */
313 }
314
315 /*
316  * New interface; clients allocate their own callout structures.
317  *
318  * callout_reset() - establish or change a timeout
319  * callout_stop() - disestablish a timeout
320  * callout_init() - initialize a callout structure so that it can
321  *                      safely be passed to callout_reset() and callout_stop()
322  * callout_init_mp() - same but any installed functions must be MP safe.
323  *
324  * <sys/callout.h> defines three convenience macros:
325  *
326  * callout_active() - returns truth if callout has not been serviced
327  * callout_pending() - returns truth if callout is still waiting for timeout
328  * callout_deactivate() - marks the callout as having been serviced
329  */
330
331 /*
332  * Start or restart a timeout.  Install the callout structure in the 
333  * callwheel.  Callers may legally pass any value, even if 0 or negative,
334  * but since the sc->curticks index may have already been processed a
335  * minimum timeout of 1 tick will be enforced.
336  *
337  * The callout is installed on and will be processed on the current cpu's
338  * callout wheel.
339  *
340  * WARNING! This function may be called from any cpu but the caller must
341  * serialize callout_stop() and callout_reset() calls on the passed
342  * structure regardless of cpu.
343  */
344 void
345 callout_reset(struct callout *c, int to_ticks, void (*ftn)(void *), 
346                 void *arg)
347 {
348         softclock_pcpu_t sc;
349         globaldata_t gd;
350
351 #ifdef INVARIANTS
352         if ((c->c_flags & CALLOUT_DID_INIT) == 0) {
353                 callout_init(c);
354                 kprintf(
355                     "callout_reset(%p) from %p: callout was not initialized\n",
356                     c, ((int **)&c)[-1]);
357                 print_backtrace(-1);
358         }
359 #endif
360         gd = mycpu;
361         sc = &softclock_pcpu_ary[gd->gd_cpuid];
362         crit_enter_gd(gd);
363
364         if (c->c_flags & CALLOUT_ACTIVE)
365                 callout_stop(c);
366
367         if (to_ticks <= 0)
368                 to_ticks = 1;
369
370         c->c_arg = arg;
371         c->c_flags |= (CALLOUT_ACTIVE | CALLOUT_PENDING);
372         c->c_func = ftn;
373         c->c_time = sc->curticks + to_ticks;
374 #ifdef SMP
375         c->c_gd = gd;
376 #endif
377
378         TAILQ_INSERT_TAIL(&sc->callwheel[c->c_time & callwheelmask], 
379                           c, c_links.tqe);
380         crit_exit_gd(gd);
381 }
382
383 /*
384  * Stop a running timer.  WARNING!  If called on a cpu other then the one
385  * the callout was started on this function will liveloop on its IPI to
386  * the target cpu to process the request.  It is possible for the callout
387  * to execute in that case.
388  *
389  * WARNING! This function may be called from any cpu but the caller must
390  * serialize callout_stop() and callout_reset() calls on the passed
391  * structure regardless of cpu.
392  *
393  * WARNING! This routine may be called from an IPI
394  *
395  * WARNING! This function can return while it's c_func is still running
396  *          in the callout thread, a secondary check may be needed.
397  *          Use callout_stop_sync() to wait for any callout function to
398  *          complete before returning, being sure that no deadlock is
399  *          possible if you do.
400  */
401 int
402 callout_stop(struct callout *c)
403 {
404         globaldata_t gd = mycpu;
405 #ifdef SMP
406         globaldata_t tgd;
407 #endif
408         softclock_pcpu_t sc;
409
410 #ifdef INVARIANTS
411         if ((c->c_flags & CALLOUT_DID_INIT) == 0) {
412                 callout_init(c);
413                 kprintf(
414                     "callout_stop(%p) from %p: callout was not initialized\n",
415                     c, ((int **)&c)[-1]);
416                 print_backtrace(-1);
417         }
418 #endif
419         crit_enter_gd(gd);
420
421         /*
422          * Don't attempt to delete a callout that's not on the queue.  The
423          * callout may not have a cpu assigned to it.  Callers do not have
424          * to be on the issuing cpu but must still serialize access to the
425          * callout structure.
426          *
427          * We are not cpu-localized here and cannot safely modify the
428          * flags field in the callout structure.  Note that most of the
429          * time CALLOUT_ACTIVE will be 0 if CALLOUT_PENDING is also 0.
430          *
431          * If we race another cpu's dispatch of this callout it is possible
432          * for CALLOUT_ACTIVE to be set with CALLOUT_PENDING unset.  This
433          * will cause us to fall through and synchronize with the other
434          * cpu.
435          */
436         if ((c->c_flags & CALLOUT_PENDING) == 0) {
437 #ifdef SMP
438                 if ((c->c_flags & CALLOUT_ACTIVE) == 0) {
439                         crit_exit_gd(gd);
440                         return (0);
441                 }
442                 if (c->c_gd == NULL || c->c_gd == gd) {
443                         c->c_flags &= ~CALLOUT_ACTIVE;
444                         crit_exit_gd(gd);
445                         return (0);
446                 }
447                 /* fall-through to the cpu-localization code. */
448 #else
449                 c->c_flags &= ~CALLOUT_ACTIVE;
450                 crit_exit_gd(gd);
451                 return (0);
452 #endif
453         }
454 #ifdef SMP
455         if ((tgd = c->c_gd) != gd) {
456                 /*
457                  * If the callout is owned by a different CPU we have to
458                  * execute the function synchronously on the target cpu.
459                  */
460                 int seq;
461
462                 cpu_ccfence();  /* don't let tgd alias c_gd */
463                 seq = lwkt_send_ipiq(tgd, (void *)callout_stop, c);
464                 lwkt_wait_ipiq(tgd, seq);
465         } else 
466 #endif
467         {
468                 /*
469                  * If the callout is owned by the same CPU we can
470                  * process it directly, but if we are racing our helper
471                  * thread (sc->next), we have to adjust sc->next.  The
472                  * race is interlocked by a critical section.
473                  */
474                 sc = &softclock_pcpu_ary[gd->gd_cpuid];
475
476                 c->c_flags &= ~(CALLOUT_ACTIVE | CALLOUT_PENDING);
477                 if (sc->next == c)
478                         sc->next = TAILQ_NEXT(c, c_links.tqe);
479
480                 TAILQ_REMOVE(&sc->callwheel[c->c_time & callwheelmask], 
481                                 c, c_links.tqe);
482                 c->c_func = NULL;
483         }
484         crit_exit_gd(gd);
485         return (1);
486 }
487
488 /*
489  * Issue a callout_stop() and ensure that any callout race completes
490  * before returning.  Does NOT de-initialized the callout.
491  */
492 void
493 callout_stop_sync(struct callout *c)
494 {
495         softclock_pcpu_t sc;
496
497         while (c->c_flags & CALLOUT_DID_INIT) {
498                 callout_stop(c);
499 #ifdef SMP
500                 if (c->c_gd) {
501                         sc = &softclock_pcpu_ary[c->c_gd->gd_cpuid];
502                         if (sc->running == c) {
503                                 while (sc->running == c)
504                                         tsleep(&sc->running, 0, "crace", 1);
505                         }
506                 }
507 #else
508                 sc = &softclock_pcpu_ary[0];
509                 if (sc->running == c) {
510                         while (sc->running == c)
511                                 tsleep(&sc->running, 0, "crace", 1);
512                 }
513 #endif
514                 if ((c->c_flags & (CALLOUT_PENDING | CALLOUT_ACTIVE)) == 0)
515                         break;
516                 kprintf("Warning: %s: callout race\n", curthread->td_comm);
517         }
518 }
519
520 /*
521  * Terminate a callout
522  *
523  * This function will stop any pending callout and also block while the
524  * callout's function is running.  It should only be used in cases where
525  * no deadlock is possible (due to the callout function acquiring locks
526  * that the current caller of callout_terminate() already holds), when
527  * the caller is ready to destroy the callout structure.
528  *
529  * This function clears the CALLOUT_DID_INIT flag.
530  *
531  * lwkt_token locks are ok.
532  */
533 void
534 callout_terminate(struct callout *c)
535 {
536         softclock_pcpu_t sc;
537
538         if (c->c_flags & CALLOUT_DID_INIT) {
539                 callout_stop(c);
540 #ifdef SMP
541                 sc = &softclock_pcpu_ary[c->c_gd->gd_cpuid];
542 #else
543                 sc = &softclock_pcpu_ary[0];
544 #endif
545                 if (sc->running == c) {
546                         while (sc->running == c)
547                                 tsleep(&sc->running, 0, "crace", 1);
548                 }
549                 KKASSERT((c->c_flags & (CALLOUT_PENDING|CALLOUT_ACTIVE)) == 0);
550                 c->c_flags &= ~CALLOUT_DID_INIT;
551         }
552 }
553
554 /*
555  * Prepare a callout structure for use by callout_reset() and/or 
556  * callout_stop().  The MP version of this routine requires that the callback
557  * function installed by callout_reset() be MP safe.
558  *
559  * The init functions can be called from any cpu and do not have to be
560  * called from the cpu that the timer will eventually run on.
561  */
562 void
563 callout_init(struct callout *c)
564 {
565         bzero(c, sizeof *c);
566         c->c_flags = CALLOUT_DID_INIT;
567 }
568
569 void
570 callout_init_mp(struct callout *c)
571 {
572         callout_init(c);
573         c->c_flags |= CALLOUT_MPSAFE;
574 }
575
576 /* What, are you joking?  This is nuts! -Matt */
577 #if 0
578 #ifdef APM_FIXUP_CALLTODO
579 /* 
580  * Adjust the kernel calltodo timeout list.  This routine is used after 
581  * an APM resume to recalculate the calltodo timer list values with the 
582  * number of hz's we have been sleeping.  The next hardclock() will detect 
583  * that there are fired timers and run softclock() to execute them.
584  *
585  * Please note, I have not done an exhaustive analysis of what code this
586  * might break.  I am motivated to have my select()'s and alarm()'s that
587  * have expired during suspend firing upon resume so that the applications
588  * which set the timer can do the maintanence the timer was for as close
589  * as possible to the originally intended time.  Testing this code for a 
590  * week showed that resuming from a suspend resulted in 22 to 25 timers 
591  * firing, which seemed independant on whether the suspend was 2 hours or
592  * 2 days.  Your milage may vary.   - Ken Key <key@cs.utk.edu>
593  */
594 void
595 adjust_timeout_calltodo(struct timeval *time_change)
596 {
597         struct callout *p;
598         unsigned long delta_ticks;
599
600         /* 
601          * How many ticks were we asleep?
602          * (stolen from tvtohz()).
603          */
604
605         /* Don't do anything */
606         if (time_change->tv_sec < 0)
607                 return;
608         else if (time_change->tv_sec <= LONG_MAX / 1000000)
609                 delta_ticks = (time_change->tv_sec * 1000000 +
610                                time_change->tv_usec + (tick - 1)) / tick + 1;
611         else if (time_change->tv_sec <= LONG_MAX / hz)
612                 delta_ticks = time_change->tv_sec * hz +
613                               (time_change->tv_usec + (tick - 1)) / tick + 1;
614         else
615                 delta_ticks = LONG_MAX;
616
617         if (delta_ticks > INT_MAX)
618                 delta_ticks = INT_MAX;
619
620         /* 
621          * Now rip through the timer calltodo list looking for timers
622          * to expire.
623          */
624
625         /* don't collide with softclock() */
626         crit_enter();
627         for (p = calltodo.c_next; p != NULL; p = p->c_next) {
628                 p->c_time -= delta_ticks;
629
630                 /* Break if the timer had more time on it than delta_ticks */
631                 if (p->c_time > 0)
632                         break;
633
634                 /* take back the ticks the timer didn't use (p->c_time <= 0) */
635                 delta_ticks = -p->c_time;
636         }
637         crit_exit();
638
639         return;
640 }
641 #endif /* APM_FIXUP_CALLTODO */
642 #endif
643