clock: Piggyback passive IPIQ processing
authorSepherosa Ziehau <sephe@dragonflybsd.org>
Mon, 6 Apr 2015 12:52:28 +0000 (20:52 +0800)
committerSepherosa Ziehau <sephe@dragonflybsd.org>
Wed, 8 Apr 2015 03:14:16 +0000 (11:14 +0800)
Passive IPIs will be flushed by the target CPU at clock interrupt.
But we _never_ completely conform to the passive IPI description.

Before we implemented LAPIC interrupt timer, systimers on non-CPU0
were actually IPIQ processing, which processed the passive IPIs;
however, passive IPIQ processing on CPU0 didn't conform to the passive
IPIs description.

After the introduction of LAPIC interrupt timer, none of the systimers
were related to IPIQ processing, thus passive IPIQ processing no longer
conformed to the passive IPI description at all.

As of this commit we piggyback passive IPIQ processing in doreti after
hardclock(), which matches the passive IPI description.

* NOTE:
- We don't piggypack passive IPIQ processing directly in hardclock() to
  avoid introducing extra jitters to system time.
- We choose not to check passive IPIQ in systimer_intr(), since systimer
  rate could be pretty high, e.g. rate set by polling(4).

With-feedback-from: dillon@

sys/kern/kern_clock.c
sys/sys/thread2.h

index 552877f..040de78 100644 (file)
@@ -396,12 +396,17 @@ set_timeofday(struct timespec *ts)
  * manipulate objects owned by the current cpu.
  */
 static void
-hardclock(systimer_t info, int in_ipi __unused, struct intrframe *frame)
+hardclock(systimer_t info, int in_ipi, struct intrframe *frame)
 {
        sysclock_t cputicks;
        struct proc *p;
        struct globaldata *gd = mycpu;
 
+       if ((gd->gd_reqflags & RQF_IPIQ) == 0 && lwkt_need_ipiq_process(gd)) {
+               /* Defer to doreti on passive IPIQ processing */
+               need_ipiq();
+       }
+
        /*
         * Realtime updates are per-cpu.  Note that timer corrections as
         * returned by microtime() and friends make an additional adjustment
index 9c99d0a..5403de9 100644 (file)
@@ -350,6 +350,18 @@ lwkt_send_ipiq2_bycpu(int dcpu, ipifunc2_t func, void *arg1, int arg2)
     return(lwkt_send_ipiq3_bycpu(dcpu, (ipifunc3_t)func, arg1, arg2));
 }
 
+static __inline int
+lwkt_need_ipiq_process(globaldata_t gd)
+{
+    lwkt_ipiq_t ipiq;
+
+    if (CPUMASK_TESTNZERO(gd->gd_ipimask))
+       return 1;
+
+    ipiq = &gd->gd_cpusyncq;
+    return (ipiq->ip_rindex != ipiq->ip_windex);
+}
+
 #endif /* _KERNEL */
 #endif /* _SYS_THREAD2_H_ */