sys/platform/vkernel64/platform/systimer.c

   1 /*
   2  * Copyright (c) 2006 The DragonFly Project.  All rights reserved.
   3  *
   4  * This code is derived from software contributed to The DragonFly Project
   5  * by Matthew Dillon <dillon@backplane.com>
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in
  15  *    the documentation and/or other materials provided with the
  16  *    distribution.
  17  * 3. Neither the name of The DragonFly Project nor the names of its
  18  *    contributors may be used to endorse or promote products derived
  19  *    from this software without specific, prior written permission.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  *
  34  */
  35
  36 #include <sys/types.h>
  37 #include <sys/systm.h>
  38 #include <sys/kernel.h>
  39 #include <sys/systimer.h>
  40 #include <sys/sysctl.h>
  41 #include <sys/signal.h>
  42 #include <sys/interrupt.h>
  43 #include <sys/bus.h>
  44 #include <sys/time.h>
  45 #include <machine/cpu.h>
  46 #include <machine/clock.h>
  47 #include <machine/globaldata.h>
  48 #include <machine/md_var.h>
  49 #include <machine/cothread.h>
  50
  51 #include <sys/thread2.h>
  52
  53 #include <unistd.h>
  54 #include <signal.h>
  55 #include <time.h>
  56 #include <stdio.h>
  57
  58 int disable_rtc_set;
  59 SYSCTL_INT(_machdep, CPU_DISRTCSET, disable_rtc_set,
  60            CTLFLAG_RW, &disable_rtc_set, 0, "");
  61 SYSCTL_INT(_hw, OID_AUTO, tsc_present, CTLFLAG_RD,
  62             &tsc_present, 0, "TSC Available");
  63 SYSCTL_INT(_hw, OID_AUTO, tsc_invariant, CTLFLAG_RD,
  64             &tsc_invariant, 0, "Invariant TSC");
  65 SYSCTL_INT(_hw, OID_AUTO, tsc_mpsync, CTLFLAG_RD,
  66             &tsc_mpsync, 0, "TSC is synchronized across CPUs");
  67 SYSCTL_QUAD(_hw, OID_AUTO, tsc_frequency, CTLFLAG_RD,
  68             &tsc_frequency, 0, "TSC Frequency");
  69
  70 int adjkerntz;
  71 int wall_cmos_clock = 0;
  72 SYSCTL_INT(_machdep, CPU_WALLCLOCK, wall_cmos_clock,
  73     CTLFLAG_RD, &wall_cmos_clock, 0, "");
  74
  75 static cothread_t vktimer_cotd;
  76 static int vktimer_running;
  77 static sysclock_t vktimer_target;
  78 static struct timespec vktimer_ts;
  79 static sysclock_t vktimer_reload[MAXCPU];
  80
  81 extern int use_precise_timer;
  82
  83 /*
  84  * SYSTIMER IMPLEMENTATION
  85  */
  86 static sysclock_t vkernel_timer_get_timecount(void);
  87 static void vkernel_timer_construct(struct cputimer *timer, sysclock_t oclock);
  88 static void vktimer_thread(cothread_t cotd);
  89
  90 static struct cputimer vkernel_cputimer = {
  91         .next           = SLIST_ENTRY_INITIALIZER,
  92         .name           = "VKERNEL",
  93         .pri            = CPUTIMER_PRI_VKERNEL,
  94         .type           = CPUTIMER_VKERNEL,
  95         .count          = vkernel_timer_get_timecount,
  96         .fromhz         = cputimer_default_fromhz,
  97         .fromus         = cputimer_default_fromus,
  98         .construct      = vkernel_timer_construct,
  99         .destruct       = cputimer_default_destruct,
 100         .freq           = 1000000
 101 };
 102
 103 static void     vktimer_intr_reload(struct cputimer_intr *, sysclock_t);
 104 static void     vktimer_intr_initclock(struct cputimer_intr *, boolean_t);
 105
 106 static struct cputimer_intr vkernel_cputimer_intr = {
 107         .freq = 1000000,
 108         .reload = vktimer_intr_reload,
 109         .enable = cputimer_intr_default_enable,
 110         .config = cputimer_intr_default_config,
 111         .restart = cputimer_intr_default_restart,
 112         .pmfixup = cputimer_intr_default_pmfixup,
 113         .initclock = vktimer_intr_initclock,
 114         .pcpuhand = NULL,
 115         .next = SLIST_ENTRY_INITIALIZER,
 116         .name = "vkernel",
 117         .type = CPUTIMER_INTR_VKERNEL,
 118         .prio = CPUTIMER_INTR_PRIO_VKERNEL,
 119         .caps = CPUTIMER_INTR_CAP_NONE,
 120         .priv = NULL
 121 };
 122
 123 /*
 124  * Initialize the systimer subsystem, called from MI code in early boot.
 125  */
 126 static void
 127 cpu_initclocks(void *arg __unused)
 128 {
 129         kprintf("initclocks\n");
 130         cputimer_intr_register(&vkernel_cputimer_intr);
 131         cputimer_intr_select(&vkernel_cputimer_intr, 0);
 132
 133         cputimer_register(&vkernel_cputimer);
 134         cputimer_select(&vkernel_cputimer, 0);
 135 }
 136 SYSINIT(clocksvk, SI_BOOT2_CLOCKREG, SI_ORDER_FIRST, cpu_initclocks, NULL);
 137
 138 /*
 139  * Constructor to initialize timer->base and get an initial count.
 140  */
 141 static void
 142 vkernel_timer_construct(struct cputimer *timer, sysclock_t oclock)
 143 {
 144         timer->base = 0;
 145         timer->base = oclock - vkernel_timer_get_timecount();
 146 }
 147
 148 /*
 149  * Get the current counter, with 2's complement rollover.
 150  *
 151  * NOTE! MPSAFE, possibly no critical section
 152  */
 153 static sysclock_t
 154 vkernel_timer_get_timecount(void)
 155 {
 156         struct timespec ts;
 157         sysclock_t count;
 158
 159         if (use_precise_timer)
 160                 clock_gettime(CLOCK_MONOTONIC_PRECISE, &ts);
 161         else
 162                 clock_gettime(CLOCK_MONOTONIC_FAST, &ts);
 163         count = ts.tv_nsec / 1000;
 164         count += (uint64_t)ts.tv_sec * 1000000;
 165
 166         return count;
 167 }
 168
 169 /*
 170  * Initialize the interrupt for our core systimer.
 171  */
 172 static void
 173 vktimer_intr_initclock(struct cputimer_intr *cti __unused,
 174                        boolean_t selected __unused)
 175 {
 176         vktimer_target = sys_cputimer->count();
 177
 178         vktimer_ts.tv_nsec = 1000000000 / 20;
 179         vktimer_cotd = cothread_create(vktimer_thread, NULL, NULL, "vktimer");
 180         while (vktimer_running == 0)
 181                 usleep(1000000 / 10);
 182 #if 0
 183         KKASSERT(kqueue_timer_info == NULL);
 184         kqueue_timer_info = kqueue_add_timer(vktimer_intr, NULL);
 185 #endif
 186 }
 187
 188 /*
 189  *
 190  */
 191 static void
 192 vktimer_sigint(int signo)
 193 {
 194         /* do nothing, just interrupt */
 195 }
 196
 197 static sysclock_t
 198 vktimer_gettick_us(void)
 199 {
 200         struct clockinfo info;
 201         int mib[] = { CTL_KERN, KERN_CLOCKRATE };
 202         size_t len = sizeof(info);
 203
 204         if (sysctl(mib, NELEM(mib), &info, &len, NULL, 0) != 0 ||
 205             len != sizeof(info)) {
 206                 /* Assume 10 milliseconds (== 100hz) */
 207                 return 1000000 / 100;
 208         } else if (info.tick < 999999) {
 209                 return info.tick;
 210         } else {
 211                 /* Assume 10 milliseconds (== 100hz) */
 212                 return 1000000 / 100;
 213         }
 214 }
 215
 216 static void
 217 vktimer_thread(cothread_t cotd)
 218 {
 219         struct sigaction sa;
 220         globaldata_t gscan;
 221         sysclock_t ticklength_us;
 222
 223         bzero(&sa, sizeof(sa));
 224         sa.sa_handler = vktimer_sigint;
 225         sa.sa_flags |= SA_NODEFER;
 226         sigemptyset(&sa.sa_mask);
 227         sigaction(SIGINT, &sa, NULL);
 228
 229         ticklength_us = vktimer_gettick_us();
 230         vktimer_running = 1;
 231         while (vktimer_cotd == NULL)
 232                 usleep(1000000 / 10);
 233
 234         for (;;) {
 235                 sysclock_t curtime;
 236                 sysclock_t reload;
 237                 ssysclock_t delta;
 238                 sysclock_t freq;
 239                 int n;
 240
 241                 /*
 242                  * Sleep
 243                  */
 244                 cothread_sleep(cotd, &vktimer_ts);
 245
 246 rescan:
 247                 freq = sys_cputimer->freq;
 248                 curtime = sys_cputimer->count();
 249                 reload = freq - 1;
 250
 251                 /*
 252                  * Reset the target
 253                  */
 254                 for (n = 0; n < ncpus; ++n) {
 255                         gscan = globaldata_find(n);
 256                         delta = vktimer_reload[n] - curtime;
 257                         if (delta <= 0 && TAILQ_FIRST(&gscan->gd_systimerq))
 258                                 pthread_kill(ap_tids[n], SIGURG);
 259                         if (delta > 0 && reload > delta)
 260                                 reload = delta;
 261                 }
 262                 reload += curtime;
 263                 vktimer_target = reload;
 264
 265                 /*
 266                  * Check for races
 267                  */
 268                 reload -= curtime;
 269                 for (n = 0; n < ncpus; ++n) {
 270                         gscan = globaldata_find(n);
 271                         delta = vktimer_reload[n] - curtime;
 272                         if (delta > 0 && reload > delta)
 273                                 goto rescan;
 274                 }
 275                 if (sys_cputimer == &vkernel_cputimer &&
 276                     !use_precise_timer && reload < ticklength_us / 10) {
 277                         /*
 278                          * Avoid pointless short sleeps, when we only measure
 279                          * the current time at tick precision.
 280                          */
 281                         reload = ticklength_us / 10;
 282                 }
 283                 vktimer_ts.tv_nsec = muldivu64(reload, 1000000000, freq);
 284         }
 285 }
 286
 287 /*
 288  * Reload the interrupt for our core systimer.  Because the caller's
 289  * reload calculation can be negatively indexed, we need a minimal
 290  * check to ensure that a reasonable reload value is selected.
 291  */
 292 static void
 293 vktimer_intr_reload(struct cputimer_intr *cti __unused, sysclock_t reload)
 294 {
 295         if ((ssysclock_t)reload < 0)            /* neg value */
 296                 reload = 1;
 297         if (reload >= sys_cputimer->freq)       /* max one second */
 298                 reload = sys_cputimer->freq;
 299         reload += sys_cputimer->count();
 300         vktimer_reload[mycpu->gd_cpuid] = reload;
 301         if (vktimer_cotd && (ssysclock_t)(reload - vktimer_target) < 0) {
 302                 while ((sysclock_t)(reload - vktimer_target) < 0)
 303                         reload = atomic_swap_long(&vktimer_target, reload);
 304                 cothread_wakeup(vktimer_cotd, &vktimer_ts);
 305         }
 306 }
 307
 308 /*
 309  * pcpu clock interrupt (hard interrupt)
 310  */
 311 void
 312 vktimer_intr(struct intrframe *frame)
 313 {
 314         struct globaldata *gd = mycpu;
 315         sysclock_t sysclock_count;
 316
 317         sysclock_count = sys_cputimer->count();
 318         ++gd->gd_cnt.v_timer;
 319         systimer_intr(&sysclock_count, 0, frame);
 320 }
 321
 322 /*
 323  * Initialize the time of day register, based on the time base which is, e.g.
 324  * from a filesystem.
 325  */
 326 void
 327 inittodr(time_t base)
 328 {
 329         struct timespec ts;
 330         struct timeval tv;
 331
 332         gettimeofday(&tv, NULL);
 333         ts.tv_sec = tv.tv_sec;
 334         ts.tv_nsec = tv.tv_usec * 1000;
 335         set_timeofday(&ts);
 336 }
 337
 338 /*
 339  * Write system time back to the RTC
 340  */
 341 void
 342 resettodr(void)
 343 {
 344 }
 345
 346 /*
 347  * We need to enter a critical section to prevent signals from recursing
 348  * into pthreads.
 349  */
 350 void
 351 DELAY(int usec)
 352 {
 353         crit_enter();
 354         usleep(usec);
 355         crit_exit();
 356 }
 357
 358 void
 359 DRIVERSLEEP(int usec)
 360 {
 361         if (mycpu->gd_intr_nesting_level)
 362                 DELAY(usec);
 363         else if (1000000 / usec >= hz)
 364                 tsleep(DRIVERSLEEP, 0, "DELAY", 1000000 / usec / hz + 1);
 365         else
 366                 DELAY(usec);
 367 }