sys/kern/lwkt_token.c

   1 /*
   2  * Copyright (c) 2003,2004 The DragonFly Project.  All rights reserved.
   3  *
   4  * This code is derived from software contributed to The DragonFly Project
   5  * by Matthew Dillon <dillon@backplane.com>
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in
  15  *    the documentation and/or other materials provided with the
  16  *    distribution.
  17  * 3. Neither the name of The DragonFly Project nor the names of its
  18  *    contributors may be used to endorse or promote products derived
  19  *    from this software without specific, prior written permission.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  *
  34  * $DragonFly: src/sys/kern/lwkt_token.c,v 1.14 2005/06/02 21:55:22 dillon Exp $
  35  */
  36
  37 #ifdef _KERNEL
  38
  39 #include <sys/param.h>
  40 #include <sys/systm.h>
  41 #include <sys/kernel.h>
  42 #include <sys/proc.h>
  43 #include <sys/rtprio.h>
  44 #include <sys/queue.h>
  45 #include <sys/thread2.h>
  46 #include <sys/sysctl.h>
  47 #include <sys/kthread.h>
  48 #include <machine/cpu.h>
  49 #include <sys/lock.h>
  50 #include <sys/caps.h>
  51
  52 #include <vm/vm.h>
  53 #include <vm/vm_param.h>
  54 #include <vm/vm_kern.h>
  55 #include <vm/vm_object.h>
  56 #include <vm/vm_page.h>
  57 #include <vm/vm_map.h>
  58 #include <vm/vm_pager.h>
  59 #include <vm/vm_extern.h>
  60 #include <vm/vm_zone.h>
  61
  62 #include <machine/stdarg.h>
  63 #include <machine/ipl.h>
  64 #include <machine/smp.h>
  65
  66 #define THREAD_STACK    (UPAGES * PAGE_SIZE)
  67
  68 #else
  69
  70 #include <sys/stdint.h>
  71 #include <libcaps/thread.h>
  72 #include <sys/thread.h>
  73 #include <sys/msgport.h>
  74 #include <sys/errno.h>
  75 #include <libcaps/globaldata.h>
  76 #include <machine/cpufunc.h>
  77 #include <sys/thread2.h>
  78 #include <sys/msgport2.h>
  79 #include <stdio.h>
  80 #include <stdlib.h>
  81 #include <string.h>
  82 #include <machine/lock.h>
  83 #include <machine/cpu.h>
  84
  85 #endif
  86
  87 #define MAKE_TOKENS_SPIN
  88 /* #define MAKE_TOKENS_YIELD */
  89
  90 #ifndef LWKT_NUM_POOL_TOKENS
  91 #define LWKT_NUM_POOL_TOKENS    1024    /* power of 2 */
  92 #endif
  93 #define LWKT_MASK_POOL_TOKENS   (LWKT_NUM_POOL_TOKENS - 1)
  94
  95 #ifdef INVARIANTS
  96 static int token_debug = 0;
  97 #endif
  98
  99 #ifdef SMP
 100 static void lwkt_reqtoken_remote(void *data);
 101 #endif
 102
 103 static lwkt_token       pool_tokens[LWKT_NUM_POOL_TOKENS];
 104
 105 #ifdef _KERNEL
 106
 107 #ifdef INVARIANTS
 108 SYSCTL_INT(_lwkt, OID_AUTO, token_debug, CTLFLAG_RW, &token_debug, 0, "");
 109 #endif
 110
 111 #endif
 112
 113 #ifdef SMP
 114
 115 /*
 116  * Determine if we own all the tokens in the token reference list.
 117  * Return 1 on success, 0 on failure.
 118  *
 119  * As a side effect, queue requests for tokens we want which are owned
 120  * by other cpus.  The magic number is used to communicate when the
 121  * target cpu has processed the request.  Note, however, that the
 122  * target cpu may not be able to assign the token to us which is why
 123  * the scheduler must spin.
 124  */
 125 int
 126 lwkt_chktokens(thread_t td)
 127 {
 128     globaldata_t gd = td->td_gd;        /* mycpu */
 129     lwkt_tokref_t refs;
 130     globaldata_t dgd;
 131     lwkt_token_t tok;
 132     int r = 1;
 133
 134     for (refs = td->td_toks; refs; refs = refs->tr_next) {
 135         tok = refs->tr_tok;
 136         if ((dgd = tok->t_cpu) != gd) {
 137             cpu_mb1();
 138             r = 0;
 139
 140             /*
 141              * Queue a request to the target cpu, exit the loop early if
 142              * we are unable to queue the IPI message.  The magic number
 143              * flags whether we have a pending ipi request queued or not.
 144              * It can be set from MAGIC2 to MAGIC1 by a remote cpu but can
 145              * only be set from MAGIC1 to MAGIC2 by our cpu.
 146              */
 147             if (refs->tr_magic == LWKT_TOKREF_MAGIC1) {
 148                 refs->tr_magic = LWKT_TOKREF_MAGIC2;    /* MP synched slowreq*/
 149                 refs->tr_reqgd = gd;
 150                 tok->t_reqcpu = gd;     /* MP unsynchronized 'fast' req */
 151                 if (lwkt_send_ipiq_nowait(dgd, lwkt_reqtoken_remote, refs)) {
 152                     /* failed */
 153                     refs->tr_magic = LWKT_TOKREF_MAGIC1;
 154                     break;
 155                 }
 156             }
 157         }
 158     }
 159     return(r);
 160 }
 161
 162 #endif
 163
 164 /*
 165  * Check if we already own the token.  Return 1 on success, 0 on failure.
 166  */
 167 int
 168 lwkt_havetoken(lwkt_token_t tok)
 169 {
 170     globaldata_t gd = mycpu;
 171     thread_t td = gd->gd_curthread;
 172     lwkt_tokref_t ref;
 173
 174     for (ref = td->td_toks; ref; ref = ref->tr_next) {
 175         if (ref->tr_tok == tok)
 176             return(1);
 177     }
 178     return(0);
 179 }
 180
 181 int
 182 lwkt_havetokref(lwkt_tokref_t xref)
 183 {
 184     globaldata_t gd = mycpu;
 185     thread_t td = gd->gd_curthread;
 186     lwkt_tokref_t ref;
 187
 188     for (ref = td->td_toks; ref; ref = ref->tr_next) {
 189         if (ref == xref)
 190             return(1);
 191     }
 192     return(0);
 193 }
 194
 195 #ifdef SMP
 196
 197 /*
 198  * Returns 1 if it is ok to give a token away, 0 if it is not.
 199  */
 200 static int
 201 lwkt_oktogiveaway_token(lwkt_token_t tok)
 202 {
 203     globaldata_t gd = mycpu;
 204     lwkt_tokref_t ref;
 205     thread_t td;
 206
 207     for (td = gd->gd_curthread; td; td = td->td_preempted) {
 208         for (ref = td->td_toks; ref; ref = ref->tr_next) {
 209             if (ref->tr_tok == tok)
 210                 return(0);
 211         }
 212     }
 213     return(1);
 214 }
 215
 216 #endif
 217
 218 /*
 219  * Acquire a serializing token
 220  */
 221
 222 static __inline
 223 void
 224 _lwkt_gettokref(lwkt_tokref_t ref)
 225 {
 226     lwkt_token_t tok;
 227     globaldata_t gd;
 228     thread_t td;
 229
 230     gd = mycpu;                 /* our cpu */
 231     KKASSERT(ref->tr_magic == LWKT_TOKREF_MAGIC1);
 232     td = gd->gd_curthread;      /* our thread */
 233
 234     /*
 235      * Link the request into our thread's list.  This interlocks against
 236      * remote requests from other cpus and prevents the token from being
 237      * given away if our cpu already owns it.  This also allows us to
 238      * avoid using a critical section.
 239      */
 240     ref->tr_next = td->td_toks;
 241     cpu_mb1();          /* order memory / we can be interrupted */
 242     td->td_toks = ref;
 243
 244     /*
 245      * If our cpu does not own the token then let the scheduler deal with
 246      * it.  We are guarenteed to own the tokens on our thread's token
 247      * list when we are switched back in.
 248      *
 249      * Otherwise make sure the token is not held by a thread we are
 250      * preempting.  If it is, let the scheduler deal with it.
 251      */
 252     tok = ref->tr_tok;
 253 #ifdef SMP
 254     if (tok->t_cpu != gd) {
 255         /*
 256          * Temporarily operate on tokens synchronously.  We have to fix
 257          * a number of interlocks and especially the softupdates code to
 258          * be able to properly yield.  ZZZ
 259          */
 260 #if defined(MAKE_TOKENS_SPIN)
 261         int x = 40000000;
 262         int y = 10;
 263         crit_enter();
 264         while (lwkt_chktokens(td) == 0) {
 265             lwkt_process_ipiq();
 266             lwkt_drain_token_requests();
 267             if (--x == 0) {
 268                 x = 40000000;
 269                 printf("CHKTOKEN looping on cpu %d\n", gd->gd_cpuid);
 270 #ifdef _KERNEL
 271                 if (--y == 0)
 272                         panic("CHKTOKEN looping on cpu %d", gd->gd_cpuid);
 273 #endif
 274             }
 275             splz();
 276         }
 277         crit_exit();
 278 #elif defined(MAKE_TOKENS_YIELD)
 279         lwkt_yield();
 280 #else
 281 #error MAKE_TOKENS_XXX ?
 282 #endif
 283         KKASSERT(tok->t_cpu == gd);
 284     } else /* NOTE CONDITIONAL */
 285 #endif
 286     if (td->td_preempted) {
 287         while ((td = td->td_preempted) != NULL) {
 288             lwkt_tokref_t scan;
 289             for (scan = td->td_toks; scan; scan = scan->tr_next) {
 290                 if (scan->tr_tok == tok) {
 291                     lwkt_yield();
 292                     KKASSERT(tok->t_cpu == gd);
 293                     goto breakout;
 294                 }
 295             }
 296         }
 297 breakout: ;
 298     }
 299     /* 'td' variable no longer valid due to preempt loop above */
 300 }
 301
 302
 303 /*
 304  * Attempt to acquire a serializing token
 305  */
 306 static __inline
 307 int
 308 _lwkt_trytokref(lwkt_tokref_t ref)
 309 {
 310     lwkt_token_t tok;
 311     globaldata_t gd;
 312     thread_t td;
 313
 314     gd = mycpu;                 /* our cpu */
 315     KKASSERT(ref->tr_magic == LWKT_TOKREF_MAGIC1);
 316     td = gd->gd_curthread;      /* our thread */
 317
 318     /*
 319      * Link the request into our thread's list.  This interlocks against
 320      * remote requests from other cpus and prevents the token from being
 321      * given away if our cpu already owns it.  This also allows us to
 322      * avoid using a critical section.
 323      */
 324     ref->tr_next = td->td_toks;
 325     cpu_mb1();          /* order memory / we can be interrupted */
 326     td->td_toks = ref;
 327
 328     /*
 329      * If our cpu does not own the token then stop now.
 330      *
 331      * Otherwise make sure the token is not held by a thread we are
 332      * preempting.  If it is, stop.
 333      */
 334     tok = ref->tr_tok;
 335 #ifdef SMP
 336     if (tok->t_cpu != gd) {
 337         td->td_toks = ref->tr_next;     /* remove ref */
 338         return(0);
 339     } else /* NOTE CONDITIONAL */
 340 #endif
 341     if (td->td_preempted) {
 342         while ((td = td->td_preempted) != NULL) {
 343             lwkt_tokref_t scan;
 344             for (scan = td->td_toks; scan; scan = scan->tr_next) {
 345                 if (scan->tr_tok == tok) {
 346                     td = gd->gd_curthread;      /* our thread */
 347                     td->td_toks = ref->tr_next; /* remove ref */
 348                     return(0);
 349                 }
 350             }
 351         }
 352     }
 353     /* 'td' variable no longer valid */
 354     return(1);
 355 }
 356
 357 void
 358 lwkt_gettoken(lwkt_tokref_t ref, lwkt_token_t tok)
 359 {
 360     lwkt_tokref_init(ref, tok);
 361     _lwkt_gettokref(ref);
 362 }
 363
 364 void
 365 lwkt_gettokref(lwkt_tokref_t ref)
 366 {
 367     _lwkt_gettokref(ref);
 368 }
 369
 370 int
 371 lwkt_trytoken(lwkt_tokref_t ref, lwkt_token_t tok)
 372 {
 373     lwkt_tokref_init(ref, tok);
 374     return(_lwkt_trytokref(ref));
 375 }
 376
 377 int
 378 lwkt_trytokref(lwkt_tokref_t ref)
 379 {
 380     return(_lwkt_trytokref(ref));
 381 }
 382
 383 /*
 384  * Release a serializing token
 385  */
 386 void
 387 lwkt_reltoken(lwkt_tokref *_ref)
 388 {
 389     lwkt_tokref *ref;
 390     lwkt_tokref **pref;
 391     lwkt_token_t tok;
 392     globaldata_t gd;
 393     thread_t td;
 394
 395     /*
 396      * Guard check and stack check (if in the same stack page).  We must
 397      * also wait for any action pending on remote cpus which we do by
 398      * checking the magic number and yielding in a loop.
 399      */
 400     ref = _ref;
 401 #ifdef INVARIANTS
 402     if ((((intptr_t)ref ^ (intptr_t)&_ref) & ~(intptr_t)PAGE_MASK) == 0)
 403         KKASSERT((char *)ref > (char *)&_ref);
 404     KKASSERT(ref->tr_magic == LWKT_TOKREF_MAGIC1 ||
 405              ref->tr_magic == LWKT_TOKREF_MAGIC2);
 406 #endif
 407     /*
 408      * Locate and unlink the token.  Interlock with the token's cpureq
 409      * to give the token away before we release it from our thread list,
 410      * which allows us to avoid using a critical section.
 411      */
 412     gd = mycpu;
 413     td = gd->gd_curthread;
 414     for (pref = &td->td_toks; (ref = *pref) != _ref; pref = &ref->tr_next) {
 415         KKASSERT(ref != NULL);
 416     }
 417     tok = ref->tr_tok;
 418     KKASSERT(tok->t_cpu == gd);
 419     tok->t_cpu = tok->t_reqcpu; /* we do not own 'tok' after this */
 420     *pref = ref->tr_next;       /* note: also removes giveaway interlock */
 421
 422     /*
 423      * If we had gotten the token opportunistically and it still happens to
 424      * be queued to a target cpu, we have to wait for the target cpu
 425      * to finish processing it.  This does not happen very often and does
 426      * not need to be optimal.
 427      */
 428     while (ref->tr_magic == LWKT_TOKREF_MAGIC2) {
 429 #if defined(MAKE_TOKENS_SPIN)
 430         crit_enter();
 431 #ifdef SMP
 432         lwkt_process_ipiq();
 433 #endif
 434         splz();
 435         crit_exit();
 436 #elif defined(MAKE_TOKENS_YIELD)
 437         lwkt_yield();
 438 #else
 439 #error MAKE_TOKENS_XXX ?
 440 #endif
 441     }
 442 }
 443
 444 /*
 445  * Pool tokens are used to provide a type-stable serializing token
 446  * pointer that does not race against disappearing data structures.
 447  *
 448  * This routine is called in early boot just after we setup the BSP's
 449  * globaldata structure.
 450  */
 451 void
 452 lwkt_token_pool_init(void)
 453 {
 454     int i;
 455
 456     for (i = 0; i < LWKT_NUM_POOL_TOKENS; ++i)
 457         lwkt_token_init(&pool_tokens[i]);
 458 }
 459
 460 lwkt_token_t
 461 lwkt_token_pool_get(void *ptraddr)
 462 {
 463     int i;
 464
 465     i = ((int)(intptr_t)ptraddr >> 2) ^ ((int)(intptr_t)ptraddr >> 12);
 466     return(&pool_tokens[i & LWKT_MASK_POOL_TOKENS]);
 467 }
 468
 469 #ifdef SMP
 470
 471 /*
 472  * This is the receiving side of a remote IPI requesting a token.  If we
 473  * cannot immediately hand the token off to another cpu we queue it.
 474  *
 475  * NOTE!  we 'own' the ref structure, but we only 'own' the token if
 476  * t_cpu == mycpu.
 477  */
 478 static void
 479 lwkt_reqtoken_remote(void *data)
 480 {
 481     lwkt_tokref_t ref = data;
 482     globaldata_t gd = mycpu;
 483     lwkt_token_t tok = ref->tr_tok;
 484
 485     /*
 486      * We do not have to queue the token if we can give it away
 487      * immediately.  Otherwise we queue it to our globaldata structure.
 488      */
 489     KKASSERT(ref->tr_magic == LWKT_TOKREF_MAGIC2);
 490     if (lwkt_oktogiveaway_token(tok)) {
 491         if (tok->t_cpu == gd)
 492             tok->t_cpu = ref->tr_reqgd;
 493         cpu_mb1();
 494         ref->tr_magic = LWKT_TOKREF_MAGIC1;
 495     } else {
 496         ref->tr_gdreqnext = gd->gd_tokreqbase;
 497         gd->gd_tokreqbase = ref;
 498     }
 499 }
 500
 501 /*
 502  * Must be called from a critical section.  Satisfy all remote token
 503  * requests that are pending on our globaldata structure.  The request
 504  * does not have to be satisfied with a successful change of ownership
 505  * but we do have to acknowledge that we have completed processing the
 506  * request by setting the magic number back to MAGIC1.
 507  *
 508  * NOTE!  we 'own' the ref structure, but we only 'own' the token if
 509  * t_cpu == mycpu.
 510  */
 511 void
 512 lwkt_drain_token_requests(void)
 513 {
 514     globaldata_t gd = mycpu;
 515     lwkt_tokref_t ref;
 516
 517     while ((ref = gd->gd_tokreqbase) != NULL) {
 518         gd->gd_tokreqbase = ref->tr_gdreqnext;
 519         KKASSERT(ref->tr_magic == LWKT_TOKREF_MAGIC2);
 520         if (ref->tr_tok->t_cpu == gd)
 521             ref->tr_tok->t_cpu = ref->tr_reqgd;
 522         cpu_mb1();
 523         ref->tr_magic = LWKT_TOKREF_MAGIC1;
 524     }
 525 }
 526
 527 #endif
 528
 529 /*
 530  * Initialize the owner and release-to cpu to the current cpu
 531  * and reset the generation count.
 532  */
 533 void
 534 lwkt_token_init(lwkt_token_t tok)
 535 {
 536     tok->t_cpu = tok->t_reqcpu = mycpu;
 537 }
 538
 539 void
 540 lwkt_token_uninit(lwkt_token_t tok)
 541 {
 542     /* empty */
 543 }