lib/libthread_xu/thread/thr_umtx.c

   1 /*-
   2  * Copyright (c) 2005 David Xu <davidxu@freebsd.org>
   3  * Copyright (c) 2005 Matthew Dillon <dillon@backplane.com>
   4  *
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  *
  28  */
  29
  30 #include <assert.h>
  31 #include <errno.h>
  32 #include <unistd.h>
  33 #include <sys/time.h>
  34
  35 #include "thr_private.h"
  36
  37 #define cpu_ccfence()   __asm __volatile("" : : : "memory")
  38
  39 /*
  40  * This function is used to acquire a contested lock.
  41  *
  42  * A *mtx value of 1 indicates locked normally.
  43  * A *mtx value of 2 indicates locked and contested.
  44  */
  45 int
  46 __thr_umtx_lock(volatile umtx_t *mtx, int id, int timo)
  47 {
  48         int v, errval, ret = 0;
  49
  50         id &= 0x3FFFFFFF;
  51         /* contested */
  52         for (;;) {
  53                 v = *mtx;
  54                 cpu_ccfence();
  55                 if (v == 0) {
  56                         if (atomic_cmpset_acq_int(mtx, 0, id)) {
  57                                 break;
  58                         }
  59                         continue;
  60                 }
  61                 if ((v & 0x40000000) ||
  62                     atomic_cmpset_acq_int(mtx, v, v|0x40000000)) {
  63                         if (timo == 0) {
  64                                 _umtx_sleep_err(mtx, v|0x40000000, timo);
  65                         } else if ((errval = _umtx_sleep_err(mtx, v|0x40000000, timo)) > 0) {
  66                                 if (errval == EAGAIN) {
  67                                         if (atomic_cmpset_acq_int(mtx, 0, id))
  68                                                 ret = 0;
  69                                         else
  70                                                 ret = ETIMEDOUT;
  71                                         break;
  72                                 }
  73                         }
  74                 }
  75         }
  76         return (ret);
  77 }
  78
  79 /*
  80  * Release a mutex.  A contested mutex has a value
  81  * of 2, an uncontested mutex has a value of 1.
  82  */
  83 void
  84 __thr_umtx_unlock(volatile umtx_t *mtx, int id)
  85 {
  86         int v;
  87
  88         id &= 0x3FFFFFFF;
  89         for (;;) {
  90                 v = *mtx;
  91                 cpu_ccfence();
  92                 if (atomic_cmpset_acq_int(mtx, v, 0)) {
  93                         if (v & 0x40000000)
  94                                 _umtx_wakeup_err(mtx, 1);
  95                         THR_ASSERT((v & 0x3FFFFFFF) == id,
  96                                    "thr_umtx_unlock: wrong owner");
  97                         break;
  98                 }
  99         }
 100 }
 101
 102 /*
 103  * Low level timed umtx lock.  This function must never return
 104  * EINTR.
 105  */
 106 int
 107 __thr_umtx_timedlock(volatile umtx_t *mtx, int id,
 108                      const struct timespec *timeout)
 109 {
 110         struct timespec ts, ts2, ts3;
 111         int timo, ret;
 112
 113         if ((timeout->tv_sec < 0) ||
 114             (timeout->tv_sec == 0 && timeout->tv_nsec <= 0)) {
 115                 return (ETIMEDOUT);
 116         }
 117
 118         /* XXX there should have MONO timer! */
 119         clock_gettime(CLOCK_REALTIME, &ts);
 120         TIMESPEC_ADD(&ts, &ts, timeout);
 121         ts2 = *timeout;
 122
 123         id &= 0x3FFFFFFF;
 124
 125         for (;;) {
 126                 if (ts2.tv_nsec) {
 127                         timo = (int)(ts2.tv_nsec / 1000);
 128                         if (timo == 0)
 129                                 timo = 1;
 130                 } else {
 131                         timo = 1000000;
 132                 }
 133                 ret = __thr_umtx_lock(mtx, id, timo);
 134                 if (ret != EINTR && ret != ETIMEDOUT)
 135                         break;
 136                 clock_gettime(CLOCK_REALTIME, &ts3);
 137                 TIMESPEC_SUB(&ts2, &ts, &ts3);
 138                 if (ts2.tv_sec < 0 ||
 139                     (ts2.tv_sec == 0 && ts2.tv_nsec <= 0)) {
 140                         ret = ETIMEDOUT;
 141                         break;
 142                 }
 143         }
 144         return (ret);
 145 }
 146
 147 int
 148 _thr_umtx_wait(volatile umtx_t *mtx, int exp, const struct timespec *timeout,
 149                int clockid)
 150 {
 151         struct timespec ts, ts2, ts3;
 152         int timo, errval, ret = 0;
 153
 154         cpu_ccfence();
 155         if (*mtx != exp)
 156                 return (0);
 157
 158         if (timeout == NULL) {
 159                 /*
 160                  * NOTE: If no timeout, EINTR cannot be returned.  Ignore
 161                  *       EINTR.
 162                  */
 163                 while ((errval = _umtx_sleep_err(mtx, exp, 10000000)) > 0) {
 164                         if (errval == EBUSY)
 165                                 break;
 166 #if 0
 167                         if (errval == ETIMEDOUT || errval == EWOULDBLOCK) {
 168                                 if (*mtx != exp) {
 169                                         fprintf(stderr,
 170                                             "thr_umtx_wait: FAULT VALUE CHANGE "
 171                                             "%d -> %d oncond %p\n",
 172                                             exp, *mtx, mtx);
 173                                 }
 174                         }
 175 #endif
 176                         if (*mtx != exp)
 177                                 return(0);
 178                 }
 179                 return (ret);
 180         }
 181
 182         /*
 183          * Timed waits can return EINTR
 184          */
 185         if ((timeout->tv_sec < 0) ||
 186             (timeout->tv_sec == 0 && timeout->tv_nsec <= 0))
 187         return (ETIMEDOUT);
 188
 189         clock_gettime(clockid, &ts);
 190         TIMESPEC_ADD(&ts, &ts, timeout);
 191         ts2 = *timeout;
 192
 193         for (;;) {
 194                 if (ts2.tv_nsec) {
 195                         timo = (int)(ts2.tv_nsec / 1000);
 196                         if (timo == 0)
 197                                 timo = 1;
 198                 } else {
 199                         timo = 1000000;
 200                 }
 201
 202                 if ((errval = _umtx_sleep_err(mtx, exp, timo)) > 0) {
 203                         if (errval == EBUSY) {
 204                                 ret = 0;
 205                                 break;
 206                         }
 207                         if (errval == EINTR) {
 208                                 ret = EINTR;
 209                                 break;
 210                         }
 211                 }
 212
 213                 clock_gettime(clockid, &ts3);
 214                 TIMESPEC_SUB(&ts2, &ts, &ts3);
 215                 if (ts2.tv_sec < 0 || (ts2.tv_sec == 0 && ts2.tv_nsec <= 0)) {
 216                         ret = ETIMEDOUT;
 217                         break;
 218                 }
 219         }
 220         return (ret);
 221 }
 222
 223 void
 224 _thr_umtx_wake(volatile umtx_t *mtx, int count)
 225 {
 226         _umtx_wakeup_err(mtx, count);
 227 }