sys/kern/kern_device.c

   1 /*
   2  * Copyright (c) 2003 Matthew Dillon <dillon@backplane.com> All rights reserved.
   3  * cdevsw from kern/kern_conf.c Copyright (c) 1995 Terrence R. Lambert
   4  * cdevsw from kern/kern_conf.c Copyright (c) 1995 Julian R. Elishcer,
   5  *                                                      All rights reserved.
   6  * Copyright (c) 1982, 1986, 1991, 1993
   7  *      The Regents of the University of California.  All rights reserved.
   8  *
   9  * Redistribution and use in source and binary forms, with or without
  10  * modification, are permitted provided that the following conditions
  11  * are met:
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  19  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  20  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  21  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  22  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  23  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  24  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  25  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  26  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  27  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  28  * SUCH DAMAGE.
  29  *
  30  * $DragonFly: src/sys/kern/kern_device.c,v 1.27 2007/07/23 18:59:50 dillon Exp $
  31  */
  32 #include <sys/param.h>
  33 #include <sys/systm.h>
  34 #include <sys/kernel.h>
  35 #include <sys/sysctl.h>
  36 #include <sys/systm.h>
  37 #include <sys/module.h>
  38 #include <sys/malloc.h>
  39 #include <sys/conf.h>
  40 #include <sys/bio.h>
  41 #include <sys/buf.h>
  42 #include <sys/vnode.h>
  43 #include <sys/queue.h>
  44 #include <sys/device.h>
  45 #include <sys/tree.h>
  46 #include <sys/syslink_rpc.h>
  47 #include <sys/proc.h>
  48 #include <machine/stdarg.h>
  49 #include <sys/thread2.h>
  50
  51 /*
  52  * system link descriptors identify the command in the
  53  * arguments structure.
  54  */
  55 #define DDESCNAME(name) __CONCAT(__CONCAT(dev_,name),_desc)
  56
  57 #define DEVOP_DESC_INIT(name)                                           \
  58             struct syslink_desc DDESCNAME(name) = {                     \
  59                 __offsetof(struct dev_ops, __CONCAT(d_, name)), \
  60             #name }
  61
  62 DEVOP_DESC_INIT(default);
  63 DEVOP_DESC_INIT(open);
  64 DEVOP_DESC_INIT(close);
  65 DEVOP_DESC_INIT(read);
  66 DEVOP_DESC_INIT(write);
  67 DEVOP_DESC_INIT(ioctl);
  68 DEVOP_DESC_INIT(dump);
  69 DEVOP_DESC_INIT(psize);
  70 DEVOP_DESC_INIT(poll);
  71 DEVOP_DESC_INIT(mmap);
  72 DEVOP_DESC_INIT(strategy);
  73 DEVOP_DESC_INIT(kqfilter);
  74 DEVOP_DESC_INIT(revoke);
  75 DEVOP_DESC_INIT(clone);
  76
  77 /*
  78  * Misc default ops
  79  */
  80 struct dev_ops dead_dev_ops;
  81
  82 struct dev_ops default_dev_ops = {
  83         { "null" },
  84         .d_default = NULL,      /* must be NULL */
  85         .d_open = noopen,
  86         .d_close = noclose,
  87         .d_read = noread,
  88         .d_write = nowrite,
  89         .d_ioctl = noioctl,
  90         .d_poll = nopoll,
  91         .d_mmap = nommap,
  92         .d_strategy = nostrategy,
  93         .d_dump = nodump,
  94         .d_psize = nopsize,
  95         .d_kqfilter = nokqfilter,
  96         .d_revoke = norevoke,
  97         .d_clone = noclone
  98 };
  99
 100 /************************************************************************
 101  *                      GENERAL DEVICE API FUNCTIONS                    *
 102  ************************************************************************/
 103
 104 int
 105 dev_dopen(cdev_t dev, int oflags, int devtype, struct ucred *cred)
 106 {
 107         struct dev_open_args ap;
 108
 109         ap.a_head.a_desc = &dev_open_desc;
 110         ap.a_head.a_dev = dev;
 111         ap.a_oflags = oflags;
 112         ap.a_devtype = devtype;
 113         ap.a_cred = cred;
 114         return(dev->si_ops->d_open(&ap));
 115 }
 116
 117 int
 118 dev_dclose(cdev_t dev, int fflag, int devtype)
 119 {
 120         struct dev_close_args ap;
 121
 122         ap.a_head.a_desc = &dev_close_desc;
 123         ap.a_head.a_dev = dev;
 124         ap.a_fflag = fflag;
 125         ap.a_devtype = devtype;
 126         return(dev->si_ops->d_close(&ap));
 127 }
 128
 129 int
 130 dev_dread(cdev_t dev, struct uio *uio, int ioflag)
 131 {
 132         struct dev_read_args ap;
 133         int error;
 134
 135         ap.a_head.a_desc = &dev_read_desc;
 136         ap.a_head.a_dev = dev;
 137         ap.a_uio = uio;
 138         ap.a_ioflag = ioflag;
 139         error = dev->si_ops->d_read(&ap);
 140         if (error == 0)
 141                 dev->si_lastread = time_second;
 142         return (error);
 143 }
 144
 145 int
 146 dev_dwrite(cdev_t dev, struct uio *uio, int ioflag)
 147 {
 148         struct dev_write_args ap;
 149         int error;
 150
 151         dev->si_lastwrite = time_second;
 152         ap.a_head.a_desc = &dev_write_desc;
 153         ap.a_head.a_dev = dev;
 154         ap.a_uio = uio;
 155         ap.a_ioflag = ioflag;
 156         error = dev->si_ops->d_write(&ap);
 157         return (error);
 158 }
 159
 160 int
 161 dev_dioctl(cdev_t dev, u_long cmd, caddr_t data, int fflag, struct ucred *cred)
 162 {
 163         struct dev_ioctl_args ap;
 164
 165         ap.a_head.a_desc = &dev_ioctl_desc;
 166         ap.a_head.a_dev = dev;
 167         ap.a_cmd = cmd;
 168         ap.a_data = data;
 169         ap.a_fflag = fflag;
 170         ap.a_cred = cred;
 171         return(dev->si_ops->d_ioctl(&ap));
 172 }
 173
 174 int
 175 dev_dpoll(cdev_t dev, int events)
 176 {
 177         struct dev_poll_args ap;
 178         int error;
 179
 180         ap.a_head.a_desc = &dev_poll_desc;
 181         ap.a_head.a_dev = dev;
 182         ap.a_events = events;
 183         error = dev->si_ops->d_poll(&ap);
 184         if (error == 0)
 185                 return(ap.a_events);
 186         return (seltrue(dev, events));
 187 }
 188
 189 int
 190 dev_dmmap(cdev_t dev, vm_offset_t offset, int nprot)
 191 {
 192         struct dev_mmap_args ap;
 193         int error;
 194
 195         ap.a_head.a_desc = &dev_mmap_desc;
 196         ap.a_head.a_dev = dev;
 197         ap.a_offset = offset;
 198         ap.a_nprot = nprot;
 199         error = dev->si_ops->d_mmap(&ap);
 200         if (error == 0)
 201                 return(ap.a_result);
 202         return(-1);
 203 }
 204
 205 int
 206 dev_dclone(cdev_t dev)
 207 {
 208         struct dev_clone_args ap;
 209
 210         ap.a_head.a_desc = &dev_clone_desc;
 211         ap.a_head.a_dev = dev;
 212         return (dev->si_ops->d_clone(&ap));
 213 }
 214
 215 int
 216 dev_drevoke(cdev_t dev)
 217 {
 218         struct dev_revoke_args ap;
 219
 220         ap.a_head.a_desc = &dev_revoke_desc;
 221         ap.a_head.a_dev = dev;
 222         return (dev->si_ops->d_revoke(&ap));
 223 }
 224
 225 /*
 226  * Core device strategy call, used to issue I/O on a device.  There are
 227  * two versions, a non-chained version and a chained version.  The chained
 228  * version reuses a BIO set up by vn_strategy().  The only difference is
 229  * that, for now, we do not push a new tracking structure when chaining
 230  * from vn_strategy.  XXX this will ultimately have to change.
 231  */
 232 void
 233 dev_dstrategy(cdev_t dev, struct bio *bio)
 234 {
 235         struct dev_strategy_args ap;
 236         struct bio_track *track;
 237
 238         ap.a_head.a_desc = &dev_strategy_desc;
 239         ap.a_head.a_dev = dev;
 240         ap.a_bio = bio;
 241
 242         KKASSERT(bio->bio_track == NULL);
 243         KKASSERT(bio->bio_buf->b_cmd != BUF_CMD_DONE);
 244         if (bio->bio_buf->b_cmd == BUF_CMD_READ)
 245             track = &dev->si_track_read;
 246         else
 247             track = &dev->si_track_write;
 248         bio_track_ref(track);
 249         bio->bio_track = track;
 250         KKASSERT((bio->bio_flags & BIO_DONE) == 0);
 251         (void)dev->si_ops->d_strategy(&ap);
 252 }
 253
 254 void
 255 dev_dstrategy_chain(cdev_t dev, struct bio *bio)
 256 {
 257         struct dev_strategy_args ap;
 258
 259         ap.a_head.a_desc = &dev_strategy_desc;
 260         ap.a_head.a_dev = dev;
 261         ap.a_bio = bio;
 262
 263         KKASSERT(bio->bio_track != NULL);
 264         KKASSERT((bio->bio_flags & BIO_DONE) == 0);
 265         (void)dev->si_ops->d_strategy(&ap);
 266 }
 267
 268 /*
 269  * note: the disk layer is expected to set count, blkno, and secsize before
 270  * forwarding the message.
 271  */
 272 int
 273 dev_ddump(cdev_t dev)
 274 {
 275         struct dev_dump_args ap;
 276
 277         ap.a_head.a_desc = &dev_dump_desc;
 278         ap.a_head.a_dev = dev;
 279         ap.a_count = 0;
 280         ap.a_blkno = 0;
 281         ap.a_secsize = 0;
 282         return(dev->si_ops->d_dump(&ap));
 283 }
 284
 285 int64_t
 286 dev_dpsize(cdev_t dev)
 287 {
 288         struct dev_psize_args ap;
 289         int error;
 290
 291         ap.a_head.a_desc = &dev_psize_desc;
 292         ap.a_head.a_dev = dev;
 293         error = dev->si_ops->d_psize(&ap);
 294         if (error == 0)
 295                 return (ap.a_result);
 296         return(-1);
 297 }
 298
 299 int
 300 dev_dkqfilter(cdev_t dev, struct knote *kn)
 301 {
 302         struct dev_kqfilter_args ap;
 303         int error;
 304
 305         ap.a_head.a_desc = &dev_kqfilter_desc;
 306         ap.a_head.a_dev = dev;
 307         ap.a_kn = kn;
 308         error = dev->si_ops->d_kqfilter(&ap);
 309         if (error == 0)
 310                 return(ap.a_result);
 311         return(ENODEV);
 312 }
 313
 314 /************************************************************************
 315  *                      DEVICE HELPER FUNCTIONS                         *
 316  ************************************************************************/
 317
 318 /*
 319  * MPSAFE
 320  */
 321 int
 322 dev_drefs(cdev_t dev)
 323 {
 324     return(dev->si_sysref.refcnt);
 325 }
 326
 327 /*
 328  * MPSAFE
 329  */
 330 const char *
 331 dev_dname(cdev_t dev)
 332 {
 333     return(dev->si_ops->head.name);
 334 }
 335
 336 /*
 337  * MPSAFE
 338  */
 339 int
 340 dev_dflags(cdev_t dev)
 341 {
 342     return(dev->si_ops->head.flags);
 343 }
 344
 345 /*
 346  * MPSAFE
 347  */
 348 int
 349 dev_dmaj(cdev_t dev)
 350 {
 351     return(dev->si_ops->head.maj);
 352 }
 353
 354 /*
 355  * Used when forwarding a request through layers.  The caller adjusts
 356  * ap->a_head.a_dev and then calls this function.
 357  */
 358 int
 359 dev_doperate(struct dev_generic_args *ap)
 360 {
 361     int (*func)(struct dev_generic_args *);
 362
 363     func = *(void **)((char *)ap->a_dev->si_ops + ap->a_desc->sd_offset);
 364     return (func(ap));
 365 }
 366
 367 /*
 368  * Used by the console intercept code only.  Issue an operation through
 369  * a foreign ops structure allowing the ops structure associated
 370  * with the device to remain intact.
 371  */
 372 int
 373 dev_doperate_ops(struct dev_ops *ops, struct dev_generic_args *ap)
 374 {
 375     int (*func)(struct dev_generic_args *);
 376
 377     func = *(void **)((char *)ops + ap->a_desc->sd_offset);
 378     return (func(ap));
 379 }
 380
 381 /*
 382  * Convert a template dev_ops into the real thing by filling in
 383  * uninitialized fields.
 384  */
 385 void
 386 compile_dev_ops(struct dev_ops *ops)
 387 {
 388         int offset;
 389
 390         for (offset = offsetof(struct dev_ops, dev_ops_first_field);
 391              offset <= offsetof(struct dev_ops, dev_ops_last_field);
 392              offset += sizeof(void *)
 393         ) {
 394                 void **func_p = (void **)((char *)ops + offset);
 395                 void **def_p = (void **)((char *)&default_dev_ops + offset);
 396                 if (*func_p == NULL) {
 397                         if (ops->d_default)
 398                                 *func_p = ops->d_default;
 399                         else
 400                                 *func_p = *def_p;
 401                 }
 402         }
 403 }
 404
 405 /************************************************************************
 406  *                      MAJOR/MINOR SPACE FUNCTION                      *
 407  ************************************************************************/
 408
 409 /*
 410  * This makes a dev_ops entry visible to userland (e.g /dev/<blah>).
 411  *
 412  * The kernel can overload a data space by making multiple dev_ops_add()
 413  * calls, but only the most recent one in the list matching the mask/match
 414  * will be visible to userland.
 415  *
 416  * make_dev() does not automatically call dev_ops_add() (nor do we want it
 417  * to, since partition-managed disk devices are overloaded on top of the
 418  * raw device).
 419  *
 420  * Disk devices typically register their major, e.g. 'ad0', and then call
 421  * into the disk label management code which overloads its own onto e.g. 'ad0'
 422  * to support all the various slice and partition combinations.
 423  *
 424  * The mask/match supplied in this call are a full 32 bits and the same
 425  * mask and match must be specified in a later dev_ops_remove() call to
 426  * match this add.  However, the match value for the minor number should never
 427  * have any bits set in the major number's bit range (8-15).  The mask value
 428  * may be conveniently specified as -1 without creating any major number
 429  * interference.
 430  */
 431
 432 static
 433 int
 434 rb_dev_ops_compare(struct dev_ops_maj *a, struct dev_ops_maj *b)
 435 {
 436     if (a->maj < b->maj)
 437         return(-1);
 438     else if (a->maj > b->maj)
 439         return(1);
 440     return(0);
 441 }
 442
 443 RB_GENERATE2(dev_ops_rb_tree, dev_ops_maj, rbnode, rb_dev_ops_compare, int, maj);
 444
 445 struct dev_ops_rb_tree dev_ops_rbhead = RB_INITIALIZER(dev_ops_rbhead);
 446
 447 int
 448 dev_ops_add(struct dev_ops *ops, u_int mask, u_int match)
 449 {
 450     static int next_maj = 256;          /* first dynamic major number */
 451     struct dev_ops_maj *rbmaj;
 452     struct dev_ops_link *link;
 453
 454     compile_dev_ops(ops);
 455     if (ops->head.maj < 0) {
 456         while (dev_ops_rb_tree_RB_LOOKUP(&dev_ops_rbhead, next_maj) != NULL) {
 457                 if (++next_maj <= 0)
 458                         next_maj = 256;
 459         }
 460         ops->head.maj = next_maj;
 461     }
 462     rbmaj = dev_ops_rb_tree_RB_LOOKUP(&dev_ops_rbhead, ops->head.maj);
 463     if (rbmaj == NULL) {
 464         rbmaj = kmalloc(sizeof(*rbmaj), M_DEVBUF, M_INTWAIT | M_ZERO);
 465         rbmaj->maj = ops->head.maj;
 466         dev_ops_rb_tree_RB_INSERT(&dev_ops_rbhead, rbmaj);
 467     }
 468     for (link = rbmaj->link; link; link = link->next) {
 469             /*
 470              * If we get an exact match we usurp the target, but we only print
 471              * a warning message if a different device switch is installed.
 472              */
 473             if (link->mask == mask && link->match == match) {
 474                     if (link->ops != ops) {
 475                             kprintf("WARNING: \"%s\" (%p) is usurping \"%s\"'s"
 476                                 " (%p)\n",
 477                                 ops->head.name, ops,
 478                                 link->ops->head.name, link->ops);
 479                             link->ops = ops;
 480                             ++ops->head.refs;
 481                     }
 482                     return(0);
 483             }
 484             /*
 485              * XXX add additional warnings for overlaps
 486              */
 487     }
 488
 489     link = kmalloc(sizeof(struct dev_ops_link), M_DEVBUF, M_INTWAIT|M_ZERO);
 490     link->mask = mask;
 491     link->match = match;
 492     link->ops = ops;
 493     link->next = rbmaj->link;
 494     rbmaj->link = link;
 495     ++ops->head.refs;
 496     return(0);
 497 }
 498
 499 /*
 500  * Should only be used by udev2dev().
 501  *
 502  * If the minor number is -1, we match the first ops we find for this
 503  * major.   If the mask is not -1 then multiple minor numbers can match
 504  * the same ops.
 505  *
 506  * Note that this function will return NULL if the minor number is not within
 507  * the bounds of the installed mask(s).
 508  *
 509  * The specified minor number should NOT include any major bits.
 510  */
 511 struct dev_ops *
 512 dev_ops_get(int x, int y)
 513 {
 514         struct dev_ops_maj *rbmaj;
 515         struct dev_ops_link *link;
 516
 517         rbmaj = dev_ops_rb_tree_RB_LOOKUP(&dev_ops_rbhead, x);
 518         if (rbmaj == NULL)
 519                 return(NULL);
 520         for (link = rbmaj->link; link; link = link->next) {
 521                 if (y == -1 || (link->mask & y) == link->match)
 522                         return(link->ops);
 523         }
 524         return(NULL);
 525 }
 526
 527 /*
 528  * Take a cookie cutter to the major/minor device space for the passed
 529  * device and generate a new dev_ops visible to userland which the caller
 530  * can then modify.  The original device is not modified but portions of
 531  * its major/minor space will no longer be visible to userland.
 532  */
 533 struct dev_ops *
 534 dev_ops_add_override(cdev_t backing_dev, struct dev_ops *template,
 535                      u_int mask, u_int match)
 536 {
 537         struct dev_ops *ops;
 538         struct dev_ops *backing_ops = backing_dev->si_ops;
 539
 540         ops = kmalloc(sizeof(struct dev_ops), M_DEVBUF, M_INTWAIT);
 541         *ops = *template;
 542         ops->head.name = backing_ops->head.name;
 543         ops->head.maj = backing_ops->head.maj;
 544         ops->head.flags |= backing_ops->head.flags & ~D_TRACKCLOSE;
 545         compile_dev_ops(ops);
 546         dev_ops_add(ops, mask, match);
 547
 548         return(ops);
 549 }
 550
 551 void
 552 dev_ops_remove_override(struct dev_ops *ops, u_int mask, u_int match)
 553 {
 554         dev_ops_remove(ops, mask, match);
 555         if (ops->head.refs) {
 556                 kprintf("dev_ops_remove_override: %s still has %d refs!\n",
 557                         ops->head.name, ops->head.refs);
 558         } else {
 559                 bzero(ops, sizeof(*ops));
 560                 kfree(ops, M_DEVBUF);
 561         }
 562 }
 563
 564 /*
 565  * Remove all matching dev_ops entries from the dev_ops_array[] major
 566  * array so no new user opens can be performed, and destroy all devices
 567  * installed in the hash table that are associated with this dev_ops.  (see
 568  * destroy_all_devs()).
 569  *
 570  * The mask and match should match a previous call to dev_ops_add*().
 571  */
 572 int
 573 dev_ops_remove(struct dev_ops *ops, u_int mask, u_int match)
 574 {
 575         struct dev_ops_maj *rbmaj;
 576         struct dev_ops_link *link;
 577         struct dev_ops_link **plink;
 578
 579         if (ops != &dead_dev_ops)
 580                 destroy_all_devs(ops, mask, match);
 581
 582         rbmaj = dev_ops_rb_tree_RB_LOOKUP(&dev_ops_rbhead, ops->head.maj);
 583         if (rbmaj == NULL) {
 584                 kprintf("double-remove of dev_ops %p for %s(%d)\n",
 585                         ops, ops->head.name, ops->head.maj);
 586                 return(0);
 587         }
 588         for (plink = &rbmaj->link; (link = *plink) != NULL;
 589              plink = &link->next) {
 590                 if (link->mask == mask && link->match == match) {
 591                         if (link->ops == ops)
 592                                 break;
 593                         kprintf("%s: ERROR: cannot remove dev_ops, "
 594                                "its major number %d was stolen by %s\n",
 595                                 ops->head.name, ops->head.maj,
 596                                 link->ops->head.name
 597                         );
 598                 }
 599         }
 600         if (link == NULL) {
 601                 kprintf("%s(%d)[%08x/%08x]: WARNING: ops removed "
 602                        "multiple times!\n",
 603                        ops->head.name, ops->head.maj, mask, match);
 604         } else {
 605                 *plink = link->next;
 606                 --ops->head.refs; /* XXX ops_release() / record refs */
 607                 kfree(link, M_DEVBUF);
 608         }
 609
 610         /*
 611          * Scrap the RB tree node for the major number if no ops are
 612          * installed any longer.
 613          */
 614         if (rbmaj->link == NULL) {
 615                 dev_ops_rb_tree_RB_REMOVE(&dev_ops_rbhead, rbmaj);
 616                 kfree(rbmaj, M_DEVBUF);
 617         }
 618
 619 #if 0
 620         /*
 621          * The same ops might be used with multiple devices, so don't
 622          * complain if the ref count is non-zero.
 623          */
 624         if (ops->head.refs != 0) {
 625                 kprintf("%s(%d)[%08x/%08x]: Warning: dev_ops_remove() called "
 626                         "while %d device refs still exist!\n",
 627                         ops->head.name, ops->head.maj, mask, match,
 628                         ops->head.refs);
 629         } else {
 630                 if (bootverbose)
 631                         kprintf("%s: ops removed\n", ops->head.name);
 632         }
 633 #endif
 634         return 0;
 635 }
 636
 637 /*
 638  * dev_ops_scan() - Issue a callback for all installed dev_ops structures.
 639  *
 640  * The scan will terminate if a callback returns a negative number.
 641  */
 642 struct dev_ops_scan_info {
 643         int     (*callback)(struct dev_ops *, void *);
 644         void    *arg;
 645 };
 646
 647 static
 648 int
 649 dev_ops_scan_callback(struct dev_ops_maj *rbmaj, void *arg)
 650 {
 651         struct dev_ops_scan_info *info = arg;
 652         struct dev_ops_link *link;
 653         int count = 0;
 654         int r;
 655
 656         for (link = rbmaj->link; link; link = link->next) {
 657                 r = info->callback(link->ops, info->arg);
 658                 if (r < 0)
 659                         return(r);
 660                 count += r;
 661         }
 662         return(count);
 663 }
 664
 665 int
 666 dev_ops_scan(int (*callback)(struct dev_ops *, void *), void *arg)
 667 {
 668         struct dev_ops_scan_info info = { callback, arg };
 669
 670         return (dev_ops_rb_tree_RB_SCAN(&dev_ops_rbhead, NULL,
 671                                         dev_ops_scan_callback, &info));
 672 }
 673
 674
 675 /*
 676  * Release a ops entry.  When the ref count reaches zero, recurse
 677  * through the stack.
 678  */
 679 void
 680 dev_ops_release(struct dev_ops *ops)
 681 {
 682         --ops->head.refs;
 683         if (ops->head.refs == 0) {
 684                 /* XXX */
 685         }
 686 }
 687
 688 struct dev_ops *
 689 dev_ops_intercept(cdev_t dev, struct dev_ops *iops)
 690 {
 691         struct dev_ops *oops = dev->si_ops;
 692
 693         compile_dev_ops(iops);
 694         iops->head.maj = oops->head.maj;
 695         iops->head.data = oops->head.data;
 696         iops->head.flags = oops->head.flags;
 697         dev->si_ops = iops;
 698         dev->si_flags |= SI_INTERCEPTED;
 699
 700         return (oops);
 701 }
 702
 703 void
 704 dev_ops_restore(cdev_t dev, struct dev_ops *oops)
 705 {
 706         struct dev_ops *iops = dev->si_ops;
 707
 708         dev->si_ops = oops;
 709         dev->si_flags &= ~SI_INTERCEPTED;
 710         iops->head.maj = 0;
 711         iops->head.data = NULL;
 712         iops->head.flags = 0;
 713 }
 714
 715 /************************************************************************
 716  *                      DEFAULT DEV OPS FUNCTIONS                       *
 717  ************************************************************************/
 718
 719
 720 /*
 721  * Unsupported devswitch functions (e.g. for writing to read-only device).
 722  * XXX may belong elsewhere.
 723  */
 724 int
 725 norevoke(struct dev_revoke_args *ap)
 726 {
 727         /* take no action */
 728         return(0);
 729 }
 730
 731 int
 732 noclone(struct dev_clone_args *ap)
 733 {
 734         /* take no action */
 735         return (0);     /* allow the clone */
 736 }
 737
 738 int
 739 noopen(struct dev_open_args *ap)
 740 {
 741         return (ENODEV);
 742 }
 743
 744 int
 745 noclose(struct dev_close_args *ap)
 746 {
 747         return (ENODEV);
 748 }
 749
 750 int
 751 noread(struct dev_read_args *ap)
 752 {
 753         return (ENODEV);
 754 }
 755
 756 int
 757 nowrite(struct dev_write_args *ap)
 758 {
 759         return (ENODEV);
 760 }
 761
 762 int
 763 noioctl(struct dev_ioctl_args *ap)
 764 {
 765         return (ENODEV);
 766 }
 767
 768 int
 769 nokqfilter(struct dev_kqfilter_args *ap)
 770 {
 771         return (ENODEV);
 772 }
 773
 774 int
 775 nommap(struct dev_mmap_args *ap)
 776 {
 777         return (ENODEV);
 778 }
 779
 780 int
 781 nopoll(struct dev_poll_args *ap)
 782 {
 783         ap->a_events = 0;
 784         return(0);
 785 }
 786
 787 int
 788 nostrategy(struct dev_strategy_args *ap)
 789 {
 790         struct bio *bio = ap->a_bio;
 791
 792         bio->bio_buf->b_flags |= B_ERROR;
 793         bio->bio_buf->b_error = EOPNOTSUPP;
 794         biodone(bio);
 795         return(0);
 796 }
 797
 798 int
 799 nopsize(struct dev_psize_args *ap)
 800 {
 801         ap->a_result = 0;
 802         return(0);
 803 }
 804
 805 int
 806 nodump(struct dev_dump_args *ap)
 807 {
 808         return (ENODEV);
 809 }
 810
 811 /*
 812  * XXX this is probably bogus.  Any device that uses it isn't checking the
 813  * minor number.
 814  */
 815 int
 816 nullopen(struct dev_open_args *ap)
 817 {
 818         return (0);
 819 }
 820
 821 int
 822 nullclose(struct dev_close_args *ap)
 823 {
 824         return (0);
 825 }
 826