sys/kern/vfs_vnops.c

   1 /*
   2  * Copyright (c) 1982, 1986, 1989, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  * (c) UNIX System Laboratories, Inc.
   5  * All or some portions of this file are derived from material licensed
   6  * to the University of California by American Telephone and Telegraph
   7  * Co. or Unix System Laboratories, Inc. and are reproduced herein with
   8  * the permission of UNIX System Laboratories, Inc.
   9  *
  10  * Redistribution and use in source and binary forms, with or without
  11  * modification, are permitted provided that the following conditions
  12  * are met:
  13  * 1. Redistributions of source code must retain the above copyright
  14  *    notice, this list of conditions and the following disclaimer.
  15  * 2. Redistributions in binary form must reproduce the above copyright
  16  *    notice, this list of conditions and the following disclaimer in the
  17  *    documentation and/or other materials provided with the distribution.
  18  * 3. All advertising materials mentioning features or use of this software
  19  *    must display the following acknowledgement:
  20  *      This product includes software developed by the University of
  21  *      California, Berkeley and its contributors.
  22  * 4. Neither the name of the University nor the names of its contributors
  23  *    may be used to endorse or promote products derived from this software
  24  *    without specific prior written permission.
  25  *
  26  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  27  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  28  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  29  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  30  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  31  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  32  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  33  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  34  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  35  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  36  * SUCH DAMAGE.
  37  *
  38  *      @(#)vfs_vnops.c 8.2 (Berkeley) 1/21/94
  39  * $FreeBSD: src/sys/kern/vfs_vnops.c,v 1.87.2.13 2002/12/29 18:19:53 dillon Exp $
  40  * $DragonFly: src/sys/kern/vfs_vnops.c,v 1.35 2006/03/27 16:18:34 dillon Exp $
  41  */
  42
  43 #include <sys/param.h>
  44 #include <sys/systm.h>
  45 #include <sys/fcntl.h>
  46 #include <sys/file.h>
  47 #include <sys/stat.h>
  48 #include <sys/proc.h>
  49 #include <sys/mount.h>
  50 #include <sys/nlookup.h>
  51 #include <sys/vnode.h>
  52 #include <sys/buf.h>
  53 #include <sys/filio.h>
  54 #include <sys/ttycom.h>
  55 #include <sys/conf.h>
  56 #include <sys/syslog.h>
  57
  58 static int vn_closefile (struct file *fp, struct thread *td);
  59 static int vn_ioctl (struct file *fp, u_long com, caddr_t data,
  60                 struct thread *td);
  61 static int vn_read (struct file *fp, struct uio *uio,
  62                 struct ucred *cred, int flags, struct thread *td);
  63 static int svn_read (struct file *fp, struct uio *uio,
  64                 struct ucred *cred, int flags, struct thread *td);
  65 static int vn_poll (struct file *fp, int events, struct ucred *cred,
  66                 struct thread *td);
  67 static int vn_kqfilter (struct file *fp, struct knote *kn);
  68 static int vn_statfile (struct file *fp, struct stat *sb, struct thread *td);
  69 static int vn_write (struct file *fp, struct uio *uio,
  70                 struct ucred *cred, int flags, struct thread *td);
  71 static int svn_write (struct file *fp, struct uio *uio,
  72                 struct ucred *cred, int flags, struct thread *td);
  73
  74 struct fileops vnode_fileops = {
  75         NULL,   /* port */
  76         NULL,   /* clone */
  77         vn_read, vn_write, vn_ioctl, vn_poll, vn_kqfilter,
  78         vn_statfile, vn_closefile, nofo_shutdown
  79 };
  80
  81 struct fileops specvnode_fileops = {
  82         NULL,   /* port */
  83         NULL,   /* clone */
  84         svn_read, svn_write, vn_ioctl, vn_poll, vn_kqfilter,
  85         vn_statfile, vn_closefile, nofo_shutdown
  86 };
  87
  88 /*
  89  * Shortcut the device read/write.  This avoids a lot of vnode junk.
  90  * Basically the specfs vnops for read and write take the locked vnode,
  91  * unlock it (because we can't hold the vnode locked while reading or writing
  92  * a device which may block indefinitely), issues the device operation, then
  93  * relock the vnode before returning, plus other junk.  This bypasses all
  94  * of that and just does the device operation.
  95  */
  96 void
  97 vn_setspecops(struct file *fp)
  98 {
  99         if (vfs_fastdev && fp->f_ops == &vnode_fileops) {
 100                 fp->f_ops = &specvnode_fileops;
 101         }
 102 }
 103
 104 /*
 105  * Common code for vnode open operations.  Check permissions, and call
 106  * the VOP_NOPEN or VOP_NCREATE routine.
 107  *
 108  * The caller is responsible for setting up nd with nlookup_init() and
 109  * for cleaning it up with nlookup_done(), whether we return an error
 110  * or not.
 111  *
 112  * On success nd->nl_open_vp will hold a referenced and, if requested,
 113  * locked vnode.  A locked vnode is requested via NLC_LOCKVP.  If fp
 114  * is non-NULL the vnode will be installed in the file pointer.
 115  *
 116  * NOTE: The vnode is referenced just once on return whether or not it
 117  * is also installed in the file pointer.
 118  */
 119 int
 120 vn_open(struct nlookupdata *nd, struct file *fp, int fmode, int cmode)
 121 {
 122         struct vnode *vp;
 123         struct thread *td = nd->nl_td;
 124         struct ucred *cred = nd->nl_cred;
 125         struct vattr vat;
 126         struct vattr *vap = &vat;
 127         struct namecache *ncp;
 128         int mode, error;
 129
 130         /*
 131          * Lookup the path and create or obtain the vnode.  After a
 132          * successful lookup a locked nd->nl_ncp will be returned.
 133          *
 134          * The result of this section should be a locked vnode.
 135          *
 136          * XXX with only a little work we should be able to avoid locking
 137          * the vnode if FWRITE, O_CREAT, and O_TRUNC are *not* set.
 138          */
 139         if (fmode & O_CREAT) {
 140                 /*
 141                  * CONDITIONAL CREATE FILE CASE
 142                  *
 143                  * Setting NLC_CREATE causes a negative hit to store
 144                  * the negative hit ncp and not return an error.  Then
 145                  * nc_error or nc_vp may be checked to see if the ncp
 146                  * represents a negative hit.  NLC_CREATE also requires
 147                  * write permission on the governing directory or EPERM
 148                  * is returned.
 149                  */
 150                 if ((fmode & O_EXCL) == 0 && (fmode & O_NOFOLLOW) == 0)
 151                         nd->nl_flags |= NLC_FOLLOW;
 152                 nd->nl_flags |= NLC_CREATE;
 153                 bwillwrite();
 154                 error = nlookup(nd);
 155         } else {
 156                 /*
 157                  * NORMAL OPEN FILE CASE
 158                  */
 159                 error = nlookup(nd);
 160         }
 161
 162         if (error)
 163                 return (error);
 164         ncp = nd->nl_ncp;
 165
 166         /*
 167          * split case to allow us to re-resolve and retry the ncp in case
 168          * we get ESTALE.
 169          */
 170 again:
 171         if (fmode & O_CREAT) {
 172                 if (ncp->nc_vp == NULL) {
 173                         VATTR_NULL(vap);
 174                         vap->va_type = VREG;
 175                         vap->va_mode = cmode;
 176                         if (fmode & O_EXCL)
 177                                 vap->va_vaflags |= VA_EXCLUSIVE;
 178                         error = VOP_NCREATE(ncp, &vp, nd->nl_cred, vap);
 179                         if (error)
 180                                 return (error);
 181                         fmode &= ~O_TRUNC;
 182                         ASSERT_VOP_LOCKED(vp, "create");
 183                         /* locked vnode is returned */
 184                 } else {
 185                         if (fmode & O_EXCL) {
 186                                 error = EEXIST;
 187                         } else {
 188                                 error = cache_vget(ncp, cred,
 189                                                     LK_EXCLUSIVE, &vp);
 190                         }
 191                         if (error)
 192                                 return (error);
 193                         fmode &= ~O_CREAT;
 194                 }
 195         } else {
 196                 error = cache_vget(ncp, cred, LK_EXCLUSIVE, &vp);
 197                 if (error)
 198                         return (error);
 199         }
 200
 201         /*
 202          * We have a locked vnode and ncp now.  Note that the ncp will
 203          * be cleaned up by the caller if nd->nl_ncp is left intact.
 204          */
 205         if (vp->v_type == VLNK) {
 206                 error = EMLINK;
 207                 goto bad;
 208         }
 209         if (vp->v_type == VSOCK) {
 210                 error = EOPNOTSUPP;
 211                 goto bad;
 212         }
 213         if ((fmode & O_CREAT) == 0) {
 214                 mode = 0;
 215                 if (fmode & (FWRITE | O_TRUNC)) {
 216                         if (vp->v_type == VDIR) {
 217                                 error = EISDIR;
 218                                 goto bad;
 219                         }
 220                         error = vn_writechk(vp);
 221                         if (error) {
 222                                 /*
 223                                  * Special stale handling, re-resolve the
 224                                  * vnode.
 225                                  */
 226                                 if (error == ESTALE) {
 227                                         vput(vp);
 228                                         vp = NULL;
 229                                         cache_setunresolved(ncp);
 230                                         error = cache_resolve(ncp, cred);
 231                                         if (error == 0)
 232                                                 goto again;
 233                                 }
 234                                 goto bad;
 235                         }
 236                         mode |= VWRITE;
 237                 }
 238                 if (fmode & FREAD)
 239                         mode |= VREAD;
 240                 if (mode) {
 241                         error = VOP_ACCESS(vp, mode, cred, td);
 242                         if (error) {
 243                                 /*
 244                                  * Special stale handling, re-resolve the
 245                                  * vnode.
 246                                  */
 247                                 if (error == ESTALE) {
 248                                         vput(vp);
 249                                         vp = NULL;
 250                                         cache_setunresolved(ncp);
 251                                         error = cache_resolve(ncp, cred);
 252                                         if (error == 0)
 253                                                 goto again;
 254                                 }
 255                                 goto bad;
 256                         }
 257                 }
 258         }
 259         if (fmode & O_TRUNC) {
 260                 VOP_UNLOCK(vp, 0, td);                  /* XXX */
 261                 vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, td);       /* XXX */
 262                 VATTR_NULL(vap);
 263                 vap->va_size = 0;
 264                 error = VOP_SETATTR(vp, vap, cred, td);
 265                 if (error)
 266                         goto bad;
 267         }
 268
 269         /*
 270          * Setup the fp so VOP_OPEN can override it.  No descriptor has been
 271          * associated with the fp yet so we own it clean.  f_data will inherit
 272          * our vp reference as long as we do not shift f_ops to &badfileops.
 273          * f_ncp inherits nl_ncp .
 274          */
 275         if (fp) {
 276                 fp->f_type = (vp->v_type == VFIFO ? DTYPE_FIFO : DTYPE_VNODE);
 277                 fp->f_flag = fmode & FMASK;
 278                 fp->f_ops = &vnode_fileops;
 279                 fp->f_data = vp;
 280                 if (vp->v_type == VDIR) {
 281                         fp->f_ncp = nd->nl_ncp;
 282                         nd->nl_ncp = NULL;
 283                         cache_unlock(fp->f_ncp);
 284                 }
 285         }
 286
 287         /*
 288          * Get rid of nl_ncp.  vn_open does not return it (it returns the
 289          * vnode or the file pointer).  Note: we can't leave nl_ncp locked
 290          * through the VOP_OPEN anyway since the VOP_OPEN may block, e.g.
 291          * on /dev/ttyd0
 292          */
 293         if (nd->nl_ncp) {
 294                 cache_put(nd->nl_ncp);
 295                 nd->nl_ncp = NULL;
 296         }
 297
 298         error = VOP_OPEN(vp, fmode, cred, fp, td);
 299         if (error) {
 300                 /*
 301                  * setting f_ops to &badfileops will prevent the descriptor
 302                  * code from trying to close and release the vnode, since
 303                  * the open failed we do not want to call close.
 304                  */
 305                 if (fp) {
 306                         fp->f_data = NULL;
 307                         fp->f_ops = &badfileops;
 308                 }
 309                 goto bad;
 310         }
 311         if (fmode & FWRITE)
 312                 vp->v_writecount++;
 313
 314         /*
 315          * Make sure that a VM object is created for VMIO support.  If this
 316          * fails we have to be sure to match VOP_CLOSE's with VOP_OPEN's.
 317          * Cleanup the fp so we can just vput() the vp in 'bad'.
 318          */
 319         if (vn_canvmio(vp) == TRUE) {
 320                 if ((error = vfs_object_create(vp, td)) != 0) {
 321                         if (fp) {
 322                                 fp->f_data = NULL;
 323                                 fp->f_ops = &badfileops;
 324                         }
 325                         VOP_CLOSE(vp, fmode, td);
 326                         goto bad;
 327                 }
 328         }
 329
 330         /*
 331          * Return the vnode.  XXX needs some cleaning up.  The vnode is
 332          * only returned in the fp == NULL case, otherwise the vnode ref
 333          * is inherited by the fp and we unconditionally unlock it.
 334          */
 335         if (fp == NULL) {
 336                 nd->nl_open_vp = vp;
 337                 nd->nl_vp_fmode = fmode;
 338                 if ((nd->nl_flags & NLC_LOCKVP) == 0)
 339                         VOP_UNLOCK(vp, 0, td);
 340         } else {
 341                 VOP_UNLOCK(vp, 0, td);
 342         }
 343         return (0);
 344 bad:
 345         if (vp)
 346                 vput(vp);
 347         return (error);
 348 }
 349
 350 /*
 351  * Check for write permissions on the specified vnode.
 352  * Prototype text segments cannot be written.
 353  */
 354 int
 355 vn_writechk(vp)
 356         struct vnode *vp;
 357 {
 358
 359         /*
 360          * If there's shared text associated with
 361          * the vnode, try to free it up once.  If
 362          * we fail, we can't allow writing.
 363          */
 364         if (vp->v_flag & VTEXT)
 365                 return (ETXTBSY);
 366         return (0);
 367 }
 368
 369 /*
 370  * Vnode close call
 371  */
 372 int
 373 vn_close(struct vnode *vp, int flags, struct thread *td)
 374 {
 375         int error;
 376
 377         if (flags & FWRITE)
 378                 vp->v_writecount--;
 379         if ((error = vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, td)) == 0) {
 380                 error = VOP_CLOSE(vp, flags, td);
 381                 VOP_UNLOCK(vp, 0, td);
 382         }
 383         vrele(vp);
 384         return (error);
 385 }
 386
 387 static __inline
 388 int
 389 sequential_heuristic(struct uio *uio, struct file *fp)
 390 {
 391         /*
 392          * Sequential heuristic - detect sequential operation
 393          */
 394         if ((uio->uio_offset == 0 && fp->f_seqcount > 0) ||
 395             uio->uio_offset == fp->f_nextoff) {
 396                 int tmpseq = fp->f_seqcount;
 397                 /*
 398                  * XXX we assume that the filesystem block size is
 399                  * the default.  Not true, but still gives us a pretty
 400                  * good indicator of how sequential the read operations
 401                  * are.
 402                  */
 403                 tmpseq += (uio->uio_resid + BKVASIZE - 1) / BKVASIZE;
 404                 if (tmpseq > IO_SEQMAX)
 405                         tmpseq = IO_SEQMAX;
 406                 fp->f_seqcount = tmpseq;
 407                 return(fp->f_seqcount << IO_SEQSHIFT);
 408         }
 409
 410         /*
 411          * Not sequential, quick draw-down of seqcount
 412          */
 413         if (fp->f_seqcount > 1)
 414                 fp->f_seqcount = 1;
 415         else
 416                 fp->f_seqcount = 0;
 417         return(0);
 418 }
 419
 420 /*
 421  * Package up an I/O request on a vnode into a uio and do it.
 422  */
 423 int
 424 vn_rdwr(rw, vp, base, len, offset, segflg, ioflg, cred, aresid, td)
 425         enum uio_rw rw;
 426         struct vnode *vp;
 427         caddr_t base;
 428         int len;
 429         off_t offset;
 430         enum uio_seg segflg;
 431         int ioflg;
 432         struct ucred *cred;
 433         int *aresid;
 434         struct thread *td;
 435 {
 436         struct uio auio;
 437         struct iovec aiov;
 438         int error;
 439
 440         if ((ioflg & IO_NODELOCKED) == 0)
 441                 vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, td);
 442         auio.uio_iov = &aiov;
 443         auio.uio_iovcnt = 1;
 444         aiov.iov_base = base;
 445         aiov.iov_len = len;
 446         auio.uio_resid = len;
 447         auio.uio_offset = offset;
 448         auio.uio_segflg = segflg;
 449         auio.uio_rw = rw;
 450         auio.uio_td = td;
 451         if (rw == UIO_READ) {
 452                 error = VOP_READ(vp, &auio, ioflg, cred);
 453         } else {
 454                 error = VOP_WRITE(vp, &auio, ioflg, cred);
 455         }
 456         if (aresid)
 457                 *aresid = auio.uio_resid;
 458         else
 459                 if (auio.uio_resid && error == 0)
 460                         error = EIO;
 461         if ((ioflg & IO_NODELOCKED) == 0)
 462                 VOP_UNLOCK(vp, 0, td);
 463         return (error);
 464 }
 465
 466 /*
 467  * Package up an I/O request on a vnode into a uio and do it.  The I/O
 468  * request is split up into smaller chunks and we try to avoid saturating
 469  * the buffer cache while potentially holding a vnode locked, so we
 470  * check bwillwrite() before calling vn_rdwr().  We also call uio_yield()
 471  * to give other processes a chance to lock the vnode (either other processes
 472  * core'ing the same binary, or unrelated processes scanning the directory).
 473  */
 474 int
 475 vn_rdwr_inchunks(rw, vp, base, len, offset, segflg, ioflg, cred, aresid, td)
 476         enum uio_rw rw;
 477         struct vnode *vp;
 478         caddr_t base;
 479         int len;
 480         off_t offset;
 481         enum uio_seg segflg;
 482         int ioflg;
 483         struct ucred *cred;
 484         int *aresid;
 485         struct thread *td;
 486 {
 487         int error = 0;
 488
 489         do {
 490                 int chunk;
 491
 492                 /*
 493                  * Force `offset' to a multiple of MAXBSIZE except possibly
 494                  * for the first chunk, so that filesystems only need to
 495                  * write full blocks except possibly for the first and last
 496                  * chunks.
 497                  */
 498                 chunk = MAXBSIZE - (uoff_t)offset % MAXBSIZE;
 499
 500                 if (chunk > len)
 501                         chunk = len;
 502                 if (rw != UIO_READ && vp->v_type == VREG)
 503                         bwillwrite();
 504                 error = vn_rdwr(rw, vp, base, chunk, offset, segflg,
 505                             ioflg, cred, aresid, td);
 506                 len -= chunk;   /* aresid calc already includes length */
 507                 if (error)
 508                         break;
 509                 offset += chunk;
 510                 base += chunk;
 511                 uio_yield();
 512         } while (len);
 513         if (aresid)
 514                 *aresid += len;
 515         return (error);
 516 }
 517
 518 /*
 519  * File table vnode read routine.
 520  */
 521 static int
 522 vn_read(fp, uio, cred, flags, td)
 523         struct file *fp;
 524         struct uio *uio;
 525         struct ucred *cred;
 526         struct thread *td;
 527         int flags;
 528 {
 529         struct vnode *vp;
 530         int error, ioflag;
 531
 532         KASSERT(uio->uio_td == td, ("uio_td %p is not td %p", uio->uio_td, td));
 533         vp = (struct vnode *)fp->f_data;
 534         ioflag = 0;
 535         if (fp->f_flag & FNONBLOCK)
 536                 ioflag |= IO_NDELAY;
 537         if (fp->f_flag & O_DIRECT)
 538                 ioflag |= IO_DIRECT;
 539         vn_lock(vp, LK_SHARED | LK_NOPAUSE | LK_RETRY, td);
 540         if ((flags & FOF_OFFSET) == 0)
 541                 uio->uio_offset = fp->f_offset;
 542
 543         ioflag |= sequential_heuristic(uio, fp);
 544
 545         error = VOP_READ(vp, uio, ioflag, cred);
 546         if ((flags & FOF_OFFSET) == 0)
 547                 fp->f_offset = uio->uio_offset;
 548         fp->f_nextoff = uio->uio_offset;
 549         VOP_UNLOCK(vp, 0, td);
 550         return (error);
 551 }
 552
 553 /*
 554  * Device-optimized file table vnode read routine.
 555  *
 556  * This bypasses the VOP table and talks directly to the device.  Most
 557  * filesystems just route to specfs and can make this optimization.
 558  */
 559 static int
 560 svn_read(fp, uio, cred, flags, td)
 561         struct file *fp;
 562         struct uio *uio;
 563         struct ucred *cred;
 564         struct thread *td;
 565         int flags;
 566 {
 567         struct vnode *vp;
 568         int ioflag;
 569         int error;
 570         dev_t dev;
 571
 572         KASSERT(uio->uio_td == td, ("uio_td %p is not td %p", uio->uio_td, td));
 573
 574         vp = (struct vnode *)fp->f_data;
 575         if (vp == NULL || vp->v_type == VBAD)
 576                 return (EBADF);
 577
 578         if ((dev = vp->v_rdev) == NULL)
 579                 return (EBADF);
 580         reference_dev(dev);
 581
 582         if (uio->uio_resid == 0)
 583                 return (0);
 584         if ((flags & FOF_OFFSET) == 0)
 585                 uio->uio_offset = fp->f_offset;
 586
 587         ioflag = 0;
 588         if (fp->f_flag & FNONBLOCK)
 589                 ioflag |= IO_NDELAY;
 590         if (fp->f_flag & O_DIRECT)
 591                 ioflag |= IO_DIRECT;
 592         ioflag |= sequential_heuristic(uio, fp);
 593
 594         error = dev_dread(dev, uio, ioflag);
 595
 596         release_dev(dev);
 597         if ((flags & FOF_OFFSET) == 0)
 598                 fp->f_offset = uio->uio_offset;
 599         fp->f_nextoff = uio->uio_offset;
 600         return (error);
 601 }
 602
 603 /*
 604  * File table vnode write routine.
 605  */
 606 static int
 607 vn_write(fp, uio, cred, flags, td)
 608         struct file *fp;
 609         struct uio *uio;
 610         struct ucred *cred;
 611         struct thread *td;
 612         int flags;
 613 {
 614         struct vnode *vp;
 615         int error, ioflag;
 616
 617         KASSERT(uio->uio_td == td, ("uio_procp %p is not p %p",
 618             uio->uio_td, td));
 619         vp = (struct vnode *)fp->f_data;
 620         if (vp->v_type == VREG)
 621                 bwillwrite();
 622         vp = (struct vnode *)fp->f_data;        /* XXX needed? */
 623         ioflag = IO_UNIT;
 624         if (vp->v_type == VREG && (fp->f_flag & O_APPEND))
 625                 ioflag |= IO_APPEND;
 626         if (fp->f_flag & FNONBLOCK)
 627                 ioflag |= IO_NDELAY;
 628         if (fp->f_flag & O_DIRECT)
 629                 ioflag |= IO_DIRECT;
 630         if ((fp->f_flag & O_FSYNC) ||
 631             (vp->v_mount && (vp->v_mount->mnt_flag & MNT_SYNCHRONOUS)))
 632                 ioflag |= IO_SYNC;
 633         vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, td);
 634         if ((flags & FOF_OFFSET) == 0)
 635                 uio->uio_offset = fp->f_offset;
 636         ioflag |= sequential_heuristic(uio, fp);
 637         error = VOP_WRITE(vp, uio, ioflag, cred);
 638         if ((flags & FOF_OFFSET) == 0)
 639                 fp->f_offset = uio->uio_offset;
 640         fp->f_nextoff = uio->uio_offset;
 641         VOP_UNLOCK(vp, 0, td);
 642         return (error);
 643 }
 644
 645 /*
 646  * Device-optimized file table vnode write routine.
 647  *
 648  * This bypasses the VOP table and talks directly to the device.  Most
 649  * filesystems just route to specfs and can make this optimization.
 650  */
 651 static int
 652 svn_write(fp, uio, cred, flags, td)
 653         struct file *fp;
 654         struct uio *uio;
 655         struct ucred *cred;
 656         struct thread *td;
 657         int flags;
 658 {
 659         struct vnode *vp;
 660         int ioflag;
 661         int error;
 662         dev_t dev;
 663
 664         KASSERT(uio->uio_td == td, ("uio_procp %p is not p %p",
 665             uio->uio_td, td));
 666
 667         vp = (struct vnode *)fp->f_data;
 668         if (vp == NULL || vp->v_type == VBAD)
 669                 return (EBADF);
 670         if (vp->v_type == VREG)
 671                 bwillwrite();
 672         vp = (struct vnode *)fp->f_data;        /* XXX needed? */
 673
 674         if ((dev = vp->v_rdev) == NULL)
 675                 return (EBADF);
 676         reference_dev(dev);
 677
 678         if ((flags & FOF_OFFSET) == 0)
 679                 uio->uio_offset = fp->f_offset;
 680
 681         ioflag = IO_UNIT;
 682         if (vp->v_type == VREG && (fp->f_flag & O_APPEND))
 683                 ioflag |= IO_APPEND;
 684         if (fp->f_flag & FNONBLOCK)
 685                 ioflag |= IO_NDELAY;
 686         if (fp->f_flag & O_DIRECT)
 687                 ioflag |= IO_DIRECT;
 688         if ((fp->f_flag & O_FSYNC) ||
 689             (vp->v_mount && (vp->v_mount->mnt_flag & MNT_SYNCHRONOUS)))
 690                 ioflag |= IO_SYNC;
 691         ioflag |= sequential_heuristic(uio, fp);
 692
 693         error = dev_dwrite(dev, uio, ioflag);
 694
 695         release_dev(dev);
 696         if ((flags & FOF_OFFSET) == 0)
 697                 fp->f_offset = uio->uio_offset;
 698         fp->f_nextoff = uio->uio_offset;
 699
 700         return (error);
 701 }
 702
 703 /*
 704  * File table vnode stat routine.
 705  */
 706 static int
 707 vn_statfile(struct file *fp, struct stat *sb, struct thread *td)
 708 {
 709         struct vnode *vp = (struct vnode *)fp->f_data;
 710
 711         return vn_stat(vp, sb, td);
 712 }
 713
 714 int
 715 vn_stat(struct vnode *vp, struct stat *sb, struct thread *td)
 716 {
 717         struct vattr vattr;
 718         struct vattr *vap;
 719         int error;
 720         u_short mode;
 721         dev_t dev;
 722
 723         vap = &vattr;
 724         error = VOP_GETATTR(vp, vap, td);
 725         if (error)
 726                 return (error);
 727
 728         /*
 729          * Zero the spare stat fields
 730          */
 731         sb->st_lspare = 0;
 732         sb->st_qspare = 0;
 733
 734         /*
 735          * Copy from vattr table
 736          */
 737         if (vap->va_fsid != VNOVAL)
 738                 sb->st_dev = vap->va_fsid;
 739         else
 740                 sb->st_dev = vp->v_mount->mnt_stat.f_fsid.val[0];
 741         sb->st_ino = vap->va_fileid;
 742         mode = vap->va_mode;
 743         switch (vap->va_type) {
 744         case VREG:
 745                 mode |= S_IFREG;
 746                 break;
 747         case VDIR:
 748                 mode |= S_IFDIR;
 749                 break;
 750         case VBLK:
 751                 mode |= S_IFBLK;
 752                 break;
 753         case VCHR:
 754                 mode |= S_IFCHR;
 755                 break;
 756         case VLNK:
 757                 mode |= S_IFLNK;
 758                 /* This is a cosmetic change, symlinks do not have a mode. */
 759                 if (vp->v_mount->mnt_flag & MNT_NOSYMFOLLOW)
 760                         sb->st_mode &= ~ACCESSPERMS;    /* 0000 */
 761                 else
 762                         sb->st_mode |= ACCESSPERMS;     /* 0777 */
 763                 break;
 764         case VSOCK:
 765                 mode |= S_IFSOCK;
 766                 break;
 767         case VFIFO:
 768                 mode |= S_IFIFO;
 769                 break;
 770         default:
 771                 return (EBADF);
 772         };
 773         sb->st_mode = mode;
 774         sb->st_nlink = vap->va_nlink;
 775         sb->st_uid = vap->va_uid;
 776         sb->st_gid = vap->va_gid;
 777         sb->st_rdev = vap->va_rdev;
 778         sb->st_size = vap->va_size;
 779         sb->st_atimespec = vap->va_atime;
 780         sb->st_mtimespec = vap->va_mtime;
 781         sb->st_ctimespec = vap->va_ctime;
 782
 783         /*
 784          * A VCHR and VBLK device may track the last access and last modified
 785          * time independantly of the filesystem.  This is particularly true
 786          * because device read and write calls may bypass the filesystem.
 787          */
 788         if (vp->v_type == VCHR || vp->v_type == VBLK) {
 789                 if ((dev = vp->v_rdev) != NULL) {
 790                         if (dev->si_lastread) {
 791                                 sb->st_atimespec.tv_sec = dev->si_lastread;
 792                                 sb->st_atimespec.tv_nsec = 0;
 793                         }
 794                         if (dev->si_lastwrite) {
 795                                 sb->st_atimespec.tv_sec = dev->si_lastwrite;
 796                                 sb->st_atimespec.tv_nsec = 0;
 797                         }
 798                 }
 799         }
 800
 801         /*
 802          * According to www.opengroup.org, the meaning of st_blksize is
 803          *   "a filesystem-specific preferred I/O block size for this
 804          *    object.  In some filesystem types, this may vary from file
 805          *    to file"
 806          * Default to PAGE_SIZE after much discussion.
 807          */
 808
 809         if (vap->va_type == VREG) {
 810                 sb->st_blksize = vap->va_blocksize;
 811         } else if (vn_isdisk(vp, NULL)) {
 812                 /*
 813                  * XXX this is broken.  If the device is not yet open (aka
 814                  * stat() call, aka v_rdev == NULL), how are we supposed
 815                  * to get a valid block size out of it?
 816                  */
 817                 dev_t dev;
 818
 819                 if ((dev = vp->v_rdev) == NULL)
 820                         dev = udev2dev(vp->v_udev, vp->v_type == VBLK);
 821                 sb->st_blksize = dev->si_bsize_best;
 822                 if (sb->st_blksize < dev->si_bsize_phys)
 823                         sb->st_blksize = dev->si_bsize_phys;
 824                 if (sb->st_blksize < BLKDEV_IOSIZE)
 825                         sb->st_blksize = BLKDEV_IOSIZE;
 826         } else {
 827                 sb->st_blksize = PAGE_SIZE;
 828         }
 829
 830         sb->st_flags = vap->va_flags;
 831         if (suser(td))
 832                 sb->st_gen = 0;
 833         else
 834                 sb->st_gen = vap->va_gen;
 835
 836 #if (S_BLKSIZE == 512)
 837         /* Optimize this case */
 838         sb->st_blocks = vap->va_bytes >> 9;
 839 #else
 840         sb->st_blocks = vap->va_bytes / S_BLKSIZE;
 841 #endif
 842         sb->st_fsmid = vap->va_fsmid;
 843         return (0);
 844 }
 845
 846 /*
 847  * File table vnode ioctl routine.
 848  */
 849 static int
 850 vn_ioctl(struct file *fp, u_long com, caddr_t data, struct thread *td)
 851 {
 852         struct vnode *vp = ((struct vnode *)fp->f_data);
 853         struct vnode *ovp;
 854         struct ucred *ucred;
 855         struct vattr vattr;
 856         int error;
 857
 858         KKASSERT(td->td_proc != NULL);
 859         ucred = td->td_proc->p_ucred;
 860
 861         switch (vp->v_type) {
 862         case VREG:
 863         case VDIR:
 864                 if (com == FIONREAD) {
 865                         error = VOP_GETATTR(vp, &vattr, td);
 866                         if (error)
 867                                 return (error);
 868                         *(int *)data = vattr.va_size - fp->f_offset;
 869                         return (0);
 870                 }
 871                 if (com == FIONBIO || com == FIOASYNC)  /* XXX */
 872                         return (0);                     /* XXX */
 873                 /* fall into ... */
 874         default:
 875 #if 0
 876                 return (ENOTTY);
 877 #endif
 878         case VFIFO:
 879         case VCHR:
 880         case VBLK:
 881                 if (com == FIODTYPE) {
 882                         if (vp->v_type != VCHR && vp->v_type != VBLK)
 883                                 return (ENOTTY);
 884                         *(int *)data = dev_dflags(vp->v_rdev) & D_TYPEMASK;
 885                         return (0);
 886                 }
 887                 error = VOP_IOCTL(vp, com, data, fp->f_flag, ucred, td);
 888                 if (error == 0 && com == TIOCSCTTY) {
 889                         struct session *sess = td->td_proc->p_session;
 890
 891                         /* Do nothing if reassigning same control tty */
 892                         if (sess->s_ttyvp == vp)
 893                                 return (0);
 894
 895                         /* Get rid of reference to old control tty */
 896                         ovp = sess->s_ttyvp;
 897                         vref(vp);
 898                         sess->s_ttyvp = vp;
 899                         if (ovp)
 900                                 vrele(ovp);
 901                 }
 902                 return (error);
 903         }
 904 }
 905
 906 /*
 907  * File table vnode poll routine.
 908  */
 909 static int
 910 vn_poll(struct file *fp, int events, struct ucred *cred, struct thread *td)
 911 {
 912         return (VOP_POLL(((struct vnode *)fp->f_data), events, cred, td));
 913 }
 914
 915 /*
 916  * Check that the vnode is still valid, and if so
 917  * acquire requested lock.
 918  */
 919 int
 920 #ifndef DEBUG_LOCKS
 921 vn_lock(struct vnode *vp, int flags, struct thread *td)
 922 #else
 923 debug_vn_lock(struct vnode *vp, int flags, struct thread *td,
 924                 const char *filename, int line)
 925 #endif
 926 {
 927         int error;
 928
 929         do {
 930 #ifdef  DEBUG_LOCKS
 931                 vp->filename = filename;
 932                 vp->line = line;
 933 #endif
 934                 error = VOP_LOCK(vp, flags | LK_NOPAUSE, td);
 935                 if (error == 0)
 936                         break;
 937         } while (flags & LK_RETRY);
 938
 939         /*
 940          * Because we (had better!) have a ref on the vnode, once it
 941          * goes to VRECLAIMED state it will not be recycled until all
 942          * refs go away.  So we can just check the flag.
 943          */
 944         if (error == 0 && (vp->v_flag & VRECLAIMED)) {
 945                 VOP_UNLOCK(vp, 0, td);
 946                 error = ENOENT;
 947         }
 948         return (error);
 949 }
 950
 951 /*
 952  * File table vnode close routine.
 953  */
 954 static int
 955 vn_closefile(struct file *fp, struct thread *td)
 956 {
 957         int err;
 958
 959         fp->f_ops = &badfileops;
 960         err = vn_close(((struct vnode *)fp->f_data), fp->f_flag, td);
 961         return(err);
 962 }
 963
 964 static int
 965 vn_kqfilter(struct file *fp, struct knote *kn)
 966 {
 967
 968         return (VOP_KQFILTER(((struct vnode *)fp->f_data), kn));
 969 }