kernel - Fix cpu/token starvation, vfs_busy deadlocks. incls sysctl
[dragonfly.git] / sys / kern / vfs_nlookup.c
1 /*
2  * Copyright (c) 2004 The DragonFly Project.  All rights reserved.
3  * 
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@backplane.com>
6  * 
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in
15  *    the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of The DragonFly Project nor the names of its
18  *    contributors may be used to endorse or promote products derived
19  *    from this software without specific, prior written permission.
20  * 
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  */
34 /*
35  * nlookup() is the 'new' namei interface.  Rather then return directory and
36  * leaf vnodes (in various lock states) the new interface instead deals in
37  * namecache records.  Namecache records may represent both a positive or
38  * a negative hit.  The namespace is locked via the namecache record instead
39  * of via the vnode, and only the leaf namecache record (representing the
40  * filename) needs to be locked.
41  *
42  * This greatly improves filesystem parallelism and is a huge simplification
43  * of the API verses the old vnode locking / namei scheme.
44  *
45  * Filesystems must actively control the caching aspects of the namecache,
46  * and since namecache pointers are used as handles they are non-optional
47  * even for filesystems which do not generally wish to cache things.  It is
48  * intended that a separate cache coherency API will be constructed to handle
49  * these issues.
50  */
51
52 #include "opt_ktrace.h"
53
54 #include <sys/param.h>
55 #include <sys/systm.h>
56 #include <sys/kernel.h>
57 #include <sys/vnode.h>
58 #include <sys/mount.h>
59 #include <sys/filedesc.h>
60 #include <sys/proc.h>
61 #include <sys/namei.h>
62 #include <sys/nlookup.h>
63 #include <sys/malloc.h>
64 #include <sys/stat.h>
65 #include <sys/objcache.h>
66 #include <sys/file.h>
67
68 #ifdef KTRACE
69 #include <sys/ktrace.h>
70 #endif
71
72 static int naccess(struct nchandle *nch, int vmode, struct ucred *cred,
73                 int *stickyp);
74
75 /*
76  * Initialize a nlookup() structure, early error return for copyin faults
77  * or a degenerate empty string (which is not allowed).
78  *
79  * The first process proc0's credentials are used if the calling thread
80  * is not associated with a process context.
81  *
82  * MPSAFE
83  */
84 int
85 nlookup_init(struct nlookupdata *nd, 
86              const char *path, enum uio_seg seg, int flags)
87 {
88     size_t pathlen;
89     struct proc *p;
90     thread_t td;
91     int error;
92
93     td = curthread;
94     p = td->td_proc;
95
96     /*
97      * note: the pathlen set by copy*str() includes the terminating \0.
98      */
99     bzero(nd, sizeof(struct nlookupdata));
100     nd->nl_path = objcache_get(namei_oc, M_WAITOK);
101     nd->nl_flags |= NLC_HASBUF;
102     if (seg == UIO_SYSSPACE) 
103         error = copystr(path, nd->nl_path, MAXPATHLEN, &pathlen);
104     else
105         error = copyinstr(path, nd->nl_path, MAXPATHLEN, &pathlen);
106
107     /*
108      * Don't allow empty pathnames.
109      * POSIX.1 requirement: "" is not a vaild file name.
110      */
111     if (error == 0 && pathlen <= 1)
112         error = ENOENT;
113
114     if (error == 0) {
115         if (p && p->p_fd) {
116             cache_copy(&p->p_fd->fd_ncdir, &nd->nl_nch);
117             cache_copy(&p->p_fd->fd_nrdir, &nd->nl_rootnch);
118             if (p->p_fd->fd_njdir.ncp)
119                 cache_copy(&p->p_fd->fd_njdir, &nd->nl_jailnch);
120             nd->nl_cred = crhold(p->p_ucred);
121         } else {
122             cache_copy(&rootnch, &nd->nl_nch);
123             cache_copy(&nd->nl_nch, &nd->nl_rootnch);
124             cache_copy(&nd->nl_nch, &nd->nl_jailnch);
125             nd->nl_cred = crhold(proc0.p_ucred);
126         }
127         nd->nl_td = td;
128         nd->nl_flags |= flags;
129     } else {
130         nlookup_done(nd);
131     }
132     return(error);
133 }
134
135
136 /*
137  * nlookup_init() for "at" family of syscalls.
138  *
139  * Works similarly to nlookup_init() but if path is relative and fd is not
140  * AT_FDCWD, path is interpreted relative to the directory pointed to by fd.
141  * In this case, the file entry pointed to by fd is ref'ed and returned in
142  * *fpp. 
143  *
144  * If the call succeeds, nlookup_done_at() must be called to clean-up the nd
145  * and release the ref to the file entry.
146  */
147 int
148 nlookup_init_at(struct nlookupdata *nd, struct file **fpp, int fd, 
149                 const char *path, enum uio_seg seg, int flags)
150 {
151         struct thread *td = curthread;
152         struct proc *p = td->td_proc;
153         struct file* fp;
154         struct vnode *vp;
155         int error;
156
157         *fpp = NULL;
158
159         if  ((error = nlookup_init(nd, path, seg, flags)) != 0) {
160                 return (error);
161         }
162
163         if (nd->nl_path[0] != '/' && fd != AT_FDCWD) {
164                 if ((error = holdvnode(p->p_fd, fd, &fp)) != 0)
165                         goto done;
166                 vp = (struct vnode*)fp->f_data;
167                 if (vp->v_type != VDIR || fp->f_nchandle.ncp == NULL) {
168                         fdrop(fp);
169                         fp = NULL;
170                         error = ENOTDIR;
171                         goto done;
172                 }
173                 cache_drop(&nd->nl_nch);
174                 cache_copy(&fp->f_nchandle, &nd->nl_nch);
175                 *fpp = fp;
176         }
177
178
179 done:
180         if (error)
181                 nlookup_done(nd);
182         return (error);
183
184 }
185
186 /*
187  * This works similarly to nlookup_init() but does not assume a process
188  * context.  rootnch is always chosen for the root directory and the cred
189  * and starting directory are supplied in arguments.
190  */
191 int
192 nlookup_init_raw(struct nlookupdata *nd, 
193              const char *path, enum uio_seg seg, int flags,
194              struct ucred *cred, struct nchandle *ncstart)
195 {
196     size_t pathlen;
197     thread_t td;
198     int error;
199
200     td = curthread;
201
202     bzero(nd, sizeof(struct nlookupdata));
203     nd->nl_path = objcache_get(namei_oc, M_WAITOK);
204     nd->nl_flags |= NLC_HASBUF;
205     if (seg == UIO_SYSSPACE) 
206         error = copystr(path, nd->nl_path, MAXPATHLEN, &pathlen);
207     else
208         error = copyinstr(path, nd->nl_path, MAXPATHLEN, &pathlen);
209
210     /*
211      * Don't allow empty pathnames.
212      * POSIX.1 requirement: "" is not a vaild file name.
213      */
214     if (error == 0 && pathlen <= 1)
215         error = ENOENT;
216
217     if (error == 0) {
218         cache_copy(ncstart, &nd->nl_nch);
219         cache_copy(&rootnch, &nd->nl_rootnch);
220         cache_copy(&rootnch, &nd->nl_jailnch);
221         nd->nl_cred = crhold(cred);
222         nd->nl_td = td;
223         nd->nl_flags |= flags;
224     } else {
225         nlookup_done(nd);
226     }
227     return(error);
228 }
229
230 /*
231  * This works similarly to nlookup_init_raw() but does not rely
232  * on rootnch being initialized yet.
233  */
234 int
235 nlookup_init_root(struct nlookupdata *nd, 
236              const char *path, enum uio_seg seg, int flags,
237              struct ucred *cred, struct nchandle *ncstart,
238              struct nchandle *ncroot)
239 {
240     size_t pathlen;
241     thread_t td;
242     int error;
243
244     td = curthread;
245
246     bzero(nd, sizeof(struct nlookupdata));
247     nd->nl_path = objcache_get(namei_oc, M_WAITOK);
248     nd->nl_flags |= NLC_HASBUF;
249     if (seg == UIO_SYSSPACE) 
250         error = copystr(path, nd->nl_path, MAXPATHLEN, &pathlen);
251     else
252         error = copyinstr(path, nd->nl_path, MAXPATHLEN, &pathlen);
253
254     /*
255      * Don't allow empty pathnames.
256      * POSIX.1 requirement: "" is not a vaild file name.
257      */
258     if (error == 0 && pathlen <= 1)
259         error = ENOENT;
260
261     if (error == 0) {
262         cache_copy(ncstart, &nd->nl_nch);
263         cache_copy(ncroot, &nd->nl_rootnch);
264         cache_copy(ncroot, &nd->nl_jailnch);
265         nd->nl_cred = crhold(cred);
266         nd->nl_td = td;
267         nd->nl_flags |= flags;
268     } else {
269         nlookup_done(nd);
270     }
271     return(error);
272 }
273
274 /*
275  * Set a different credential; this credential will be used by future
276  * operations performed on nd.nl_open_vp and nlookupdata structure.
277  */
278 void
279 nlookup_set_cred(struct nlookupdata *nd, struct ucred *cred)
280 {
281         KKASSERT(nd->nl_cred != NULL);
282
283         if (nd->nl_cred != cred) {
284                 cred = crhold(cred);
285                 crfree(nd->nl_cred);
286                 nd->nl_cred = cred;
287         }
288 }
289
290 /*
291  * Cleanup a nlookupdata structure after we are through with it.  This may
292  * be called on any nlookupdata structure initialized with nlookup_init().
293  * Calling nlookup_done() is mandatory in all cases except where nlookup_init()
294  * returns an error, even if as a consumer you believe you have taken all
295  * dynamic elements out of the nlookupdata structure.
296  */
297 void
298 nlookup_done(struct nlookupdata *nd)
299 {
300     if (nd->nl_nch.ncp) {
301         if (nd->nl_flags & NLC_NCPISLOCKED) {
302             nd->nl_flags &= ~NLC_NCPISLOCKED;
303             cache_unlock(&nd->nl_nch);
304         }
305         cache_drop(&nd->nl_nch);        /* NULL's out the nch */
306     }
307     if (nd->nl_rootnch.ncp)
308         cache_drop(&nd->nl_rootnch);
309     if (nd->nl_jailnch.ncp)
310         cache_drop(&nd->nl_jailnch);
311     if ((nd->nl_flags & NLC_HASBUF) && nd->nl_path) {
312         objcache_put(namei_oc, nd->nl_path);
313         nd->nl_path = NULL;
314     }
315     if (nd->nl_cred) {
316         crfree(nd->nl_cred);
317         nd->nl_cred = NULL;
318     }
319     if (nd->nl_open_vp) {
320         if (nd->nl_flags & NLC_LOCKVP) {
321                 vn_unlock(nd->nl_open_vp);
322                 nd->nl_flags &= ~NLC_LOCKVP;
323         }
324         vn_close(nd->nl_open_vp, nd->nl_vp_fmode);
325         nd->nl_open_vp = NULL;
326     }
327     if (nd->nl_dvp) {
328         vrele(nd->nl_dvp);
329         nd->nl_dvp = NULL;
330     }
331     nd->nl_flags = 0;   /* clear remaining flags (just clear everything) */
332 }
333
334 /*
335  * Works similarly to nlookup_done() when nd initialized with
336  * nlookup_init_at().
337  */
338 void
339 nlookup_done_at(struct nlookupdata *nd, struct file *fp)
340 {
341         nlookup_done(nd);
342         if (fp != NULL)
343                 fdrop(fp);
344 }
345
346 void
347 nlookup_zero(struct nlookupdata *nd)
348 {
349         bzero(nd, sizeof(struct nlookupdata));
350 }
351
352 /*
353  * Simple all-in-one nlookup.  Returns a locked namecache structure or NULL
354  * if an error occured. 
355  *
356  * Note that the returned ncp is not checked for permissions, though VEXEC
357  * is checked on the directory path leading up to the result.  The caller
358  * must call naccess() to check the permissions of the returned leaf.
359  */
360 struct nchandle
361 nlookup_simple(const char *str, enum uio_seg seg,
362                int niflags, int *error)
363 {
364     struct nlookupdata nd;
365     struct nchandle nch;
366
367     *error = nlookup_init(&nd, str, seg, niflags);
368     if (*error == 0) {
369             if ((*error = nlookup(&nd)) == 0) {
370                     nch = nd.nl_nch;    /* keep hold ref from structure */
371                     cache_zero(&nd.nl_nch); /* and NULL out */
372             } else {
373                     cache_zero(&nch);
374             }
375             nlookup_done(&nd);
376     } else {
377             cache_zero(&nch);
378     }
379     return(nch);
380 }
381
382 /*
383  * Do a generic nlookup.  Note that the passed nd is not nlookup_done()'d
384  * on return, even if an error occurs.  If no error occurs the returned
385  * nl_nch is always referenced and locked, otherwise it may or may not be.
386  *
387  * Intermediate directory elements, including the current directory, require
388  * execute (search) permission.  nlookup does not examine the access 
389  * permissions on the returned element.
390  *
391  * If NLC_CREATE is set the last directory must allow node creation,
392  * and an error code of 0 will be returned for a non-existant
393  * target (not ENOENT).
394  *
395  * If NLC_RENAME_DST is set the last directory mut allow node deletion,
396  * plus the sticky check is made, and an error code of 0 will be returned
397  * for a non-existant target (not ENOENT).
398  *
399  * If NLC_DELETE is set the last directory mut allow node deletion,
400  * plus the sticky check is made.
401  *
402  * If NLC_REFDVP is set nd->nl_dvp will be set to the directory vnode
403  * of the returned entry.  The vnode will be referenced, but not locked,
404  * and will be released by nlookup_done() along with everything else.
405  */
406 int
407 nlookup(struct nlookupdata *nd)
408 {
409     globaldata_t gd = mycpu;
410     struct nlcomponent nlc;
411     struct nchandle nch;
412     struct nchandle par;
413     struct nchandle nctmp;
414     struct mount *mp;
415     struct vnode *hvp;          /* hold to prevent recyclement */
416     int wasdotordotdot;
417     char *ptr;
418     char *xptr;
419     int error;
420     int len;
421     int dflags;
422     int hit = 1;
423
424 #ifdef KTRACE
425     if (KTRPOINT(nd->nl_td, KTR_NAMEI))
426         ktrnamei(nd->nl_td->td_lwp, nd->nl_path);
427 #endif
428     bzero(&nlc, sizeof(nlc));
429
430     /*
431      * Setup for the loop.  The current working namecache element is
432      * always at least referenced.  We lock it as required, but always
433      * return a locked, resolved namecache entry.
434      */
435     nd->nl_loopcnt = 0;
436     if (nd->nl_dvp) {
437         vrele(nd->nl_dvp);
438         nd->nl_dvp = NULL;
439     }
440     ptr = nd->nl_path;
441
442     /*
443      * Loop on the path components.  At the top of the loop nd->nl_nch
444      * is ref'd and unlocked and represents our current position.
445      */
446     for (;;) {
447         /*
448          * Make sure nl_nch is locked so we can access the vnode, resolution
449          * state, etc.
450          */
451         if ((nd->nl_flags & NLC_NCPISLOCKED) == 0) {
452                 nd->nl_flags |= NLC_NCPISLOCKED;
453                 cache_lock(&nd->nl_nch);
454         }
455
456         /*
457          * Check if the root directory should replace the current
458          * directory.  This is done at the start of a translation
459          * or after a symbolic link has been found.  In other cases
460          * ptr will never be pointing at a '/'.
461          */
462         if (*ptr == '/') {
463             do {
464                 ++ptr;
465             } while (*ptr == '/');
466             cache_get(&nd->nl_rootnch, &nch);
467             cache_put(&nd->nl_nch);
468             nd->nl_nch = nch;           /* remains locked */
469
470             /*
471              * Fast-track termination.  There is no parent directory of
472              * the root in the same mount from the point of view of
473              * the caller so return EACCES if NLC_REFDVP is specified,
474              * and EEXIST if NLC_CREATE is also specified.
475              * e.g. 'rmdir /' or 'mkdir /' are not allowed.
476              */
477             if (*ptr == 0) {
478                 if (nd->nl_flags & NLC_REFDVP)
479                         error = (nd->nl_flags & NLC_CREATE) ? EEXIST : EACCES;
480                 else
481                         error = 0;
482                 break;
483             }
484             continue;
485         }
486
487         /*
488          * Check directory search permissions.
489          */
490         dflags = 0;
491         error = naccess(&nd->nl_nch, NLC_EXEC, nd->nl_cred, &dflags);
492         if (error)
493             break;
494
495         /*
496          * Extract the path component.  Path components are limited to
497          * 255 characters.
498          */
499         nlc.nlc_nameptr = ptr;
500         while (*ptr && *ptr != '/')
501             ++ptr;
502         nlc.nlc_namelen = ptr - nlc.nlc_nameptr;
503         if (nlc.nlc_namelen >= 256) {
504             error = ENAMETOOLONG;
505             break;
506         }
507
508         /*
509          * Lookup the path component in the cache, creating an unresolved
510          * entry if necessary.  We have to handle "." and ".." as special
511          * cases.
512          *
513          * When handling ".." we have to detect a traversal back through a
514          * mount point.   If we are at the root, ".." just returns the root.
515          *
516          * When handling "." or ".." we also have to recalculate dflags
517          * since our dflags will be for some sub-directory instead of the
518          * parent dir.
519          *
520          * This subsection returns a locked, refd 'nch' unless it errors out.
521          * The namecache topology is not allowed to be disconnected, so 
522          * encountering a NULL parent will generate EINVAL.  This typically
523          * occurs when a directory is removed out from under a process.
524          */
525         if (nlc.nlc_namelen == 1 && nlc.nlc_nameptr[0] == '.') {
526             cache_get(&nd->nl_nch, &nch);
527             wasdotordotdot = 1;
528         } else if (nlc.nlc_namelen == 2 && 
529                    nlc.nlc_nameptr[0] == '.' && nlc.nlc_nameptr[1] == '.') {
530             if (nd->nl_nch.mount == nd->nl_rootnch.mount &&
531                 nd->nl_nch.ncp == nd->nl_rootnch.ncp
532             ) {
533                 /*
534                  * ".." at the root returns the root
535                  */
536                 cache_get(&nd->nl_nch, &nch);
537             } else {
538                 /*
539                  * Locate the parent ncp.  If we are at the root of a
540                  * filesystem mount we have to skip to the mounted-on
541                  * point in the underlying filesystem.
542                  *
543                  * Expect the parent to always be good since the
544                  * mountpoint doesn't go away.  XXX hack.  cache_get()
545                  * requires the ncp to already have a ref as a safety.
546                  */
547                 nctmp = nd->nl_nch;
548                 while (nctmp.ncp == nctmp.mount->mnt_ncmountpt.ncp)
549                         nctmp = nctmp.mount->mnt_ncmounton;
550                 nctmp.ncp = nctmp.ncp->nc_parent;
551                 KKASSERT(nctmp.ncp != NULL);
552                 cache_hold(&nctmp);
553                 cache_get(&nctmp, &nch);
554                 cache_drop(&nctmp);             /* NOTE: zero's nctmp */
555             }
556             wasdotordotdot = 2;
557         } else {
558             /*
559              * Must unlock nl_nch when traversing down the path.  However,
560              * the child ncp has not yet been found/created and the parent's
561              * child list might be empty.  Thus releasing the lock can
562              * allow a race whereby the parent ncp's vnode is recycled.
563              * This case can occur especially when maxvnodes is set very low.
564              *
565              * We need the parent's ncp to remain resolved for all normal
566              * filesystem activities, so we vhold() the vp during the lookup
567              * to prevent recyclement due to vnlru / maxvnodes.
568              *
569              * If we race an unlink or rename the ncp might be marked
570              * DESTROYED after resolution, requiring a retry.
571              */
572             if ((hvp = nd->nl_nch.ncp->nc_vp) != NULL)
573                 vhold(hvp);
574             cache_unlock(&nd->nl_nch);
575             nd->nl_flags &= ~NLC_NCPISLOCKED;
576             nch = cache_nlookup(&nd->nl_nch, &nlc);
577             if (nch.ncp->nc_flag & NCF_UNRESOLVED)
578                 hit = 0;
579             while ((error = cache_resolve(&nch, nd->nl_cred)) == EAGAIN ||
580                 (nch.ncp->nc_flag & NCF_DESTROYED)) {
581                 kprintf("[diagnostic] nlookup: relookup %*.*s\n", 
582                         nch.ncp->nc_nlen, nch.ncp->nc_nlen, nch.ncp->nc_name);
583                 cache_put(&nch);
584                 nch = cache_nlookup(&nd->nl_nch, &nlc);
585             }
586             if (hvp)
587                 vdrop(hvp);
588             wasdotordotdot = 0;
589         }
590
591         /*
592          * If the last component was "." or ".." our dflags no longer
593          * represents the parent directory and we have to explicitly
594          * look it up.
595          *
596          * Expect the parent to be good since nch is locked.
597          */
598         if (wasdotordotdot && error == 0) {
599             dflags = 0;
600             if ((par.ncp = nch.ncp->nc_parent) != NULL) {
601                 par.mount = nch.mount;
602                 cache_hold(&par);
603                 cache_lock(&par);
604                 error = naccess(&par, 0, nd->nl_cred, &dflags);
605                 cache_put(&par);
606             }
607         }
608         if (nd->nl_flags & NLC_NCPISLOCKED) {
609             cache_unlock(&nd->nl_nch);
610             nd->nl_flags &= ~NLC_NCPISLOCKED;
611         }
612
613         /*
614          * [end of subsection]
615          *
616          * nch is locked and referenced.
617          * nd->nl_nch is unlocked and referenced.
618          *
619          * nl_nch must be unlocked or we could chain lock to the root
620          * if a resolve gets stuck (e.g. in NFS).
621          */
622
623         /*
624          * Resolve the namespace if necessary.  The ncp returned by
625          * cache_nlookup() is referenced and locked.
626          *
627          * XXX neither '.' nor '..' should return EAGAIN since they were
628          * previously resolved and thus cannot be newly created ncp's.
629          */
630         if (nch.ncp->nc_flag & NCF_UNRESOLVED) {
631             hit = 0;
632             error = cache_resolve(&nch, nd->nl_cred);
633             KKASSERT(error != EAGAIN);
634         } else {
635             error = nch.ncp->nc_error;
636         }
637
638         /*
639          * Early completion.  ENOENT is not an error if this is the last
640          * component and NLC_CREATE or NLC_RENAME (rename target) was
641          * requested.  Note that ncp->nc_error is left as ENOENT in that
642          * case, which we check later on.
643          *
644          * Also handle invalid '.' or '..' components terminating a path
645          * for a create/rename/delete.  The standard requires this and pax
646          * pretty stupidly depends on it.
647          */
648         for (xptr = ptr; *xptr == '/'; ++xptr)
649                 ;
650         if (*xptr == 0) {
651             if (error == ENOENT &&
652                 (nd->nl_flags & (NLC_CREATE | NLC_RENAME_DST))
653             ) {
654                 if (nd->nl_flags & NLC_NFS_RDONLY) {
655                         error = EROFS;
656                 } else {
657                         error = naccess(&nch, nd->nl_flags | dflags,
658                                         nd->nl_cred, NULL);
659                 }
660             }
661             if (error == 0 && wasdotordotdot &&
662                 (nd->nl_flags & (NLC_CREATE | NLC_DELETE |
663                                  NLC_RENAME_SRC | NLC_RENAME_DST))) {
664                 /*
665                  * POSIX junk
666                  */
667                 if (nd->nl_flags & NLC_CREATE)
668                         error = EEXIST;
669                 else if (nd->nl_flags & NLC_DELETE)
670                         error = (wasdotordotdot == 1) ? EINVAL : ENOTEMPTY;
671                 else
672                         error = EINVAL;
673             }
674         }
675
676         /*
677          * Early completion on error.
678          */
679         if (error) {
680             cache_put(&nch);
681             break;
682         }
683
684         /*
685          * If the element is a symlink and it is either not the last
686          * element or it is the last element and we are allowed to
687          * follow symlinks, resolve the symlink.
688          */
689         if ((nch.ncp->nc_flag & NCF_ISSYMLINK) &&
690             (*ptr || (nd->nl_flags & NLC_FOLLOW))
691         ) {
692             if (nd->nl_loopcnt++ >= MAXSYMLINKS) {
693                 error = ELOOP;
694                 cache_put(&nch);
695                 break;
696             }
697             error = nreadsymlink(nd, &nch, &nlc);
698             cache_put(&nch);
699             if (error)
700                 break;
701
702             /*
703              * Concatenate trailing path elements onto the returned symlink.
704              * Note that if the path component (ptr) is not exhausted, it
705              * will being with a '/', so we do not have to add another one.
706              *
707              * The symlink may not be empty.
708              */
709             len = strlen(ptr);
710             if (nlc.nlc_namelen == 0 || nlc.nlc_namelen + len >= MAXPATHLEN) {
711                 error = nlc.nlc_namelen ? ENAMETOOLONG : ENOENT;
712                 objcache_put(namei_oc, nlc.nlc_nameptr);
713                 break;
714             }
715             bcopy(ptr, nlc.nlc_nameptr + nlc.nlc_namelen, len + 1);
716             if (nd->nl_flags & NLC_HASBUF)
717                 objcache_put(namei_oc, nd->nl_path);
718             nd->nl_path = nlc.nlc_nameptr;
719             nd->nl_flags |= NLC_HASBUF;
720             ptr = nd->nl_path;
721
722             /*
723              * Go back up to the top to resolve any initial '/'s in the
724              * symlink.
725              */
726             continue;
727         }
728
729         /*
730          * If the element is a directory and we are crossing a mount point,
731          * Locate the mount.
732          */
733         while ((nch.ncp->nc_flag & NCF_ISMOUNTPT) && 
734             (nd->nl_flags & NLC_NOCROSSMOUNT) == 0 &&
735             (mp = cache_findmount(&nch)) != NULL
736         ) {
737             struct vnode *tdp;
738             int vfs_do_busy = 0;
739
740             /*
741              * VFS must be busied before the namecache entry is locked,
742              * but we don't want to waste time calling vfs_busy() if the
743              * mount point is already resolved.
744              */
745 again:
746             cache_put(&nch);
747             if (vfs_do_busy) {
748                 while (vfs_busy(mp, 0)) {
749                     if (mp->mnt_kern_flag & MNTK_UNMOUNT) {
750                         kprintf("nlookup: warning umount race avoided\n");
751                         cache_dropmount(mp);
752                         error = EBUSY;
753                         vfs_do_busy = 0;
754                         goto double_break;
755                     }
756                 }
757             }
758             cache_get(&mp->mnt_ncmountpt, &nch);
759
760             if (nch.ncp->nc_flag & NCF_UNRESOLVED) {
761                 if (vfs_do_busy == 0) {
762                     vfs_do_busy = 1;
763                     goto again;
764                 }
765                 error = VFS_ROOT(mp, &tdp);
766                 vfs_unbusy(mp);
767                 vfs_do_busy = 0;
768                 if (error) {
769                     cache_dropmount(mp);
770                     break;
771                 }
772                 cache_setvp(&nch, tdp);
773                 vput(tdp);
774             }
775             if (vfs_do_busy)
776                 vfs_unbusy(mp);
777             cache_dropmount(mp);
778         }
779
780 double_break:
781         if (error) {
782             cache_put(&nch);
783             break;
784         }
785             
786         /*
787          * Skip any slashes to get to the next element.  If there 
788          * are any slashes at all the current element must be a
789          * directory or, in the create case, intended to become a directory.
790          * If it isn't we break without incrementing ptr and fall through
791          * to the failure case below.
792          */
793         while (*ptr == '/') {
794             if ((nch.ncp->nc_flag & NCF_ISDIR) == 0 && 
795                 !(nd->nl_flags & NLC_WILLBEDIR)
796             ) {
797                 break;
798             }
799             ++ptr;
800         }
801
802         /*
803          * Continuation case: additional elements and the current
804          * element is a directory.
805          */
806         if (*ptr && (nch.ncp->nc_flag & NCF_ISDIR)) {
807             cache_drop(&nd->nl_nch);
808             cache_unlock(&nch);
809             KKASSERT((nd->nl_flags & NLC_NCPISLOCKED) == 0);
810             nd->nl_nch = nch;
811             continue;
812         }
813
814         /*
815          * Failure case: additional elements and the current element
816          * is not a directory
817          */
818         if (*ptr) {
819             cache_put(&nch);
820             error = ENOTDIR;
821             break;
822         }
823
824         /*
825          * Successful lookup of last element.
826          *
827          * Check permissions if the target exists.  If the target does not
828          * exist directory permissions were already tested in the early
829          * completion code above.
830          *
831          * nd->nl_flags will be adjusted on return with NLC_APPENDONLY
832          * if the file is marked append-only, and NLC_STICKY if the directory
833          * containing the file is sticky.
834          */
835         if (nch.ncp->nc_vp && (nd->nl_flags & NLC_ALLCHKS)) {
836             error = naccess(&nch, nd->nl_flags | dflags,
837                             nd->nl_cred, NULL);
838             if (error) {
839                 cache_put(&nch);
840                 break;
841             }
842         }
843
844         /*
845          * Termination: no more elements.
846          *
847          * If NLC_REFDVP is set acquire a referenced parent dvp.
848          */
849         if (nd->nl_flags & NLC_REFDVP) {
850                 cache_lock(&nd->nl_nch);
851                 error = cache_vref(&nd->nl_nch, nd->nl_cred, &nd->nl_dvp);
852                 cache_unlock(&nd->nl_nch);
853                 if (error) {
854                         kprintf("NLC_REFDVP: Cannot ref dvp of %p\n", nch.ncp);
855                         cache_put(&nch);
856                         break;
857                 }
858         }
859         cache_drop(&nd->nl_nch);
860         nd->nl_nch = nch;
861         nd->nl_flags |= NLC_NCPISLOCKED;
862         error = 0;
863         break;
864     }
865
866     if (hit)
867             ++gd->gd_nchstats->ncs_longhits;
868     else
869             ++gd->gd_nchstats->ncs_longmiss;
870
871     /*
872      * NOTE: If NLC_CREATE was set the ncp may represent a negative hit
873      * (ncp->nc_error will be ENOENT), but we will still return an error
874      * code of 0.
875      */
876     return(error);
877 }
878
879 /*
880  * Resolve a mount point's glue ncp.  This ncp connects creates the illusion
881  * of continuity in the namecache tree by connecting the ncp related to the
882  * vnode under the mount to the ncp related to the mount's root vnode.
883  *
884  * If no error occured a locked, ref'd ncp is stored in *ncpp.
885  */
886 int
887 nlookup_mp(struct mount *mp, struct nchandle *nch)
888 {
889     struct vnode *vp;
890     int error;
891
892     error = 0;
893     cache_get(&mp->mnt_ncmountpt, nch);
894     if (nch->ncp->nc_flag & NCF_UNRESOLVED) {
895         while (vfs_busy(mp, 0))
896             ;
897         error = VFS_ROOT(mp, &vp);
898         vfs_unbusy(mp);
899         if (error) {
900             cache_put(nch);
901         } else {
902             cache_setvp(nch, vp);
903             vput(vp);
904         }
905     }
906     return(error);
907 }
908
909 /*
910  * Read the contents of a symlink, allocate a path buffer out of the
911  * namei_oc and initialize the supplied nlcomponent with the result.
912  *
913  * If an error occurs no buffer will be allocated or returned in the nlc.
914  */
915 int
916 nreadsymlink(struct nlookupdata *nd, struct nchandle *nch, 
917                 struct nlcomponent *nlc)
918 {
919     struct vnode *vp;
920     struct iovec aiov;
921     struct uio auio;
922     int linklen;
923     int error;
924     char *cp;
925
926     nlc->nlc_nameptr = NULL;
927     nlc->nlc_namelen = 0;
928     if (nch->ncp->nc_vp == NULL)
929         return(ENOENT);
930     if ((error = cache_vget(nch, nd->nl_cred, LK_SHARED, &vp)) != 0)
931         return(error);
932     cp = objcache_get(namei_oc, M_WAITOK);
933     aiov.iov_base = cp;
934     aiov.iov_len = MAXPATHLEN;
935     auio.uio_iov = &aiov;
936     auio.uio_iovcnt = 1;
937     auio.uio_offset = 0;
938     auio.uio_rw = UIO_READ;
939     auio.uio_segflg = UIO_SYSSPACE;
940     auio.uio_td = nd->nl_td;
941     auio.uio_resid = MAXPATHLEN - 1;
942     error = VOP_READLINK(vp, &auio, nd->nl_cred);
943     if (error)
944         goto fail;
945     linklen = MAXPATHLEN - 1 - auio.uio_resid;
946     if (varsym_enable) {
947         linklen = varsymreplace(cp, linklen, MAXPATHLEN - 1);
948         if (linklen < 0) {
949             error = ENAMETOOLONG;
950             goto fail;
951         }
952     }
953     cp[linklen] = 0;
954     nlc->nlc_nameptr = cp;
955     nlc->nlc_namelen = linklen;
956     vput(vp);
957     return(0);
958 fail:
959     objcache_put(namei_oc, cp);
960     vput(vp);
961     return(error);
962 }
963
964 /*
965  * Check access [XXX cache vattr!] [XXX quota]
966  *
967  * Generally check the NLC_* access bits.   All specified bits must pass
968  * for this function to return 0.
969  *
970  * The file does not have to exist when checking NLC_CREATE or NLC_RENAME_DST
971  * access, otherwise it must exist.  No error is returned in this case.
972  *
973  * The file must not exist if NLC_EXCL is specified.
974  *
975  * Directory permissions in general are tested for NLC_CREATE if the file
976  * does not exist, NLC_DELETE if the file does exist, and NLC_RENAME_DST
977  * whether the file exists or not.
978  *
979  * The directory sticky bit is tested for NLC_DELETE and NLC_RENAME_DST,
980  * the latter is only tested if the target exists.
981  *
982  * The passed ncp must be referenced and locked.
983  */
984 static int
985 naccess(struct nchandle *nch, int nflags, struct ucred *cred, int *nflagsp)
986 {
987     struct vnode *vp;
988     struct vattr va;
989     struct namecache *ncp;
990     int error;
991     int cflags;
992
993     ASSERT_NCH_LOCKED(nch);
994     ncp = nch->ncp;
995     if (ncp->nc_flag & NCF_UNRESOLVED) {
996         cache_resolve(nch, cred);
997         ncp = nch->ncp;
998     }
999     error = ncp->nc_error;
1000
1001     /*
1002      * Directory permissions checks.  Silently ignore ENOENT if these
1003      * tests pass.  It isn't an error.
1004      *
1005      * We can safely resolve ncp->nc_parent because ncp is currently
1006      * locked.
1007      */
1008     if (nflags & (NLC_CREATE | NLC_DELETE | NLC_RENAME_SRC | NLC_RENAME_DST)) {
1009         if (((nflags & NLC_CREATE) && ncp->nc_vp == NULL) ||
1010             ((nflags & NLC_DELETE) && ncp->nc_vp != NULL) ||
1011             ((nflags & NLC_RENAME_SRC) && ncp->nc_vp != NULL) ||
1012             (nflags & NLC_RENAME_DST)
1013         ) {
1014             struct nchandle par;
1015
1016             if ((par.ncp = ncp->nc_parent) == NULL) {
1017                 if (error != EAGAIN)
1018                         error = EINVAL;
1019             } else if (error == 0 || error == ENOENT) {
1020                 par.mount = nch->mount;
1021                 cache_hold(&par);
1022                 cache_lock(&par);
1023                 error = naccess(&par, NLC_WRITE, cred, NULL);
1024                 cache_put(&par);
1025             }
1026         }
1027     }
1028
1029     /*
1030      * NLC_EXCL check.  Target file must not exist.
1031      */
1032     if (error == 0 && (nflags & NLC_EXCL) && ncp->nc_vp != NULL)
1033         error = EEXIST;
1034
1035     /*
1036      * Get the vnode attributes so we can do the rest of our checks.
1037      *
1038      * NOTE: We only call naccess_va() if the target exists.
1039      */
1040     if (error == 0) {
1041         error = cache_vget(nch, cred, LK_SHARED, &vp);
1042         if (error == ENOENT) {
1043             /*
1044              * Silently zero-out ENOENT if creating or renaming
1045              * (rename target).  It isn't an error.
1046              */
1047             if (nflags & (NLC_CREATE | NLC_RENAME_DST))
1048                 error = 0;
1049         } else if (error == 0) {
1050             /*
1051              * Get the vnode attributes and check for illegal O_TRUNC
1052              * requests and read-only mounts.
1053              *
1054              * NOTE: You can still open devices on read-only mounts for
1055              *       writing.
1056              *
1057              * NOTE: creates/deletes/renames are handled by the NLC_WRITE
1058              *       check on the parent directory above.
1059              *
1060              * XXX cache the va in the namecache or in the vnode
1061              */
1062             error = VOP_GETATTR(vp, &va);
1063             if (error == 0 && (nflags & NLC_TRUNCATE)) {
1064                 switch(va.va_type) {
1065                 case VREG:
1066                 case VDATABASE:
1067                 case VCHR:
1068                 case VBLK:
1069                 case VFIFO:
1070                     break;
1071                 case VDIR:
1072                     error = EISDIR;
1073                     break;
1074                 default:
1075                     error = EINVAL;
1076                     break;
1077                 }
1078             }
1079             if (error == 0 && (nflags & NLC_WRITE) && vp->v_mount &&
1080                 (vp->v_mount->mnt_flag & MNT_RDONLY)
1081             ) {
1082                 switch(va.va_type) {
1083                 case VDIR:
1084                 case VLNK:
1085                 case VREG:
1086                 case VDATABASE:
1087                     error = EROFS;
1088                     break;
1089                 default:
1090                     break;
1091                 }
1092             }
1093             vput(vp);
1094
1095             /*
1096              * Check permissions based on file attributes.  The passed
1097              * flags (*nflagsp) are modified with feedback based on
1098              * special attributes and requirements.
1099              */
1100             if (error == 0) {
1101                 /*
1102                  * Adjust the returned (*nflagsp) if non-NULL.
1103                  */
1104                 if (nflagsp) {
1105                     if ((va.va_mode & VSVTX) && va.va_uid != cred->cr_uid)
1106                         *nflagsp |= NLC_STICKY;
1107                     if (va.va_flags & APPEND)
1108                         *nflagsp |= NLC_APPENDONLY;
1109                     if (va.va_flags & IMMUTABLE)
1110                         *nflagsp |= NLC_IMMUTABLE;
1111                 }
1112
1113                 /*
1114                  * Track swapcache management flags in the namecache.
1115                  *
1116                  * Calculate the flags based on the current vattr info
1117                  * and recalculate the inherited flags from the parent
1118                  * (the original cache linkage may have occurred without
1119                  * getattrs and thus have stale flags).
1120                  */
1121                 cflags = 0;
1122                 if (va.va_flags & SF_NOCACHE)
1123                         cflags |= NCF_SF_NOCACHE;
1124                 if (va.va_flags & UF_CACHE)
1125                         cflags |= NCF_UF_CACHE;
1126                 if (ncp->nc_parent) {
1127                         if (ncp->nc_parent->nc_flag &
1128                             (NCF_SF_NOCACHE | NCF_SF_PNOCACHE)) {
1129                                 cflags |= NCF_SF_PNOCACHE;
1130                         }
1131                         if (ncp->nc_parent->nc_flag &
1132                             (NCF_UF_CACHE | NCF_UF_PCACHE)) {
1133                                 cflags |= NCF_UF_PCACHE;
1134                         }
1135                 }
1136                 ncp->nc_flag &= ~(NCF_SF_NOCACHE | NCF_UF_CACHE |
1137                                   NCF_SF_PNOCACHE | NCF_UF_PCACHE);
1138                 ncp->nc_flag |= cflags;
1139
1140                 /*
1141                  * Process general access.
1142                  */
1143                 error = naccess_va(&va, nflags, cred);
1144             }
1145         }
1146     }
1147     return(error);
1148 }
1149
1150 /*
1151  * Check the requested access against the given vattr using cred.
1152  */
1153 int
1154 naccess_va(struct vattr *va, int nflags, struct ucred *cred)
1155 {
1156     int i;
1157     int vmode;
1158
1159     /*
1160      * Test the immutable bit.  Creations, deletions, renames (source
1161      * or destination) are not allowed.  chown/chmod/other is also not
1162      * allowed but is handled by SETATTR.  Hardlinks to the immutable
1163      * file are allowed.
1164      *
1165      * If the directory is set to immutable then creations, deletions,
1166      * renames (source or dest) and hardlinks to files within the directory
1167      * are not allowed, and regular files opened through the directory may
1168      * not be written to or truncated (unless a special device).
1169      *
1170      * NOTE!  New hardlinks to immutable files work but new hardlinks to
1171      * files, immutable or not, sitting inside an immutable directory are
1172      * not allowed.  As always if the file is hardlinked via some other
1173      * path additional hardlinks may be possible even if the file is marked
1174      * immutable.  The sysop needs to create a closure by checking the hard
1175      * link count.  Once closure is achieved you are good, and security
1176      * scripts should check link counts anyway.
1177      *
1178      * Writes and truncations are only allowed on special devices.
1179      */
1180     if ((va->va_flags & IMMUTABLE) || (nflags & NLC_IMMUTABLE)) {
1181         if ((nflags & NLC_IMMUTABLE) && (nflags & NLC_HLINK))
1182             return (EPERM);
1183         if (nflags & (NLC_CREATE | NLC_DELETE |
1184                       NLC_RENAME_SRC | NLC_RENAME_DST)) {
1185             return (EPERM);
1186         }
1187         if (nflags & (NLC_WRITE | NLC_TRUNCATE)) {
1188             switch(va->va_type) {
1189             case VDIR:
1190                 return (EISDIR);
1191             case VLNK:
1192             case VREG:
1193             case VDATABASE:
1194                 return (EPERM);
1195             default:
1196                 break;
1197             }
1198         }
1199     }
1200
1201     /*
1202      * Test the no-unlink and append-only bits for opens, rename targets,
1203      * and deletions.  These bits are not tested for creations or
1204      * rename sources.
1205      *
1206      * Unlike FreeBSD we allow a file with APPEND set to be renamed.
1207      * If you do not wish this you must also set NOUNLINK.
1208      *
1209      * If the governing directory is marked APPEND-only it implies
1210      * NOUNLINK for all entries in the directory.
1211      */
1212     if (((va->va_flags & NOUNLINK) || (nflags & NLC_APPENDONLY)) &&
1213         (nflags & (NLC_DELETE | NLC_RENAME_SRC | NLC_RENAME_DST))
1214     ) {
1215         return (EPERM);
1216     }
1217
1218     /*
1219      * A file marked append-only may not be deleted but can be renamed.
1220      */
1221     if ((va->va_flags & APPEND) &&
1222         (nflags & (NLC_DELETE | NLC_RENAME_DST))
1223     ) {
1224         return (EPERM);
1225     }
1226
1227     /*
1228      * A file marked append-only which is opened for writing must also
1229      * be opened O_APPEND.
1230      */
1231     if ((va->va_flags & APPEND) && (nflags & (NLC_OPEN | NLC_TRUNCATE))) {
1232         if (nflags & NLC_TRUNCATE)
1233             return (EPERM);
1234         if ((nflags & (NLC_OPEN | NLC_WRITE)) == (NLC_OPEN | NLC_WRITE)) {
1235             if ((nflags & NLC_APPEND) == 0)
1236                 return (EPERM);
1237         }
1238     }
1239
1240     /*
1241      * root gets universal access
1242      */
1243     if (cred->cr_uid == 0)
1244         return(0);
1245
1246     /*
1247      * Check owner perms.
1248      *
1249      * If NLC_OWN is set the owner of the file is allowed no matter when
1250      * the owner-mode bits say (utimes).
1251      */
1252     vmode = 0;
1253     if (nflags & NLC_READ)
1254         vmode |= S_IRUSR;
1255     if (nflags & NLC_WRITE)
1256         vmode |= S_IWUSR;
1257     if (nflags & NLC_EXEC)
1258         vmode |= S_IXUSR;
1259
1260     if (cred->cr_uid == va->va_uid) {
1261         if ((nflags & NLC_OWN) == 0) {
1262             if ((vmode & va->va_mode) != vmode)
1263                 return(EACCES);
1264         }
1265         return(0);
1266     }
1267
1268     /*
1269      * If NLC_STICKY is set only the owner may delete or rename a file.
1270      * This bit is typically set on /tmp.
1271      *
1272      * Note that the NLC_READ/WRITE/EXEC bits are not typically set in
1273      * the specific delete or rename case.  For deletions and renames we
1274      * usually just care about directory permissions, not file permissions.
1275      */
1276     if ((nflags & NLC_STICKY) &&
1277         (nflags & (NLC_RENAME_SRC | NLC_RENAME_DST | NLC_DELETE))) {
1278         return(EACCES);
1279     }
1280
1281     /*
1282      * Check group perms
1283      */
1284     vmode >>= 3;
1285     for (i = 0; i < cred->cr_ngroups; ++i) {
1286         if (va->va_gid == cred->cr_groups[i]) {
1287             if ((vmode & va->va_mode) != vmode)
1288                 return(EACCES);
1289             return(0);
1290         }
1291     }
1292
1293     /*
1294      * Check world perms
1295      */
1296     vmode >>= 3;
1297     if ((vmode & va->va_mode) != vmode)
1298         return(EACCES);
1299     return(0);
1300 }
1301