kernel - Fix mount refs interactions and umount races
[dragonfly.git] / sys / kern / vfs_nlookup.c
1 /*
2  * Copyright (c) 2004 The DragonFly Project.  All rights reserved.
3  * 
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@backplane.com>
6  * 
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in
15  *    the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of The DragonFly Project nor the names of its
18  *    contributors may be used to endorse or promote products derived
19  *    from this software without specific, prior written permission.
20  * 
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
24  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
25  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
26  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
27  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
29  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
30  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
31  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  */
34 /*
35  * nlookup() is the 'new' namei interface.  Rather then return directory and
36  * leaf vnodes (in various lock states) the new interface instead deals in
37  * namecache records.  Namecache records may represent both a positive or
38  * a negative hit.  The namespace is locked via the namecache record instead
39  * of via the vnode, and only the leaf namecache record (representing the
40  * filename) needs to be locked.
41  *
42  * This greatly improves filesystem parallelism and is a huge simplification
43  * of the API verses the old vnode locking / namei scheme.
44  *
45  * Filesystems must actively control the caching aspects of the namecache,
46  * and since namecache pointers are used as handles they are non-optional
47  * even for filesystems which do not generally wish to cache things.  It is
48  * intended that a separate cache coherency API will be constructed to handle
49  * these issues.
50  */
51
52 #include "opt_ktrace.h"
53
54 #include <sys/param.h>
55 #include <sys/systm.h>
56 #include <sys/kernel.h>
57 #include <sys/vnode.h>
58 #include <sys/mount.h>
59 #include <sys/filedesc.h>
60 #include <sys/proc.h>
61 #include <sys/namei.h>
62 #include <sys/nlookup.h>
63 #include <sys/malloc.h>
64 #include <sys/stat.h>
65 #include <sys/objcache.h>
66 #include <sys/file.h>
67
68 #ifdef KTRACE
69 #include <sys/ktrace.h>
70 #endif
71
72 static int naccess(struct nchandle *nch, int vmode, struct ucred *cred,
73                 int *stickyp);
74
75 /*
76  * Initialize a nlookup() structure, early error return for copyin faults
77  * or a degenerate empty string (which is not allowed).
78  *
79  * The first process proc0's credentials are used if the calling thread
80  * is not associated with a process context.
81  *
82  * MPSAFE
83  */
84 int
85 nlookup_init(struct nlookupdata *nd, 
86              const char *path, enum uio_seg seg, int flags)
87 {
88     size_t pathlen;
89     struct proc *p;
90     thread_t td;
91     int error;
92
93     td = curthread;
94     p = td->td_proc;
95
96     /*
97      * note: the pathlen set by copy*str() includes the terminating \0.
98      */
99     bzero(nd, sizeof(struct nlookupdata));
100     nd->nl_path = objcache_get(namei_oc, M_WAITOK);
101     nd->nl_flags |= NLC_HASBUF;
102     if (seg == UIO_SYSSPACE) 
103         error = copystr(path, nd->nl_path, MAXPATHLEN, &pathlen);
104     else
105         error = copyinstr(path, nd->nl_path, MAXPATHLEN, &pathlen);
106
107     /*
108      * Don't allow empty pathnames.
109      * POSIX.1 requirement: "" is not a vaild file name.
110      */
111     if (error == 0 && pathlen <= 1)
112         error = ENOENT;
113
114     if (error == 0) {
115         if (p && p->p_fd) {
116             cache_copy(&p->p_fd->fd_ncdir, &nd->nl_nch);
117             cache_copy(&p->p_fd->fd_nrdir, &nd->nl_rootnch);
118             if (p->p_fd->fd_njdir.ncp)
119                 cache_copy(&p->p_fd->fd_njdir, &nd->nl_jailnch);
120             nd->nl_cred = crhold(p->p_ucred);
121         } else {
122             cache_copy(&rootnch, &nd->nl_nch);
123             cache_copy(&nd->nl_nch, &nd->nl_rootnch);
124             cache_copy(&nd->nl_nch, &nd->nl_jailnch);
125             nd->nl_cred = crhold(proc0.p_ucred);
126         }
127         nd->nl_td = td;
128         nd->nl_flags |= flags;
129     } else {
130         nlookup_done(nd);
131     }
132     return(error);
133 }
134
135
136 /*
137  * nlookup_init() for "at" family of syscalls.
138  *
139  * Works similarly to nlookup_init() but if path is relative and fd is not
140  * AT_FDCWD, path is interpreted relative to the directory pointed to by fd.
141  * In this case, the file entry pointed to by fd is ref'ed and returned in
142  * *fpp. 
143  *
144  * If the call succeeds, nlookup_done_at() must be called to clean-up the nd
145  * and release the ref to the file entry.
146  */
147 int
148 nlookup_init_at(struct nlookupdata *nd, struct file **fpp, int fd, 
149                 const char *path, enum uio_seg seg, int flags)
150 {
151         struct thread *td = curthread;
152         struct proc *p = td->td_proc;
153         struct file* fp;
154         struct vnode *vp;
155         int error;
156
157         *fpp = NULL;
158
159         if  ((error = nlookup_init(nd, path, seg, flags)) != 0) {
160                 return (error);
161         }
162
163         if (nd->nl_path[0] != '/' && fd != AT_FDCWD) {
164                 if ((error = holdvnode(p->p_fd, fd, &fp)) != 0)
165                         goto done;
166                 vp = (struct vnode*)fp->f_data;
167                 if (vp->v_type != VDIR || fp->f_nchandle.ncp == NULL) {
168                         fdrop(fp);
169                         fp = NULL;
170                         error = ENOTDIR;
171                         goto done;
172                 }
173                 cache_drop(&nd->nl_nch);
174                 cache_copy(&fp->f_nchandle, &nd->nl_nch);
175                 *fpp = fp;
176         }
177
178
179 done:
180         if (error)
181                 nlookup_done(nd);
182         return (error);
183
184 }
185
186 /*
187  * This works similarly to nlookup_init() but does not assume a process
188  * context.  rootnch is always chosen for the root directory and the cred
189  * and starting directory are supplied in arguments.
190  */
191 int
192 nlookup_init_raw(struct nlookupdata *nd, 
193              const char *path, enum uio_seg seg, int flags,
194              struct ucred *cred, struct nchandle *ncstart)
195 {
196     size_t pathlen;
197     thread_t td;
198     int error;
199
200     td = curthread;
201
202     bzero(nd, sizeof(struct nlookupdata));
203     nd->nl_path = objcache_get(namei_oc, M_WAITOK);
204     nd->nl_flags |= NLC_HASBUF;
205     if (seg == UIO_SYSSPACE) 
206         error = copystr(path, nd->nl_path, MAXPATHLEN, &pathlen);
207     else
208         error = copyinstr(path, nd->nl_path, MAXPATHLEN, &pathlen);
209
210     /*
211      * Don't allow empty pathnames.
212      * POSIX.1 requirement: "" is not a vaild file name.
213      */
214     if (error == 0 && pathlen <= 1)
215         error = ENOENT;
216
217     if (error == 0) {
218         cache_copy(ncstart, &nd->nl_nch);
219         cache_copy(&rootnch, &nd->nl_rootnch);
220         cache_copy(&rootnch, &nd->nl_jailnch);
221         nd->nl_cred = crhold(cred);
222         nd->nl_td = td;
223         nd->nl_flags |= flags;
224     } else {
225         nlookup_done(nd);
226     }
227     return(error);
228 }
229
230 /*
231  * This works similarly to nlookup_init_raw() but does not rely
232  * on rootnch being initialized yet.
233  */
234 int
235 nlookup_init_root(struct nlookupdata *nd, 
236              const char *path, enum uio_seg seg, int flags,
237              struct ucred *cred, struct nchandle *ncstart,
238              struct nchandle *ncroot)
239 {
240     size_t pathlen;
241     thread_t td;
242     int error;
243
244     td = curthread;
245
246     bzero(nd, sizeof(struct nlookupdata));
247     nd->nl_path = objcache_get(namei_oc, M_WAITOK);
248     nd->nl_flags |= NLC_HASBUF;
249     if (seg == UIO_SYSSPACE) 
250         error = copystr(path, nd->nl_path, MAXPATHLEN, &pathlen);
251     else
252         error = copyinstr(path, nd->nl_path, MAXPATHLEN, &pathlen);
253
254     /*
255      * Don't allow empty pathnames.
256      * POSIX.1 requirement: "" is not a vaild file name.
257      */
258     if (error == 0 && pathlen <= 1)
259         error = ENOENT;
260
261     if (error == 0) {
262         cache_copy(ncstart, &nd->nl_nch);
263         cache_copy(ncroot, &nd->nl_rootnch);
264         cache_copy(ncroot, &nd->nl_jailnch);
265         nd->nl_cred = crhold(cred);
266         nd->nl_td = td;
267         nd->nl_flags |= flags;
268     } else {
269         nlookup_done(nd);
270     }
271     return(error);
272 }
273
274 /*
275  * Set a different credential; this credential will be used by future
276  * operations performed on nd.nl_open_vp and nlookupdata structure.
277  */
278 void
279 nlookup_set_cred(struct nlookupdata *nd, struct ucred *cred)
280 {
281         KKASSERT(nd->nl_cred != NULL);
282
283         if (nd->nl_cred != cred) {
284                 cred = crhold(cred);
285                 crfree(nd->nl_cred);
286                 nd->nl_cred = cred;
287         }
288 }
289
290 /*
291  * Cleanup a nlookupdata structure after we are through with it.  This may
292  * be called on any nlookupdata structure initialized with nlookup_init().
293  * Calling nlookup_done() is mandatory in all cases except where nlookup_init()
294  * returns an error, even if as a consumer you believe you have taken all
295  * dynamic elements out of the nlookupdata structure.
296  */
297 void
298 nlookup_done(struct nlookupdata *nd)
299 {
300     if (nd->nl_nch.ncp) {
301         if (nd->nl_flags & NLC_NCPISLOCKED) {
302             nd->nl_flags &= ~NLC_NCPISLOCKED;
303             cache_unlock(&nd->nl_nch);
304         }
305         cache_drop(&nd->nl_nch);        /* NULL's out the nch */
306     }
307     if (nd->nl_rootnch.ncp)
308         cache_drop(&nd->nl_rootnch);
309     if (nd->nl_jailnch.ncp)
310         cache_drop(&nd->nl_jailnch);
311     if ((nd->nl_flags & NLC_HASBUF) && nd->nl_path) {
312         objcache_put(namei_oc, nd->nl_path);
313         nd->nl_path = NULL;
314     }
315     if (nd->nl_cred) {
316         crfree(nd->nl_cred);
317         nd->nl_cred = NULL;
318     }
319     if (nd->nl_open_vp) {
320         if (nd->nl_flags & NLC_LOCKVP) {
321                 vn_unlock(nd->nl_open_vp);
322                 nd->nl_flags &= ~NLC_LOCKVP;
323         }
324         vn_close(nd->nl_open_vp, nd->nl_vp_fmode);
325         nd->nl_open_vp = NULL;
326     }
327     if (nd->nl_dvp) {
328         vrele(nd->nl_dvp);
329         nd->nl_dvp = NULL;
330     }
331     nd->nl_flags = 0;   /* clear remaining flags (just clear everything) */
332 }
333
334 /*
335  * Works similarly to nlookup_done() when nd initialized with
336  * nlookup_init_at().
337  */
338 void
339 nlookup_done_at(struct nlookupdata *nd, struct file *fp)
340 {
341         nlookup_done(nd);
342         if (fp != NULL)
343                 fdrop(fp);
344 }
345
346 void
347 nlookup_zero(struct nlookupdata *nd)
348 {
349         bzero(nd, sizeof(struct nlookupdata));
350 }
351
352 /*
353  * Simple all-in-one nlookup.  Returns a locked namecache structure or NULL
354  * if an error occured. 
355  *
356  * Note that the returned ncp is not checked for permissions, though VEXEC
357  * is checked on the directory path leading up to the result.  The caller
358  * must call naccess() to check the permissions of the returned leaf.
359  */
360 struct nchandle
361 nlookup_simple(const char *str, enum uio_seg seg,
362                int niflags, int *error)
363 {
364     struct nlookupdata nd;
365     struct nchandle nch;
366
367     *error = nlookup_init(&nd, str, seg, niflags);
368     if (*error == 0) {
369             if ((*error = nlookup(&nd)) == 0) {
370                     nch = nd.nl_nch;    /* keep hold ref from structure */
371                     cache_zero(&nd.nl_nch); /* and NULL out */
372             } else {
373                     cache_zero(&nch);
374             }
375             nlookup_done(&nd);
376     } else {
377             cache_zero(&nch);
378     }
379     return(nch);
380 }
381
382 /*
383  * Do a generic nlookup.  Note that the passed nd is not nlookup_done()'d
384  * on return, even if an error occurs.  If no error occurs the returned
385  * nl_nch is always referenced and locked, otherwise it may or may not be.
386  *
387  * Intermediate directory elements, including the current directory, require
388  * execute (search) permission.  nlookup does not examine the access 
389  * permissions on the returned element.
390  *
391  * If NLC_CREATE is set the last directory must allow node creation,
392  * and an error code of 0 will be returned for a non-existant
393  * target (not ENOENT).
394  *
395  * If NLC_RENAME_DST is set the last directory mut allow node deletion,
396  * plus the sticky check is made, and an error code of 0 will be returned
397  * for a non-existant target (not ENOENT).
398  *
399  * If NLC_DELETE is set the last directory mut allow node deletion,
400  * plus the sticky check is made.
401  *
402  * If NLC_REFDVP is set nd->nl_dvp will be set to the directory vnode
403  * of the returned entry.  The vnode will be referenced, but not locked,
404  * and will be released by nlookup_done() along with everything else.
405  */
406 int
407 nlookup(struct nlookupdata *nd)
408 {
409     globaldata_t gd = mycpu;
410     struct nlcomponent nlc;
411     struct nchandle nch;
412     struct nchandle par;
413     struct nchandle nctmp;
414     struct mount *mp;
415     int wasdotordotdot;
416     char *ptr;
417     char *xptr;
418     int error;
419     int len;
420     int dflags;
421     int hit = 1;
422
423 #ifdef KTRACE
424     if (KTRPOINT(nd->nl_td, KTR_NAMEI))
425         ktrnamei(nd->nl_td->td_lwp, nd->nl_path);
426 #endif
427     bzero(&nlc, sizeof(nlc));
428
429     /*
430      * Setup for the loop.  The current working namecache element is
431      * always at least referenced.  We lock it as required, but always
432      * return a locked, resolved namecache entry.
433      */
434     nd->nl_loopcnt = 0;
435     if (nd->nl_dvp) {
436         vrele(nd->nl_dvp);
437         nd->nl_dvp = NULL;
438     }
439     ptr = nd->nl_path;
440
441     /*
442      * Loop on the path components.  At the top of the loop nd->nl_nch
443      * is ref'd and unlocked and represents our current position.
444      */
445     for (;;) {
446         /*
447          * Make sure nl_nch is locked so we can access the vnode, resolution
448          * state, etc.
449          */
450         if ((nd->nl_flags & NLC_NCPISLOCKED) == 0) {
451                 nd->nl_flags |= NLC_NCPISLOCKED;
452                 cache_lock(&nd->nl_nch);
453         }
454
455         /*
456          * Check if the root directory should replace the current
457          * directory.  This is done at the start of a translation
458          * or after a symbolic link has been found.  In other cases
459          * ptr will never be pointing at a '/'.
460          */
461         if (*ptr == '/') {
462             do {
463                 ++ptr;
464             } while (*ptr == '/');
465             cache_get(&nd->nl_rootnch, &nch);
466             cache_put(&nd->nl_nch);
467             nd->nl_nch = nch;           /* remains locked */
468
469             /*
470              * Fast-track termination.  There is no parent directory of
471              * the root in the same mount from the point of view of
472              * the caller so return EACCES if NLC_REFDVP is specified,
473              * and EEXIST if NLC_CREATE is also specified.
474              * e.g. 'rmdir /' or 'mkdir /' are not allowed.
475              */
476             if (*ptr == 0) {
477                 if (nd->nl_flags & NLC_REFDVP)
478                         error = (nd->nl_flags & NLC_CREATE) ? EEXIST : EACCES;
479                 else
480                         error = 0;
481                 break;
482             }
483             continue;
484         }
485
486         /*
487          * Check directory search permissions.
488          */
489         dflags = 0;
490         error = naccess(&nd->nl_nch, NLC_EXEC, nd->nl_cred, &dflags);
491         if (error)
492             break;
493
494         /*
495          * Extract the path component.  Path components are limited to
496          * 255 characters.
497          */
498         nlc.nlc_nameptr = ptr;
499         while (*ptr && *ptr != '/')
500             ++ptr;
501         nlc.nlc_namelen = ptr - nlc.nlc_nameptr;
502         if (nlc.nlc_namelen >= 256) {
503             error = ENAMETOOLONG;
504             break;
505         }
506
507         /*
508          * Lookup the path component in the cache, creating an unresolved
509          * entry if necessary.  We have to handle "." and ".." as special
510          * cases.
511          *
512          * When handling ".." we have to detect a traversal back through a
513          * mount point.   If we are at the root, ".." just returns the root.
514          *
515          * When handling "." or ".." we also have to recalculate dflags
516          * since our dflags will be for some sub-directory instead of the
517          * parent dir.
518          *
519          * This subsection returns a locked, refd 'nch' unless it errors out.
520          * The namecache topology is not allowed to be disconnected, so 
521          * encountering a NULL parent will generate EINVAL.  This typically
522          * occurs when a directory is removed out from under a process.
523          */
524         if (nlc.nlc_namelen == 1 && nlc.nlc_nameptr[0] == '.') {
525             cache_get(&nd->nl_nch, &nch);
526             wasdotordotdot = 1;
527         } else if (nlc.nlc_namelen == 2 && 
528                    nlc.nlc_nameptr[0] == '.' && nlc.nlc_nameptr[1] == '.') {
529             if (nd->nl_nch.mount == nd->nl_rootnch.mount &&
530                 nd->nl_nch.ncp == nd->nl_rootnch.ncp
531             ) {
532                 /*
533                  * ".." at the root returns the root
534                  */
535                 cache_get(&nd->nl_nch, &nch);
536             } else {
537                 /*
538                  * Locate the parent ncp.  If we are at the root of a
539                  * filesystem mount we have to skip to the mounted-on
540                  * point in the underlying filesystem.
541                  *
542                  * Expect the parent to always be good since the
543                  * mountpoint doesn't go away.  XXX hack.  cache_get()
544                  * requires the ncp to already have a ref as a safety.
545                  */
546                 nctmp = nd->nl_nch;
547                 while (nctmp.ncp == nctmp.mount->mnt_ncmountpt.ncp)
548                         nctmp = nctmp.mount->mnt_ncmounton;
549                 nctmp.ncp = nctmp.ncp->nc_parent;
550                 KKASSERT(nctmp.ncp != NULL);
551                 cache_hold(&nctmp);
552                 cache_get(&nctmp, &nch);
553                 cache_drop(&nctmp);             /* NOTE: zero's nctmp */
554             }
555             wasdotordotdot = 2;
556         } else {
557             /*
558              * Must unlock nl_nch when traversing down the path.
559              */
560             cache_unlock(&nd->nl_nch);
561             nd->nl_flags &= ~NLC_NCPISLOCKED;
562             nch = cache_nlookup(&nd->nl_nch, &nlc);
563             if (nch.ncp->nc_flag & NCF_UNRESOLVED)
564                 hit = 0;
565             while ((error = cache_resolve(&nch, nd->nl_cred)) == EAGAIN) {
566                 kprintf("[diagnostic] nlookup: relookup %*.*s\n", 
567                         nch.ncp->nc_nlen, nch.ncp->nc_nlen, nch.ncp->nc_name);
568                 cache_put(&nch);
569                 nch = cache_nlookup(&nd->nl_nch, &nlc);
570             }
571             wasdotordotdot = 0;
572         }
573
574         /*
575          * If the last component was "." or ".." our dflags no longer
576          * represents the parent directory and we have to explicitly
577          * look it up.
578          *
579          * Expect the parent to be good since nch is locked.
580          */
581         if (wasdotordotdot && error == 0) {
582             dflags = 0;
583             if ((par.ncp = nch.ncp->nc_parent) != NULL) {
584                 par.mount = nch.mount;
585                 cache_hold(&par);
586                 cache_lock(&par);
587                 error = naccess(&par, 0, nd->nl_cred, &dflags);
588                 cache_put(&par);
589             }
590         }
591         if (nd->nl_flags & NLC_NCPISLOCKED) {
592             cache_unlock(&nd->nl_nch);
593             nd->nl_flags &= ~NLC_NCPISLOCKED;
594         }
595
596         /*
597          * [end of subsection]
598          *
599          * nch is locked and referenced.
600          * nd->nl_nch is unlocked and referenced.
601          *
602          * nl_nch must be unlocked or we could chain lock to the root
603          * if a resolve gets stuck (e.g. in NFS).
604          */
605
606         /*
607          * Resolve the namespace if necessary.  The ncp returned by
608          * cache_nlookup() is referenced and locked.
609          *
610          * XXX neither '.' nor '..' should return EAGAIN since they were
611          * previously resolved and thus cannot be newly created ncp's.
612          */
613         if (nch.ncp->nc_flag & NCF_UNRESOLVED) {
614             hit = 0;
615             error = cache_resolve(&nch, nd->nl_cred);
616             KKASSERT(error != EAGAIN);
617         } else {
618             error = nch.ncp->nc_error;
619         }
620
621         /*
622          * Early completion.  ENOENT is not an error if this is the last
623          * component and NLC_CREATE or NLC_RENAME (rename target) was
624          * requested.  Note that ncp->nc_error is left as ENOENT in that
625          * case, which we check later on.
626          *
627          * Also handle invalid '.' or '..' components terminating a path
628          * for a create/rename/delete.  The standard requires this and pax
629          * pretty stupidly depends on it.
630          */
631         for (xptr = ptr; *xptr == '/'; ++xptr)
632                 ;
633         if (*xptr == 0) {
634             if (error == ENOENT &&
635                 (nd->nl_flags & (NLC_CREATE | NLC_RENAME_DST))
636             ) {
637                 if (nd->nl_flags & NLC_NFS_RDONLY) {
638                         error = EROFS;
639                 } else {
640                         error = naccess(&nch, nd->nl_flags | dflags,
641                                         nd->nl_cred, NULL);
642                 }
643             }
644             if (error == 0 && wasdotordotdot &&
645                 (nd->nl_flags & (NLC_CREATE | NLC_DELETE |
646                                  NLC_RENAME_SRC | NLC_RENAME_DST))) {
647                 /*
648                  * POSIX junk
649                  */
650                 if (nd->nl_flags & NLC_CREATE)
651                         error = EEXIST;
652                 else if (nd->nl_flags & NLC_DELETE)
653                         error = (wasdotordotdot == 1) ? EINVAL : ENOTEMPTY;
654                 else
655                         error = EINVAL;
656             }
657         }
658
659         /*
660          * Early completion on error.
661          */
662         if (error) {
663             cache_put(&nch);
664             break;
665         }
666
667         /*
668          * If the element is a symlink and it is either not the last
669          * element or it is the last element and we are allowed to
670          * follow symlinks, resolve the symlink.
671          */
672         if ((nch.ncp->nc_flag & NCF_ISSYMLINK) &&
673             (*ptr || (nd->nl_flags & NLC_FOLLOW))
674         ) {
675             if (nd->nl_loopcnt++ >= MAXSYMLINKS) {
676                 error = ELOOP;
677                 cache_put(&nch);
678                 break;
679             }
680             error = nreadsymlink(nd, &nch, &nlc);
681             cache_put(&nch);
682             if (error)
683                 break;
684
685             /*
686              * Concatenate trailing path elements onto the returned symlink.
687              * Note that if the path component (ptr) is not exhausted, it
688              * will being with a '/', so we do not have to add another one.
689              *
690              * The symlink may not be empty.
691              */
692             len = strlen(ptr);
693             if (nlc.nlc_namelen == 0 || nlc.nlc_namelen + len >= MAXPATHLEN) {
694                 error = nlc.nlc_namelen ? ENAMETOOLONG : ENOENT;
695                 objcache_put(namei_oc, nlc.nlc_nameptr);
696                 break;
697             }
698             bcopy(ptr, nlc.nlc_nameptr + nlc.nlc_namelen, len + 1);
699             if (nd->nl_flags & NLC_HASBUF)
700                 objcache_put(namei_oc, nd->nl_path);
701             nd->nl_path = nlc.nlc_nameptr;
702             nd->nl_flags |= NLC_HASBUF;
703             ptr = nd->nl_path;
704
705             /*
706              * Go back up to the top to resolve any initial '/'s in the
707              * symlink.
708              */
709             continue;
710         }
711
712         /*
713          * If the element is a directory and we are crossing a mount point,
714          * Locate the mount.
715          */
716         while ((nch.ncp->nc_flag & NCF_ISMOUNTPT) && 
717             (nd->nl_flags & NLC_NOCROSSMOUNT) == 0 &&
718             (mp = cache_findmount(&nch)) != NULL
719         ) {
720             struct vnode *tdp;
721
722             cache_put(&nch);
723             cache_get(&mp->mnt_ncmountpt, &nch);
724
725             if (nch.ncp->nc_flag & NCF_UNRESOLVED) {
726                 while (vfs_busy(mp, 0))
727                     ;
728                 error = VFS_ROOT(mp, &tdp);
729                 vfs_unbusy(mp);
730                 if (error) {
731                     cache_dropmount(mp);
732                     break;
733                 }
734                 cache_setvp(&nch, tdp);
735                 vput(tdp);
736             }
737             cache_dropmount(mp);
738         }
739         if (error) {
740             cache_put(&nch);
741             break;
742         }
743             
744         /*
745          * Skip any slashes to get to the next element.  If there 
746          * are any slashes at all the current element must be a
747          * directory or, in the create case, intended to become a directory.
748          * If it isn't we break without incrementing ptr and fall through
749          * to the failure case below.
750          */
751         while (*ptr == '/') {
752             if ((nch.ncp->nc_flag & NCF_ISDIR) == 0 && 
753                 !(nd->nl_flags & NLC_WILLBEDIR)
754             ) {
755                 break;
756             }
757             ++ptr;
758         }
759
760         /*
761          * Continuation case: additional elements and the current
762          * element is a directory.
763          */
764         if (*ptr && (nch.ncp->nc_flag & NCF_ISDIR)) {
765             cache_drop(&nd->nl_nch);
766             cache_unlock(&nch);
767             KKASSERT((nd->nl_flags & NLC_NCPISLOCKED) == 0);
768             nd->nl_nch = nch;
769             continue;
770         }
771
772         /*
773          * Failure case: additional elements and the current element
774          * is not a directory
775          */
776         if (*ptr) {
777             cache_put(&nch);
778             error = ENOTDIR;
779             break;
780         }
781
782         /*
783          * Successful lookup of last element.
784          *
785          * Check permissions if the target exists.  If the target does not
786          * exist directory permissions were already tested in the early
787          * completion code above.
788          *
789          * nd->nl_flags will be adjusted on return with NLC_APPENDONLY
790          * if the file is marked append-only, and NLC_STICKY if the directory
791          * containing the file is sticky.
792          */
793         if (nch.ncp->nc_vp && (nd->nl_flags & NLC_ALLCHKS)) {
794             error = naccess(&nch, nd->nl_flags | dflags,
795                             nd->nl_cred, NULL);
796             if (error) {
797                 cache_put(&nch);
798                 break;
799             }
800         }
801
802         /*
803          * Termination: no more elements.
804          *
805          * If NLC_REFDVP is set acquire a referenced parent dvp.
806          */
807         if (nd->nl_flags & NLC_REFDVP) {
808                 cache_lock(&nd->nl_nch);
809                 error = cache_vref(&nd->nl_nch, nd->nl_cred, &nd->nl_dvp);
810                 cache_unlock(&nd->nl_nch);
811                 if (error) {
812                         kprintf("NLC_REFDVP: Cannot ref dvp of %p\n", nch.ncp);
813                         cache_put(&nch);
814                         break;
815                 }
816         }
817         cache_drop(&nd->nl_nch);
818         nd->nl_nch = nch;
819         nd->nl_flags |= NLC_NCPISLOCKED;
820         error = 0;
821         break;
822     }
823
824     if (hit)
825             ++gd->gd_nchstats->ncs_longhits;
826     else
827             ++gd->gd_nchstats->ncs_longmiss;
828
829     /*
830      * NOTE: If NLC_CREATE was set the ncp may represent a negative hit
831      * (ncp->nc_error will be ENOENT), but we will still return an error
832      * code of 0.
833      */
834     return(error);
835 }
836
837 /*
838  * Resolve a mount point's glue ncp.  This ncp connects creates the illusion
839  * of continuity in the namecache tree by connecting the ncp related to the
840  * vnode under the mount to the ncp related to the mount's root vnode.
841  *
842  * If no error occured a locked, ref'd ncp is stored in *ncpp.
843  */
844 int
845 nlookup_mp(struct mount *mp, struct nchandle *nch)
846 {
847     struct vnode *vp;
848     int error;
849
850     error = 0;
851     cache_get(&mp->mnt_ncmountpt, nch);
852     if (nch->ncp->nc_flag & NCF_UNRESOLVED) {
853         while (vfs_busy(mp, 0))
854             ;
855         error = VFS_ROOT(mp, &vp);
856         vfs_unbusy(mp);
857         if (error) {
858             cache_put(nch);
859         } else {
860             cache_setvp(nch, vp);
861             vput(vp);
862         }
863     }
864     return(error);
865 }
866
867 /*
868  * Read the contents of a symlink, allocate a path buffer out of the
869  * namei_oc and initialize the supplied nlcomponent with the result.
870  *
871  * If an error occurs no buffer will be allocated or returned in the nlc.
872  */
873 int
874 nreadsymlink(struct nlookupdata *nd, struct nchandle *nch, 
875                 struct nlcomponent *nlc)
876 {
877     struct vnode *vp;
878     struct iovec aiov;
879     struct uio auio;
880     int linklen;
881     int error;
882     char *cp;
883
884     nlc->nlc_nameptr = NULL;
885     nlc->nlc_namelen = 0;
886     if (nch->ncp->nc_vp == NULL)
887         return(ENOENT);
888     if ((error = cache_vget(nch, nd->nl_cred, LK_SHARED, &vp)) != 0)
889         return(error);
890     cp = objcache_get(namei_oc, M_WAITOK);
891     aiov.iov_base = cp;
892     aiov.iov_len = MAXPATHLEN;
893     auio.uio_iov = &aiov;
894     auio.uio_iovcnt = 1;
895     auio.uio_offset = 0;
896     auio.uio_rw = UIO_READ;
897     auio.uio_segflg = UIO_SYSSPACE;
898     auio.uio_td = nd->nl_td;
899     auio.uio_resid = MAXPATHLEN - 1;
900     error = VOP_READLINK(vp, &auio, nd->nl_cred);
901     if (error)
902         goto fail;
903     linklen = MAXPATHLEN - 1 - auio.uio_resid;
904     if (varsym_enable) {
905         linklen = varsymreplace(cp, linklen, MAXPATHLEN - 1);
906         if (linklen < 0) {
907             error = ENAMETOOLONG;
908             goto fail;
909         }
910     }
911     cp[linklen] = 0;
912     nlc->nlc_nameptr = cp;
913     nlc->nlc_namelen = linklen;
914     vput(vp);
915     return(0);
916 fail:
917     objcache_put(namei_oc, cp);
918     vput(vp);
919     return(error);
920 }
921
922 /*
923  * Check access [XXX cache vattr!] [XXX quota]
924  *
925  * Generally check the NLC_* access bits.   All specified bits must pass
926  * for this function to return 0.
927  *
928  * The file does not have to exist when checking NLC_CREATE or NLC_RENAME_DST
929  * access, otherwise it must exist.  No error is returned in this case.
930  *
931  * The file must not exist if NLC_EXCL is specified.
932  *
933  * Directory permissions in general are tested for NLC_CREATE if the file
934  * does not exist, NLC_DELETE if the file does exist, and NLC_RENAME_DST
935  * whether the file exists or not.
936  *
937  * The directory sticky bit is tested for NLC_DELETE and NLC_RENAME_DST,
938  * the latter is only tested if the target exists.
939  *
940  * The passed ncp must be referenced and locked.
941  */
942 static int
943 naccess(struct nchandle *nch, int nflags, struct ucred *cred, int *nflagsp)
944 {
945     struct vnode *vp;
946     struct vattr va;
947     struct namecache *ncp;
948     int error;
949     int cflags;
950
951     ASSERT_NCH_LOCKED(nch);
952     ncp = nch->ncp;
953     if (ncp->nc_flag & NCF_UNRESOLVED) {
954         cache_resolve(nch, cred);
955         ncp = nch->ncp;
956     }
957     error = ncp->nc_error;
958
959     /*
960      * Directory permissions checks.  Silently ignore ENOENT if these
961      * tests pass.  It isn't an error.
962      *
963      * We can safely resolve ncp->nc_parent because ncp is currently
964      * locked.
965      */
966     if (nflags & (NLC_CREATE | NLC_DELETE | NLC_RENAME_SRC | NLC_RENAME_DST)) {
967         if (((nflags & NLC_CREATE) && ncp->nc_vp == NULL) ||
968             ((nflags & NLC_DELETE) && ncp->nc_vp != NULL) ||
969             ((nflags & NLC_RENAME_SRC) && ncp->nc_vp != NULL) ||
970             (nflags & NLC_RENAME_DST)
971         ) {
972             struct nchandle par;
973
974             if ((par.ncp = ncp->nc_parent) == NULL) {
975                 if (error != EAGAIN)
976                         error = EINVAL;
977             } else if (error == 0 || error == ENOENT) {
978                 par.mount = nch->mount;
979                 cache_hold(&par);
980                 cache_lock(&par);
981                 error = naccess(&par, NLC_WRITE, cred, NULL);
982                 cache_put(&par);
983             }
984         }
985     }
986
987     /*
988      * NLC_EXCL check.  Target file must not exist.
989      */
990     if (error == 0 && (nflags & NLC_EXCL) && ncp->nc_vp != NULL)
991         error = EEXIST;
992
993     /*
994      * Get the vnode attributes so we can do the rest of our checks.
995      *
996      * NOTE: We only call naccess_va() if the target exists.
997      */
998     if (error == 0) {
999         error = cache_vget(nch, cred, LK_SHARED, &vp);
1000         if (error == ENOENT) {
1001             /*
1002              * Silently zero-out ENOENT if creating or renaming
1003              * (rename target).  It isn't an error.
1004              */
1005             if (nflags & (NLC_CREATE | NLC_RENAME_DST))
1006                 error = 0;
1007         } else if (error == 0) {
1008             /*
1009              * Get the vnode attributes and check for illegal O_TRUNC
1010              * requests and read-only mounts.
1011              *
1012              * NOTE: You can still open devices on read-only mounts for
1013              *       writing.
1014              *
1015              * NOTE: creates/deletes/renames are handled by the NLC_WRITE
1016              *       check on the parent directory above.
1017              *
1018              * XXX cache the va in the namecache or in the vnode
1019              */
1020             error = VOP_GETATTR(vp, &va);
1021             if (error == 0 && (nflags & NLC_TRUNCATE)) {
1022                 switch(va.va_type) {
1023                 case VREG:
1024                 case VDATABASE:
1025                 case VCHR:
1026                 case VBLK:
1027                 case VFIFO:
1028                     break;
1029                 case VDIR:
1030                     error = EISDIR;
1031                     break;
1032                 default:
1033                     error = EINVAL;
1034                     break;
1035                 }
1036             }
1037             if (error == 0 && (nflags & NLC_WRITE) && vp->v_mount &&
1038                 (vp->v_mount->mnt_flag & MNT_RDONLY)
1039             ) {
1040                 switch(va.va_type) {
1041                 case VDIR:
1042                 case VLNK:
1043                 case VREG:
1044                 case VDATABASE:
1045                     error = EROFS;
1046                     break;
1047                 default:
1048                     break;
1049                 }
1050             }
1051             vput(vp);
1052
1053             /*
1054              * Check permissions based on file attributes.  The passed
1055              * flags (*nflagsp) are modified with feedback based on
1056              * special attributes and requirements.
1057              */
1058             if (error == 0) {
1059                 /*
1060                  * Adjust the returned (*nflagsp) if non-NULL.
1061                  */
1062                 if (nflagsp) {
1063                     if ((va.va_mode & VSVTX) && va.va_uid != cred->cr_uid)
1064                         *nflagsp |= NLC_STICKY;
1065                     if (va.va_flags & APPEND)
1066                         *nflagsp |= NLC_APPENDONLY;
1067                     if (va.va_flags & IMMUTABLE)
1068                         *nflagsp |= NLC_IMMUTABLE;
1069                 }
1070
1071                 /*
1072                  * Track swapcache management flags in the namecache.
1073                  *
1074                  * Calculate the flags based on the current vattr info
1075                  * and recalculate the inherited flags from the parent
1076                  * (the original cache linkage may have occurred without
1077                  * getattrs and thus have stale flags).
1078                  */
1079                 cflags = 0;
1080                 if (va.va_flags & SF_NOCACHE)
1081                         cflags |= NCF_SF_NOCACHE;
1082                 if (va.va_flags & UF_CACHE)
1083                         cflags |= NCF_UF_CACHE;
1084                 if (ncp->nc_parent) {
1085                         if (ncp->nc_parent->nc_flag &
1086                             (NCF_SF_NOCACHE | NCF_SF_PNOCACHE)) {
1087                                 cflags |= NCF_SF_PNOCACHE;
1088                         }
1089                         if (ncp->nc_parent->nc_flag &
1090                             (NCF_UF_CACHE | NCF_UF_PCACHE)) {
1091                                 cflags |= NCF_UF_PCACHE;
1092                         }
1093                 }
1094                 ncp->nc_flag &= ~(NCF_SF_NOCACHE | NCF_UF_CACHE |
1095                                   NCF_SF_PNOCACHE | NCF_UF_PCACHE);
1096                 ncp->nc_flag |= cflags;
1097
1098                 /*
1099                  * Process general access.
1100                  */
1101                 error = naccess_va(&va, nflags, cred);
1102             }
1103         }
1104     }
1105     return(error);
1106 }
1107
1108 /*
1109  * Check the requested access against the given vattr using cred.
1110  */
1111 int
1112 naccess_va(struct vattr *va, int nflags, struct ucred *cred)
1113 {
1114     int i;
1115     int vmode;
1116
1117     /*
1118      * Test the immutable bit.  Creations, deletions, renames (source
1119      * or destination) are not allowed.  chown/chmod/other is also not
1120      * allowed but is handled by SETATTR.  Hardlinks to the immutable
1121      * file are allowed.
1122      *
1123      * If the directory is set to immutable then creations, deletions,
1124      * renames (source or dest) and hardlinks to files within the directory
1125      * are not allowed, and regular files opened through the directory may
1126      * not be written to or truncated (unless a special device).
1127      *
1128      * NOTE!  New hardlinks to immutable files work but new hardlinks to
1129      * files, immutable or not, sitting inside an immutable directory are
1130      * not allowed.  As always if the file is hardlinked via some other
1131      * path additional hardlinks may be possible even if the file is marked
1132      * immutable.  The sysop needs to create a closure by checking the hard
1133      * link count.  Once closure is achieved you are good, and security
1134      * scripts should check link counts anyway.
1135      *
1136      * Writes and truncations are only allowed on special devices.
1137      */
1138     if ((va->va_flags & IMMUTABLE) || (nflags & NLC_IMMUTABLE)) {
1139         if ((nflags & NLC_IMMUTABLE) && (nflags & NLC_HLINK))
1140             return (EPERM);
1141         if (nflags & (NLC_CREATE | NLC_DELETE |
1142                       NLC_RENAME_SRC | NLC_RENAME_DST)) {
1143             return (EPERM);
1144         }
1145         if (nflags & (NLC_WRITE | NLC_TRUNCATE)) {
1146             switch(va->va_type) {
1147             case VDIR:
1148                 return (EISDIR);
1149             case VLNK:
1150             case VREG:
1151             case VDATABASE:
1152                 return (EPERM);
1153             default:
1154                 break;
1155             }
1156         }
1157     }
1158
1159     /*
1160      * Test the no-unlink and append-only bits for opens, rename targets,
1161      * and deletions.  These bits are not tested for creations or
1162      * rename sources.
1163      *
1164      * Unlike FreeBSD we allow a file with APPEND set to be renamed.
1165      * If you do not wish this you must also set NOUNLINK.
1166      *
1167      * If the governing directory is marked APPEND-only it implies
1168      * NOUNLINK for all entries in the directory.
1169      */
1170     if (((va->va_flags & NOUNLINK) || (nflags & NLC_APPENDONLY)) &&
1171         (nflags & (NLC_DELETE | NLC_RENAME_SRC | NLC_RENAME_DST))
1172     ) {
1173         return (EPERM);
1174     }
1175
1176     /*
1177      * A file marked append-only may not be deleted but can be renamed.
1178      */
1179     if ((va->va_flags & APPEND) &&
1180         (nflags & (NLC_DELETE | NLC_RENAME_DST))
1181     ) {
1182         return (EPERM);
1183     }
1184
1185     /*
1186      * A file marked append-only which is opened for writing must also
1187      * be opened O_APPEND.
1188      */
1189     if ((va->va_flags & APPEND) && (nflags & (NLC_OPEN | NLC_TRUNCATE))) {
1190         if (nflags & NLC_TRUNCATE)
1191             return (EPERM);
1192         if ((nflags & (NLC_OPEN | NLC_WRITE)) == (NLC_OPEN | NLC_WRITE)) {
1193             if ((nflags & NLC_APPEND) == 0)
1194                 return (EPERM);
1195         }
1196     }
1197
1198     /*
1199      * root gets universal access
1200      */
1201     if (cred->cr_uid == 0)
1202         return(0);
1203
1204     /*
1205      * Check owner perms.
1206      *
1207      * If NLC_OWN is set the owner of the file is allowed no matter when
1208      * the owner-mode bits say (utimes).
1209      */
1210     vmode = 0;
1211     if (nflags & NLC_READ)
1212         vmode |= S_IRUSR;
1213     if (nflags & NLC_WRITE)
1214         vmode |= S_IWUSR;
1215     if (nflags & NLC_EXEC)
1216         vmode |= S_IXUSR;
1217
1218     if (cred->cr_uid == va->va_uid) {
1219         if ((nflags & NLC_OWN) == 0) {
1220             if ((vmode & va->va_mode) != vmode)
1221                 return(EACCES);
1222         }
1223         return(0);
1224     }
1225
1226     /*
1227      * If NLC_STICKY is set only the owner may delete or rename a file.
1228      * This bit is typically set on /tmp.
1229      *
1230      * Note that the NLC_READ/WRITE/EXEC bits are not typically set in
1231      * the specific delete or rename case.  For deletions and renames we
1232      * usually just care about directory permissions, not file permissions.
1233      */
1234     if ((nflags & NLC_STICKY) &&
1235         (nflags & (NLC_RENAME_SRC | NLC_RENAME_DST | NLC_DELETE))) {
1236         return(EACCES);
1237     }
1238
1239     /*
1240      * Check group perms
1241      */
1242     vmode >>= 3;
1243     for (i = 0; i < cred->cr_ngroups; ++i) {
1244         if (va->va_gid == cred->cr_groups[i]) {
1245             if ((vmode & va->va_mode) != vmode)
1246                 return(EACCES);
1247             return(0);
1248         }
1249     }
1250
1251     /*
1252      * Check world perms
1253      */
1254     vmode >>= 3;
1255     if ((vmode & va->va_mode) != vmode)
1256         return(EACCES);
1257     return(0);
1258 }
1259