VNode sequencing and locking - part 2/4.
[dragonfly.git] / sys / vfs / union / union_vnops.c
1 /*
2  * Copyright (c) 1992, 1993, 1994, 1995 Jan-Simon Pendry.
3  * Copyright (c) 1992, 1993, 1994, 1995
4  *      The Regents of the University of California.  All rights reserved.
5  *
6  * This code is derived from software contributed to Berkeley by
7  * Jan-Simon Pendry.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. All advertising materials mentioning features or use of this software
18  *    must display the following acknowledgement:
19  *      This product includes software developed by the University of
20  *      California, Berkeley and its contributors.
21  * 4. Neither the name of the University nor the names of its contributors
22  *    may be used to endorse or promote products derived from this software
23  *    without specific prior written permission.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
26  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
29  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
30  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
31  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
32  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
33  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
34  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
35  * SUCH DAMAGE.
36  *
37  *      @(#)union_vnops.c       8.32 (Berkeley) 6/23/95
38  * $FreeBSD: src/sys/miscfs/union/union_vnops.c,v 1.72 1999/12/15 23:02:14 eivind Exp $
39  * $DragonFly: src/sys/vfs/union/union_vnops.c,v 1.32 2006/08/11 01:55:02 dillon Exp $
40  */
41
42 #include <sys/param.h>
43 #include <sys/systm.h>
44 #include <sys/proc.h>
45 #include <sys/fcntl.h>
46 #include <sys/stat.h>
47 #include <sys/kernel.h>
48 #include <sys/vnode.h>
49 #include <sys/mount.h>
50 #include <sys/namei.h>
51 #include <sys/malloc.h>
52 #include <sys/buf.h>
53 #include <sys/lock.h>
54 #include <sys/sysctl.h>
55 #include "union.h"
56
57 #include <vm/vm.h>
58 #include <vm/vnode_pager.h>
59
60 #include <vm/vm_page.h>
61 #include <vm/vm_object.h>
62
63 int uniondebug = 0;
64
65 #if UDEBUG_ENABLED
66 SYSCTL_INT(_vfs, OID_AUTO, uniondebug, CTLFLAG_RW, &uniondebug, 0, "");
67 #else
68 SYSCTL_INT(_vfs, OID_AUTO, uniondebug, CTLFLAG_RD, &uniondebug, 0, "");
69 #endif
70
71 static int      union_access (struct vop_access_args *ap);
72 static int      union_advlock (struct vop_advlock_args *ap);
73 static int      union_bmap (struct vop_bmap_args *ap);
74 static int      union_close (struct vop_close_args *ap);
75 static int      union_create (struct vop_old_create_args *ap);
76 static int      union_fsync (struct vop_fsync_args *ap);
77 static int      union_getattr (struct vop_getattr_args *ap);
78 static int      union_inactive (struct vop_inactive_args *ap);
79 static int      union_ioctl (struct vop_ioctl_args *ap);
80 static int      union_link (struct vop_old_link_args *ap);
81 static int      union_lock (struct vop_lock_args *ap);
82 static int      union_lookup (struct vop_old_lookup_args *ap);
83 static int      union_lookup1 (struct vnode *udvp, struct vnode **dvp,
84                                    struct vnode **vpp,
85                                    struct componentname *cnp);
86 static int      union_mkdir (struct vop_old_mkdir_args *ap);
87 static int      union_mknod (struct vop_old_mknod_args *ap);
88 static int      union_mmap (struct vop_mmap_args *ap);
89 static int      union_open (struct vop_open_args *ap);
90 static int      union_pathconf (struct vop_pathconf_args *ap);
91 static int      union_print (struct vop_print_args *ap);
92 static int      union_read (struct vop_read_args *ap);
93 static int      union_readdir (struct vop_readdir_args *ap);
94 static int      union_readlink (struct vop_readlink_args *ap);
95 static int      union_reclaim (struct vop_reclaim_args *ap);
96 static int      union_remove (struct vop_old_remove_args *ap);
97 static int      union_rename (struct vop_old_rename_args *ap);
98 static int      union_revoke (struct vop_revoke_args *ap);
99 static int      union_rmdir (struct vop_old_rmdir_args *ap);
100 static int      union_poll (struct vop_poll_args *ap);
101 static int      union_setattr (struct vop_setattr_args *ap);
102 static int      union_strategy (struct vop_strategy_args *ap);
103 static int      union_getpages (struct vop_getpages_args *ap);
104 static int      union_putpages (struct vop_putpages_args *ap);
105 static int      union_symlink (struct vop_old_symlink_args *ap);
106 static int      union_unlock (struct vop_unlock_args *ap);
107 static int      union_whiteout (struct vop_old_whiteout_args *ap);
108 static int      union_write (struct vop_read_args *ap);
109
110 static __inline
111 struct vnode *
112 union_lock_upper(struct union_node *un, struct thread *td)
113 {
114         struct vnode *uppervp;
115
116         if ((uppervp = un->un_uppervp) != NULL) {
117                 vref(uppervp);
118                 vn_lock(uppervp, LK_EXCLUSIVE | LK_CANRECURSE | LK_RETRY);
119         }
120         KASSERT((uppervp == NULL || uppervp->v_usecount > 0), ("uppervp usecount is 0"));
121         return(uppervp);
122 }
123
124 static __inline
125 void
126 union_unlock_upper(struct vnode *uppervp, struct thread *td)
127 {
128         vput(uppervp);
129 }
130
131 static __inline
132 struct vnode *
133 union_lock_other(struct union_node *un, struct thread *td)
134 {
135         struct vnode *vp;
136
137         if (un->un_uppervp != NULL) {
138                 vp = union_lock_upper(un, td);
139         } else if ((vp = un->un_lowervp) != NULL) {
140                 vref(vp);
141                 vn_lock(vp, LK_EXCLUSIVE | LK_CANRECURSE | LK_RETRY);
142         }
143         return(vp);
144 }
145
146 static __inline
147 void
148 union_unlock_other(struct vnode *vp, struct thread *td)
149 {
150         vput(vp);
151 }
152
153 /*
154  *      union_lookup:
155  *
156  *      udvp    must be exclusively locked on call and will remain 
157  *              exclusively locked on return.  This is the mount point 
158  *              for out filesystem.
159  *
160  *      dvp     Our base directory, locked and referenced.
161  *              The passed dvp will be dereferenced and unlocked on return
162  *              and a new dvp will be returned which is locked and 
163  *              referenced in the same variable.
164  *
165  *      vpp     is filled in with the result if no error occured,
166  *              locked and ref'd.
167  *
168  *              If an error is returned, *vpp is set to NULLVP.  If no
169  *              error occurs, *vpp is returned with a reference and an
170  *              exclusive lock.
171  */
172
173 static int
174 union_lookup1(struct vnode *udvp, struct vnode **pdvp, struct vnode **vpp,
175               struct componentname *cnp)
176 {
177         int error;
178         struct thread *td = cnp->cn_td;
179         struct vnode *dvp = *pdvp;
180         struct vnode *tdvp;
181         struct mount *mp;
182
183         /*
184          * If stepping up the directory tree, check for going
185          * back across the mount point, in which case do what
186          * lookup would do by stepping back down the mount
187          * hierarchy.
188          */
189         if (cnp->cn_flags & CNP_ISDOTDOT) {
190                 while ((dvp != udvp) && (dvp->v_flag & VROOT)) {
191                         /*
192                          * Don't do the NOCROSSMOUNT check
193                          * at this level.  By definition,
194                          * union fs deals with namespaces, not
195                          * filesystems.
196                          */
197                         tdvp = dvp;
198                         dvp = dvp->v_mount->mnt_vnodecovered;
199                         vref(dvp);
200                         vput(tdvp);
201                         vn_lock(dvp, LK_EXCLUSIVE | LK_RETRY);
202                 }
203         }
204
205         /*
206          * Set return dvp to be the upperdvp 'parent directory.
207          */
208         *pdvp = dvp;
209
210         /*
211          * If the VOP_LOOKUP call generates an error, tdvp is invalid and no
212          * changes will have been made to dvp, so we are set to return.
213          */
214
215         error = VOP_LOOKUP(dvp, &tdvp, cnp);
216         if (error) {
217                 UDEBUG(("dvp %p error %d flags %lx\n", dvp, error, cnp->cn_flags));
218                 *vpp = NULL;
219                 return (error);
220         }
221
222         /*
223          * The parent directory will have been unlocked, unless lookup
224          * found the last component or if dvp == tdvp (tdvp must be locked).
225          *
226          * We want our dvp to remain locked and ref'd.  We also want tdvp
227          * to remain locked and ref'd.
228          */
229         UDEBUG(("parentdir %p result %p flag %lx\n", dvp, tdvp, cnp->cn_flags));
230
231 #if 0
232         if (dvp != tdvp && (cnp->cn_flags & CNP_XXXISLASTCN) == 0)
233                 vn_lock(dvp, LK_EXCLUSIVE | LK_RETRY);
234 #endif
235
236         /*
237          * Lastly check if the current node is a mount point in
238          * which case walk up the mount hierarchy making sure not to
239          * bump into the root of the mount tree (ie. dvp != udvp).
240          *
241          * We use dvp as a temporary variable here, it is no longer related
242          * to the dvp above.  However, we have to ensure that both *pdvp and
243          * tdvp are locked on return.
244          */
245
246         dvp = tdvp;
247         while (
248             dvp != udvp && 
249             (dvp->v_type == VDIR) &&
250             (mp = dvp->v_mountedhere)
251         ) {
252                 int relock_pdvp = 0;
253
254                 if (vfs_busy(mp, 0))
255                         continue;
256
257                 if (dvp == *pdvp)
258                         relock_pdvp = 1;
259                 vput(dvp);
260                 dvp = NULL;
261                 error = VFS_ROOT(mp, &dvp);
262
263                 vfs_unbusy(mp);
264
265                 if (relock_pdvp)
266                         vn_lock(*pdvp, LK_EXCLUSIVE | LK_RETRY);
267
268                 if (error) {
269                         *vpp = NULL;
270                         return (error);
271                 }
272         }
273         *vpp = dvp;
274         return (0);
275 }
276
277 /*
278  * union_lookup(struct vnode *a_dvp, struct vnode **a_vpp,
279  *              struct componentname *a_cnp)
280  */
281 static int
282 union_lookup(struct vop_old_lookup_args *ap)
283 {
284         int error;
285         int uerror, lerror;
286         struct vnode *uppervp, *lowervp;
287         struct vnode *upperdvp, *lowerdvp;
288         struct vnode *dvp = ap->a_dvp;          /* starting dir */
289         struct union_node *dun = VTOUNION(dvp); /* associated union node */
290         struct componentname *cnp = ap->a_cnp;
291         struct thread *td = cnp->cn_td;
292         int lockparent = cnp->cn_flags & CNP_LOCKPARENT;
293         struct union_mount *um = MOUNTTOUNIONMOUNT(dvp->v_mount);
294         struct ucred *saved_cred = NULL;
295         int iswhiteout;
296         struct vattr va;
297
298         *ap->a_vpp = NULLVP;
299
300         /*
301          * Disallow write attemps to the filesystem mounted read-only.
302          */
303         if ((dvp->v_mount->mnt_flag & MNT_RDONLY) &&
304             (cnp->cn_nameiop == NAMEI_DELETE || cnp->cn_nameiop == NAMEI_RENAME)) {
305                 return (EROFS);
306         }
307
308         /*
309          * For any lookup's we do, always return with the parent locked
310          */
311         cnp->cn_flags |= CNP_LOCKPARENT;
312
313         lowerdvp = dun->un_lowervp;
314         uppervp = NULLVP;
315         lowervp = NULLVP;
316         iswhiteout = 0;
317
318         uerror = ENOENT;
319         lerror = ENOENT;
320
321         /*
322          * Get a private lock on uppervp and a reference, effectively 
323          * taking it out of the union_node's control.
324          *
325          * We must lock upperdvp while holding our lock on dvp
326          * to avoid a deadlock.
327          */
328         upperdvp = union_lock_upper(dun, td);
329
330         /*
331          * do the lookup in the upper level.
332          * if that level comsumes additional pathnames,
333          * then assume that something special is going
334          * on and just return that vnode.
335          */
336         if (upperdvp != NULLVP) {
337                 /*
338                  * We do not have to worry about the DOTDOT case, we've
339                  * already unlocked dvp.
340                  */
341                 UDEBUG(("A %p\n", upperdvp));
342
343                 /*
344                  * Do the lookup.   We must supply a locked and referenced
345                  * upperdvp to the function and will get a new locked and
346                  * referenced upperdvp back with the old having been 
347                  * dereferenced.
348                  *
349                  * If an error is returned, uppervp will be NULLVP.  If no
350                  * error occurs, uppervp will be the locked and referenced
351                  * return vnode or possibly NULL, depending on what is being
352                  * requested.  It is possible that the returned uppervp
353                  * will be the same as upperdvp.
354                  */
355                 uerror = union_lookup1(um->um_uppervp, &upperdvp, &uppervp, cnp);
356                 UDEBUG((
357                     "uerror %d upperdvp %p %d/%d, uppervp %p ref=%d/lck=%d\n",
358                     uerror,
359                     upperdvp,
360                     upperdvp->v_usecount,
361                     VOP_ISLOCKED(upperdvp, NULL),
362                     uppervp,
363                     (uppervp ? uppervp->v_usecount : -99),
364                     (uppervp ? VOP_ISLOCKED(uppervp, NULL) : -99)
365                 ));
366
367                 /*
368                  * Disallow write attemps to the filesystem mounted read-only.
369                  */
370                 if (uerror == EJUSTRETURN && 
371                     (dvp->v_mount->mnt_flag & MNT_RDONLY) &&
372                     (cnp->cn_nameiop == NAMEI_CREATE || cnp->cn_nameiop == NAMEI_RENAME)) {
373                         error = EROFS;
374                         goto out;
375                 }
376
377                 /*
378                  * Special case.  If cn_consume != 0 skip out.  The result
379                  * of the lookup is transfered to our return variable.  If
380                  * an error occured we have to throw away the results.
381                  */
382
383                 if (cnp->cn_consume != 0) {
384                         if ((error = uerror) == 0) {
385                                 *ap->a_vpp = uppervp;
386                                 uppervp = NULL;
387                         }
388                         goto out;
389                 }
390
391                 /*
392                  * Calculate whiteout, fall through
393                  */
394
395                 if (uerror == ENOENT || uerror == EJUSTRETURN) {
396                         if (cnp->cn_flags & CNP_ISWHITEOUT) {
397                                 iswhiteout = 1;
398                         } else if (lowerdvp != NULLVP) {
399                                 int terror;
400
401                                 terror = VOP_GETATTR(upperdvp, &va);
402                                 if (terror == 0 && (va.va_flags & OPAQUE))
403                                         iswhiteout = 1;
404                         }
405                 }
406         }
407
408         /*
409          * in a similar way to the upper layer, do the lookup
410          * in the lower layer.   this time, if there is some
411          * component magic going on, then vput whatever we got
412          * back from the upper layer and return the lower vnode
413          * instead.
414          */
415
416         if (lowerdvp != NULLVP && !iswhiteout) {
417                 int nameiop;
418
419                 UDEBUG(("B %p\n", lowerdvp));
420
421                 /*
422                  * Force only LOOKUPs on the lower node, since
423                  * we won't be making changes to it anyway.
424                  */
425                 nameiop = cnp->cn_nameiop;
426                 cnp->cn_nameiop = NAMEI_LOOKUP;
427                 if (um->um_op == UNMNT_BELOW) {
428                         saved_cred = cnp->cn_cred;
429                         cnp->cn_cred = um->um_cred;
430                 }
431
432                 /*
433                  * We shouldn't have to worry about locking interactions
434                  * between the lower layer and our union layer (w.r.t.
435                  * `..' processing) because we don't futz with lowervp
436                  * locks in the union-node instantiation code path.
437                  *
438                  * union_lookup1() requires lowervp to be locked on entry,
439                  * and it will be unlocked on return.  The ref count will
440                  * not change.  On return lowervp doesn't represent anything
441                  * to us so we NULL it out.
442                  */
443                 vref(lowerdvp);
444                 vn_lock(lowerdvp, LK_EXCLUSIVE | LK_RETRY);
445                 lerror = union_lookup1(um->um_lowervp, &lowerdvp, &lowervp, cnp);
446                 if (lowerdvp == lowervp)
447                         vrele(lowerdvp);
448                 else
449                         vput(lowerdvp);
450                 lowerdvp = NULL;        /* lowerdvp invalid after vput */
451
452                 if (um->um_op == UNMNT_BELOW)
453                         cnp->cn_cred = saved_cred;
454                 cnp->cn_nameiop = nameiop;
455
456                 if (cnp->cn_consume != 0 || lerror == EACCES) {
457                         if ((error = lerror) == 0) {
458                                 *ap->a_vpp = lowervp;
459                                 lowervp = NULL;
460                         }
461                         goto out;
462                 }
463         } else {
464                 UDEBUG(("C %p\n", lowerdvp));
465                 if ((cnp->cn_flags & CNP_ISDOTDOT) && dun->un_pvp != NULLVP) {
466                         if ((lowervp = LOWERVP(dun->un_pvp)) != NULL) {
467                                 vref(lowervp);
468                                 vn_lock(lowervp, LK_EXCLUSIVE | LK_RETRY);
469                                 lerror = 0;
470                         }
471                 }
472         }
473
474         /*
475          * Ok.  Now we have uerror, uppervp, upperdvp, lerror, and lowervp.
476          *
477          * 1. If both layers returned an error, select the upper layer.
478          *
479          * 2. If the upper layer faile and the bottom layer succeeded,
480          *    two subcases occur:
481          *
482          *      a.  The bottom vnode is not a directory, in which case
483          *          just return a new union vnode referencing an
484          *          empty top layer and the existing bottom layer.
485          *
486          *      b.  The button vnode is a directory, in which case
487          *          create a new directory in the top layer and
488          *          and fall through to case 3.
489          *
490          * 3. If the top layer succeeded then return a new union
491          *    vnode referencing whatever the new top layer and
492          *    whatever the bottom layer returned.
493          */
494
495         /* case 1. */
496         if ((uerror != 0) && (lerror != 0)) {
497                 error = uerror;
498                 goto out;
499         }
500
501         /* case 2. */
502         if (uerror != 0 /* && (lerror == 0) */ ) {
503                 if (lowervp->v_type == VDIR) { /* case 2b. */
504                         KASSERT(uppervp == NULL, ("uppervp unexpectedly non-NULL"));
505                         /*
506                          * oops, uppervp has a problem, we may have to shadow.
507                          */
508                         uerror = union_mkshadow(um, upperdvp, cnp, &uppervp);
509                         if (uerror) {
510                                 error = uerror;
511                                 goto out;
512                         }
513                 }
514         }
515
516         /*
517          * Must call union_allocvp with both the upper and lower vnodes
518          * referenced and the upper vnode locked.   ap->a_vpp is returned 
519          * referenced and locked.  lowervp, uppervp, and upperdvp are 
520          * absorbed by union_allocvp() whether it succeeds or fails.
521          *
522          * upperdvp is the parent directory of uppervp which may be
523          * different, depending on the path, from dvp->un_uppervp.  That's
524          * why it is a separate argument.  Note that it must be unlocked.
525          *
526          * dvp must be locked on entry to the call and will be locked on
527          * return.
528          */
529
530         if (uppervp && uppervp != upperdvp)
531                 VOP_UNLOCK(uppervp, 0);
532         if (lowervp)
533                 VOP_UNLOCK(lowervp, 0);
534         if (upperdvp)
535                 VOP_UNLOCK(upperdvp, 0);
536
537         error = union_allocvp(ap->a_vpp, dvp->v_mount, dvp, upperdvp, cnp,
538                               uppervp, lowervp, 1);
539
540         UDEBUG(("Create %p = %p %p refs=%d\n", *ap->a_vpp, uppervp, lowervp, (*ap->a_vpp) ? ((*ap->a_vpp)->v_usecount) : -99));
541
542         uppervp = NULL;
543         upperdvp = NULL;
544         lowervp = NULL;
545
546         /* 
547          *      Termination Code
548          *
549          *      - put away any extra junk laying around.  Note that lowervp
550          *        (if not NULL) will never be the same as *ap->a_vp and 
551          *        neither will uppervp, because when we set that state we 
552          *        NULL-out lowervp or uppervp.  On the otherhand, upperdvp
553          *        may match uppervp or *ap->a_vpp.
554          *
555          *      - relock/unlock dvp if appropriate.
556          */
557
558 out:
559         if (upperdvp) {
560                 if (upperdvp == uppervp || upperdvp == *ap->a_vpp)
561                         vrele(upperdvp);
562                 else
563                         vput(upperdvp);
564         }
565
566         if (uppervp)
567                 vput(uppervp);
568
569         if (lowervp)
570                 vput(lowervp);
571
572         /*
573          * Restore LOCKPARENT state
574          */
575
576         if (!lockparent)
577                 cnp->cn_flags &= ~CNP_LOCKPARENT;
578
579         UDEBUG(("Out %d vpp %p/%d lower %p upper %p\n", error, *ap->a_vpp,
580                 ((*ap->a_vpp) ? (*ap->a_vpp)->v_usecount : -99),
581                 lowervp, uppervp));
582
583         /*
584          * dvp lock state, determine whether to relock dvp.  dvp is expected
585          * to be locked on return if:
586          *
587          *      - there was an error (except not EJUSTRETURN), or
588          *      - we hit the last component and lockparent is true
589          *
590          * dvp_is_locked is the current state of the dvp lock, not counting
591          * the possibility that *ap->a_vpp == dvp (in which case it is locked
592          * anyway).  Note that *ap->a_vpp == dvp only if no error occured.
593          */
594
595         if (*ap->a_vpp != dvp) {
596                 if ((error == 0 || error == EJUSTRETURN) && !lockparent) {
597                         VOP_UNLOCK(dvp, 0);
598                 }
599         }
600
601         /*
602          * Diagnostics
603          */
604
605 #ifdef DIAGNOSTIC
606         if (cnp->cn_namelen == 1 &&
607             cnp->cn_nameptr[0] == '.' &&
608             *ap->a_vpp != dvp) {
609                 panic("union_lookup returning . (%p) not same as startdir (%p)", ap->a_vpp, dvp);
610         }
611 #endif
612
613         return (error);
614 }
615
616 /*
617  *      union_create:
618  *
619  * a_dvp is locked on entry and remains locked on return.  a_vpp is returned
620  * locked if no error occurs, otherwise it is garbage.
621  *
622  * union_create(struct vnode *a_dvp, struct vnode **a_vpp,
623  *              struct componentname *a_cnp, struct vattr *a_vap)
624  */
625 static int
626 union_create(struct vop_old_create_args *ap)
627 {
628         struct union_node *dun = VTOUNION(ap->a_dvp);
629         struct componentname *cnp = ap->a_cnp;
630         struct thread *td = cnp->cn_td;
631         struct vnode *dvp;
632         int error = EROFS;
633
634         if ((dvp = union_lock_upper(dun, td)) != NULL) {
635                 struct vnode *vp;
636                 struct mount *mp;
637
638                 error = VOP_CREATE(dvp, &vp, cnp, ap->a_vap);
639                 if (error == 0) {
640                         mp = ap->a_dvp->v_mount;
641                         VOP_UNLOCK(vp, 0);
642                         UDEBUG(("ALLOCVP-1 FROM %p REFS %d\n", vp, vp->v_usecount));
643                         error = union_allocvp(ap->a_vpp, mp, NULLVP, NULLVP,
644                                 cnp, vp, NULLVP, 1);
645                         UDEBUG(("ALLOCVP-2B FROM %p REFS %d\n", *ap->a_vpp, vp->v_usecount));
646                 }
647                 union_unlock_upper(dvp, td);
648         }
649         return (error);
650 }
651
652 /*
653  * union_whiteout(struct vnode *a_dvp, struct componentname *a_cnp,
654  *                int a_flags)
655  */
656 static int
657 union_whiteout(struct vop_old_whiteout_args *ap)
658 {
659         struct union_node *un = VTOUNION(ap->a_dvp);
660         struct componentname *cnp = ap->a_cnp;
661         struct vnode *uppervp;
662         int error = EOPNOTSUPP;
663
664         if ((uppervp = union_lock_upper(un, cnp->cn_td)) != NULLVP) {
665                 error = VOP_WHITEOUT(un->un_uppervp, cnp, ap->a_flags);
666                 union_unlock_upper(uppervp, cnp->cn_td);
667         }
668         return(error);
669 }
670
671 /*
672  *      union_mknod:
673  *
674  *      a_dvp is locked on entry and should remain locked on return.
675  *      a_vpp is garbagre whether an error occurs or not.
676  *
677  * union_mknod(struct vnode *a_dvp, struct vnode **a_vpp,
678  *              struct componentname *a_cnp, struct vattr *a_vap)
679  */
680 static int
681 union_mknod(struct vop_old_mknod_args *ap)
682 {
683         struct union_node *dun = VTOUNION(ap->a_dvp);
684         struct componentname *cnp = ap->a_cnp;
685         struct vnode *dvp;
686         int error = EROFS;
687
688         if ((dvp = union_lock_upper(dun, cnp->cn_td)) != NULL) {
689                 error = VOP_MKNOD(dvp, ap->a_vpp, cnp, ap->a_vap);
690                 union_unlock_upper(dvp, cnp->cn_td);
691         }
692         return (error);
693 }
694
695 /*
696  *      union_open:
697  *
698  *      run open VOP.  When opening the underlying vnode we have to mimic
699  *      vn_open.  What we *really* need to do to avoid screwups if the
700  *      open semantics change is to call vn_open().  For example, ufs blows
701  *      up if you open a file but do not vmio it prior to writing.
702  *
703  * union_open(struct vnode *a_vp, int a_mode,
704  *            struct ucred *a_cred, struct thread *a_td)
705  */
706 static int
707 union_open(struct vop_open_args *ap)
708 {
709         struct union_node *un = VTOUNION(ap->a_vp);
710         struct vnode *tvp;
711         int mode = ap->a_mode;
712         struct ucred *cred = ap->a_cred;
713         struct thread *td = ap->a_td;
714         int error = 0;
715         int tvpisupper = 1;
716
717         /*
718          * If there is an existing upper vp then simply open that.
719          * The upper vp takes precedence over the lower vp.  When opening
720          * a lower vp for writing copy it to the uppervp and then open the
721          * uppervp.
722          *
723          * At the end of this section tvp will be left locked.
724          */
725         if ((tvp = union_lock_upper(un, td)) == NULLVP) {
726                 /*
727                  * If the lower vnode is being opened for writing, then
728                  * copy the file contents to the upper vnode and open that,
729                  * otherwise can simply open the lower vnode.
730                  */
731                 tvp = un->un_lowervp;
732                 if ((ap->a_mode & FWRITE) && (tvp->v_type == VREG)) {
733                         int docopy = !(mode & O_TRUNC);
734                         error = union_copyup(un, docopy, cred, td);
735                         tvp = union_lock_upper(un, td);
736                 } else {
737                         un->un_openl++;
738                         vref(tvp);
739                         vn_lock(tvp, LK_EXCLUSIVE | LK_RETRY);
740                         tvpisupper = 0;
741                 }
742         }
743
744         /*
745          * We are holding the correct vnode, open it.  Note
746          * that in DragonFly, VOP_OPEN is responsible for associating
747          * a VM object with the vnode if the vnode is mappable or the
748          * underlying filesystem uses buffer cache calls on it.
749          */
750         if (error == 0)
751                 error = VOP_OPEN(tvp, mode, cred, NULL);
752
753         /*
754          * Release any locks held
755          */
756         if (tvpisupper) {
757                 if (tvp)
758                         union_unlock_upper(tvp, td);
759         } else {
760                 vput(tvp);
761         }
762         return (error);
763 }
764
765 /*
766  *      union_close:
767  *
768  *      It is unclear whether a_vp is passed locked or unlocked.  Whatever
769  *      the case we do not change it.
770  *
771  * union_close(struct vnode *a_vp, int a_fflag, struct ucred *a_cred,
772  *              struct thread *a_td)
773  */
774 static int
775 union_close(struct vop_close_args *ap)
776 {
777         struct union_node *un = VTOUNION(ap->a_vp);
778         struct vnode *vp;
779
780         if ((vp = un->un_uppervp) == NULLVP) {
781 #ifdef UNION_DIAGNOSTIC
782                 if (un->un_openl <= 0)
783                         panic("union: un_openl cnt");
784 #endif
785                 --un->un_openl;
786                 vp = un->un_lowervp;
787         }
788         ap->a_head.a_ops = *vp->v_ops;
789         ap->a_vp = vp;
790         return(vop_close_ap(ap));
791 }
792
793 /*
794  * Check access permission on the union vnode.
795  * The access check being enforced is to check
796  * against both the underlying vnode, and any
797  * copied vnode.  This ensures that no additional
798  * file permissions are given away simply because
799  * the user caused an implicit file copy.
800  *
801  * union_access(struct vnode *a_vp, int a_mode,
802  *              struct ucred *a_cred, struct thread *a_td)
803  */
804 static int
805 union_access(struct vop_access_args *ap)
806 {
807         struct union_node *un = VTOUNION(ap->a_vp);
808         struct thread *td = ap->a_td;
809         int error = EACCES;
810         struct vnode *vp;
811
812         /*
813          * Disallow write attempts on filesystems mounted read-only.
814          */
815         if ((ap->a_mode & VWRITE) && 
816             (ap->a_vp->v_mount->mnt_flag & MNT_RDONLY)) {
817                 switch (ap->a_vp->v_type) {
818                 case VREG: 
819                 case VDIR:
820                 case VLNK:
821                         return (EROFS);
822                 default:
823                         break;
824                 }
825         }
826
827         if ((vp = union_lock_upper(un, td)) != NULLVP) {
828                 ap->a_head.a_ops = *vp->v_ops;
829                 ap->a_vp = vp;
830                 error = vop_access_ap(ap);
831                 union_unlock_upper(vp, td);
832                 return(error);
833         }
834
835         if ((vp = un->un_lowervp) != NULLVP) {
836                 vn_lock(vp, LK_EXCLUSIVE | LK_RETRY);
837                 ap->a_head.a_ops = *vp->v_ops;
838                 ap->a_vp = vp;
839
840                 /*
841                  * Remove VWRITE from a_mode if our mount point is RW, because
842                  * we want to allow writes and lowervp may be read-only.
843                  */
844                 if ((un->un_vnode->v_mount->mnt_flag & MNT_RDONLY) == 0)
845                         ap->a_mode &= ~VWRITE;
846
847                 error = vop_access_ap(ap);
848                 if (error == 0) {
849                         struct union_mount *um;
850
851                         um = MOUNTTOUNIONMOUNT(un->un_vnode->v_mount);
852
853                         if (um->um_op == UNMNT_BELOW) {
854                                 ap->a_cred = um->um_cred;
855                                 error = vop_access_ap(ap);
856                         }
857                 }
858                 VOP_UNLOCK(vp, 0);
859         }
860         return(error);
861 }
862
863 /*
864  * We handle getattr only to change the fsid and
865  * track object sizes
866  *
867  * It's not clear whether VOP_GETATTR is to be
868  * called with the vnode locked or not.  stat() calls
869  * it with (vp) locked, and fstat calls it with
870  * (vp) unlocked. 
871  *
872  * Because of this we cannot use our normal locking functions
873  * if we do not intend to lock the main a_vp node.  At the moment
874  * we are running without any specific locking at all, but beware
875  * to any programmer that care must be taken if locking is added
876  * to this function.
877  *
878  * union_getattr(struct vnode *a_vp, struct vattr *a_vap,
879  *               struct ucred *a_cred, struct thread *a_td)
880  */
881 static int
882 union_getattr(struct vop_getattr_args *ap)
883 {
884         int error;
885         struct union_node *un = VTOUNION(ap->a_vp);
886         struct vnode *vp;
887         struct vattr *vap;
888         struct vattr va;
889
890         /*
891          * Some programs walk the filesystem hierarchy by counting
892          * links to directories to avoid stat'ing all the time.
893          * This means the link count on directories needs to be "correct".
894          * The only way to do that is to call getattr on both layers
895          * and fix up the link count.  The link count will not necessarily
896          * be accurate but will be large enough to defeat the tree walkers.
897          */
898
899         vap = ap->a_vap;
900
901         if ((vp = un->un_uppervp) != NULLVP) {
902                 error = VOP_GETATTR(vp, vap);
903                 if (error)
904                         return (error);
905                 /* XXX isn't this dangerouso without a lock? */
906                 union_newsize(ap->a_vp, vap->va_size, VNOVAL);
907         }
908
909         if (vp == NULLVP) {
910                 vp = un->un_lowervp;
911         } else if (vp->v_type == VDIR && un->un_lowervp != NULLVP) {
912                 vp = un->un_lowervp;
913                 vap = &va;
914         } else {
915                 vp = NULLVP;
916         }
917
918         if (vp != NULLVP) {
919                 error = VOP_GETATTR(vp, vap);
920                 if (error)
921                         return (error);
922                 /* XXX isn't this dangerous without a lock? */
923                 union_newsize(ap->a_vp, VNOVAL, vap->va_size);
924         }
925
926         if ((vap != ap->a_vap) && (vap->va_type == VDIR))
927                 ap->a_vap->va_nlink += vap->va_nlink;
928         return (0);
929 }
930
931 /*
932  * union_setattr(struct vnode *a_vp, struct vattr *a_vap,
933  *               struct ucred *a_cred, struct thread *a_td)
934  */
935 static int
936 union_setattr(struct vop_setattr_args *ap)
937 {
938         struct union_node *un = VTOUNION(ap->a_vp);
939         struct thread *td = ap->a_td;
940         struct vattr *vap = ap->a_vap;
941         struct vnode *uppervp;
942         int error;
943
944         /*
945          * Disallow write attempts on filesystems mounted read-only.
946          */
947         if ((ap->a_vp->v_mount->mnt_flag & MNT_RDONLY) &&
948             (vap->va_flags != VNOVAL || vap->va_uid != (uid_t)VNOVAL ||
949              vap->va_gid != (gid_t)VNOVAL || vap->va_atime.tv_sec != VNOVAL ||
950              vap->va_mtime.tv_sec != VNOVAL || 
951              vap->va_mode != (mode_t)VNOVAL)) {
952                 return (EROFS);
953         }
954
955         /*
956          * Handle case of truncating lower object to zero size,
957          * by creating a zero length upper object.  This is to
958          * handle the case of open with O_TRUNC and O_CREAT.
959          */
960         if (un->un_uppervp == NULLVP && (un->un_lowervp->v_type == VREG)) {
961                 error = union_copyup(un, (ap->a_vap->va_size != 0),
962                             ap->a_cred, ap->a_td);
963                 if (error)
964                         return (error);
965         }
966
967         /*
968          * Try to set attributes in upper layer,
969          * otherwise return read-only filesystem error.
970          */
971         error = EROFS;
972         if ((uppervp = union_lock_upper(un, td)) != NULLVP) {
973                 error = VOP_SETATTR(un->un_uppervp, ap->a_vap, ap->a_cred);
974                 if ((error == 0) && (ap->a_vap->va_size != VNOVAL))
975                         union_newsize(ap->a_vp, ap->a_vap->va_size, VNOVAL);
976                 union_unlock_upper(uppervp, td);
977         }
978         return (error);
979 }
980
981 /*
982  *      union_getpages:
983  */
984
985 static int
986 union_getpages(struct vop_getpages_args *ap)
987 {
988         int r;
989
990         r = vnode_pager_generic_getpages(ap->a_vp, ap->a_m, 
991                 ap->a_count, ap->a_reqpage);
992         return(r);
993 }
994
995 /*
996  *      union_putpages:
997  */
998
999 static int
1000 union_putpages(struct vop_putpages_args *ap)
1001 {
1002         int r;
1003
1004         r = vnode_pager_generic_putpages(ap->a_vp, ap->a_m, ap->a_count,
1005                 ap->a_sync, ap->a_rtvals);
1006         return(r);
1007 }
1008
1009 /*
1010  * union_read(struct vnode *a_vp, struct uio *a_uio, int a_ioflag,
1011  *            struct ucred *a_cred)
1012  */
1013 static int
1014 union_read(struct vop_read_args *ap)
1015 {
1016         struct union_node *un = VTOUNION(ap->a_vp);
1017         struct thread *td = ap->a_uio->uio_td;
1018         struct vnode *uvp;
1019         int error;
1020
1021         uvp = union_lock_other(un, td);
1022         KASSERT(uvp != NULL, ("union_read: backing vnode missing!"));
1023
1024         if (ap->a_vp->v_flag & VOBJBUF)
1025                 union_vm_coherency(ap->a_vp, ap->a_uio, 0);
1026
1027         error = VOP_READ(uvp, ap->a_uio, ap->a_ioflag, ap->a_cred);
1028         union_unlock_other(uvp, td);
1029
1030         /*
1031          * XXX
1032          * perhaps the size of the underlying object has changed under
1033          * our feet.  take advantage of the offset information present
1034          * in the uio structure.
1035          */
1036         if (error == 0) {
1037                 struct union_node *un = VTOUNION(ap->a_vp);
1038                 off_t cur = ap->a_uio->uio_offset;
1039
1040                 if (uvp == un->un_uppervp) {
1041                         if (cur > un->un_uppersz)
1042                                 union_newsize(ap->a_vp, cur, VNOVAL);
1043                 } else {
1044                         if (cur > un->un_lowersz)
1045                                 union_newsize(ap->a_vp, VNOVAL, cur);
1046                 }
1047         }
1048         return (error);
1049 }
1050
1051 /*
1052  * union_write(struct vnode *a_vp, struct uio *a_uio, int a_ioflag,
1053  *              struct ucred *a_cred)
1054  */
1055 static int
1056 union_write(struct vop_read_args *ap)
1057 {
1058         struct union_node *un = VTOUNION(ap->a_vp);
1059         struct thread *td = ap->a_uio->uio_td;
1060         struct vnode *uppervp;
1061         int error;
1062
1063         if ((uppervp = union_lock_upper(un, td)) == NULLVP)
1064                 panic("union: missing upper layer in write");
1065
1066         /*
1067          * Since our VM pages are associated with our vnode rather then
1068          * the real vnode, and since we do not run our reads and writes 
1069          * through our own VM cache, we have a VM/VFS coherency problem. 
1070          * We solve them by invalidating or flushing the associated VM
1071          * pages prior to allowing a normal read or write to occur.
1072          *
1073          * VM-backed writes (UIO_NOCOPY) have to be converted to normal
1074          * writes because we are not cache-coherent.  Normal writes need
1075          * to be made coherent with our VM-backing store, which we do by
1076          * first flushing any dirty VM pages associated with the write
1077          * range, and then destroying any clean VM pages associated with
1078          * the write range.
1079          */
1080
1081         if (ap->a_uio->uio_segflg == UIO_NOCOPY) {
1082                 ap->a_uio->uio_segflg = UIO_SYSSPACE;
1083         } else if (ap->a_vp->v_flag & VOBJBUF) {
1084                 union_vm_coherency(ap->a_vp, ap->a_uio, 1);
1085         }
1086
1087         error = VOP_WRITE(uppervp, ap->a_uio, ap->a_ioflag, ap->a_cred);
1088
1089         /*
1090          * the size of the underlying object may be changed by the
1091          * write.
1092          */
1093         if (error == 0) {
1094                 off_t cur = ap->a_uio->uio_offset;
1095
1096                 if (cur > un->un_uppersz)
1097                         union_newsize(ap->a_vp, cur, VNOVAL);
1098         }
1099         union_unlock_upper(uppervp, td);
1100         return (error);
1101 }
1102
1103 /*
1104  * union_ioctl(struct vnode *a_vp, int a_command, caddr_t a_data, int a_fflag,
1105  *              struct ucred *a_cred, struct thread *a_td)
1106  */
1107 static int
1108 union_ioctl(struct vop_ioctl_args *ap)
1109 {
1110         struct vnode *ovp = OTHERVP(ap->a_vp);
1111
1112         ap->a_head.a_ops = *ovp->v_ops;
1113         ap->a_vp = ovp;
1114         return(vop_ioctl_ap(ap));
1115 }
1116
1117 /*
1118  * union_poll(struct vnode *a_vp, int a_events, struct ucred *a_cred,
1119  *            struct thread *a_td)
1120  */
1121 static int
1122 union_poll(struct vop_poll_args *ap)
1123 {
1124         struct vnode *ovp = OTHERVP(ap->a_vp);
1125
1126         ap->a_head.a_ops = *ovp->v_ops;
1127         ap->a_vp = ovp;
1128         return(vop_poll_ap(ap));
1129 }
1130
1131 /*
1132  * union_revoke(struct vnode *a_vp, int a_flags, struct thread *a_td)
1133  */
1134 static int
1135 union_revoke(struct vop_revoke_args *ap)
1136 {
1137         struct vnode *vp = ap->a_vp;
1138         struct vnode *vx;
1139
1140         if ((vx = UPPERVP(vp)) != NULL) {
1141                 vx_get(vx);
1142                 VOP_REVOKE(vx, ap->a_flags);
1143                 vx_put(vx);
1144         }
1145         if ((vx = LOWERVP(vp)) != NULL) {
1146                 vx_get(vx);
1147                 VOP_REVOKE(vx, ap->a_flags);
1148                 vx_put(vx);
1149         }
1150         vgone(vp);
1151         return (0);
1152 }
1153
1154 /*
1155  * union_mmap(struct vnode *a_vp, int a_fflags, struct ucred *a_cred,
1156  *            struct thread *a_td)
1157  */
1158 static int
1159 union_mmap(struct vop_mmap_args *ap)
1160 {
1161         struct vnode *ovp = OTHERVP(ap->a_vp);
1162
1163         ap->a_head.a_ops = *ovp->v_ops;
1164         ap->a_vp = ovp;
1165         return (vop_mmap_ap(ap));
1166 }
1167
1168 /*
1169  * union_fsync(struct vnode *a_vp, struct ucred *a_cred, int a_waitfor,
1170  *              struct thread *a_td)
1171  */
1172 static int
1173 union_fsync(struct vop_fsync_args *ap)
1174 {
1175         int error = 0;
1176         struct thread *td = ap->a_td;
1177         struct vnode *targetvp;
1178         struct union_node *un = VTOUNION(ap->a_vp);
1179
1180         if ((targetvp = union_lock_other(un, td)) != NULLVP) {
1181                 error = VOP_FSYNC(targetvp, ap->a_waitfor);
1182                 union_unlock_other(targetvp, td);
1183         }
1184
1185         return (error);
1186 }
1187
1188 /*
1189  *      union_remove:
1190  *
1191  *      Remove the specified cnp.  The dvp and vp are passed to us locked
1192  *      and must remain locked on return.
1193  *
1194  * union_remove(struct vnode *a_dvp, struct vnode *a_vp,
1195  *              struct componentname *a_cnp)
1196  */
1197 static int
1198 union_remove(struct vop_old_remove_args *ap)
1199 {
1200         struct union_node *dun = VTOUNION(ap->a_dvp);
1201         struct union_node *un = VTOUNION(ap->a_vp);
1202         struct componentname *cnp = ap->a_cnp;
1203         struct thread *td = cnp->cn_td;
1204         struct vnode *uppervp;
1205         struct vnode *upperdvp;
1206         int error;
1207
1208         if ((upperdvp = union_lock_upper(dun, td)) == NULLVP)
1209                 panic("union remove: null upper vnode");
1210
1211         if ((uppervp = union_lock_upper(un, td)) != NULLVP) {
1212                 if (union_dowhiteout(un, cnp->cn_cred, td))
1213                         cnp->cn_flags |= CNP_DOWHITEOUT;
1214                 error = VOP_REMOVE(upperdvp, uppervp, cnp);
1215 #if 0
1216                 /* XXX */
1217                 if (!error)
1218                         union_removed_upper(un);
1219 #endif
1220                 union_unlock_upper(uppervp, td);
1221         } else {
1222                 error = union_mkwhiteout(
1223                             MOUNTTOUNIONMOUNT(ap->a_dvp->v_mount),
1224                             upperdvp, ap->a_cnp, un->un_path);
1225         }
1226         union_unlock_upper(upperdvp, td);
1227         return (error);
1228 }
1229
1230 /*
1231  *      union_link:
1232  *
1233  *      tdvp will be locked on entry, vp will not be locked on entry.
1234  *      tdvp should remain locked on return and vp should remain unlocked
1235  *      on return.
1236  *
1237  * union_link(struct vnode *a_tdvp, struct vnode *a_vp,
1238  *            struct componentname *a_cnp)
1239  */
1240 static int
1241 union_link(struct vop_old_link_args *ap)
1242 {
1243         struct componentname *cnp = ap->a_cnp;
1244         struct thread *td = cnp->cn_td;
1245         struct union_node *dun = VTOUNION(ap->a_tdvp);
1246         struct vnode *vp;
1247         struct vnode *tdvp;
1248         int error = 0;
1249
1250         if (ap->a_tdvp->v_ops != ap->a_vp->v_ops) {
1251                 vp = ap->a_vp;
1252         } else {
1253                 struct union_node *tun = VTOUNION(ap->a_vp);
1254
1255                 if (tun->un_uppervp == NULLVP) {
1256                         vn_lock(ap->a_vp, LK_EXCLUSIVE | LK_RETRY);
1257 #if 0
1258                         if (dun->un_uppervp == tun->un_dirvp) {
1259                                 if (dun->un_flags & UN_ULOCK) {
1260                                         dun->un_flags &= ~UN_ULOCK;
1261                                         VOP_UNLOCK(dun->un_uppervp, 0);
1262                                 }
1263                         }
1264 #endif
1265                         error = union_copyup(tun, 1, cnp->cn_cred, td);
1266 #if 0
1267                         if (dun->un_uppervp == tun->un_dirvp) {
1268                                 vn_lock(dun->un_uppervp, 
1269                                         LK_EXCLUSIVE | LK_RETRY);
1270                                 dun->un_flags |= UN_ULOCK;
1271                         }
1272 #endif
1273                         VOP_UNLOCK(ap->a_vp, 0);
1274                 }
1275                 vp = tun->un_uppervp;
1276         }
1277
1278         if (error)
1279                 return (error);
1280
1281         /*
1282          * Make sure upper is locked, then unlock the union directory we were 
1283          * called with to avoid a deadlock while we are calling VOP_LINK on 
1284          * the upper (with tdvp locked and vp not locked).  Our ap->a_tdvp
1285          * is expected to be locked on return.
1286          */
1287
1288         if ((tdvp = union_lock_upper(dun, td)) == NULLVP)
1289                 return (EROFS);
1290
1291         VOP_UNLOCK(ap->a_tdvp, 0);      /* unlock calling node */
1292         error = VOP_LINK(tdvp, vp, cnp); /* call link on upper */
1293
1294         /*
1295          * We have to unlock tdvp prior to relocking our calling node in
1296          * order to avoid a deadlock.
1297          */
1298         union_unlock_upper(tdvp, td);
1299         vn_lock(ap->a_tdvp, LK_EXCLUSIVE | LK_RETRY);
1300         return (error);
1301 }
1302
1303 /*
1304  * union_rename(struct vnode *a_fdvp, struct vnode *a_fvp,
1305  *              struct componentname *a_fcnp, struct vnode *a_tdvp,
1306  *              struct vnode *a_tvp, struct componentname *a_tcnp)
1307  */
1308 static int
1309 union_rename(struct vop_old_rename_args *ap)
1310 {
1311         int error;
1312         struct vnode *fdvp = ap->a_fdvp;
1313         struct vnode *fvp = ap->a_fvp;
1314         struct vnode *tdvp = ap->a_tdvp;
1315         struct vnode *tvp = ap->a_tvp;
1316
1317         /*
1318          * Figure out what fdvp to pass to our upper or lower vnode.  If we
1319          * replace the fdvp, release the original one and ref the new one.
1320          */
1321
1322         if (fdvp->v_tag == VT_UNION) {  /* always true */
1323                 struct union_node *un = VTOUNION(fdvp);
1324                 if (un->un_uppervp == NULLVP) {
1325                         /*
1326                          * this should never happen in normal
1327                          * operation but might if there was
1328                          * a problem creating the top-level shadow
1329                          * directory.
1330                          */
1331                         error = EXDEV;
1332                         goto bad;
1333                 }
1334                 fdvp = un->un_uppervp;
1335                 vref(fdvp);
1336                 vrele(ap->a_fdvp);
1337         }
1338
1339         /*
1340          * Figure out what fvp to pass to our upper or lower vnode.  If we
1341          * replace the fvp, release the original one and ref the new one.
1342          */
1343
1344         if (fvp->v_tag == VT_UNION) {   /* always true */
1345                 struct union_node *un = VTOUNION(fvp);
1346 #if 0
1347                 struct union_mount *um = MOUNTTOUNIONMOUNT(fvp->v_mount);
1348 #endif
1349
1350                 if (un->un_uppervp == NULLVP) {
1351                         switch(fvp->v_type) {
1352                         case VREG:
1353                                 vn_lock(un->un_vnode, LK_EXCLUSIVE | LK_RETRY);
1354                                 error = union_copyup(un, 1, ap->a_fcnp->cn_cred, ap->a_fcnp->cn_td);
1355                                 VOP_UNLOCK(un->un_vnode, 0);
1356                                 if (error)
1357                                         goto bad;
1358                                 break;
1359                         case VDIR:
1360                                 /*
1361                                  * XXX not yet.
1362                                  *
1363                                  * There is only one way to rename a directory
1364                                  * based in the lowervp, and that is to copy
1365                                  * the entire directory hierarchy.  Otherwise
1366                                  * it would not last across a reboot.
1367                                  */
1368 #if 0
1369                                 vrele(fvp);
1370                                 fvp = NULL;
1371                                 vn_lock(fdvp, LK_EXCLUSIVE | LK_RETRY);
1372                                 error = union_mkshadow(um, fdvp, 
1373                                             ap->a_fcnp, &un->un_uppervp);
1374                                 VOP_UNLOCK(fdvp, 0);
1375                                 if (un->un_uppervp)
1376                                         VOP_UNLOCK(un->un_uppervp, 0);
1377                                 if (error)
1378                                         goto bad;
1379                                 break;
1380 #endif
1381                         default:
1382                                 error = EXDEV;
1383                                 goto bad;
1384                         }
1385                 }
1386
1387                 if (un->un_lowervp != NULLVP)
1388                         ap->a_fcnp->cn_flags |= CNP_DOWHITEOUT;
1389                 fvp = un->un_uppervp;
1390                 vref(fvp);
1391                 vrele(ap->a_fvp);
1392         }
1393
1394         /*
1395          * Figure out what tdvp (destination directory) to pass to the
1396          * lower level.  If we replace it with uppervp, we need to vput the 
1397          * old one.  The exclusive lock is transfered to what we will pass
1398          * down in the VOP_RENAME and we replace uppervp with a simple
1399          * reference.
1400          */
1401
1402         if (tdvp->v_tag == VT_UNION) {
1403                 struct union_node *un = VTOUNION(tdvp);
1404
1405                 if (un->un_uppervp == NULLVP) {
1406                         /*
1407                          * this should never happen in normal
1408                          * operation but might if there was
1409                          * a problem creating the top-level shadow
1410                          * directory.
1411                          */
1412                         error = EXDEV;
1413                         goto bad;
1414                 }
1415
1416                 /*
1417                  * new tdvp is a lock and reference on uppervp, put away
1418                  * the old tdvp.
1419                  */
1420                 tdvp = union_lock_upper(un, ap->a_tcnp->cn_td);
1421                 vput(ap->a_tdvp);
1422         }
1423
1424         /*
1425          * Figure out what tvp (destination file) to pass to the
1426          * lower level.
1427          *
1428          * If the uppervp file does not exist put away the (wrong)
1429          * file and change tvp to NULL.
1430          */
1431
1432         if (tvp != NULLVP && tvp->v_tag == VT_UNION) {
1433                 struct union_node *un = VTOUNION(tvp);
1434
1435                 tvp = union_lock_upper(un, ap->a_tcnp->cn_td);
1436                 vput(ap->a_tvp);
1437                 /* note: tvp may be NULL */
1438         }
1439
1440         /*
1441          * VOP_RENAME releases/vputs prior to returning, so we have no
1442          * cleanup to do.
1443          */
1444
1445         return (VOP_RENAME(fdvp, fvp, ap->a_fcnp, tdvp, tvp, ap->a_tcnp));
1446
1447         /*
1448          * Error.  We still have to release / vput the various elements.
1449          */
1450
1451 bad:
1452         vrele(fdvp);
1453         if (fvp)
1454                 vrele(fvp);
1455         vput(tdvp);
1456         if (tvp != NULLVP) {
1457                 if (tvp != tdvp)
1458                         vput(tvp);
1459                 else
1460                         vrele(tvp);
1461         }
1462         return (error);
1463 }
1464
1465 /*
1466  * union_mkdir(struct vnode *a_dvp, struct vnode **a_vpp,
1467  *              struct componentname *a_cnp, struct vattr *a_vap)
1468  */
1469 static int
1470 union_mkdir(struct vop_old_mkdir_args *ap)
1471 {
1472         struct union_node *dun = VTOUNION(ap->a_dvp);
1473         struct componentname *cnp = ap->a_cnp;
1474         struct thread *td = cnp->cn_td;
1475         struct vnode *upperdvp;
1476         int error = EROFS;
1477
1478         if ((upperdvp = union_lock_upper(dun, td)) != NULLVP) {
1479                 struct vnode *vp;
1480
1481                 error = VOP_MKDIR(upperdvp, &vp, cnp, ap->a_vap);
1482                 union_unlock_upper(upperdvp, td);
1483
1484                 if (error == 0) {
1485                         VOP_UNLOCK(vp, 0);
1486                         UDEBUG(("ALLOCVP-2 FROM %p REFS %d\n", vp, vp->v_usecount));
1487                         error = union_allocvp(ap->a_vpp, ap->a_dvp->v_mount,
1488                                 ap->a_dvp, NULLVP, cnp, vp, NULLVP, 1);
1489                         UDEBUG(("ALLOCVP-2B FROM %p REFS %d\n", *ap->a_vpp, vp->v_usecount));
1490                 }
1491         }
1492         return (error);
1493 }
1494
1495 /*
1496  * union_rmdir(struct vnode *a_dvp, struct vnode *a_vp,
1497  *              struct componentname *a_cnp)
1498  */
1499 static int
1500 union_rmdir(struct vop_old_rmdir_args *ap)
1501 {
1502         struct union_node *dun = VTOUNION(ap->a_dvp);
1503         struct union_node *un = VTOUNION(ap->a_vp);
1504         struct componentname *cnp = ap->a_cnp;
1505         struct thread *td = cnp->cn_td;
1506         struct vnode *upperdvp;
1507         struct vnode *uppervp;
1508         int error;
1509
1510         if ((upperdvp = union_lock_upper(dun, td)) == NULLVP)
1511                 panic("union rmdir: null upper vnode");
1512
1513         if ((uppervp = union_lock_upper(un, td)) != NULLVP) {
1514                 if (union_dowhiteout(un, cnp->cn_cred, td))
1515                         cnp->cn_flags |= CNP_DOWHITEOUT;
1516                 error = VOP_RMDIR(upperdvp, uppervp, ap->a_cnp);
1517                 union_unlock_upper(uppervp, td);
1518         } else {
1519                 error = union_mkwhiteout(
1520                             MOUNTTOUNIONMOUNT(ap->a_dvp->v_mount),
1521                             dun->un_uppervp, ap->a_cnp, un->un_path);
1522         }
1523         union_unlock_upper(upperdvp, td);
1524         return (error);
1525 }
1526
1527 /*
1528  *      union_symlink:
1529  *
1530  *      dvp is locked on entry and remains locked on return.  a_vpp is garbage
1531  *      (unused).
1532  *
1533  * union_symlink(struct vnode *a_dvp, struct vnode **a_vpp,
1534  *              struct componentname *a_cnp, struct vattr *a_vap,
1535  *              char *a_target)
1536  */
1537 static int
1538 union_symlink(struct vop_old_symlink_args *ap)
1539 {
1540         struct union_node *dun = VTOUNION(ap->a_dvp);
1541         struct componentname *cnp = ap->a_cnp;
1542         struct thread *td = cnp->cn_td;
1543         struct vnode *dvp;
1544         int error = EROFS;
1545
1546         if ((dvp = union_lock_upper(dun, td)) != NULLVP) {
1547                 error = VOP_SYMLINK(dvp, ap->a_vpp, cnp, ap->a_vap,
1548                             ap->a_target);
1549                 union_unlock_upper(dvp, td);
1550         }
1551         return (error);
1552 }
1553
1554 /*
1555  * union_readdir works in concert with getdirentries and
1556  * readdir(3) to provide a list of entries in the unioned
1557  * directories.  getdirentries is responsible for walking
1558  * down the union stack.  readdir(3) is responsible for
1559  * eliminating duplicate names from the returned data stream.
1560  *
1561  * union_readdir(struct vnode *a_vp, struct uio *a_uio, struct ucred *a_cred,
1562  *               int *a_eofflag, u_long *a_cookies, int a_ncookies)
1563  */
1564 static int
1565 union_readdir(struct vop_readdir_args *ap)
1566 {
1567         struct union_node *un = VTOUNION(ap->a_vp);
1568         struct thread *td = ap->a_uio->uio_td;
1569         struct vnode *uvp;
1570         int error = 0;
1571
1572         if ((uvp = union_lock_upper(un, td)) != NULLVP) {
1573                 ap->a_head.a_ops = *uvp->v_ops;
1574                 ap->a_vp = uvp;
1575                 error = vop_readdir_ap(ap);
1576                 union_unlock_upper(uvp, td);
1577         }
1578         return(error);
1579 }
1580
1581 /*
1582  * union_readlink(struct vnode *a_vp, struct uio *a_uio, struct ucred *a_cred)
1583  */
1584 static int
1585 union_readlink(struct vop_readlink_args *ap)
1586 {
1587         int error;
1588         struct union_node *un = VTOUNION(ap->a_vp);
1589         struct uio *uio = ap->a_uio;
1590         struct thread *td = uio->uio_td;
1591         struct vnode *vp;
1592
1593         vp = union_lock_other(un, td);
1594         KASSERT(vp != NULL, ("union_readlink: backing vnode missing!"));
1595
1596         ap->a_head.a_ops = *vp->v_ops;
1597         ap->a_vp = vp;
1598         error = vop_readlink_ap(ap);
1599         union_unlock_other(vp, td);
1600
1601         return (error);
1602 }
1603
1604 /*
1605  *      union_inactive:
1606  *
1607  *      Called with the vnode locked.  We are expected to unlock the vnode.
1608  *
1609  * union_inactive(struct vnode *a_vp, struct thread *a_td)
1610  */
1611 static int
1612 union_inactive(struct vop_inactive_args *ap)
1613 {
1614         struct vnode *vp = ap->a_vp;
1615         /*struct thread *td = ap->a_td;*/
1616         struct union_node *un = VTOUNION(vp);
1617         struct vnode **vpp;
1618
1619         /*
1620          * Do nothing (and _don't_ bypass).
1621          * Wait to vrele lowervp until reclaim,
1622          * so that until then our union_node is in the
1623          * cache and reusable.
1624          *
1625          * NEEDSWORK: Someday, consider inactive'ing
1626          * the lowervp and then trying to reactivate it
1627          * with capabilities (v_id)
1628          * like they do in the name lookup cache code.
1629          * That's too much work for now.
1630          */
1631
1632         if (un->un_dircache != 0) {
1633                 for (vpp = un->un_dircache; *vpp != NULLVP; vpp++)
1634                         vrele(*vpp);
1635                 free (un->un_dircache, M_TEMP);
1636                 un->un_dircache = 0;
1637         }
1638
1639 #if 0
1640         if ((un->un_flags & UN_ULOCK) && un->un_uppervp) {
1641                 un->un_flags &= ~UN_ULOCK;
1642                 VOP_UNLOCK(un->un_uppervp, 0);
1643         }
1644 #endif
1645
1646         if ((un->un_flags & UN_CACHED) == 0)
1647                 vgone(vp);
1648
1649         return (0);
1650 }
1651
1652 /*
1653  * union_reclaim(struct vnode *a_vp)
1654  */
1655 static int
1656 union_reclaim(struct vop_reclaim_args *ap)
1657 {
1658         union_freevp(ap->a_vp);
1659
1660         return (0);
1661 }
1662
1663 static int
1664 union_lock(struct vop_lock_args *ap)
1665 {
1666 #if 0
1667         struct vnode *vp = ap->a_vp;
1668         struct thread *td = ap->a_td;
1669         int flags = ap->a_flags;
1670         struct union_node *un;
1671 #endif
1672         int error;
1673
1674         error = vop_stdlock(ap);
1675 #if 0
1676         un = VTOUNION(vp);
1677
1678         if (error == 0) {
1679                 /*
1680                  * Lock the upper if it exists and this is an exclusive lock
1681                  * request.
1682                  */
1683                 if (un->un_uppervp != NULLVP && 
1684                     (flags & LK_TYPE_MASK) == LK_EXCLUSIVE) {
1685                         if ((un->un_flags & UN_ULOCK) == 0 && vp->v_usecount) {
1686                                 error = vn_lock(un->un_uppervp, flags);
1687                                 if (error) {
1688                                         struct vop_unlock_args uap = { 0 };
1689                                         uap.a_vp = ap->a_vp;
1690                                         uap.a_flags = ap->a_flags;
1691                                         vop_stdunlock(&uap);
1692                                         return (error);
1693                                 }
1694                                 un->un_flags |= UN_ULOCK;
1695                         }
1696                 }
1697         }
1698 #endif
1699         return (error);
1700 }
1701
1702 /*
1703  *      union_unlock:
1704  *
1705  *      Unlock our union node.  This also unlocks uppervp.  
1706  *
1707  * union_unlock(struct vnode *a_vp, int a_flags, struct thread *a_td)
1708  */
1709 static int
1710 union_unlock(struct vop_unlock_args *ap)
1711 {
1712         int error;
1713 #if 0
1714         struct union_node *un = VTOUNION(ap->a_vp);
1715
1716         KASSERT((un->un_uppervp == NULL || un->un_uppervp->v_usecount > 0), ("uppervp usecount is 0"));
1717 #endif
1718
1719         error = vop_stdunlock(ap);
1720 #if 0
1721
1722         /*
1723          * If no exclusive locks remain and we are holding an uppervp lock,
1724          * remove the uppervp lock.
1725          */
1726
1727         if ((un->un_flags & UN_ULOCK) && 
1728             lockstatus(&un->un_lock, NULL) != LK_EXCLUSIVE) {
1729                 un->un_flags &= ~UN_ULOCK;
1730                 VOP_UNLOCK(un->un_uppervp, LK_EXCLUSIVE);
1731         }
1732 #endif
1733         return(error);
1734 }
1735
1736 /*
1737  *      union_bmap:
1738  *
1739  *      There isn't much we can do.  We cannot push through to the real vnode
1740  *      to get to the underlying device because this will bypass data
1741  *      cached by the real vnode.
1742  *
1743  *      For some reason we cannot return the 'real' vnode either, it seems
1744  *      to blow up memory maps.
1745  *
1746  * union_bmap(struct vnode *a_vp, off_t a_loffset, struct vnode **a_vpp,
1747  *            off_t *a_doffsetp, int *a_runp, int *a_runb)
1748  */
1749 static int
1750 union_bmap(struct vop_bmap_args *ap)
1751 {
1752         return(EOPNOTSUPP);
1753 }
1754
1755 /*
1756  * union_print(struct vnode *a_vp)
1757  */
1758 static int
1759 union_print(struct vop_print_args *ap)
1760 {
1761         struct vnode *vp = ap->a_vp;
1762
1763         printf("\ttag VT_UNION, vp=%p, uppervp=%p, lowervp=%p\n",
1764                         vp, UPPERVP(vp), LOWERVP(vp));
1765         if (UPPERVP(vp) != NULLVP)
1766                 vprint("union: upper", UPPERVP(vp));
1767         if (LOWERVP(vp) != NULLVP)
1768                 vprint("union: lower", LOWERVP(vp));
1769
1770         return (0);
1771 }
1772
1773 /*
1774  * union_pathconf(struct vnode *a_vp, int a_name, int *a_retval)
1775  */
1776 static int
1777 union_pathconf(struct vop_pathconf_args *ap)
1778 {
1779         int error;
1780         struct thread *td = curthread;          /* XXX */
1781         struct union_node *un = VTOUNION(ap->a_vp);
1782         struct vnode *vp;
1783
1784         vp = union_lock_other(un, td);
1785         KASSERT(vp != NULL, ("union_pathconf: backing vnode missing!"));
1786
1787         ap->a_head.a_ops = *vp->v_ops;
1788         ap->a_vp = vp;
1789         error = vop_pathconf_ap(ap);
1790         union_unlock_other(vp, td);
1791
1792         return (error);
1793 }
1794
1795 /*
1796  * union_advlock(struct vnode *a_vp, caddr_t a_id, int a_op,
1797  *               struct flock *a_fl, int a_flags)
1798  */
1799 static int
1800 union_advlock(struct vop_advlock_args *ap)
1801 {
1802         struct vnode *ovp = OTHERVP(ap->a_vp);
1803
1804         ap->a_head.a_ops = *ovp->v_ops;
1805         ap->a_vp = ovp;
1806         return (vop_advlock_ap(ap));
1807 }
1808
1809
1810 /*
1811  * XXX - vop_strategy must be hand coded because it has no
1812  * YYY - and it is not coherent with anything
1813  *
1814  * vnode in its arguments.
1815  * This goes away with a merged VM/buffer cache.
1816  *
1817  * union_strategy(struct vnode *a_vp, struct bio *a_bio)
1818  */
1819 static int
1820 union_strategy(struct vop_strategy_args *ap)
1821 {
1822         struct bio *bio = ap->a_bio;
1823         struct buf *bp = bio->bio_buf;
1824         struct vnode *othervp = OTHERVP(ap->a_vp);
1825
1826 #ifdef DIAGNOSTIC
1827         if (othervp == NULLVP)
1828                 panic("union_strategy: nil vp");
1829         if (bp->b_cmd != BUF_CMD_READ && (othervp == LOWERVP(ap->a_vp)))
1830                 panic("union_strategy: writing to lowervp");
1831 #endif
1832         return (vn_strategy(othervp, bio));
1833 }
1834
1835 /*
1836  * Global vfs data structures
1837  */
1838 struct vop_ops union_vnode_vops = {
1839         .vop_default =          vop_defaultop,
1840         .vop_access =           union_access,
1841         .vop_advlock =          union_advlock,
1842         .vop_bmap =             union_bmap,
1843         .vop_close =            union_close,
1844         .vop_old_create =       union_create,
1845         .vop_fsync =            union_fsync,
1846         .vop_getpages =         union_getpages,
1847         .vop_putpages =         union_putpages,
1848         .vop_getattr =          union_getattr,
1849         .vop_inactive =         union_inactive,
1850         .vop_ioctl =            union_ioctl,
1851         .vop_islocked =         vop_stdislocked,
1852         .vop_old_link =         union_link,
1853         .vop_lock =             union_lock,
1854         .vop_old_lookup =       union_lookup,
1855         .vop_old_mkdir =        union_mkdir,
1856         .vop_old_mknod =        union_mknod,
1857         .vop_mmap =             union_mmap,
1858         .vop_open =             union_open,
1859         .vop_pathconf =         union_pathconf,
1860         .vop_poll =             union_poll,
1861         .vop_print =            union_print,
1862         .vop_read =             union_read,
1863         .vop_readdir =          union_readdir,
1864         .vop_readlink =         union_readlink,
1865         .vop_reclaim =          union_reclaim,
1866         .vop_old_remove =       union_remove,
1867         .vop_old_rename =       union_rename,
1868         .vop_revoke =           union_revoke,
1869         .vop_old_rmdir =        union_rmdir,
1870         .vop_setattr =          union_setattr,
1871         .vop_strategy =         union_strategy,
1872         .vop_old_symlink =      union_symlink,
1873         .vop_unlock =           union_unlock,
1874         .vop_old_whiteout =     union_whiteout,
1875         .vop_write =            union_write
1876 };
1877