kernel - Major signal path adjustments to fix races, tsleep race fixes, +more
[dragonfly.git] / sys / kern / kern_fork.c
index 12b1fca..f5c8f28 100644 (file)
 #include <vm/vm_extern.h>
 
 #include <sys/vmmeter.h>
+#include <sys/refcount.h>
 #include <sys/thread2.h>
 #include <sys/signal2.h>
 #include <sys/spinlock2.h>
-#include <sys/mplock2.h>
+
+#include <sys/dsched.h>
 
 static MALLOC_DEFINE(M_ATFORK, "atfork", "atfork callback");
 
@@ -116,14 +118,12 @@ sys_fork(struct fork_args *uap)
        struct proc *p2;
        int error;
 
-       get_mplock();
        error = fork1(lp, RFFDG | RFPROC | RFPGLOCK, &p2);
        if (error == 0) {
                start_forked_proc(lp, p2);
                uap->sysmsg_fds[0] = p2->p_pid;
                uap->sysmsg_fds[1] = 0;
        }
-       rel_mplock();
        return error;
 }
 
@@ -137,14 +137,12 @@ sys_vfork(struct vfork_args *uap)
        struct proc *p2;
        int error;
 
-       get_mplock();
        error = fork1(lp, RFFDG | RFPROC | RFPPWAIT | RFMEM | RFPGLOCK, &p2);
        if (error == 0) {
                start_forked_proc(lp, p2);
                uap->sysmsg_fds[0] = p2->p_pid;
                uap->sysmsg_fds[1] = 0;
        }
-       rel_mplock();
        return error;
 }
 
@@ -171,7 +169,6 @@ sys_rfork(struct rfork_args *uap)
        if ((uap->flags & RFKERNELONLY) != 0)
                return (EINVAL);
 
-       get_mplock();
        error = fork1(lp, uap->flags | RFPGLOCK, &p2);
        if (error == 0) {
                if (p2)
@@ -179,7 +176,6 @@ sys_rfork(struct rfork_args *uap)
                uap->sysmsg_fds[0] = p2 ? p2->p_pid : 0;
                uap->sysmsg_fds[1] = 0;
        }
-       rel_mplock();
        return error;
 }
 
@@ -198,10 +194,12 @@ sys_lwp_create(struct lwp_create_args *uap)
        if (error)
                goto fail2;
 
-       get_mplock();
+       lwkt_gettoken(&p->p_token);
        plimit_lwp_fork(p);     /* force exclusive access */
        lp = lwp_fork(curthread->td_lwp, p, RFPROC);
        error = cpu_prepare_lwp(lp, &params);
+       if (error)
+               goto fail;
        if (params.tid1 != NULL &&
            (error = copyout(&lp->lwp_tid, params.tid1, sizeof(lp->lwp_tid))))
                goto fail;
@@ -217,7 +215,7 @@ sys_lwp_create(struct lwp_create_args *uap)
        lp->lwp_stat = LSRUN;
        p->p_usched->setrunqueue(lp);
        crit_exit();
-       rel_mplock();
+       lwkt_reltoken(&p->p_token);
 
        return (0);
 
@@ -225,11 +223,14 @@ fail:
        lwp_rb_tree_RB_REMOVE(&p->p_lwp_tree, lp);
        --p->p_nthreads;
        /* lwp_dispose expects an exited lwp, and a held proc */
-       lp->lwp_flag |= LWP_WEXIT;
+       atomic_set_int(&lp->lwp_mpflags, LWP_MP_WEXIT);
        lp->lwp_thread->td_flags |= TDF_EXITING;
+       lwkt_remove_tdallq(lp->lwp_thread);
        PHOLD(p);
+       biosched_done(lp->lwp_thread);
+       dsched_exit_thread(lp->lwp_thread);
        lwp_dispose(lp);
-       rel_mplock();
+       lwkt_reltoken(&p->p_token);
 fail2:
        return (error);
 }
@@ -241,7 +242,8 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
 {
        struct proc *p1 = lp1->lwp_proc;
        struct proc *p2, *pptr;
-       struct pgrp *pgrp;
+       struct pgrp *p1grp;
+       struct pgrp *plkgrp;
        uid_t uid;
        int ok, error;
        static int curfail = 0;
@@ -252,6 +254,9 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
        if ((flags & (RFFDG|RFCFDG)) == (RFFDG|RFCFDG))
                return (EINVAL);
 
+       lwkt_gettoken(&p1->p_token);
+       plkgrp = NULL;
+
        /*
         * Here we don't create a new process, but we divorce
         * certain parts of a process from itself.
@@ -261,8 +266,10 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                 * This kind of stunt does not work anymore if
                 * there are native threads (lwps) running
                 */
-               if (p1->p_nthreads != 1)
-                       return (EINVAL);
+               if (p1->p_nthreads != 1) {
+                       error = EINVAL;
+                       goto done;
+               }
 
                vm_fork(p1, 0, flags);
 
@@ -281,12 +288,17 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                if (flags & RFFDG) {
                        if (p1->p_fd->fd_refcnt > 1) {
                                struct filedesc *newfd;
-                               newfd = fdcopy(p1);
+                               error = fdcopy(p1, &newfd);
+                               if (error != 0) {
+                                       error = ENOMEM;
+                                       goto done;
+                               }
                                fdfree(p1, newfd);
                        }
                }
                *procp = NULL;
-               return (0);
+               error = 0;
+               goto done;
        }
 
        /*
@@ -299,10 +311,10 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
         * and cause the process group lock to be held indefinitely.  If
         * a STOP occurs, the fork will be restarted after the CONT.
         */
-       error = 0;
-       pgrp = NULL;
-       if ((flags & RFPGLOCK) && (pgrp = p1->p_pgrp) != NULL) {
-               lockmgr(&pgrp->pg_lock, LK_SHARED);
+       p1grp = p1->p_pgrp;
+       if ((flags & RFPGLOCK) && (plkgrp = p1->p_pgrp) != NULL) {
+               pgref(plkgrp);
+               lockmgr(&plkgrp->pg_lock, LK_SHARED);
                if (CURSIG_NOBLOCK(lp1)) {
                        error = ERESTART;
                        goto done;
@@ -325,11 +337,12 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                error = EAGAIN;
                goto done;
        }
+
        /*
         * Increment the nprocs resource before blocking can occur.  There
         * are hard-limits as to the number of processes that can run.
         */
-       nprocs++;
+       atomic_add_int(&nprocs, 1);
 
        /*
         * Increment the count of procs running with this uid. Don't allow
@@ -341,7 +354,7 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                /*
                 * Back out the process count
                 */
-               nprocs--;
+               atomic_add_int(&nprocs, -1);
                if (ppsratecheck(&lastfail, &curfail, 1))
                        kprintf("maxproc limit exceeded by uid %d, please "
                               "see tuning(7) and login.conf(5).\n", uid);
@@ -366,6 +379,7 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
 
        RB_INIT(&p2->p_lwp_tree);
        spin_init(&p2->p_spin);
+       lwkt_token_init(&p2->p_token, "proc");
        p2->p_lasttid = -1;     /* first tid will be 0 */
 
        /*
@@ -384,30 +398,35 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
            (unsigned) ((caddr_t)&p2->p_endcopy - (caddr_t)&p2->p_startcopy));
 
        /*
-        * Duplicate sub-structures as needed.
-        * Increase reference counts on shared objects.
+        * Duplicate sub-structures as needed.  Increase reference counts
+        * on shared objects.
+        *
+        * NOTE: because we are now on the allproc list it is possible for
+        *       other consumers to gain temporary references to p2
+        *       (p2->p_lock can change).
         */
-       if (p1->p_flag & P_PROFIL)
+       if (p1->p_flags & P_PROFIL)
                startprofclock(p2);
        p2->p_ucred = crhold(lp1->lwp_thread->td_ucred);
-       KKASSERT(p2->p_lock == 0);
 
        if (jailed(p2->p_ucred))
-               p2->p_flag |= P_JAILED;
+               p2->p_flags |= P_JAILED;
 
        if (p2->p_args)
-               p2->p_args->ar_ref++;
+               refcount_acquire(&p2->p_args->ar_ref);
 
        p2->p_usched = p1->p_usched;
+       /* XXX: verify copy of the secondary iosched stuff */
+       dsched_new_proc(p2);
 
        if (flags & RFSIGSHARE) {
                p2->p_sigacts = p1->p_sigacts;
-               p2->p_sigacts->ps_refcnt++;
+               refcount_acquire(&p2->p_sigacts->ps_refcnt);
        } else {
-               p2->p_sigacts = (struct sigacts *)kmalloc(sizeof(*p2->p_sigacts),
-                   M_SUBPROC, M_WAITOK);
+               p2->p_sigacts = kmalloc(sizeof(*p2->p_sigacts),
+                                       M_SUBPROC, M_WAITOK);
                bcopy(p1->p_sigacts, p2->p_sigacts, sizeof(*p2->p_sigacts));
-               p2->p_sigacts->ps_refcnt = 1;
+               refcount_init(&p2->p_sigacts->ps_refcnt, 1);
        }
        if (flags & RFLINUXTHPN) 
                p2->p_sigparent = SIGUSR1;
@@ -419,6 +438,10 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
        if (p2->p_textvp)
                vref(p2->p_textvp);
 
+       /* copy namecache handle to the text file */
+       if (p1->p_textnch.mount)
+               cache_copy(&p1->p_textnch, &p2->p_textnch);
+
        /*
         * Handle file descriptors
         */
@@ -426,14 +449,21 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                p2->p_fd = fdinit(p1);
                fdtol = NULL;
        } else if (flags & RFFDG) {
-               p2->p_fd = fdcopy(p1);
+               error = fdcopy(p1, &p2->p_fd);
+               if (error != 0) {
+                       error = ENOMEM;
+                       goto done;
+               }
                fdtol = NULL;
        } else {
                p2->p_fd = fdshare(p1);
-               if (p1->p_fdtol == NULL)
+               if (p1->p_fdtol == NULL) {
+                       lwkt_gettoken(&p1->p_token);
                        p1->p_fdtol =
                                filedesc_to_leader_alloc(NULL,
                                                         p1->p_leader);
+                       lwkt_reltoken(&p1->p_token);
+               }
                if ((flags & RFTHREAD) != 0) {
                        /*
                         * Shared file descriptor table and
@@ -456,11 +486,11 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
         * Preserve some more flags in subprocess.  P_PROFIL has already
         * been preserved.
         */
-       p2->p_flag |= p1->p_flag & P_SUGID;
-       if (p1->p_session->s_ttyvp != NULL && p1->p_flag & P_CONTROLT)
-               p2->p_flag |= P_CONTROLT;
+       p2->p_flags |= p1->p_flags & P_SUGID;
+       if (p1->p_session->s_ttyvp != NULL && p1->p_flags & P_CONTROLT)
+               p2->p_flags |= P_CONTROLT;
        if (flags & RFPPWAIT)
-               p2->p_flag |= P_PPWAIT;
+               p2->p_flags |= P_PPWAIT;
 
        /*
         * Inherit the virtual kernel structure (allows a virtual kernel
@@ -474,7 +504,10 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
         * race a ^C being sent to the process group by not receiving it
         * at all prior to this line.
         */
+       pgref(p1grp);
+       lwkt_gettoken(&p1grp->pg_token);
        LIST_INSERT_AFTER(p1, p2, p_pglist);
+       lwkt_reltoken(&p1grp->pg_token);
 
        /*
         * Attach the new process to its parent.
@@ -488,10 +521,14 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
        else
                pptr = p1;
        p2->p_pptr = pptr;
-       LIST_INSERT_HEAD(&pptr->p_children, p2, p_sibling);
        LIST_INIT(&p2->p_children);
+
+       lwkt_gettoken(&pptr->p_token);
+       LIST_INSERT_HEAD(&pptr->p_children, p2, p_sibling);
+       lwkt_reltoken(&pptr->p_token);
+
        varsymset_init(&p2->p_varsymset, &p1->p_varsymset);
-       callout_init(&p2->p_ithandle);
+       callout_init_mp(&p2->p_ithandle);
 
 #ifdef KTRACE
        /*
@@ -562,15 +599,20 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
         * Return child proc pointer to parent.
         */
        *procp = p2;
+       error = 0;
 done:
-       if (pgrp)
-               lockmgr(&pgrp->pg_lock, LK_RELEASE);
+       lwkt_reltoken(&p1->p_token);
+       if (plkgrp) {
+               lockmgr(&plkgrp->pg_lock, LK_RELEASE);
+               pgrel(plkgrp);
+       }
        return (error);
 }
 
 static struct lwp *
 lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
 {
+       globaldata_t gd = mycpu;
        struct lwp *lp;
        struct thread *td;
 
@@ -582,7 +624,7 @@ lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
        bcopy(&origlp->lwp_startcopy, &lp->lwp_startcopy,
            (unsigned) ((caddr_t)&lp->lwp_endcopy -
                        (caddr_t)&lp->lwp_startcopy));
-       lp->lwp_flag |= origlp->lwp_flag & LWP_ALTSTACK;
+       lp->lwp_flags |= origlp->lwp_flags & LWP_ALTSTACK;
        /*
         * Set cpbase to the last timeout that occured (not the upcoming
         * timeout).
@@ -591,32 +633,22 @@ lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
         * scheduler specific data.
         */
        crit_enter();
-       lp->lwp_cpbase = mycpu->gd_schedclock.time -
-                       mycpu->gd_schedclock.periodic;
+       lp->lwp_cpbase = gd->gd_schedclock.time - gd->gd_schedclock.periodic;
        destproc->p_usched->heuristic_forking(origlp, lp);
        crit_exit();
        lp->lwp_cpumask &= usched_mastermask;
+       lwkt_token_init(&lp->lwp_token, "lwp_token");
+       spin_init(&lp->lwp_spin);
 
        /*
-        * Assign a TID to the lp.  Loop until the insert succeeds (returns
-        * NULL).
+        * Assign the thread to the current cpu to begin with so we
+        * can manipulate it.
         */
-       lp->lwp_tid = destproc->p_lasttid;
-       do {
-               if (++lp->lwp_tid < 0)
-                       lp->lwp_tid = 1;
-       } while (lwp_rb_tree_RB_INSERT(&destproc->p_lwp_tree, lp) != NULL);
-       destproc->p_lasttid = lp->lwp_tid;
-       destproc->p_nthreads++;
-
-       td = lwkt_alloc_thread(NULL, LWKT_THREAD_STACK, -1, 0);
+       td = lwkt_alloc_thread(NULL, LWKT_THREAD_STACK, gd->gd_cpuid, 0);
        lp->lwp_thread = td;
        td->td_proc = destproc;
        td->td_lwp = lp;
        td->td_switch = cpu_heavy_switch;
-#ifdef SMP
-       KKASSERT(td->td_mpcount == 1);
-#endif
        lwkt_setpri(td, TDPRI_KERN_USER);
        lwkt_set_comm(td, "%s", destproc->p_comm);
 
@@ -628,6 +660,18 @@ lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
        caps_fork(origlp->lwp_thread, lp->lwp_thread);
        kqueue_init(&lp->lwp_kqueue, destproc->p_fd);
 
+       /*
+        * Assign a TID to the lp.  Loop until the insert succeeds (returns
+        * NULL).
+        */
+       lp->lwp_tid = destproc->p_lasttid;
+       do {
+               if (++lp->lwp_tid < 0)
+                       lp->lwp_tid = 1;
+       } while (lwp_rb_tree_RB_INSERT(&destproc->p_lwp_tree, lp) != NULL);
+       destproc->p_lasttid = lp->lwp_tid;
+       destproc->p_nthreads++;
+
        return (lp);
 }
 
@@ -712,8 +756,12 @@ start_forked_proc(struct lwp *lp1, struct proc *p2)
        /*
         * Preserve synchronization semantics of vfork.  If waiting for
         * child to exec or exit, set P_PPWAIT on child, and sleep on our
-        * proc (in case of exit).
+        * proc (in case of exec or exit).
+        *
+        * We must hold our p_token to interlock the flag/tsleep
         */
-       while (p2->p_flag & P_PPWAIT)
+       lwkt_gettoken(&p2->p_token);
+       while (p2->p_flags & P_PPWAIT)
                tsleep(lp1->lwp_proc, 0, "ppwait", 0);
+       lwkt_reltoken(&p2->p_token);
 }