kernel - Major signal path adjustments to fix races, tsleep race fixes, +more
[dragonfly.git] / sys / kern / kern_fork.c
index f258926..f5c8f28 100644 (file)
@@ -198,6 +198,8 @@ sys_lwp_create(struct lwp_create_args *uap)
        plimit_lwp_fork(p);     /* force exclusive access */
        lp = lwp_fork(curthread->td_lwp, p, RFPROC);
        error = cpu_prepare_lwp(lp, &params);
+       if (error)
+               goto fail;
        if (params.tid1 != NULL &&
            (error = copyout(&lp->lwp_tid, params.tid1, sizeof(lp->lwp_tid))))
                goto fail;
@@ -221,9 +223,12 @@ fail:
        lwp_rb_tree_RB_REMOVE(&p->p_lwp_tree, lp);
        --p->p_nthreads;
        /* lwp_dispose expects an exited lwp, and a held proc */
-       lp->lwp_flag |= LWP_WEXIT;
+       atomic_set_int(&lp->lwp_mpflags, LWP_MP_WEXIT);
        lp->lwp_thread->td_flags |= TDF_EXITING;
+       lwkt_remove_tdallq(lp->lwp_thread);
        PHOLD(p);
+       biosched_done(lp->lwp_thread);
+       dsched_exit_thread(lp->lwp_thread);
        lwp_dispose(lp);
        lwkt_reltoken(&p->p_token);
 fail2:
@@ -283,7 +288,11 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                if (flags & RFFDG) {
                        if (p1->p_fd->fd_refcnt > 1) {
                                struct filedesc *newfd;
-                               newfd = fdcopy(p1);
+                               error = fdcopy(p1, &newfd);
+                               if (error != 0) {
+                                       error = ENOMEM;
+                                       goto done;
+                               }
                                fdfree(p1, newfd);
                        }
                }
@@ -328,11 +337,12 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                error = EAGAIN;
                goto done;
        }
+
        /*
         * Increment the nprocs resource before blocking can occur.  There
         * are hard-limits as to the number of processes that can run.
         */
-       nprocs++;
+       atomic_add_int(&nprocs, 1);
 
        /*
         * Increment the count of procs running with this uid. Don't allow
@@ -344,7 +354,7 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                /*
                 * Back out the process count
                 */
-               nprocs--;
+               atomic_add_int(&nprocs, -1);
                if (ppsratecheck(&lastfail, &curfail, 1))
                        kprintf("maxproc limit exceeded by uid %d, please "
                               "see tuning(7) and login.conf(5).\n", uid);
@@ -369,7 +379,7 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
 
        RB_INIT(&p2->p_lwp_tree);
        spin_init(&p2->p_spin);
-       lwkt_token_init(&p2->p_token, "iproc");
+       lwkt_token_init(&p2->p_token, "proc");
        p2->p_lasttid = -1;     /* first tid will be 0 */
 
        /*
@@ -395,12 +405,12 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
         *       other consumers to gain temporary references to p2
         *       (p2->p_lock can change).
         */
-       if (p1->p_flag & P_PROFIL)
+       if (p1->p_flags & P_PROFIL)
                startprofclock(p2);
        p2->p_ucred = crhold(lp1->lwp_thread->td_ucred);
 
        if (jailed(p2->p_ucred))
-               p2->p_flag |= P_JAILED;
+               p2->p_flags |= P_JAILED;
 
        if (p2->p_args)
                refcount_acquire(&p2->p_args->ar_ref);
@@ -411,12 +421,12 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
 
        if (flags & RFSIGSHARE) {
                p2->p_sigacts = p1->p_sigacts;
-               p2->p_sigacts->ps_refcnt++;
+               refcount_acquire(&p2->p_sigacts->ps_refcnt);
        } else {
-               p2->p_sigacts = (struct sigacts *)kmalloc(sizeof(*p2->p_sigacts),
-                   M_SUBPROC, M_WAITOK);
+               p2->p_sigacts = kmalloc(sizeof(*p2->p_sigacts),
+                                       M_SUBPROC, M_WAITOK);
                bcopy(p1->p_sigacts, p2->p_sigacts, sizeof(*p2->p_sigacts));
-               p2->p_sigacts->ps_refcnt = 1;
+               refcount_init(&p2->p_sigacts->ps_refcnt, 1);
        }
        if (flags & RFLINUXTHPN) 
                p2->p_sigparent = SIGUSR1;
@@ -439,7 +449,11 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
                p2->p_fd = fdinit(p1);
                fdtol = NULL;
        } else if (flags & RFFDG) {
-               p2->p_fd = fdcopy(p1);
+               error = fdcopy(p1, &p2->p_fd);
+               if (error != 0) {
+                       error = ENOMEM;
+                       goto done;
+               }
                fdtol = NULL;
        } else {
                p2->p_fd = fdshare(p1);
@@ -472,11 +486,11 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
         * Preserve some more flags in subprocess.  P_PROFIL has already
         * been preserved.
         */
-       p2->p_flag |= p1->p_flag & P_SUGID;
-       if (p1->p_session->s_ttyvp != NULL && p1->p_flag & P_CONTROLT)
-               p2->p_flag |= P_CONTROLT;
+       p2->p_flags |= p1->p_flags & P_SUGID;
+       if (p1->p_session->s_ttyvp != NULL && p1->p_flags & P_CONTROLT)
+               p2->p_flags |= P_CONTROLT;
        if (flags & RFPPWAIT)
-               p2->p_flag |= P_PPWAIT;
+               p2->p_flags |= P_PPWAIT;
 
        /*
         * Inherit the virtual kernel structure (allows a virtual kernel
@@ -514,7 +528,7 @@ fork1(struct lwp *lp1, int flags, struct proc **procp)
        lwkt_reltoken(&pptr->p_token);
 
        varsymset_init(&p2->p_varsymset, &p1->p_varsymset);
-       callout_init(&p2->p_ithandle);
+       callout_init_mp(&p2->p_ithandle);
 
 #ifdef KTRACE
        /*
@@ -598,6 +612,7 @@ done:
 static struct lwp *
 lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
 {
+       globaldata_t gd = mycpu;
        struct lwp *lp;
        struct thread *td;
 
@@ -609,7 +624,7 @@ lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
        bcopy(&origlp->lwp_startcopy, &lp->lwp_startcopy,
            (unsigned) ((caddr_t)&lp->lwp_endcopy -
                        (caddr_t)&lp->lwp_startcopy));
-       lp->lwp_flag |= origlp->lwp_flag & LWP_ALTSTACK;
+       lp->lwp_flags |= origlp->lwp_flags & LWP_ALTSTACK;
        /*
         * Set cpbase to the last timeout that occured (not the upcoming
         * timeout).
@@ -618,25 +633,18 @@ lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
         * scheduler specific data.
         */
        crit_enter();
-       lp->lwp_cpbase = mycpu->gd_schedclock.time -
-                       mycpu->gd_schedclock.periodic;
+       lp->lwp_cpbase = gd->gd_schedclock.time - gd->gd_schedclock.periodic;
        destproc->p_usched->heuristic_forking(origlp, lp);
        crit_exit();
        lp->lwp_cpumask &= usched_mastermask;
+       lwkt_token_init(&lp->lwp_token, "lwp_token");
+       spin_init(&lp->lwp_spin);
 
        /*
-        * Assign a TID to the lp.  Loop until the insert succeeds (returns
-        * NULL).
+        * Assign the thread to the current cpu to begin with so we
+        * can manipulate it.
         */
-       lp->lwp_tid = destproc->p_lasttid;
-       do {
-               if (++lp->lwp_tid < 0)
-                       lp->lwp_tid = 1;
-       } while (lwp_rb_tree_RB_INSERT(&destproc->p_lwp_tree, lp) != NULL);
-       destproc->p_lasttid = lp->lwp_tid;
-       destproc->p_nthreads++;
-
-       td = lwkt_alloc_thread(NULL, LWKT_THREAD_STACK, -1, 0);
+       td = lwkt_alloc_thread(NULL, LWKT_THREAD_STACK, gd->gd_cpuid, 0);
        lp->lwp_thread = td;
        td->td_proc = destproc;
        td->td_lwp = lp;
@@ -652,6 +660,18 @@ lwp_fork(struct lwp *origlp, struct proc *destproc, int flags)
        caps_fork(origlp->lwp_thread, lp->lwp_thread);
        kqueue_init(&lp->lwp_kqueue, destproc->p_fd);
 
+       /*
+        * Assign a TID to the lp.  Loop until the insert succeeds (returns
+        * NULL).
+        */
+       lp->lwp_tid = destproc->p_lasttid;
+       do {
+               if (++lp->lwp_tid < 0)
+                       lp->lwp_tid = 1;
+       } while (lwp_rb_tree_RB_INSERT(&destproc->p_lwp_tree, lp) != NULL);
+       destproc->p_lasttid = lp->lwp_tid;
+       destproc->p_nthreads++;
+
        return (lp);
 }
 
@@ -736,8 +756,12 @@ start_forked_proc(struct lwp *lp1, struct proc *p2)
        /*
         * Preserve synchronization semantics of vfork.  If waiting for
         * child to exec or exit, set P_PPWAIT on child, and sleep on our
-        * proc (in case of exit).
+        * proc (in case of exec or exit).
+        *
+        * We must hold our p_token to interlock the flag/tsleep
         */
-       while (p2->p_flag & P_PPWAIT)
+       lwkt_gettoken(&p2->p_token);
+       while (p2->p_flags & P_PPWAIT)
                tsleep(lp1->lwp_proc, 0, "ppwait", 0);
+       lwkt_reltoken(&p2->p_token);
 }