sys/platform/vkernel/platform/pmap.c

   1 /*
   2  * Copyright (c) 2006 The DragonFly Project.  All rights reserved.
   3  * Copyright (c) 1991 Regents of the University of California.
   4  * All rights reserved.
   5  * Copyright (c) 1994 John S. Dyson
   6  * All rights reserved.
   7  * Copyright (c) 1994 David Greenman
   8  * All rights reserved.
   9  * Copyright (c) 2004-2006 Matthew Dillon
  10  * All rights reserved.
  11  *
  12  * Redistribution and use in source and binary forms, with or without
  13  * modification, are permitted provided that the following conditions
  14  * are met:
  15  *
  16  * 1. Redistributions of source code must retain the above copyright
  17  *    notice, this list of conditions and the following disclaimer.
  18  * 2. Redistributions in binary form must reproduce the above copyright
  19  *    notice, this list of conditions and the following disclaimer in
  20  *    the documentation and/or other materials provided with the
  21  *    distribution.
  22  * 3. Neither the name of The DragonFly Project nor the names of its
  23  *    contributors may be used to endorse or promote products derived
  24  *    from this software without specific, prior written permission.
  25  *
  26  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  27  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  28  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  29  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  30  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  31  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  32  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  33  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  34  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  35  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  36  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  37  * SUCH DAMAGE.
  38  *
  39  * from:   @(#)pmap.c      7.7 (Berkeley)  5/12/91
  40  * $FreeBSD: src/sys/i386/i386/pmap.c,v 1.250.2.18 2002/03/06 22:48:53 silby Exp $
  41  * $DragonFly: src/sys/platform/vkernel/platform/pmap.c,v 1.31 2008/08/25 17:01:40 dillon Exp $
  42  */
  43 /*
  44  * NOTE: PMAP_INVAL_ADD: In pc32 this function is called prior to adjusting
  45  * the PTE in the page table, because a cpu synchronization might be required.
  46  * The actual invalidation is delayed until the following call or flush.  In
  47  * the VKERNEL build this function is called prior to adjusting the PTE and
  48  * invalidates the table synchronously (not delayed), and is not SMP safe
  49  * as a consequence.
  50  */
  51
  52 #include <sys/types.h>
  53 #include <sys/systm.h>
  54 #include <sys/kernel.h>
  55 #include <sys/stat.h>
  56 #include <sys/mman.h>
  57 #include <sys/vkernel.h>
  58 #include <sys/proc.h>
  59 #include <sys/thread.h>
  60 #include <sys/user.h>
  61 #include <sys/vmspace.h>
  62
  63 #include <vm/pmap.h>
  64 #include <vm/vm_page.h>
  65 #include <vm/vm_extern.h>
  66 #include <vm/vm_kern.h>
  67 #include <vm/vm_object.h>
  68 #include <vm/vm_zone.h>
  69 #include <vm/vm_pageout.h>
  70
  71 #include <machine/md_var.h>
  72 #include <machine/pcb.h>
  73 #include <machine/pmap_inval.h>
  74 #include <machine/globaldata.h>
  75
  76 #include <sys/sysref2.h>
  77
  78 #include <assert.h>
  79
  80 struct pmap kernel_pmap;
  81
  82 static struct vm_zone pvzone;
  83 static struct vm_object pvzone_obj;
  84 static TAILQ_HEAD(,pmap) pmap_list = TAILQ_HEAD_INITIALIZER(pmap_list);
  85 static int pv_entry_count;
  86 static int pv_entry_max;
  87 static int pv_entry_high_water;
  88 static int pmap_pagedaemon_waken;
  89 static boolean_t pmap_initialized = FALSE;
  90 static int protection_codes[8];
  91
  92 static void i386_protection_init(void);
  93 static void pmap_remove_all(vm_page_t m);
  94 static int pmap_release_free_page(struct pmap *pmap, vm_page_t p);
  95
  96 #define MINPV   2048
  97 #ifndef PMAP_SHPGPERPROC
  98 #define PMAP_SHPGPERPROC 200
  99 #endif
 100
 101 #define pmap_pde(m, v)  (&((m)->pm_pdir[(vm_offset_t)(v) >> PDRSHIFT]))
 102
 103 #define pte_prot(m, p) \
 104         (protection_codes[p & (VM_PROT_READ|VM_PROT_WRITE|VM_PROT_EXECUTE)])
 105
 106 void
 107 pmap_init(void)
 108 {
 109         int i;
 110         struct pv_entry *pvinit;
 111
 112         for (i = 0; i < vm_page_array_size; i++) {
 113                 vm_page_t m;
 114
 115                 m = &vm_page_array[i];
 116                 TAILQ_INIT(&m->md.pv_list);
 117                 m->md.pv_list_count = 0;
 118         }
 119
 120         i = vm_page_array_size;
 121         if (i < MINPV)
 122                 i = MINPV;
 123         pvinit = (struct pv_entry *)kmem_alloc(&kernel_map, i*sizeof(*pvinit));
 124         zbootinit(&pvzone, "PV ENTRY", sizeof(*pvinit), pvinit, i);
 125         pmap_initialized = TRUE;
 126 }
 127
 128 void
 129 pmap_init2(void)
 130 {
 131         int shpgperproc = PMAP_SHPGPERPROC;
 132
 133         TUNABLE_INT_FETCH("vm.pmap.shpgperproc", &shpgperproc);
 134         pv_entry_max = shpgperproc * maxproc + vm_page_array_size;
 135         TUNABLE_INT_FETCH("vm.pmap.pv_entries", &pv_entry_max);
 136         pv_entry_high_water = 9 * (pv_entry_max / 10);
 137         zinitna(&pvzone, &pvzone_obj, NULL, 0, pv_entry_max, ZONE_INTERRUPT, 1);
 138 }
 139
 140 /*
 141  * Bootstrap the kernel_pmap so it can be used with pmap_enter().
 142  *
 143  * NOTE! pm_pdir for the kernel pmap is offset so VA's translate
 144  * directly into PTD indexes (PTA is also offset for the same reason).
 145  * This is necessary because, for now, KVA is not mapped at address 0.
 146  *
 147  * Page table pages are not managed like they are in normal pmaps, so
 148  * no pteobj is needed.
 149  */
 150 void
 151 pmap_bootstrap(void)
 152 {
 153         vm_pindex_t i = (vm_offset_t)KernelPTD >> PAGE_SHIFT;
 154
 155         kernel_pmap.pm_pdir = KernelPTD - (KvaStart >> SEG_SHIFT);
 156         kernel_pmap.pm_pdirpte = KernelPTA[i];
 157         kernel_pmap.pm_count = 1;
 158         kernel_pmap.pm_active = (cpumask_t)-1;
 159         TAILQ_INIT(&kernel_pmap.pm_pvlist);
 160         i386_protection_init();
 161 }
 162
 163 /*
 164  * Initialize pmap0/vmspace0 .  Since process 0 never enters user mode we
 165  * just dummy it up so it works well enough for fork().
 166  *
 167  * In DragonFly, process pmaps may only be used to manipulate user address
 168  * space, never kernel address space.
 169  */
 170 void
 171 pmap_pinit0(struct pmap *pmap)
 172 {
 173         pmap_pinit(pmap);
 174 }
 175
 176 /************************************************************************
 177  *              Procedures to manage whole physical maps                *
 178  ************************************************************************
 179  *
 180  * Initialize a preallocated and zeroed pmap structure,
 181  * such as one in a vmspace structure.
 182  */
 183 void
 184 pmap_pinit(struct pmap *pmap)
 185 {
 186         vm_page_t ptdpg;
 187         int npages;
 188
 189         /*
 190          * No need to allocate page table space yet but we do need a valid
 191          * page directory table.
 192          */
 193         if (pmap->pm_pdir == NULL) {
 194                 pmap->pm_pdir =
 195                     (pd_entry_t *)kmem_alloc_pageable(&kernel_map, PAGE_SIZE);
 196         }
 197
 198         /*
 199          * allocate object for the pte array and page directory
 200          */
 201         npages = VPTE_PAGETABLE_SIZE +
 202                  (VM_MAX_USER_ADDRESS / PAGE_SIZE) * sizeof(vpte_t);
 203         npages = (npages + PAGE_MASK) / PAGE_SIZE;
 204
 205         if (pmap->pm_pteobj == NULL)
 206                 pmap->pm_pteobj = vm_object_allocate(OBJT_DEFAULT, npages);
 207         pmap->pm_pdindex = npages - 1;
 208
 209         /*
 210          * allocate the page directory page
 211          */
 212         ptdpg = vm_page_grab(pmap->pm_pteobj, pmap->pm_pdindex,
 213                              VM_ALLOC_NORMAL | VM_ALLOC_RETRY);
 214
 215         ptdpg->wire_count = 1;
 216         ++vmstats.v_wire_count;
 217
 218         /* not usually mapped */
 219         vm_page_flag_clear(ptdpg, PG_MAPPED | PG_BUSY);
 220         ptdpg->valid = VM_PAGE_BITS_ALL;
 221
 222         pmap_kenter((vm_offset_t)pmap->pm_pdir, VM_PAGE_TO_PHYS(ptdpg));
 223         pmap->pm_pdirpte = KernelPTA[(vm_offset_t)pmap->pm_pdir >> PAGE_SHIFT];
 224         if ((ptdpg->flags & PG_ZERO) == 0)
 225                 bzero(pmap->pm_pdir, PAGE_SIZE);
 226
 227         pmap->pm_count = 1;
 228         pmap->pm_active = 0;
 229         pmap->pm_ptphint = NULL;
 230         pmap->pm_cpucachemask = 0;
 231         TAILQ_INIT(&pmap->pm_pvlist);
 232         bzero(&pmap->pm_stats, sizeof pmap->pm_stats);
 233         pmap->pm_stats.resident_count = 1;
 234 }
 235
 236 /*
 237  * Clean up a pmap structure so it can be physically freed
 238  */
 239 void
 240 pmap_puninit(pmap_t pmap)
 241 {
 242         if (pmap->pm_pdir) {
 243                 kmem_free(&kernel_map, (vm_offset_t)pmap->pm_pdir, PAGE_SIZE);
 244                 pmap->pm_pdir = NULL;
 245         }
 246         if (pmap->pm_pteobj) {
 247                 vm_object_deallocate(pmap->pm_pteobj);
 248                 pmap->pm_pteobj = NULL;
 249         }
 250 }
 251
 252
 253 /*
 254  * Wire in kernel global address entries.  To avoid a race condition
 255  * between pmap initialization and pmap_growkernel, this procedure
 256  * adds the pmap to the master list (which growkernel scans to update),
 257  * then copies the template.
 258  *
 259  * In a virtual kernel there are no kernel global address entries.
 260  */
 261 void
 262 pmap_pinit2(struct pmap *pmap)
 263 {
 264         crit_enter();
 265         TAILQ_INSERT_TAIL(&pmap_list, pmap, pm_pmnode);
 266         crit_exit();
 267 }
 268
 269 /*
 270  * Release all resources held by the given physical map.
 271  *
 272  * Should only be called if the map contains no valid mappings.
 273  */
 274 static int pmap_release_callback(struct vm_page *p, void *data);
 275
 276 void
 277 pmap_release(struct pmap *pmap)
 278 {
 279         struct mdglobaldata *gd = mdcpu;
 280         vm_object_t object = pmap->pm_pteobj;
 281         struct rb_vm_page_scan_info info;
 282
 283         KKASSERT(pmap != &kernel_pmap);
 284
 285 #if defined(DIAGNOSTIC)
 286         if (object->ref_count != 1)
 287                 panic("pmap_release: pteobj reference count != 1");
 288 #endif
 289         /*
 290          * Once we destroy the page table, the mapping becomes invalid.
 291          * Don't waste time doing a madvise to invalidate the mapping, just
 292          * set cpucachemask to 0.
 293          */
 294         if (pmap->pm_pdir == gd->gd_PT1pdir) {
 295                 gd->gd_PT1pdir = NULL;
 296                 *gd->gd_PT1pde = 0;
 297                 /* madvise(gd->gd_PT1map, SEG_SIZE, MADV_INVAL); */
 298         }
 299         if (pmap->pm_pdir == gd->gd_PT2pdir) {
 300                 gd->gd_PT2pdir = NULL;
 301                 *gd->gd_PT2pde = 0;
 302                 /* madvise(gd->gd_PT2map, SEG_SIZE, MADV_INVAL); */
 303         }
 304         if (pmap->pm_pdir == gd->gd_PT3pdir) {
 305                 gd->gd_PT3pdir = NULL;
 306                 *gd->gd_PT3pde = 0;
 307                 /* madvise(gd->gd_PT3map, SEG_SIZE, MADV_INVAL); */
 308         }
 309
 310         info.pmap = pmap;
 311         info.object = object;
 312         crit_enter();
 313         TAILQ_REMOVE(&pmap_list, pmap, pm_pmnode);
 314         crit_exit();
 315
 316         do {
 317                 crit_enter();
 318                 info.error = 0;
 319                 info.mpte = NULL;
 320                 info.limit = object->generation;
 321
 322                 vm_page_rb_tree_RB_SCAN(&object->rb_memq, NULL,
 323                                         pmap_release_callback, &info);
 324                 if (info.error == 0 && info.mpte) {
 325                         if (!pmap_release_free_page(pmap, info.mpte))
 326                                 info.error = 1;
 327                 }
 328                 crit_exit();
 329         } while (info.error);
 330
 331         /*
 332          * Leave the KVA reservation for pm_pdir cached for later reuse.
 333          */
 334         pmap->pm_pdirpte = 0;
 335         pmap->pm_cpucachemask = 0;
 336 }
 337
 338 /*
 339  * Callback to release a page table page backing a directory
 340  * entry.
 341  */
 342 static int
 343 pmap_release_callback(struct vm_page *p, void *data)
 344 {
 345         struct rb_vm_page_scan_info *info = data;
 346
 347         if (p->pindex == info->pmap->pm_pdindex) {
 348                 info->mpte = p;
 349                 return(0);
 350         }
 351         if (!pmap_release_free_page(info->pmap, p)) {
 352                 info->error = 1;
 353                 return(-1);
 354         }
 355         if (info->object->generation != info->limit) {
 356                 info->error = 1;
 357                 return(-1);
 358         }
 359         return(0);
 360 }
 361
 362 /*
 363  * Retire the given physical map from service.  Should only be called if
 364  * the map contains no valid mappings.
 365  */
 366 void
 367 pmap_destroy(pmap_t pmap)
 368 {
 369         int count;
 370
 371         if (pmap == NULL)
 372                 return;
 373
 374         count = --pmap->pm_count;
 375         if (count == 0) {
 376                 pmap_release(pmap);
 377                 panic("destroying a pmap is not yet implemented");
 378         }
 379 }
 380
 381 /*
 382  * Add a reference to the specified pmap.
 383  */
 384 void
 385 pmap_reference(pmap_t pmap)
 386 {
 387         if (pmap != NULL) {
 388                 pmap->pm_count++;
 389         }
 390 }
 391
 392 /************************************************************************
 393  *                      VMSPACE MANAGEMENT                              *
 394  ************************************************************************
 395  *
 396  * The VMSPACE management we do in our virtual kernel must be reflected
 397  * in the real kernel.  This is accomplished by making vmspace system
 398  * calls to the real kernel.
 399  */
 400 void
 401 cpu_vmspace_alloc(struct vmspace *vm)
 402 {
 403         int r;
 404         void *rp;
 405
 406 #define LAST_EXTENT     (VM_MAX_USER_ADDRESS - 0x80000000)
 407
 408         if (vmspace_create(&vm->vm_pmap, 0, NULL) < 0)
 409                 panic("vmspace_create() failed");
 410
 411         rp = vmspace_mmap(&vm->vm_pmap, (void *)0x00000000, 0x40000000,
 412                           PROT_READ|PROT_WRITE,
 413                           MAP_FILE|MAP_SHARED|MAP_VPAGETABLE|MAP_FIXED,
 414                           MemImageFd, 0);
 415         if (rp == MAP_FAILED)
 416                 panic("vmspace_mmap: failed1");
 417         vmspace_mcontrol(&vm->vm_pmap, (void *)0x00000000, 0x40000000,
 418                          MADV_NOSYNC, 0);
 419         rp = vmspace_mmap(&vm->vm_pmap, (void *)0x40000000, 0x40000000,
 420                           PROT_READ|PROT_WRITE,
 421                           MAP_FILE|MAP_SHARED|MAP_VPAGETABLE|MAP_FIXED,
 422                           MemImageFd, 0x40000000);
 423         if (rp == MAP_FAILED)
 424                 panic("vmspace_mmap: failed2");
 425         vmspace_mcontrol(&vm->vm_pmap, (void *)0x40000000, 0x40000000,
 426                          MADV_NOSYNC, 0);
 427         rp = vmspace_mmap(&vm->vm_pmap, (void *)0x80000000, LAST_EXTENT,
 428                           PROT_READ|PROT_WRITE,
 429                           MAP_FILE|MAP_SHARED|MAP_VPAGETABLE|MAP_FIXED,
 430                           MemImageFd, 0x80000000);
 431         vmspace_mcontrol(&vm->vm_pmap, (void *)0x80000000, LAST_EXTENT,
 432                          MADV_NOSYNC, 0);
 433         if (rp == MAP_FAILED)
 434                 panic("vmspace_mmap: failed3");
 435
 436         r = vmspace_mcontrol(&vm->vm_pmap, (void *)0x00000000, 0x40000000,
 437                              MADV_SETMAP, vmspace_pmap(vm)->pm_pdirpte);
 438         if (r < 0)
 439                 panic("vmspace_mcontrol: failed1");
 440         r = vmspace_mcontrol(&vm->vm_pmap, (void *)0x40000000, 0x40000000,
 441                              MADV_SETMAP, vmspace_pmap(vm)->pm_pdirpte);
 442         if (r < 0)
 443                 panic("vmspace_mcontrol: failed2");
 444         r = vmspace_mcontrol(&vm->vm_pmap, (void *)0x80000000, LAST_EXTENT,
 445                              MADV_SETMAP, vmspace_pmap(vm)->pm_pdirpte);
 446         if (r < 0)
 447                 panic("vmspace_mcontrol: failed3");
 448 }
 449
 450 void
 451 cpu_vmspace_free(struct vmspace *vm)
 452 {
 453         if (vmspace_destroy(&vm->vm_pmap) < 0)
 454                 panic("vmspace_destroy() failed");
 455 }
 456
 457 /************************************************************************
 458  *          Procedures which operate directly on the kernel PMAP        *
 459  ************************************************************************/
 460
 461 /*
 462  * This maps the requested page table and gives us access to it.
 463  *
 464  * This routine can be called from a potentially preempting interrupt
 465  * thread or from a normal thread.
 466  */
 467 static vpte_t *
 468 get_ptbase(struct pmap *pmap, vm_offset_t va)
 469 {
 470         struct mdglobaldata *gd = mdcpu;
 471
 472         if (pmap == &kernel_pmap) {
 473                 KKASSERT(va >= KvaStart && va < KvaEnd);
 474                 return(KernelPTA + (va >> PAGE_SHIFT));
 475         } else if (pmap->pm_pdir == gd->gd_PT1pdir) {
 476                 if ((pmap->pm_cpucachemask & gd->mi.gd_cpumask) == 0) {
 477                         *gd->gd_PT1pde = pmap->pm_pdirpte;
 478                         madvise(gd->gd_PT1map, SEG_SIZE, MADV_INVAL);
 479                         atomic_set_int(&pmap->pm_cpucachemask, gd->mi.gd_cpumask);
 480                 }
 481                 return(gd->gd_PT1map + (va >> PAGE_SHIFT));
 482         } else if (pmap->pm_pdir == gd->gd_PT2pdir) {
 483                 if ((pmap->pm_cpucachemask & gd->mi.gd_cpumask) == 0) {
 484                         *gd->gd_PT2pde = pmap->pm_pdirpte;
 485                         madvise(gd->gd_PT2map, SEG_SIZE, MADV_INVAL);
 486                         atomic_set_int(&pmap->pm_cpucachemask, gd->mi.gd_cpumask);
 487                 }
 488                 return(gd->gd_PT2map + (va >> PAGE_SHIFT));
 489         }
 490
 491         /*
 492          * If we aren't running from a potentially preempting interrupt,
 493          * load a new page table directory into the page table cache
 494          */
 495         if (gd->mi.gd_intr_nesting_level == 0 &&
 496             (gd->mi.gd_curthread->td_flags & TDF_INTTHREAD) == 0) {
 497                 /*
 498                  * Choose one or the other and map the page table
 499                  * in the KVA space reserved for it.
 500                  */
 501                 if ((gd->gd_PTflip = 1 - gd->gd_PTflip) == 0) {
 502                         gd->gd_PT1pdir = pmap->pm_pdir;
 503                         *gd->gd_PT1pde = pmap->pm_pdirpte;
 504                         madvise(gd->gd_PT1map, SEG_SIZE, MADV_INVAL);
 505                         atomic_set_int(&pmap->pm_cpucachemask,
 506                                         gd->mi.gd_cpumask);
 507                         return(gd->gd_PT1map + (va >> PAGE_SHIFT));
 508                 } else {
 509                         gd->gd_PT2pdir = pmap->pm_pdir;
 510                         *gd->gd_PT2pde = pmap->pm_pdirpte;
 511                         madvise(gd->gd_PT2map, SEG_SIZE, MADV_INVAL);
 512                         atomic_set_int(&pmap->pm_cpucachemask,
 513                                         gd->mi.gd_cpumask);
 514                         return(gd->gd_PT2map + (va >> PAGE_SHIFT));
 515                 }
 516         }
 517
 518         /*
 519          * If we are running from a preempting interrupt use a private
 520          * map.  The caller must be in a critical section.
 521          */
 522         KKASSERT(IN_CRITICAL_SECT(curthread));
 523         if (pmap->pm_pdir == gd->gd_PT3pdir) {
 524                 if ((pmap->pm_cpucachemask & gd->mi.gd_cpumask) == 0) {
 525                         *gd->gd_PT3pde = pmap->pm_pdirpte;
 526                         madvise(gd->gd_PT3map, SEG_SIZE, MADV_INVAL);
 527                         atomic_set_int(&pmap->pm_cpucachemask,
 528                                         gd->mi.gd_cpumask);
 529                 }
 530         } else {
 531                 gd->gd_PT3pdir = pmap->pm_pdir;
 532                 *gd->gd_PT3pde = pmap->pm_pdirpte;
 533                 madvise(gd->gd_PT3map, SEG_SIZE, MADV_INVAL);
 534                 atomic_set_int(&pmap->pm_cpucachemask,
 535                                 gd->mi.gd_cpumask);
 536         }
 537         return(gd->gd_PT3map + (va >> PAGE_SHIFT));
 538 }
 539
 540 static vpte_t *
 541 get_ptbase1(struct pmap *pmap, vm_offset_t va)
 542 {
 543         struct mdglobaldata *gd = mdcpu;
 544
 545         if (pmap == &kernel_pmap) {
 546                 KKASSERT(va >= KvaStart && va < KvaEnd);
 547                 return(KernelPTA + (va >> PAGE_SHIFT));
 548         } else if (pmap->pm_pdir == gd->gd_PT1pdir) {
 549                 if ((pmap->pm_cpucachemask & gd->mi.gd_cpumask) == 0) {
 550                         *gd->gd_PT1pde = pmap->pm_pdirpte;
 551                         madvise(gd->gd_PT1map, SEG_SIZE, MADV_INVAL);
 552                         atomic_set_int(&pmap->pm_cpucachemask, gd->mi.gd_cpumask);
 553                 }
 554                 return(gd->gd_PT1map + (va >> PAGE_SHIFT));
 555         }
 556         KKASSERT(gd->mi.gd_intr_nesting_level == 0 &&
 557                  (gd->mi.gd_curthread->td_flags & TDF_INTTHREAD) == 0);
 558         gd->gd_PT1pdir = pmap->pm_pdir;
 559         *gd->gd_PT1pde = pmap->pm_pdirpte;
 560         madvise(gd->gd_PT1map, SEG_SIZE, MADV_INVAL);
 561         return(gd->gd_PT1map + (va >> PAGE_SHIFT));
 562 }
 563
 564 static vpte_t *
 565 get_ptbase2(struct pmap *pmap, vm_offset_t va)
 566 {
 567         struct mdglobaldata *gd = mdcpu;
 568
 569         if (pmap == &kernel_pmap) {
 570                 KKASSERT(va >= KvaStart && va < KvaEnd);
 571                 return(KernelPTA + (va >> PAGE_SHIFT));
 572         } else if (pmap->pm_pdir == gd->gd_PT2pdir) {
 573                 if ((pmap->pm_cpucachemask & gd->mi.gd_cpumask) == 0) {
 574                         *gd->gd_PT2pde = pmap->pm_pdirpte;
 575                         madvise(gd->gd_PT2map, SEG_SIZE, MADV_INVAL);
 576                         atomic_set_int(&pmap->pm_cpucachemask, gd->mi.gd_cpumask);
 577                 }
 578                 return(gd->gd_PT2map + (va >> PAGE_SHIFT));
 579         }
 580         KKASSERT(gd->mi.gd_intr_nesting_level == 0 &&
 581                  (gd->mi.gd_curthread->td_flags & TDF_INTTHREAD) == 0);
 582         gd->gd_PT2pdir = pmap->pm_pdir;
 583         *gd->gd_PT2pde = pmap->pm_pdirpte;
 584         madvise(gd->gd_PT2map, SEG_SIZE, MADV_INVAL);
 585         return(gd->gd_PT2map + (va >> PAGE_SHIFT));
 586 }
 587
 588 /*
 589  * Return a pointer to the page table entry for the specified va in the
 590  * specified pmap.  NULL is returned if there is no valid page table page
 591  * for the VA.
 592  */
 593 static __inline vpte_t *
 594 pmap_pte(struct pmap *pmap, vm_offset_t va)
 595 {
 596         vpte_t *ptep;
 597
 598         ptep = &pmap->pm_pdir[va >> SEG_SHIFT];
 599         if (*ptep & VPTE_PS)
 600                 return(ptep);
 601         if (*ptep)
 602                 return (get_ptbase(pmap, va));
 603         return(NULL);
 604 }
 605
 606
 607 /*
 608  * Enter a mapping into kernel_pmap.  Mappings created in this fashion
 609  * are not managed.  Mappings must be immediately accessible on all cpus.
 610  *
 611  * Call pmap_inval_pte() to invalidate the virtual pte and clean out the
 612  * real pmap and handle related races before storing the new vpte.
 613  */
 614 void
 615 pmap_kenter(vm_offset_t va, vm_paddr_t pa)
 616 {
 617         vpte_t *ptep;
 618         vpte_t npte;
 619
 620         KKASSERT(va >= KvaStart && va < KvaEnd);
 621         npte = (vpte_t)pa | VPTE_R | VPTE_W | VPTE_V;
 622         ptep = KernelPTA + (va >> PAGE_SHIFT);
 623         if (*ptep & VPTE_V)
 624                 pmap_inval_pte(ptep, &kernel_pmap, va);
 625         *ptep = npte;
 626 }
 627
 628 /*
 629  * Synchronize a kvm mapping originally made for the private use on
 630  * some other cpu so it can be used on all cpus.
 631  *
 632  * XXX add MADV_RESYNC to improve performance.
 633  */
 634 void
 635 pmap_kenter_sync(vm_offset_t va)
 636 {
 637         madvise((void *)va, PAGE_SIZE, MADV_INVAL);
 638 }
 639
 640 /*
 641  * Synchronize a kvm mapping originally made for the private use on
 642  * some other cpu so it can be used on our cpu.  Turns out to be the
 643  * same madvise() call, because we have to sync the real pmaps anyway.
 644  *
 645  * XXX add MADV_RESYNC to improve performance.
 646  */
 647 void
 648 pmap_kenter_sync_quick(vm_offset_t va)
 649 {
 650         madvise((void *)va, PAGE_SIZE, MADV_INVAL);
 651 }
 652
 653 #if 0
 654 /*
 655  * Make a previously read-only kernel mapping R+W (not implemented by
 656  * virtual kernels).
 657  */
 658 void
 659 pmap_kmodify_rw(vm_offset_t va)
 660 {
 661         *pmap_kpte(va) |= VPTE_R | VPTE_W;
 662         madvise((void *)va, PAGE_SIZE, MADV_INVAL);
 663 }
 664
 665 /*
 666  * Make a kernel mapping non-cacheable (not applicable to virtual kernels)
 667  */
 668 void
 669 pmap_kmodify_nc(vm_offset_t va)
 670 {
 671         *pmap_kpte(va) |= VPTE_N;
 672         madvise((void *)va, PAGE_SIZE, MADV_INVAL);
 673 }
 674
 675 #endif
 676
 677 /*
 678  * Map a contiguous range of physical memory to a KVM
 679  */
 680 vm_offset_t
 681 pmap_map(vm_offset_t virt, vm_paddr_t start, vm_paddr_t end, int prot)
 682 {
 683         while (start < end) {
 684                 pmap_kenter(virt, start);
 685                 virt += PAGE_SIZE;
 686                 start += PAGE_SIZE;
 687         }
 688         return (virt);
 689 }
 690
 691 vpte_t *
 692 pmap_kpte(vm_offset_t va)
 693 {
 694         vpte_t *ptep;
 695
 696         KKASSERT(va >= KvaStart && va < KvaEnd);
 697         ptep = KernelPTA + (va >> PAGE_SHIFT);
 698         return(ptep);
 699 }
 700
 701 /*
 702  * Enter an unmanaged KVA mapping for the private use of the current
 703  * cpu only.  pmap_kenter_sync() may be called to make the mapping usable
 704  * by other cpus.
 705  *
 706  * It is illegal for the mapping to be accessed by other cpus unleess
 707  * pmap_kenter_sync*() is called.
 708  */
 709 void
 710 pmap_kenter_quick(vm_offset_t va, vm_paddr_t pa)
 711 {
 712         vpte_t *ptep;
 713         vpte_t npte;
 714
 715         KKASSERT(va >= KvaStart && va < KvaEnd);
 716
 717         npte = (vpte_t)pa | VPTE_R | VPTE_W | VPTE_V;
 718         ptep = KernelPTA + (va >> PAGE_SHIFT);
 719         if (*ptep & VPTE_V)
 720                 pmap_inval_pte_quick(ptep, &kernel_pmap, va);
 721         *ptep = npte;
 722 }
 723
 724 /*
 725  * Make a temporary mapping for a physical address.  This is only intended
 726  * to be used for panic dumps.
 727  */
 728 void *
 729 pmap_kenter_temporary(vm_paddr_t pa, int i)
 730 {
 731         pmap_kenter(crashdumpmap + (i * PAGE_SIZE), pa);
 732         return ((void *)crashdumpmap);
 733 }
 734
 735 /*
 736  * Remove an unmanaged mapping created with pmap_kenter*().
 737  */
 738 void
 739 pmap_kremove(vm_offset_t va)
 740 {
 741         vpte_t *ptep;
 742
 743         KKASSERT(va >= KvaStart && va < KvaEnd);
 744
 745         ptep = KernelPTA + (va >> PAGE_SHIFT);
 746         if (*ptep & VPTE_V)
 747                 pmap_inval_pte(ptep, &kernel_pmap, va);
 748         *ptep = 0;
 749 }
 750
 751 /*
 752  * Remove an unmanaged mapping created with pmap_kenter*() but synchronize
 753  * only with this cpu.
 754  *
 755  * Unfortunately because we optimize new entries by testing VPTE_V later
 756  * on, we actually still have to synchronize with all the cpus.  XXX maybe
 757  * store a junk value and test against 0 in the other places instead?
 758  */
 759 void
 760 pmap_kremove_quick(vm_offset_t va)
 761 {
 762         vpte_t *ptep;
 763
 764         KKASSERT(va >= KvaStart && va < KvaEnd);
 765
 766         ptep = KernelPTA + (va >> PAGE_SHIFT);
 767         if (*ptep & VPTE_V)
 768                 pmap_inval_pte(ptep, &kernel_pmap, va); /* NOT _quick */
 769         *ptep = 0;
 770 }
 771
 772 /*
 773  * Extract the physical address from the kernel_pmap that is associated
 774  * with the specified virtual address.
 775  */
 776 vm_paddr_t
 777 pmap_kextract(vm_offset_t va)
 778 {
 779         vpte_t *ptep;
 780         vm_paddr_t pa;
 781
 782         KKASSERT(va >= KvaStart && va < KvaEnd);
 783
 784         ptep = KernelPTA + (va >> PAGE_SHIFT);
 785         pa = (vm_paddr_t)(*ptep & VPTE_FRAME) | (va & PAGE_MASK);
 786         return(pa);
 787 }
 788
 789 /*
 790  * Map a set of unmanaged VM pages into KVM.
 791  */
 792 void
 793 pmap_qenter(vm_offset_t va, struct vm_page **m, int count)
 794 {
 795         KKASSERT(va >= KvaStart && va + count * PAGE_SIZE < KvaEnd);
 796         while (count) {
 797                 vpte_t *ptep;
 798
 799                 ptep = KernelPTA + (va >> PAGE_SHIFT);
 800                 if (*ptep & VPTE_V)
 801                         pmap_inval_pte(ptep, &kernel_pmap, va);
 802                 *ptep = (vpte_t)(*m)->phys_addr | VPTE_R | VPTE_W | VPTE_V;
 803                 --count;
 804                 ++m;
 805                 va += PAGE_SIZE;
 806         }
 807 }
 808
 809 /*
 810  * Map a set of VM pages to kernel virtual memory.  If a mapping changes
 811  * clear the supplied mask.  The caller handles any SMP interactions.
 812  * The mask is used to provide the caller with hints on what SMP interactions
 813  * might be needed.
 814  */
 815 void
 816 pmap_qenter2(vm_offset_t va, struct vm_page **m, int count, cpumask_t *mask)
 817 {
 818         cpumask_t cmask = mycpu->gd_cpumask;
 819
 820         KKASSERT(va >= KvaStart && va + count * PAGE_SIZE < KvaEnd);
 821         while (count) {
 822                 vpte_t *ptep;
 823                 vpte_t npte;
 824
 825                 ptep = KernelPTA + (va >> PAGE_SHIFT);
 826                 npte = (vpte_t)(*m)->phys_addr | VPTE_R | VPTE_W | VPTE_V;
 827                 if (*ptep != npte) {
 828                         *mask = 0;
 829                         pmap_inval_pte_quick(ptep, &kernel_pmap, va);
 830                         *ptep = npte;
 831                 } else if ((*mask & cmask) == 0) {
 832                         pmap_kenter_sync_quick(va);
 833                 }
 834                 --count;
 835                 ++m;
 836                 va += PAGE_SIZE;
 837         }
 838         *mask |= cmask;
 839 }
 840
 841 /*
 842  * Undo the effects of pmap_qenter*().
 843  */
 844 void
 845 pmap_qremove(vm_offset_t va, int count)
 846 {
 847         KKASSERT(va >= KvaStart && va + count * PAGE_SIZE < KvaEnd);
 848         while (count) {
 849                 vpte_t *ptep;
 850
 851                 ptep = KernelPTA + (va >> PAGE_SHIFT);
 852                 if (*ptep & VPTE_V)
 853                         pmap_inval_pte(ptep, &kernel_pmap, va);
 854                 *ptep = 0;
 855                 --count;
 856                 va += PAGE_SIZE;
 857         }
 858 }
 859
 860 /************************************************************************
 861  *        Misc support glue called by machine independant code          *
 862  ************************************************************************
 863  *
 864  * These routines are called by machine independant code to operate on
 865  * certain machine-dependant aspects of processes, threads, and pmaps.
 866  */
 867
 868 /*
 869  * Initialize MD portions of the thread structure.
 870  */
 871 void
 872 pmap_init_thread(thread_t td)
 873 {
 874         /* enforce pcb placement */
 875         td->td_pcb = (struct pcb *)(td->td_kstack + td->td_kstack_size) - 1;
 876         td->td_savefpu = &td->td_pcb->pcb_save;
 877         td->td_sp = (char *)td->td_pcb - 16;
 878 }
 879
 880 /*
 881  * This routine directly affects the fork perf for a process.
 882  */
 883 void
 884 pmap_init_proc(struct proc *p)
 885 {
 886 }
 887
 888 /*
 889  * Destroy the UPAGES for a process that has exited and disassociate
 890  * the process from its thread.
 891  */
 892 void
 893 pmap_dispose_proc(struct proc *p)
 894 {
 895         KASSERT(p->p_lock == 0, ("attempt to dispose referenced proc! %p", p));
 896 }
 897
 898 /*
 899  * We pre-allocate all page table pages for kernel virtual memory so
 900  * this routine will only be called if KVM has been exhausted.
 901  */
 902 void
 903 pmap_growkernel(vm_offset_t addr)
 904 {
 905         addr = (addr + PAGE_SIZE * NPTEPG) & ~(PAGE_SIZE * NPTEPG - 1);
 906
 907         if (addr > virtual_end - SEG_SIZE)
 908                 panic("KVM exhausted");
 909         kernel_vm_end = addr;
 910 }
 911
 912 /*
 913  * The modification bit is not tracked for any pages in this range. XXX
 914  * such pages in this maps should always use pmap_k*() functions and not
 915  * be managed anyhow.
 916  *
 917  * XXX User and kernel address spaces are independant for virtual kernels,
 918  * this function only applies to the kernel pmap.
 919  */
 920 static int
 921 pmap_track_modified(pmap_t pmap, vm_offset_t va)
 922 {
 923         if (pmap != &kernel_pmap)
 924                 return 1;
 925         if ((va < clean_sva) || (va >= clean_eva))
 926                 return 1;
 927         else
 928                 return 0;
 929 }
 930
 931 /************************************************************************
 932  *          Procedures supporting managed page table pages              *
 933  ************************************************************************
 934  *
 935  * These procedures are used to track managed page table pages.  These pages
 936  * use the page table page's vm_page_t to track PTEs in the page.  The
 937  * page table pages themselves are arranged in a VM object, pmap->pm_pteobj.
 938  *
 939  * This allows the system to throw away page table pages for user processes
 940  * at will and reinstantiate them on demand.
 941  */
 942
 943 /*
 944  * This routine works like vm_page_lookup() but also blocks as long as the
 945  * page is busy.  This routine does not busy the page it returns.
 946  *
 947  * Unless the caller is managing objects whos pages are in a known state,
 948  * the call should be made with a critical section held so the page's object
 949  * association remains valid on return.
 950  */
 951 static vm_page_t
 952 pmap_page_lookup(vm_object_t object, vm_pindex_t pindex)
 953 {
 954         vm_page_t m;
 955
 956 retry:
 957         m = vm_page_lookup(object, pindex);
 958         if (m && vm_page_sleep_busy(m, FALSE, "pplookp"))
 959                 goto retry;
 960         return(m);
 961 }
 962
 963 /*
 964  * This routine unholds page table pages, and if the hold count
 965  * drops to zero, then it decrements the wire count.
 966  *
 967  * We must recheck that this is the last hold reference after busy-sleeping
 968  * on the page.
 969  */
 970 static int
 971 _pmap_unwire_pte_hold(pmap_t pmap, vm_page_t m)
 972 {
 973         while (vm_page_sleep_busy(m, FALSE, "pmuwpt"))
 974                 ;
 975         KASSERT(m->queue == PQ_NONE,
 976                 ("_pmap_unwire_pte_hold: %p->queue != PQ_NONE", m));
 977
 978         if (m->hold_count == 1) {
 979                 /*
 980                  * Unmap the page table page.
 981                  */
 982                 vm_page_busy(m);
 983                 KKASSERT(pmap->pm_pdir[m->pindex] != 0);
 984                 pmap_inval_pde(&pmap->pm_pdir[m->pindex], pmap,
 985                                 (vm_offset_t)m->pindex << SEG_SHIFT);
 986                 KKASSERT(pmap->pm_stats.resident_count > 0);
 987                 --pmap->pm_stats.resident_count;
 988
 989                 if (pmap->pm_ptphint == m)
 990                         pmap->pm_ptphint = NULL;
 991
 992                 /*
 993                  * This was our last hold, the page had better be unwired
 994                  * after we decrement wire_count.
 995                  *
 996                  * FUTURE NOTE: shared page directory page could result in
 997                  * multiple wire counts.
 998                  */
 999                 vm_page_unhold(m);
1000                 --m->wire_count;
1001                 KKASSERT(m->wire_count == 0);
1002                 --vmstats.v_wire_count;
1003                 vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
1004                 vm_page_flash(m);
1005                 vm_page_free_zero(m);
1006                 return 1;
1007         }
1008         KKASSERT(m->hold_count > 1);
1009         vm_page_unhold(m);
1010         return 0;
1011 }
1012
1013 static __inline int
1014 pmap_unwire_pte_hold(pmap_t pmap, vm_page_t m)
1015 {
1016         KKASSERT(m->hold_count > 0);
1017         if (m->hold_count > 1) {
1018                 vm_page_unhold(m);
1019                 return 0;
1020         } else {
1021                 return _pmap_unwire_pte_hold(pmap, m);
1022         }
1023 }
1024
1025 /*
1026  * After removing a page table entry, this routine is used to
1027  * conditionally free the page, and manage the hold/wire counts.
1028  */
1029 static int
1030 pmap_unuse_pt(pmap_t pmap, vm_offset_t va, vm_page_t mpte)
1031 {
1032         unsigned ptepindex;
1033
1034         if (mpte == NULL) {
1035                 /*
1036                  * page table pages in the kernel_pmap are not managed.
1037                  */
1038                 if (pmap == &kernel_pmap)
1039                         return(0);
1040                 ptepindex = (va >> PDRSHIFT);
1041                 if (pmap->pm_ptphint &&
1042                         (pmap->pm_ptphint->pindex == ptepindex)) {
1043                         mpte = pmap->pm_ptphint;
1044                 } else {
1045                         mpte = pmap_page_lookup( pmap->pm_pteobj, ptepindex);
1046                         pmap->pm_ptphint = mpte;
1047                 }
1048         }
1049         return pmap_unwire_pte_hold(pmap, mpte);
1050 }
1051
1052 /*
1053  * Attempt to release and free the vm_page backing a page directory page
1054  * in a pmap.  Returns 1 on success, 0 on failure (if the procedure had
1055  * to sleep).
1056  */
1057 static int
1058 pmap_release_free_page(struct pmap *pmap, vm_page_t p)
1059 {
1060         vpte_t *pde = pmap->pm_pdir;
1061
1062         /*
1063          * This code optimizes the case of freeing non-busy
1064          * page-table pages.  Those pages are zero now, and
1065          * might as well be placed directly into the zero queue.
1066          */
1067         if (vm_page_sleep_busy(p, FALSE, "pmaprl"))
1068                 return 0;
1069
1070         vm_page_busy(p);
1071         KKASSERT(pmap->pm_stats.resident_count > 0);
1072         --pmap->pm_stats.resident_count;
1073
1074         if (p->hold_count)  {
1075                 panic("pmap_release: freeing held page table page");
1076         }
1077         /*
1078          * Page directory pages need to have the kernel stuff cleared, so
1079          * they can go into the zero queue also.
1080          *
1081          * In virtual kernels there is no 'kernel stuff'.  For the moment
1082          * I just make sure the whole thing has been zero'd even though
1083          * it should already be completely zero'd.
1084          *
1085          * pmaps for vkernels do not self-map because they do not share
1086          * their address space with the vkernel.  Clearing of pde[] thus
1087          * only applies to page table pages and not to the page directory
1088          * page.
1089          */
1090         if (p->pindex == pmap->pm_pdindex) {
1091                 bzero(pde, VPTE_PAGETABLE_SIZE);
1092                 pmap_kremove((vm_offset_t)pmap->pm_pdir);
1093         } else {
1094                 KKASSERT(pde[p->pindex] != 0);
1095                 pmap_inval_pde(&pde[p->pindex], pmap,
1096                                 (vm_offset_t)p->pindex << SEG_SHIFT);
1097         }
1098
1099         /*
1100          * Clear the matching hint
1101          */
1102         if (pmap->pm_ptphint && (pmap->pm_ptphint->pindex == p->pindex))
1103                 pmap->pm_ptphint = NULL;
1104
1105         /*
1106          * And throw the page away.  The page is completely zero'd out so
1107          * optimize the free call.
1108          */
1109         p->wire_count--;
1110         vmstats.v_wire_count--;
1111         vm_page_free_zero(p);
1112         return 1;
1113 }
1114
1115 /*
1116  * This routine is called if the page table page is not mapped in the page
1117  * table directory.
1118  *
1119  * The routine is broken up into two parts for readability.
1120  *
1121  * It must return a held mpte and map the page directory page as required.
1122  * Because vm_page_grab() can block, we must re-check pm_pdir[ptepindex]
1123  */
1124 static vm_page_t
1125 _pmap_allocpte(pmap_t pmap, unsigned ptepindex)
1126 {
1127         vm_paddr_t ptepa;
1128         vm_page_t m;
1129
1130         /*
1131          * Find or fabricate a new pagetable page.  A busied page will be
1132          * returned.  This call may block.
1133          */
1134         m = vm_page_grab(pmap->pm_pteobj, ptepindex,
1135                          VM_ALLOC_NORMAL | VM_ALLOC_ZERO | VM_ALLOC_RETRY);
1136
1137         KASSERT(m->queue == PQ_NONE,
1138                 ("_pmap_allocpte: %p->queue != PQ_NONE", m));
1139
1140         /*
1141          * Increment the hold count for the page we will be returning to
1142          * the caller.
1143          */
1144         m->hold_count++;
1145
1146         /*
1147          * It is possible that someone else got in and mapped by the page
1148          * directory page while we were blocked, if so just unbusy and
1149          * return the held page.
1150          */
1151         if ((ptepa = pmap->pm_pdir[ptepindex]) != 0) {
1152                 KKASSERT((ptepa & VPTE_FRAME) == VM_PAGE_TO_PHYS(m));
1153                 vm_page_wakeup(m);
1154                 return(m);
1155         }
1156
1157         if (m->wire_count == 0)
1158                 vmstats.v_wire_count++;
1159         m->wire_count++;
1160
1161         /*
1162          * Map the pagetable page into the process address space, if
1163          * it isn't already there.
1164          */
1165         ++pmap->pm_stats.resident_count;
1166
1167         ptepa = VM_PAGE_TO_PHYS(m);
1168         pmap->pm_pdir[ptepindex] = (vpte_t)ptepa | VPTE_R | VPTE_W | VPTE_V |
1169                                    VPTE_A | VPTE_M;
1170
1171         /*
1172          * We are likely about to access this page table page, so set the
1173          * page table hint to reduce overhead.
1174          */
1175         pmap->pm_ptphint = m;
1176
1177         /*
1178          * Try to use the new mapping, but if we cannot, then
1179          * do it with the routine that maps the page explicitly.
1180          */
1181         if ((m->flags & PG_ZERO) == 0)
1182                 pmap_zero_page(ptepa);
1183
1184         m->valid = VM_PAGE_BITS_ALL;
1185         vm_page_flag_clear(m, PG_ZERO);
1186         vm_page_flag_set(m, PG_MAPPED);
1187         vm_page_wakeup(m);
1188
1189         return (m);
1190 }
1191
1192 /*
1193  * Determine the page table page required to access the VA in the pmap
1194  * and allocate it if necessary.  Return a held vm_page_t for the page.
1195  *
1196  * Only used with user pmaps.
1197  */
1198 static vm_page_t
1199 pmap_allocpte(pmap_t pmap, vm_offset_t va)
1200 {
1201         unsigned ptepindex;
1202         vm_offset_t ptepa;
1203         vm_page_t m;
1204
1205         /*
1206          * Calculate pagetable page index
1207          */
1208         ptepindex = va >> PDRSHIFT;
1209
1210         /*
1211          * Get the page directory entry
1212          */
1213         ptepa = (vm_offset_t) pmap->pm_pdir[ptepindex];
1214
1215         /*
1216          * This supports switching from a 4MB page to a
1217          * normal 4K page.
1218          */
1219         if (ptepa & VPTE_PS) {
1220                 KKASSERT(pmap->pm_pdir[ptepindex] != 0);
1221                 pmap_inval_pde(&pmap->pm_pdir[ptepindex], pmap,
1222                                (vm_offset_t)ptepindex << SEG_SHIFT);
1223                 ptepa = 0;
1224         }
1225
1226         /*
1227          * If the page table page is mapped, we just increment the
1228          * hold count, and activate it.
1229          */
1230         if (ptepa) {
1231                 /*
1232                  * In order to get the page table page, try the
1233                  * hint first.
1234                  */
1235                 if (pmap->pm_ptphint &&
1236                         (pmap->pm_ptphint->pindex == ptepindex)) {
1237                         m = pmap->pm_ptphint;
1238                 } else {
1239                         m = pmap_page_lookup( pmap->pm_pteobj, ptepindex);
1240                         pmap->pm_ptphint = m;
1241                 }
1242                 m->hold_count++;
1243                 return m;
1244         }
1245         /*
1246          * Here if the pte page isn't mapped, or if it has been deallocated.
1247          */
1248         return _pmap_allocpte(pmap, ptepindex);
1249 }
1250
1251 /************************************************************************
1252  *                      Managed pages in pmaps                          *
1253  ************************************************************************
1254  *
1255  * All pages entered into user pmaps and some pages entered into the kernel
1256  * pmap are managed, meaning that pmap_protect() and other related management
1257  * functions work on these pages.
1258  */
1259
1260 /*
1261  * free the pv_entry back to the free list.  This function may be
1262  * called from an interrupt.
1263  */
1264 static __inline void
1265 free_pv_entry(pv_entry_t pv)
1266 {
1267         pv_entry_count--;
1268         zfree(&pvzone, pv);
1269 }
1270
1271 /*
1272  * get a new pv_entry, allocating a block from the system
1273  * when needed.  This function may be called from an interrupt.
1274  */
1275 static pv_entry_t
1276 get_pv_entry(void)
1277 {
1278         pv_entry_count++;
1279         if (pv_entry_high_water &&
1280             (pv_entry_count > pv_entry_high_water) &&
1281             (pmap_pagedaemon_waken == 0)) {
1282                 pmap_pagedaemon_waken = 1;
1283                 wakeup (&vm_pages_needed);
1284         }
1285         return zalloc(&pvzone);
1286 }
1287
1288 /*
1289  * This routine is very drastic, but can save the system
1290  * in a pinch.
1291  */
1292 void
1293 pmap_collect(void)
1294 {
1295         int i;
1296         vm_page_t m;
1297         static int warningdone=0;
1298
1299         if (pmap_pagedaemon_waken == 0)
1300                 return;
1301         pmap_pagedaemon_waken = 0;
1302
1303         if (warningdone < 5) {
1304                 kprintf("pmap_collect: collecting pv entries -- suggest increasing PMAP_SHPGPERPROC\n");
1305                 warningdone++;
1306         }
1307
1308         for(i = 0; i < vm_page_array_size; i++) {
1309                 m = &vm_page_array[i];
1310                 if (m->wire_count || m->hold_count || m->busy ||
1311                     (m->flags & PG_BUSY))
1312                         continue;
1313                 pmap_remove_all(m);
1314         }
1315 }
1316
1317 /*
1318  * If it is the first entry on the list, it is actually
1319  * in the header and we must copy the following entry up
1320  * to the header.  Otherwise we must search the list for
1321  * the entry.  In either case we free the now unused entry.
1322  */
1323 static int
1324 pmap_remove_entry(struct pmap *pmap, vm_page_t m, vm_offset_t va)
1325 {
1326         pv_entry_t pv;
1327         int rtval;
1328
1329         crit_enter();
1330         if (m->md.pv_list_count < pmap->pm_stats.resident_count) {
1331                 TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
1332                         if (pmap == pv->pv_pmap && va == pv->pv_va)
1333                                 break;
1334                 }
1335         } else {
1336                 TAILQ_FOREACH(pv, &pmap->pm_pvlist, pv_plist) {
1337                         if (va == pv->pv_va)
1338                                 break;
1339                 }
1340         }
1341
1342         /*
1343          * Note that pv_ptem is NULL if the page table page itself is not
1344          * managed, even if the page being removed IS managed.
1345          */
1346         rtval = 0;
1347         if (pv) {
1348                 TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
1349                 m->md.pv_list_count--;
1350                 TAILQ_REMOVE(&pmap->pm_pvlist, pv, pv_plist);
1351                 if (TAILQ_EMPTY(&m->md.pv_list))
1352                         vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
1353                 ++pmap->pm_generation;
1354                 rtval = pmap_unuse_pt(pmap, va, pv->pv_ptem);
1355                 free_pv_entry(pv);
1356         }
1357         crit_exit();
1358         return rtval;
1359 }
1360
1361 /*
1362  * Create a pv entry for page at pa for (pmap, va).  If the page table page
1363  * holding the VA is managed, mpte will be non-NULL.
1364  */
1365 static void
1366 pmap_insert_entry(pmap_t pmap, vm_offset_t va, vm_page_t mpte, vm_page_t m)
1367 {
1368         pv_entry_t pv;
1369
1370         crit_enter();
1371         pv = get_pv_entry();
1372         pv->pv_va = va;
1373         pv->pv_pmap = pmap;
1374         pv->pv_ptem = mpte;
1375
1376         TAILQ_INSERT_TAIL(&pmap->pm_pvlist, pv, pv_plist);
1377         TAILQ_INSERT_TAIL(&m->md.pv_list, pv, pv_list);
1378         m->md.pv_list_count++;
1379
1380         crit_exit();
1381 }
1382
1383 /*
1384  * pmap_remove_pte: do the things to unmap a page in a process
1385  */
1386 static int
1387 pmap_remove_pte(struct pmap *pmap, vpte_t *ptq, vm_offset_t va)
1388 {
1389         vpte_t oldpte;
1390         vm_page_t m;
1391
1392         oldpte = pmap_inval_loadandclear(ptq, pmap, va);
1393         if (oldpte & VPTE_WIRED)
1394                 --pmap->pm_stats.wired_count;
1395         KKASSERT(pmap->pm_stats.wired_count >= 0);
1396
1397 #if 0
1398         /*
1399          * Machines that don't support invlpg, also don't support
1400          * VPTE_G.  XXX VPTE_G is disabled for SMP so don't worry about
1401          * the SMP case.
1402          */
1403         if (oldpte & VPTE_G)
1404                 madvise((void *)va, PAGE_SIZE, MADV_INVAL);
1405 #endif
1406         KKASSERT(pmap->pm_stats.resident_count > 0);
1407         --pmap->pm_stats.resident_count;
1408         if (oldpte & VPTE_MANAGED) {
1409                 m = PHYS_TO_VM_PAGE(oldpte);
1410                 if (oldpte & VPTE_M) {
1411 #if defined(PMAP_DIAGNOSTIC)
1412                         if (pmap_nw_modified((pt_entry_t) oldpte)) {
1413                                 kprintf(
1414         "pmap_remove: modified page not writable: va: 0x%x, pte: 0x%x\n",
1415                                     va, oldpte);
1416                         }
1417 #endif
1418                         if (pmap_track_modified(pmap, va))
1419                                 vm_page_dirty(m);
1420                 }
1421                 if (oldpte & VPTE_A)
1422                         vm_page_flag_set(m, PG_REFERENCED);
1423                 return pmap_remove_entry(pmap, m, va);
1424         } else {
1425                 return pmap_unuse_pt(pmap, va, NULL);
1426         }
1427
1428         return 0;
1429 }
1430
1431 /*
1432  * pmap_remove_page:
1433  *
1434  *      Remove a single page from a process address space.
1435  *
1436  *      This function may not be called from an interrupt if the pmap is
1437  *      not kernel_pmap.
1438  */
1439 static void
1440 pmap_remove_page(struct pmap *pmap, vm_offset_t va)
1441 {
1442         vpte_t *ptq;
1443
1444         /*
1445          * if there is no pte for this address, just skip it!!!  Otherwise
1446          * get a local va for mappings for this pmap and remove the entry.
1447          */
1448         if (*pmap_pde(pmap, va) != 0) {
1449                 ptq = get_ptbase(pmap, va);
1450                 if (*ptq) {
1451                         pmap_remove_pte(pmap, ptq, va);
1452                 }
1453         }
1454 }
1455
1456 /*
1457  * pmap_remove:
1458  *
1459  *      Remove the given range of addresses from the specified map.
1460  *
1461  *      It is assumed that the start and end are properly
1462  *      rounded to the page size.
1463  *
1464  *      This function may not be called from an interrupt if the pmap is
1465  *      not kernel_pmap.
1466  */
1467 void
1468 pmap_remove(struct pmap *pmap, vm_offset_t sva, vm_offset_t eva)
1469 {
1470         vpte_t *ptbase;
1471         vm_offset_t pdnxt;
1472         vm_offset_t ptpaddr;
1473         vm_pindex_t sindex, eindex;
1474
1475         if (pmap == NULL)
1476                 return;
1477
1478         KKASSERT(pmap->pm_stats.resident_count >= 0);
1479         if (pmap->pm_stats.resident_count == 0)
1480                 return;
1481
1482         /*
1483          * special handling of removing one page.  a very
1484          * common operation and easy to short circuit some
1485          * code.
1486          */
1487         if (((sva + PAGE_SIZE) == eva) &&
1488                 ((pmap->pm_pdir[(sva >> PDRSHIFT)] & VPTE_PS) == 0)) {
1489                 pmap_remove_page(pmap, sva);
1490                 return;
1491         }
1492
1493         /*
1494          * Get a local virtual address for the mappings that are being
1495          * worked with.
1496          *
1497          * XXX this is really messy because the kernel pmap is not relative
1498          * to address 0
1499          */
1500         sindex = (sva >> PAGE_SHIFT);
1501         eindex = (eva >> PAGE_SHIFT);
1502
1503         for (; sindex < eindex; sindex = pdnxt) {
1504                 vpte_t pdirindex;
1505
1506                 /*
1507                  * Calculate index for next page table.
1508                  */
1509                 pdnxt = ((sindex + NPTEPG) & ~(NPTEPG - 1));
1510                 if (pmap->pm_stats.resident_count == 0)
1511                         break;
1512
1513                 pdirindex = sindex / NPDEPG;
1514                 if (((ptpaddr = pmap->pm_pdir[pdirindex]) & VPTE_PS) != 0) {
1515                         KKASSERT(pmap->pm_pdir[pdirindex] != 0);
1516                         pmap->pm_stats.resident_count -= NBPDR / PAGE_SIZE;
1517                         pmap_inval_pde(&pmap->pm_pdir[pdirindex], pmap,
1518                                 (vm_offset_t)pdirindex << SEG_SHIFT);
1519                         continue;
1520                 }
1521
1522                 /*
1523                  * Weed out invalid mappings. Note: we assume that the page
1524                  * directory table is always allocated, and in kernel virtual.
1525                  */
1526                 if (ptpaddr == 0)
1527                         continue;
1528
1529                 /*
1530                  * Limit our scan to either the end of the va represented
1531                  * by the current page table page, or to the end of the
1532                  * range being removed.
1533                  */
1534                 if (pdnxt > eindex)
1535                         pdnxt = eindex;
1536
1537                 /*
1538                  * NOTE: pmap_remove_pte() can block.
1539                  */
1540                 for (; sindex != pdnxt; sindex++) {
1541                         vm_offset_t va;
1542
1543                         ptbase = get_ptbase(pmap, sindex << PAGE_SHIFT);
1544                         if (*ptbase == 0)
1545                                 continue;
1546                         va = i386_ptob(sindex);
1547                         if (pmap_remove_pte(pmap, ptbase, va))
1548                                 break;
1549                 }
1550         }
1551 }
1552
1553 /*
1554  * pmap_remove_all:
1555  *
1556  * Removes this physical page from all physical maps in which it resides.
1557  * Reflects back modify bits to the pager.
1558  *
1559  * This routine may not be called from an interrupt.
1560  */
1561 static void
1562 pmap_remove_all(vm_page_t m)
1563 {
1564         vpte_t *pte, tpte;
1565         pv_entry_t pv;
1566
1567 #if defined(PMAP_DIAGNOSTIC)
1568         /*
1569          * XXX this makes pmap_page_protect(NONE) illegal for non-managed
1570          * pages!
1571          */
1572         if (!pmap_initialized || (m->flags & PG_FICTITIOUS)) {
1573                 panic("pmap_page_protect: illegal for unmanaged page, va: 0x%08llx", (long long)VM_PAGE_TO_PHYS(m));
1574         }
1575 #endif
1576
1577         crit_enter();
1578         while ((pv = TAILQ_FIRST(&m->md.pv_list)) != NULL) {
1579                 KKASSERT(pv->pv_pmap->pm_stats.resident_count > 0);
1580                 --pv->pv_pmap->pm_stats.resident_count;
1581
1582                 pte = pmap_pte(pv->pv_pmap, pv->pv_va);
1583                 KKASSERT(pte != NULL);
1584
1585                 tpte = pmap_inval_loadandclear(pte, pv->pv_pmap, pv->pv_va);
1586                 if (tpte & VPTE_WIRED)
1587                         --pv->pv_pmap->pm_stats.wired_count;
1588                 KKASSERT(pv->pv_pmap->pm_stats.wired_count >= 0);
1589
1590                 if (tpte & VPTE_A)
1591                         vm_page_flag_set(m, PG_REFERENCED);
1592
1593                 /*
1594                  * Update the vm_page_t clean and reference bits.
1595                  */
1596                 if (tpte & VPTE_M) {
1597 #if defined(PMAP_DIAGNOSTIC)
1598                         if (pmap_nw_modified((pt_entry_t) tpte)) {
1599                                 kprintf(
1600         "pmap_remove_all: modified page not writable: va: 0x%x, pte: 0x%x\n",
1601                                     pv->pv_va, tpte);
1602                         }
1603 #endif
1604                         if (pmap_track_modified(pv->pv_pmap, pv->pv_va))
1605                                 vm_page_dirty(m);
1606                 }
1607                 TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
1608                 TAILQ_REMOVE(&pv->pv_pmap->pm_pvlist, pv, pv_plist);
1609                 ++pv->pv_pmap->pm_generation;
1610                 m->md.pv_list_count--;
1611                 if (TAILQ_EMPTY(&m->md.pv_list))
1612                         vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
1613                 pmap_unuse_pt(pv->pv_pmap, pv->pv_va, pv->pv_ptem);
1614                 free_pv_entry(pv);
1615         }
1616         KKASSERT((m->flags & (PG_MAPPED | PG_WRITEABLE)) == 0);
1617         crit_exit();
1618 }
1619
1620 /*
1621  * pmap_protect:
1622  *
1623  *      Set the physical protection on the specified range of this map
1624  *      as requested.
1625  *
1626  *      This function may not be called from an interrupt if the map is
1627  *      not the kernel_pmap.
1628  */
1629 void
1630 pmap_protect(pmap_t pmap, vm_offset_t sva, vm_offset_t eva, vm_prot_t prot)
1631 {
1632         vpte_t *ptbase;
1633         vpte_t *ptep;
1634         vm_offset_t pdnxt, ptpaddr;
1635         vm_pindex_t sindex, eindex;
1636         vm_pindex_t sbase;
1637
1638         if (pmap == NULL)
1639                 return;
1640
1641         if ((prot & VM_PROT_READ) == VM_PROT_NONE) {
1642                 pmap_remove(pmap, sva, eva);
1643                 return;
1644         }
1645
1646         if (prot & VM_PROT_WRITE)
1647                 return;
1648
1649         ptbase = get_ptbase(pmap, sva);
1650
1651         sindex = (sva >> PAGE_SHIFT);
1652         eindex = (eva >> PAGE_SHIFT);
1653         sbase = sindex;
1654
1655         for (; sindex < eindex; sindex = pdnxt) {
1656
1657                 unsigned pdirindex;
1658
1659                 pdnxt = ((sindex + NPTEPG) & ~(NPTEPG - 1));
1660
1661                 pdirindex = sindex / NPDEPG;
1662
1663                 /*
1664                  * Clear the modified and writable bits for a 4m page.
1665                  * Throw away the modified bit (?)
1666                  */
1667                 if (((ptpaddr = pmap->pm_pdir[pdirindex]) & VPTE_PS) != 0) {
1668                         pmap_clean_pde(&pmap->pm_pdir[pdirindex], pmap,
1669                                         (vm_offset_t)pdirindex << SEG_SHIFT);
1670                         pmap->pm_stats.resident_count -= NBPDR / PAGE_SIZE;
1671                         continue;
1672                 }
1673
1674                 /*
1675                  * Weed out invalid mappings. Note: we assume that the page
1676                  * directory table is always allocated, and in kernel virtual.
1677                  */
1678                 if (ptpaddr == 0)
1679                         continue;
1680
1681                 if (pdnxt > eindex) {
1682                         pdnxt = eindex;
1683                 }
1684
1685                 for (; sindex != pdnxt; sindex++) {
1686                         vpte_t pbits;
1687                         vm_page_t m;
1688
1689                         /*
1690                          * Clean managed pages and also check the accessed
1691                          * bit.  Just remove write perms for unmanaged
1692                          * pages.  Be careful of races, turning off write
1693                          * access will force a fault rather then setting
1694                          * the modified bit at an unexpected time.
1695                          */
1696                         ptep = &ptbase[sindex - sbase];
1697                         if (*ptep & VPTE_MANAGED) {
1698                                 pbits = pmap_clean_pte(ptep, pmap,
1699                                                        i386_ptob(sindex));
1700                                 m = NULL;
1701                                 if (pbits & VPTE_A) {
1702                                         m = PHYS_TO_VM_PAGE(pbits);
1703                                         vm_page_flag_set(m, PG_REFERENCED);
1704                                         atomic_clear_int(ptep, VPTE_A);
1705                                 }
1706                                 if (pbits & VPTE_M) {
1707                                         if (pmap_track_modified(pmap, i386_ptob(sindex))) {
1708                                                 if (m == NULL)
1709                                                         m = PHYS_TO_VM_PAGE(pbits);
1710                                                 vm_page_dirty(m);
1711                                         }
1712                                 }
1713                         } else {
1714                                 pbits = pmap_setro_pte(ptep, pmap,
1715                                                        i386_ptob(sindex));
1716                         }
1717                 }
1718         }
1719 }
1720
1721 /*
1722  * Enter a managed page into a pmap.  If the page is not wired related pmap
1723  * data can be destroyed at any time for later demand-operation.
1724  *
1725  * Insert the vm_page (m) at virtual address (v) in (pmap), with the
1726  * specified protection, and wire the mapping if requested.
1727  *
1728  * NOTE: This routine may not lazy-evaluate or lose information.  The
1729  * page must actually be inserted into the given map NOW.
1730  *
1731  * NOTE: When entering a page at a KVA address, the pmap must be the
1732  * kernel_pmap.
1733  */
1734 void
1735 pmap_enter(pmap_t pmap, vm_offset_t va, vm_page_t m, vm_prot_t prot,
1736            boolean_t wired)
1737 {
1738         vm_paddr_t pa;
1739         vpte_t *pte;
1740         vm_paddr_t opa;
1741         vm_offset_t origpte, newpte;
1742         vm_page_t mpte;
1743
1744         if (pmap == NULL)
1745                 return;
1746
1747         va &= VPTE_FRAME;
1748
1749         /*
1750          * Get the page table page.   The kernel_pmap's page table pages
1751          * are preallocated and have no associated vm_page_t.
1752          */
1753         if (pmap == &kernel_pmap)
1754                 mpte = NULL;
1755         else
1756                 mpte = pmap_allocpte(pmap, va);
1757
1758         pte = pmap_pte(pmap, va);
1759
1760         /*
1761          * Page Directory table entry not valid, we need a new PT page
1762          * and pmap_allocpte() didn't give us one.  Oops!
1763          */
1764         if (pte == NULL) {
1765                 panic("pmap_enter: invalid page directory pmap=%p, va=0x%p\n",
1766                       pmap, (void *)va);
1767         }
1768
1769         /*
1770          * Deal with races on the original mapping (though don't worry
1771          * about VPTE_A races) by cleaning it.  This will force a fault
1772          * if an attempt is made to write to the page.
1773          */
1774         pa = VM_PAGE_TO_PHYS(m) & VPTE_FRAME;
1775         origpte = pmap_clean_pte(pte, pmap, va);
1776         opa = origpte & VPTE_FRAME;
1777
1778         if (origpte & VPTE_PS)
1779                 panic("pmap_enter: attempted pmap_enter on 4MB page");
1780
1781         /*
1782          * Mapping has not changed, must be protection or wiring change.
1783          */
1784         if (origpte && (opa == pa)) {
1785                 /*
1786                  * Wiring change, just update stats. We don't worry about
1787                  * wiring PT pages as they remain resident as long as there
1788                  * are valid mappings in them. Hence, if a user page is wired,
1789                  * the PT page will be also.
1790                  */
1791                 if (wired && ((origpte & VPTE_WIRED) == 0))
1792                         ++pmap->pm_stats.wired_count;
1793                 else if (!wired && (origpte & VPTE_WIRED))
1794                         --pmap->pm_stats.wired_count;
1795                 KKASSERT(pmap->pm_stats.wired_count >= 0);
1796
1797                 /*
1798                  * Remove the extra pte reference.  Note that we cannot
1799                  * optimize the RO->RW case because we have adjusted the
1800                  * wiring count above and may need to adjust the wiring
1801                  * bits below.
1802                  */
1803                 if (mpte)
1804                         mpte->hold_count--;
1805
1806                 /*
1807                  * We might be turning off write access to the page,
1808                  * so we go ahead and sense modify status.
1809                  */
1810                 if (origpte & VPTE_MANAGED) {
1811                         if ((origpte & VPTE_M) &&
1812                             pmap_track_modified(pmap, va)) {
1813                                 vm_page_t om;
1814                                 om = PHYS_TO_VM_PAGE(opa);
1815                                 vm_page_dirty(om);
1816                         }
1817                         pa |= VPTE_MANAGED;
1818                         KKASSERT(m->flags & PG_MAPPED);
1819                 }
1820                 goto validate;
1821         }
1822         /*
1823          * Mapping has changed, invalidate old range and fall through to
1824          * handle validating new mapping.
1825          */
1826         if (opa) {
1827                 int err;
1828                 err = pmap_remove_pte(pmap, pte, va);
1829                 if (err)
1830                         panic("pmap_enter: pte vanished, va: %p", (void *)va);
1831         }
1832
1833         /*
1834          * Enter on the PV list if part of our managed memory. Note that we
1835          * raise IPL while manipulating pv_table since pmap_enter can be
1836          * called at interrupt time.
1837          */
1838         if (pmap_initialized &&
1839             (m->flags & (PG_FICTITIOUS|PG_UNMANAGED)) == 0) {
1840                 pmap_insert_entry(pmap, va, mpte, m);
1841                 pa |= VPTE_MANAGED;
1842                 vm_page_flag_set(m, PG_MAPPED);
1843         }
1844
1845         /*
1846          * Increment counters
1847          */
1848         ++pmap->pm_stats.resident_count;
1849         if (wired)
1850                 pmap->pm_stats.wired_count++;
1851
1852 validate:
1853         /*
1854          * Now validate mapping with desired protection/wiring.
1855          */
1856         newpte = (vm_offset_t) (pa | pte_prot(pmap, prot) | VPTE_V);
1857
1858         if (wired)
1859                 newpte |= VPTE_WIRED;
1860         if (pmap != &kernel_pmap)
1861                 newpte |= VPTE_U;
1862
1863         /*
1864          * If the mapping or permission bits are different from the
1865          * (now cleaned) original pte, an update is needed.  We've
1866          * already downgraded or invalidated the page so all we have
1867          * to do now is update the bits.
1868          *
1869          * XXX should we synchronize RO->RW changes to avoid another
1870          * fault?
1871          */
1872         if ((origpte & ~(VPTE_W|VPTE_M|VPTE_A)) != newpte) {
1873                 *pte = newpte | VPTE_A;
1874                 if (newpte & VPTE_W)
1875                         vm_page_flag_set(m, PG_WRITEABLE);
1876         }
1877         KKASSERT((newpte & VPTE_MANAGED) == 0 || m->flags & PG_MAPPED);
1878 }
1879
1880 /*
1881  * This code works like pmap_enter() but assumes VM_PROT_READ and not-wired.
1882  *
1883  * Currently this routine may only be used on user pmaps, not kernel_pmap.
1884  */
1885 static void
1886 pmap_enter_quick(pmap_t pmap, vm_offset_t va, vm_page_t m)
1887 {
1888         vpte_t *pte;
1889         vm_paddr_t pa;
1890         vm_page_t mpte;
1891         unsigned ptepindex;
1892         vm_offset_t ptepa;
1893
1894         KKASSERT(pmap != &kernel_pmap);
1895
1896         KKASSERT(va >= VM_MIN_USER_ADDRESS && va < VM_MAX_USER_ADDRESS);
1897
1898         /*
1899          * Calculate pagetable page (mpte), allocating it if necessary.
1900          *
1901          * A held page table page (mpte), or NULL, is passed onto the
1902          * section following.
1903          */
1904         ptepindex = va >> PDRSHIFT;
1905
1906         do {
1907                 /*
1908                  * Get the page directory entry
1909                  */
1910                 ptepa = (vm_offset_t) pmap->pm_pdir[ptepindex];
1911
1912                 /*
1913                  * If the page table page is mapped, we just increment
1914                  * the hold count, and activate it.
1915                  */
1916                 if (ptepa) {
1917                         if (ptepa & VPTE_PS)
1918                                 panic("pmap_enter_quick: unexpected mapping into 4MB page");
1919                         if (pmap->pm_ptphint &&
1920                                 (pmap->pm_ptphint->pindex == ptepindex)) {
1921                                 mpte = pmap->pm_ptphint;
1922                         } else {
1923                                 mpte = pmap_page_lookup( pmap->pm_pteobj, ptepindex);
1924                                 pmap->pm_ptphint = mpte;
1925                         }
1926                         if (mpte)
1927                                 mpte->hold_count++;
1928                 } else {
1929                         mpte = _pmap_allocpte(pmap, ptepindex);
1930                 }
1931         } while (mpte == NULL);
1932
1933         /*
1934          * Ok, now that the page table page has been validated, get the pte.
1935          * If the pte is already mapped undo mpte's hold_count and
1936          * just return.
1937          */
1938         pte = pmap_pte(pmap, va);
1939         if (*pte) {
1940                 pmap_unwire_pte_hold(pmap, mpte);
1941                 return;
1942         }
1943
1944         /*
1945          * Enter on the PV list if part of our managed memory. Note that we
1946          * raise IPL while manipulating pv_table since pmap_enter can be
1947          * called at interrupt time.
1948          */
1949         if ((m->flags & (PG_FICTITIOUS|PG_UNMANAGED)) == 0) {
1950                 pmap_insert_entry(pmap, va, mpte, m);
1951                 vm_page_flag_set(m, PG_MAPPED);
1952         }
1953
1954         /*
1955          * Increment counters
1956          */
1957         ++pmap->pm_stats.resident_count;
1958
1959         pa = VM_PAGE_TO_PHYS(m);
1960
1961         /*
1962          * Now validate mapping with RO protection
1963          */
1964         if (m->flags & (PG_FICTITIOUS|PG_UNMANAGED))
1965                 *pte = (vpte_t)pa | VPTE_V | VPTE_U;
1966         else
1967                 *pte = (vpte_t)pa | VPTE_V | VPTE_U | VPTE_MANAGED;
1968         /*pmap_inval_add(&info, pmap, va); shouldn't be needed 0->valid */
1969         /*pmap_inval_flush(&info); don't need for vkernel */
1970 }
1971
1972 /*
1973  * Extract the physical address for the translation at the specified
1974  * virtual address in the pmap.
1975  */
1976 vm_paddr_t
1977 pmap_extract(pmap_t pmap, vm_offset_t va)
1978 {
1979         vm_paddr_t rtval;
1980         vpte_t pte;
1981
1982         if (pmap && (pte = pmap->pm_pdir[va >> SEG_SHIFT]) != 0) {
1983                 if (pte & VPTE_PS) {
1984                         rtval = pte & ~((vpte_t)(1 << SEG_SHIFT) - 1);
1985                         rtval |= va & SEG_MASK;
1986                 } else {
1987                         pte = *get_ptbase(pmap, va);
1988                         rtval = (pte & VPTE_FRAME) | (va & PAGE_MASK);
1989                 }
1990                 return(rtval);
1991         }
1992         return(0);
1993 }
1994
1995 #define MAX_INIT_PT (96)
1996
1997 /*
1998  * This routine preloads the ptes for a given object into the specified pmap.
1999  * This eliminates the blast of soft faults on process startup and
2000  * immediately after an mmap.
2001  */
2002 static int pmap_object_init_pt_callback(vm_page_t p, void *data);
2003
2004 void
2005 pmap_object_init_pt(pmap_t pmap, vm_offset_t addr, vm_prot_t prot,
2006                     vm_object_t object, vm_pindex_t pindex,
2007                     vm_size_t size, int limit)
2008 {
2009         struct rb_vm_page_scan_info info;
2010         struct lwp *lp;
2011         int psize;
2012
2013         /*
2014          * We can't preinit if read access isn't set or there is no pmap
2015          * or object.
2016          */
2017         if ((prot & VM_PROT_READ) == 0 || pmap == NULL || object == NULL)
2018                 return;
2019
2020         /*
2021          * We can't preinit if the pmap is not the current pmap
2022          */
2023         lp = curthread->td_lwp;
2024         if (lp == NULL || pmap != vmspace_pmap(lp->lwp_vmspace))
2025                 return;
2026
2027         psize = size >> PAGE_SHIFT;
2028
2029         if ((object->type != OBJT_VNODE) ||
2030                 ((limit & MAP_PREFAULT_PARTIAL) && (psize > MAX_INIT_PT) &&
2031                         (object->resident_page_count > MAX_INIT_PT))) {
2032                 return;
2033         }
2034
2035         if (psize + pindex > object->size) {
2036                 if (object->size < pindex)
2037                         return;
2038                 psize = object->size - pindex;
2039         }
2040
2041         if (psize == 0)
2042                 return;
2043
2044         /*
2045          * Use a red-black scan to traverse the requested range and load
2046          * any valid pages found into the pmap.
2047          *
2048          * We cannot safely scan the object's memq unless we are in a
2049          * critical section since interrupts can remove pages from objects.
2050          */
2051         info.start_pindex = pindex;
2052         info.end_pindex = pindex + psize - 1;
2053         info.limit = limit;
2054         info.mpte = NULL;
2055         info.addr = addr;
2056         info.pmap = pmap;
2057
2058         crit_enter();
2059         vm_page_rb_tree_RB_SCAN(&object->rb_memq, rb_vm_page_scancmp,
2060                                 pmap_object_init_pt_callback, &info);
2061         crit_exit();
2062 }
2063
2064 static
2065 int
2066 pmap_object_init_pt_callback(vm_page_t p, void *data)
2067 {
2068         struct rb_vm_page_scan_info *info = data;
2069         vm_pindex_t rel_index;
2070         /*
2071          * don't allow an madvise to blow away our really
2072          * free pages allocating pv entries.
2073          */
2074         if ((info->limit & MAP_PREFAULT_MADVISE) &&
2075                 vmstats.v_free_count < vmstats.v_free_reserved) {
2076                     return(-1);
2077         }
2078         if (((p->valid & VM_PAGE_BITS_ALL) == VM_PAGE_BITS_ALL) &&
2079             (p->busy == 0) && (p->flags & (PG_BUSY | PG_FICTITIOUS)) == 0) {
2080                 if ((p->queue - p->pc) == PQ_CACHE)
2081                         vm_page_deactivate(p);
2082                 vm_page_busy(p);
2083                 rel_index = p->pindex - info->start_pindex;
2084                 pmap_enter_quick(info->pmap,
2085                                  info->addr + i386_ptob(rel_index), p);
2086                 vm_page_wakeup(p);
2087         }
2088         return(0);
2089 }
2090
2091 /*
2092  * pmap_prefault provides a quick way of clustering pagefaults into a
2093  * processes address space.  It is a "cousin" of pmap_object_init_pt,
2094  * except it runs at page fault time instead of mmap time.
2095  */
2096 #define PFBAK 4
2097 #define PFFOR 4
2098 #define PAGEORDER_SIZE (PFBAK+PFFOR)
2099
2100 static int pmap_prefault_pageorder[] = {
2101         -PAGE_SIZE, PAGE_SIZE,
2102         -2 * PAGE_SIZE, 2 * PAGE_SIZE,
2103         -3 * PAGE_SIZE, 3 * PAGE_SIZE,
2104         -4 * PAGE_SIZE, 4 * PAGE_SIZE
2105 };
2106
2107 void
2108 pmap_prefault(pmap_t pmap, vm_offset_t addra, vm_map_entry_t entry)
2109 {
2110         vm_offset_t starta;
2111         vm_offset_t addr;
2112         vm_pindex_t pindex;
2113         vm_page_t m;
2114         vm_object_t object;
2115         struct lwp *lp;
2116         int i;
2117
2118         /*
2119          * We do not currently prefault mappings that use virtual page
2120          * tables.  We do not prefault foreign pmaps.
2121          */
2122         if (entry->maptype == VM_MAPTYPE_VPAGETABLE)
2123                 return;
2124         lp = curthread->td_lwp;
2125         if (lp == NULL || pmap != vmspace_pmap(lp->lwp_vmspace))
2126                 return;
2127
2128         object = entry->object.vm_object;
2129
2130         starta = addra - PFBAK * PAGE_SIZE;
2131         if (starta < entry->start)
2132                 starta = entry->start;
2133         else if (starta > addra)
2134                 starta = 0;
2135
2136         /*
2137          * critical section protection is required to maintain the
2138          * page/object association, interrupts can free pages and remove
2139          * them from their objects.
2140          */
2141         crit_enter();
2142         for (i = 0; i < PAGEORDER_SIZE; i++) {
2143                 vm_object_t lobject;
2144                 vpte_t *pte;
2145
2146                 addr = addra + pmap_prefault_pageorder[i];
2147                 if (addr > addra + (PFFOR * PAGE_SIZE))
2148                         addr = 0;
2149
2150                 if (addr < starta || addr >= entry->end)
2151                         continue;
2152
2153                 /*
2154                  * Make sure the page table page already exists
2155                  */
2156                 if ((*pmap_pde(pmap, addr)) == 0)
2157                         continue;
2158
2159                 /*
2160                  * Get a pointer to the pte and make sure that no valid page
2161                  * has been mapped.
2162                  */
2163                 pte = get_ptbase(pmap, addr);
2164                 if (*pte)
2165                         continue;
2166
2167                 /*
2168                  * Get the page to be mapped
2169                  */
2170                 pindex = ((addr - entry->start) + entry->offset) >> PAGE_SHIFT;
2171                 lobject = object;
2172
2173                 for (m = vm_page_lookup(lobject, pindex);
2174                     (!m && (lobject->type == OBJT_DEFAULT) &&
2175                      (lobject->backing_object));
2176                     lobject = lobject->backing_object
2177                 ) {
2178                         if (lobject->backing_object_offset & PAGE_MASK)
2179                                 break;
2180                         pindex += (lobject->backing_object_offset >> PAGE_SHIFT);
2181                         m = vm_page_lookup(lobject->backing_object, pindex);
2182                 }
2183
2184                 /*
2185                  * give-up when a page is not in memory
2186                  */
2187                 if (m == NULL)
2188                         break;
2189
2190                 /*
2191                  * If everything meets the requirements for pmap_enter_quick(),
2192                  * then enter the page.
2193                  */
2194
2195                 if (((m->valid & VM_PAGE_BITS_ALL) == VM_PAGE_BITS_ALL) &&
2196                         (m->busy == 0) &&
2197                     (m->flags & (PG_BUSY | PG_FICTITIOUS)) == 0) {
2198
2199                         if ((m->queue - m->pc) == PQ_CACHE) {
2200                                 vm_page_deactivate(m);
2201                         }
2202                         vm_page_busy(m);
2203                         pmap_enter_quick(pmap, addr, m);
2204                         vm_page_wakeup(m);
2205                 }
2206         }
2207         crit_exit();
2208 }
2209
2210 /*
2211  *      Routine:        pmap_change_wiring
2212  *      Function:       Change the wiring attribute for a map/virtual-address
2213  *                      pair.
2214  *      In/out conditions:
2215  *                      The mapping must already exist in the pmap.
2216  */
2217 void
2218 pmap_change_wiring(pmap_t pmap, vm_offset_t va, boolean_t wired)
2219 {
2220         vpte_t *pte;
2221
2222         if (pmap == NULL)
2223                 return;
2224
2225         pte = get_ptbase(pmap, va);
2226
2227         if (wired && (*pte & VPTE_WIRED) == 0)
2228                 ++pmap->pm_stats.wired_count;
2229         else if (!wired && (*pte & VPTE_WIRED))
2230                 --pmap->pm_stats.wired_count;
2231         KKASSERT(pmap->pm_stats.wired_count >= 0);
2232
2233         /*
2234          * Wiring is not a hardware characteristic so there is no need to
2235          * invalidate TLB.  However, in an SMP environment we must use
2236          * a locked bus cycle to update the pte (if we are not using
2237          * the pmap_inval_*() API that is)... it's ok to do this for simple
2238          * wiring changes.
2239          */
2240         if (wired)
2241                 atomic_set_int(pte, VPTE_WIRED);
2242         else
2243                 atomic_clear_int(pte, VPTE_WIRED);
2244 }
2245
2246 /*
2247  *      Copy the range specified by src_addr/len
2248  *      from the source map to the range dst_addr/len
2249  *      in the destination map.
2250  *
2251  *      This routine is only advisory and need not do anything.
2252  */
2253 void
2254 pmap_copy(pmap_t dst_pmap, pmap_t src_pmap, vm_offset_t dst_addr,
2255         vm_size_t len, vm_offset_t src_addr)
2256 {
2257         vm_offset_t addr;
2258         vm_offset_t end_addr = src_addr + len;
2259         vm_offset_t pdnxt;
2260         vpte_t *src_frame;
2261         vpte_t *dst_frame;
2262         vm_page_t m;
2263
2264         /*
2265          * XXX BUGGY.  Amoung other things srcmpte is assumed to remain
2266          * valid through blocking calls, and that's just not going to
2267          * be the case.
2268          *
2269          * FIXME!
2270          */
2271         return;
2272
2273         if (dst_addr != src_addr)
2274                 return;
2275         if (dst_pmap->pm_pdir == NULL)
2276                 return;
2277         if (src_pmap->pm_pdir == NULL)
2278                 return;
2279
2280         crit_enter();
2281
2282         src_frame = get_ptbase1(src_pmap, src_addr);
2283         dst_frame = get_ptbase2(dst_pmap, src_addr);
2284
2285         /*
2286          * critical section protection is required to maintain the page/object
2287          * association, interrupts can free pages and remove them from
2288          * their objects.
2289          */
2290         for (addr = src_addr; addr < end_addr; addr = pdnxt) {
2291                 vpte_t *src_pte, *dst_pte;
2292                 vm_page_t dstmpte, srcmpte;
2293                 vm_offset_t srcptepaddr;
2294                 unsigned ptepindex;
2295
2296                 if (addr >= VM_MAX_USER_ADDRESS)
2297                         panic("pmap_copy: invalid to pmap_copy page tables\n");
2298
2299                 /*
2300                  * Don't let optional prefaulting of pages make us go
2301                  * way below the low water mark of free pages or way
2302                  * above high water mark of used pv entries.
2303                  */
2304                 if (vmstats.v_free_count < vmstats.v_free_reserved ||
2305                     pv_entry_count > pv_entry_high_water)
2306                         break;
2307
2308                 pdnxt = ((addr + PAGE_SIZE*NPTEPG) & ~(PAGE_SIZE*NPTEPG - 1));
2309                 ptepindex = addr >> PDRSHIFT;
2310
2311                 srcptepaddr = (vm_offset_t) src_pmap->pm_pdir[ptepindex];
2312                 if (srcptepaddr == 0)
2313                         continue;
2314
2315                 if (srcptepaddr & VPTE_PS) {
2316                         if (dst_pmap->pm_pdir[ptepindex] == 0) {
2317                                 dst_pmap->pm_pdir[ptepindex] = (pd_entry_t) srcptepaddr;
2318                                 dst_pmap->pm_stats.resident_count += NBPDR / PAGE_SIZE;
2319                         }
2320                         continue;
2321                 }
2322
2323                 srcmpte = vm_page_lookup(src_pmap->pm_pteobj, ptepindex);
2324                 if ((srcmpte == NULL) || (srcmpte->hold_count == 0) ||
2325                     (srcmpte->flags & PG_BUSY)) {
2326                         continue;
2327                 }
2328
2329                 if (pdnxt > end_addr)
2330                         pdnxt = end_addr;
2331
2332                 src_pte = src_frame + ((addr - src_addr) >> PAGE_SHIFT);
2333                 dst_pte = dst_frame + ((addr - src_addr) >> PAGE_SHIFT);
2334                 while (addr < pdnxt) {
2335                         vpte_t ptetemp;
2336
2337                         ptetemp = *src_pte;
2338                         /*
2339                          * we only virtual copy managed pages
2340                          */
2341                         if ((ptetemp & VPTE_MANAGED) != 0) {
2342                                 /*
2343                                  * We have to check after allocpte for the
2344                                  * pte still being around...  allocpte can
2345                                  * block.
2346                                  *
2347                                  * pmap_allocpte can block, unfortunately
2348                                  * we have to reload the tables.
2349                                  */
2350                                 dstmpte = pmap_allocpte(dst_pmap, addr);
2351                                 src_frame = get_ptbase1(src_pmap, src_addr);
2352                                 dst_frame = get_ptbase2(dst_pmap, src_addr);
2353
2354                                 if ((*dst_pte == 0) && (ptetemp = *src_pte) &&
2355                                     (ptetemp & VPTE_MANAGED) != 0) {
2356                                         /*
2357                                          * Clear the modified and accessed
2358                                          * (referenced) bits during the copy.
2359                                          *
2360                                          * We do not have to clear the write
2361                                          * bit to force a fault-on-modify
2362                                          * because the real kernel's target
2363                                          * pmap is empty and will fault anyway.
2364                                          */
2365                                         m = PHYS_TO_VM_PAGE(ptetemp);
2366                                         *dst_pte = ptetemp & ~(VPTE_M | VPTE_A);
2367                                         ++dst_pmap->pm_stats.resident_count;
2368                                         pmap_insert_entry(dst_pmap, addr,
2369                                                 dstmpte, m);
2370                                         KKASSERT(m->flags & PG_MAPPED);
2371                                 } else {
2372                                         pmap_unwire_pte_hold(dst_pmap, dstmpte);
2373                                 }
2374                                 if (dstmpte->hold_count >= srcmpte->hold_count)
2375                                         break;
2376                         }
2377                         addr += PAGE_SIZE;
2378                         src_pte++;
2379                         dst_pte++;
2380                 }
2381         }
2382         crit_exit();
2383 }
2384
2385 /*
2386  * pmap_zero_page:
2387  *
2388  *      Zero the specified PA by mapping the page into KVM and clearing its
2389  *      contents.
2390  *
2391  *      This function may be called from an interrupt and no locking is
2392  *      required.
2393  */
2394 void
2395 pmap_zero_page(vm_paddr_t phys)
2396 {
2397         struct mdglobaldata *gd = mdcpu;
2398
2399         crit_enter();
2400         if (*gd->gd_CMAP3)
2401                 panic("pmap_zero_page: CMAP3 busy");
2402         *gd->gd_CMAP3 = VPTE_V | VPTE_R | VPTE_W | (phys & VPTE_FRAME) | VPTE_A | VPTE_M;
2403         madvise(gd->gd_CADDR3, PAGE_SIZE, MADV_INVAL);
2404
2405         bzero(gd->gd_CADDR3, PAGE_SIZE);
2406         *gd->gd_CMAP3 = 0;
2407         crit_exit();
2408 }
2409
2410 /*
2411  * pmap_page_assertzero:
2412  *
2413  *      Assert that a page is empty, panic if it isn't.
2414  */
2415 void
2416 pmap_page_assertzero(vm_paddr_t phys)
2417 {
2418         struct mdglobaldata *gd = mdcpu;
2419         int i;
2420
2421         crit_enter();
2422         if (*gd->gd_CMAP3)
2423                 panic("pmap_zero_page: CMAP3 busy");
2424         *gd->gd_CMAP3 = VPTE_V | VPTE_R | VPTE_W |
2425                         (phys & VPTE_FRAME) | VPTE_A | VPTE_M;
2426         madvise(gd->gd_CADDR3, PAGE_SIZE, MADV_INVAL);
2427         for (i = 0; i < PAGE_SIZE; i += 4) {
2428             if (*(int *)((char *)gd->gd_CADDR3 + i) != 0) {
2429                 panic("pmap_page_assertzero() @ %p not zero!\n",
2430                     (void *)gd->gd_CADDR3);
2431             }
2432         }
2433         *gd->gd_CMAP3 = 0;
2434         crit_exit();
2435 }
2436
2437 /*
2438  * pmap_zero_page:
2439  *
2440  *      Zero part of a physical page by mapping it into memory and clearing
2441  *      its contents with bzero.
2442  *
2443  *      off and size may not cover an area beyond a single hardware page.
2444  */
2445 void
2446 pmap_zero_page_area(vm_paddr_t phys, int off, int size)
2447 {
2448         struct mdglobaldata *gd = mdcpu;
2449
2450         crit_enter();
2451         if (*gd->gd_CMAP3)
2452                 panic("pmap_zero_page: CMAP3 busy");
2453         *gd->gd_CMAP3 = VPTE_V | VPTE_R | VPTE_W |
2454                         (phys & VPTE_FRAME) | VPTE_A | VPTE_M;
2455         madvise(gd->gd_CADDR3, PAGE_SIZE, MADV_INVAL);
2456
2457         bzero((char *)gd->gd_CADDR3 + off, size);
2458         *gd->gd_CMAP3 = 0;
2459         crit_exit();
2460 }
2461
2462 /*
2463  * pmap_copy_page:
2464  *
2465  *      Copy the physical page from the source PA to the target PA.
2466  *      This function may be called from an interrupt.  No locking
2467  *      is required.
2468  */
2469 void
2470 pmap_copy_page(vm_paddr_t src, vm_paddr_t dst)
2471 {
2472         struct mdglobaldata *gd = mdcpu;
2473
2474         crit_enter();
2475         if (*(int *) gd->gd_CMAP1)
2476                 panic("pmap_copy_page: CMAP1 busy");
2477         if (*(int *) gd->gd_CMAP2)
2478                 panic("pmap_copy_page: CMAP2 busy");
2479
2480         *(int *) gd->gd_CMAP1 = VPTE_V | VPTE_R | (src & PG_FRAME) | VPTE_A;
2481         *(int *) gd->gd_CMAP2 = VPTE_V | VPTE_R | VPTE_W | (dst & VPTE_FRAME) | VPTE_A | VPTE_M;
2482
2483         madvise(gd->gd_CADDR1, PAGE_SIZE, MADV_INVAL);
2484         madvise(gd->gd_CADDR2, PAGE_SIZE, MADV_INVAL);
2485
2486         bcopy(gd->gd_CADDR1, gd->gd_CADDR2, PAGE_SIZE);
2487
2488         *(int *) gd->gd_CMAP1 = 0;
2489         *(int *) gd->gd_CMAP2 = 0;
2490         crit_exit();
2491 }
2492
2493 /*
2494  * pmap_copy_page_frag:
2495  *
2496  *      Copy the physical page from the source PA to the target PA.
2497  *      This function may be called from an interrupt.  No locking
2498  *      is required.
2499  */
2500 void
2501 pmap_copy_page_frag(vm_paddr_t src, vm_paddr_t dst, size_t bytes)
2502 {
2503         struct mdglobaldata *gd = mdcpu;
2504
2505         crit_enter();
2506         if (*(int *) gd->gd_CMAP1)
2507                 panic("pmap_copy_page: CMAP1 busy");
2508         if (*(int *) gd->gd_CMAP2)
2509                 panic("pmap_copy_page: CMAP2 busy");
2510
2511         *(int *) gd->gd_CMAP1 = VPTE_V | (src & VPTE_FRAME) | VPTE_A;
2512         *(int *) gd->gd_CMAP2 = VPTE_V | VPTE_R | VPTE_W | (dst & VPTE_FRAME) | VPTE_A | VPTE_M;
2513
2514         madvise(gd->gd_CADDR1, PAGE_SIZE, MADV_INVAL);
2515         madvise(gd->gd_CADDR2, PAGE_SIZE, MADV_INVAL);
2516
2517         bcopy((char *)gd->gd_CADDR1 + (src & PAGE_MASK),
2518               (char *)gd->gd_CADDR2 + (dst & PAGE_MASK),
2519               bytes);
2520
2521         *(int *) gd->gd_CMAP1 = 0;
2522         *(int *) gd->gd_CMAP2 = 0;
2523         crit_exit();
2524 }
2525
2526 /*
2527  * Returns true if the pmap's pv is one of the first
2528  * 16 pvs linked to from this page.  This count may
2529  * be changed upwards or downwards in the future; it
2530  * is only necessary that true be returned for a small
2531  * subset of pmaps for proper page aging.
2532  */
2533 boolean_t
2534 pmap_page_exists_quick(pmap_t pmap, vm_page_t m)
2535 {
2536         pv_entry_t pv;
2537         int loops = 0;
2538
2539         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
2540                 return FALSE;
2541
2542         crit_enter();
2543
2544         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
2545                 if (pv->pv_pmap == pmap) {
2546                         crit_exit();
2547                         return TRUE;
2548                 }
2549                 loops++;
2550                 if (loops >= 16)
2551                         break;
2552         }
2553         crit_exit();
2554         return (FALSE);
2555 }
2556
2557 /*
2558  * Remove all pages from specified address space
2559  * this aids process exit speeds.  Also, this code
2560  * is special cased for current process only, but
2561  * can have the more generic (and slightly slower)
2562  * mode enabled.  This is much faster than pmap_remove
2563  * in the case of running down an entire address space.
2564  */
2565 void
2566 pmap_remove_pages(pmap_t pmap, vm_offset_t sva, vm_offset_t eva)
2567 {
2568         vpte_t *pte, tpte;
2569         pv_entry_t pv, npv;
2570         vm_page_t m;
2571         int iscurrentpmap;
2572         int32_t save_generation;
2573         struct lwp *lp;
2574
2575         lp = curthread->td_lwp;
2576         if (lp && pmap == vmspace_pmap(lp->lwp_vmspace))
2577                 iscurrentpmap = 1;
2578         else
2579                 iscurrentpmap = 0;
2580
2581         crit_enter();
2582         for (pv = TAILQ_FIRST(&pmap->pm_pvlist); pv; pv = npv) {
2583                 if (pv->pv_va >= eva || pv->pv_va < sva) {
2584                         npv = TAILQ_NEXT(pv, pv_plist);
2585                         continue;
2586                 }
2587
2588                 KKASSERT(pmap == pv->pv_pmap);
2589
2590                 pte = pmap_pte(pmap, pv->pv_va);
2591
2592                 /*
2593                  * We cannot remove wired pages from a process' mapping
2594                  * at this time
2595                  */
2596                 if (*pte & VPTE_WIRED) {
2597                         npv = TAILQ_NEXT(pv, pv_plist);
2598                         continue;
2599                 }
2600                 tpte = pmap_inval_loadandclear(pte, pmap, pv->pv_va);
2601
2602                 m = PHYS_TO_VM_PAGE(tpte);
2603
2604                 KASSERT(m < &vm_page_array[vm_page_array_size],
2605                         ("pmap_remove_pages: bad tpte %x", tpte));
2606
2607                 KKASSERT(pmap->pm_stats.resident_count > 0);
2608                 --pmap->pm_stats.resident_count;
2609
2610                 /*
2611                  * Update the vm_page_t clean and reference bits.
2612                  */
2613                 if (tpte & VPTE_M) {
2614                         vm_page_dirty(m);
2615                 }
2616
2617                 npv = TAILQ_NEXT(pv, pv_plist);
2618                 TAILQ_REMOVE(&pmap->pm_pvlist, pv, pv_plist);
2619                 save_generation = ++pmap->pm_generation;
2620
2621                 m->md.pv_list_count--;
2622                 TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
2623                 if (TAILQ_FIRST(&m->md.pv_list) == NULL)
2624                         vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
2625
2626                 pmap_unuse_pt(pmap, pv->pv_va, pv->pv_ptem);
2627                 free_pv_entry(pv);
2628
2629                 /*
2630                  * Restart the scan if we blocked during the unuse or free
2631                  * calls and other removals were made.
2632                  */
2633                 if (save_generation != pmap->pm_generation) {
2634                         kprintf("Warning: pmap_remove_pages race-A avoided\n");
2635                         pv = TAILQ_FIRST(&pmap->pm_pvlist);
2636                 }
2637         }
2638         crit_exit();
2639 }
2640
2641 /*
2642  * pmap_testbit tests bits in active mappings of a VM page.
2643  */
2644 static boolean_t
2645 pmap_testbit(vm_page_t m, int bit)
2646 {
2647         pv_entry_t pv;
2648         vpte_t *pte;
2649
2650         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
2651                 return FALSE;
2652
2653         if (TAILQ_FIRST(&m->md.pv_list) == NULL)
2654                 return FALSE;
2655
2656         crit_enter();
2657
2658         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
2659                 /*
2660                  * if the bit being tested is the modified bit, then
2661                  * mark clean_map and ptes as never
2662                  * modified.
2663                  */
2664                 if (bit & (VPTE_A|VPTE_M)) {
2665                         if (!pmap_track_modified(pv->pv_pmap, pv->pv_va))
2666                                 continue;
2667                 }
2668
2669 #if defined(PMAP_DIAGNOSTIC)
2670                 if (!pv->pv_pmap) {
2671                         kprintf("Null pmap (tb) at va: 0x%x\n", pv->pv_va);
2672                         continue;
2673                 }
2674 #endif
2675                 pte = pmap_pte(pv->pv_pmap, pv->pv_va);
2676                 if (*pte & bit) {
2677                         crit_exit();
2678                         return TRUE;
2679                 }
2680         }
2681         crit_exit();
2682         return (FALSE);
2683 }
2684
2685 /*
2686  * This routine is used to clear bits in ptes.  Certain bits require special
2687  * handling, in particular (on virtual kernels) the VPTE_M (modify) bit.
2688  *
2689  * This routine is only called with certain VPTE_* bit combinations.
2690  */
2691 static __inline void
2692 pmap_clearbit(vm_page_t m, int bit)
2693 {
2694         pv_entry_t pv;
2695         vpte_t *pte;
2696         vpte_t pbits;
2697
2698         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
2699                 return;
2700
2701         crit_enter();
2702
2703         /*
2704          * Loop over all current mappings setting/clearing as appropos If
2705          * setting RO do we need to clear the VAC?
2706          */
2707         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
2708                 /*
2709                  * don't write protect pager mappings
2710                  */
2711                 if (bit == VPTE_W) {
2712                         if (!pmap_track_modified(pv->pv_pmap, pv->pv_va))
2713                                 continue;
2714                 }
2715
2716 #if defined(PMAP_DIAGNOSTIC)
2717                 if (!pv->pv_pmap) {
2718                         kprintf("Null pmap (cb) at va: 0x%x\n", pv->pv_va);
2719                         continue;
2720                 }
2721 #endif
2722
2723                 /*
2724                  * Careful here.  We can use a locked bus instruction to
2725                  * clear VPTE_A or VPTE_M safely but we need to synchronize
2726                  * with the target cpus when we mess with VPTE_W.
2727                  *
2728                  * On virtual kernels we must force a new fault-on-write
2729                  * in the real kernel if we clear the Modify bit ourselves,
2730                  * otherwise the real kernel will not get a new fault and
2731                  * will never set our Modify bit again.
2732                  */
2733                 pte = pmap_pte(pv->pv_pmap, pv->pv_va);
2734                 if (*pte & bit) {
2735                         if (bit == VPTE_W) {
2736                                 /*
2737                                  * We must also clear VPTE_M when clearing
2738                                  * VPTE_W
2739                                  */
2740                                 pbits = pmap_clean_pte(pte, pv->pv_pmap,
2741                                                        pv->pv_va);
2742                                 if (pbits & VPTE_M)
2743                                         vm_page_dirty(m);
2744                         } else if (bit == VPTE_M) {
2745                                 /*
2746                                  * We do not have to make the page read-only
2747                                  * when clearing the Modify bit.  The real
2748                                  * kernel will make the real PTE read-only
2749                                  * or otherwise detect the write and set
2750                                  * our VPTE_M again simply by us invalidating
2751                                  * the real kernel VA for the pmap (as we did
2752                                  * above).  This allows the real kernel to
2753                                  * handle the write fault without forwarding
2754                                  * the fault to us.
2755                                  */
2756                                 atomic_clear_int(pte, VPTE_M);
2757                         } else if ((bit & (VPTE_W|VPTE_M)) == (VPTE_W|VPTE_M)) {
2758                                 /*
2759                                  * We've been asked to clear W & M, I guess
2760                                  * the caller doesn't want us to update
2761                                  * the dirty status of the VM page.
2762                                  */
2763                                 pmap_clean_pte(pte, pv->pv_pmap, pv->pv_va);
2764                         } else {
2765                                 /*
2766                                  * We've been asked to clear bits that do
2767                                  * not interact with hardware.
2768                                  */
2769                                 atomic_clear_int(pte, bit);
2770                         }
2771                 }
2772         }
2773         crit_exit();
2774 }
2775
2776 /*
2777  *      pmap_page_protect:
2778  *
2779  *      Lower the permission for all mappings to a given page.
2780  */
2781 void
2782 pmap_page_protect(vm_page_t m, vm_prot_t prot)
2783 {
2784         if ((prot & VM_PROT_WRITE) == 0) {
2785                 if (prot & (VM_PROT_READ | VM_PROT_EXECUTE)) {
2786                         pmap_clearbit(m, VPTE_W);
2787                         vm_page_flag_clear(m, PG_WRITEABLE);
2788                 } else {
2789                         pmap_remove_all(m);
2790                 }
2791         }
2792 }
2793
2794 vm_paddr_t
2795 pmap_phys_address(vm_pindex_t ppn)
2796 {
2797         return (i386_ptob(ppn));
2798 }
2799
2800 /*
2801  *      pmap_ts_referenced:
2802  *
2803  *      Return a count of reference bits for a page, clearing those bits.
2804  *      It is not necessary for every reference bit to be cleared, but it
2805  *      is necessary that 0 only be returned when there are truly no
2806  *      reference bits set.
2807  *
2808  *      XXX: The exact number of bits to check and clear is a matter that
2809  *      should be tested and standardized at some point in the future for
2810  *      optimal aging of shared pages.
2811  */
2812 int
2813 pmap_ts_referenced(vm_page_t m)
2814 {
2815         pv_entry_t pv, pvf, pvn;
2816         vpte_t *pte;
2817         int rtval = 0;
2818
2819         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
2820                 return (rtval);
2821
2822         crit_enter();
2823
2824         if ((pv = TAILQ_FIRST(&m->md.pv_list)) != NULL) {
2825
2826                 pvf = pv;
2827
2828                 do {
2829                         pvn = TAILQ_NEXT(pv, pv_list);
2830
2831                         TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
2832
2833                         TAILQ_INSERT_TAIL(&m->md.pv_list, pv, pv_list);
2834
2835                         if (!pmap_track_modified(pv->pv_pmap, pv->pv_va))
2836                                 continue;
2837
2838                         pte = pmap_pte(pv->pv_pmap, pv->pv_va);
2839
2840                         if (pte && (*pte & VPTE_A)) {
2841 #ifdef SMP
2842                                 atomic_clear_int(pte, VPTE_A);
2843 #else
2844                                 atomic_clear_int_nonlocked(pte, VPTE_A);
2845 #endif
2846                                 rtval++;
2847                                 if (rtval > 4) {
2848                                         break;
2849                                 }
2850                         }
2851                 } while ((pv = pvn) != NULL && pv != pvf);
2852         }
2853         crit_exit();
2854
2855         return (rtval);
2856 }
2857
2858 /*
2859  *      pmap_is_modified:
2860  *
2861  *      Return whether or not the specified physical page was modified
2862  *      in any physical maps.
2863  */
2864 boolean_t
2865 pmap_is_modified(vm_page_t m)
2866 {
2867         return pmap_testbit(m, VPTE_M);
2868 }
2869
2870 /*
2871  *      Clear the modify bits on the specified physical page.
2872  */
2873 void
2874 pmap_clear_modify(vm_page_t m)
2875 {
2876         pmap_clearbit(m, VPTE_M);
2877 }
2878
2879 /*
2880  *      pmap_clear_reference:
2881  *
2882  *      Clear the reference bit on the specified physical page.
2883  */
2884 void
2885 pmap_clear_reference(vm_page_t m)
2886 {
2887         pmap_clearbit(m, VPTE_A);
2888 }
2889
2890 /*
2891  * Miscellaneous support routines follow
2892  */
2893
2894 static void
2895 i386_protection_init(void)
2896 {
2897         int *kp, prot;
2898
2899         kp = protection_codes;
2900         for (prot = 0; prot < 8; prot++) {
2901                 if (prot & VM_PROT_READ)
2902                         *kp |= VPTE_R;
2903                 if (prot & VM_PROT_WRITE)
2904                         *kp |= VPTE_W;
2905                 if (prot & VM_PROT_EXECUTE)
2906                         *kp |= VPTE_X;
2907                 ++kp;
2908         }
2909 }
2910
2911 #if 0
2912
2913 /*
2914  * Map a set of physical memory pages into the kernel virtual
2915  * address space. Return a pointer to where it is mapped. This
2916  * routine is intended to be used for mapping device memory,
2917  * NOT real memory.
2918  *
2919  * NOTE: we can't use pgeflag unless we invalidate the pages one at
2920  * a time.
2921  */
2922 void *
2923 pmap_mapdev(vm_paddr_t pa, vm_size_t size)
2924 {
2925         vm_offset_t va, tmpva, offset;
2926         vpte_t *pte;
2927
2928         offset = pa & PAGE_MASK;
2929         size = roundup(offset + size, PAGE_SIZE);
2930
2931         va = kmem_alloc_nofault(&kernel_map, size);
2932         if (!va)
2933                 panic("pmap_mapdev: Couldn't alloc kernel virtual memory");
2934
2935         pa = pa & VPTE_FRAME;
2936         for (tmpva = va; size > 0;) {
2937                 pte = KernelPTA + (tmpva >> PAGE_SHIFT);
2938                 *pte = pa | VPTE_R | VPTE_W | VPTE_V; /* | pgeflag; */
2939                 size -= PAGE_SIZE;
2940                 tmpva += PAGE_SIZE;
2941                 pa += PAGE_SIZE;
2942         }
2943         cpu_invltlb();
2944         smp_invltlb();
2945
2946         return ((void *)(va + offset));
2947 }
2948
2949 void
2950 pmap_unmapdev(vm_offset_t va, vm_size_t size)
2951 {
2952         vm_offset_t base, offset;
2953
2954         base = va & VPTE_FRAME;
2955         offset = va & PAGE_MASK;
2956         size = roundup(offset + size, PAGE_SIZE);
2957         pmap_qremove(va, size >> PAGE_SHIFT);
2958         kmem_free(&kernel_map, base, size);
2959 }
2960
2961 #endif
2962
2963 /*
2964  * perform the pmap work for mincore
2965  */
2966 int
2967 pmap_mincore(pmap_t pmap, vm_offset_t addr)
2968 {
2969         vpte_t *ptep, pte;
2970         vm_page_t m;
2971         int val = 0;
2972
2973         ptep = pmap_pte(pmap, addr);
2974         if (ptep == 0) {
2975                 return 0;
2976         }
2977
2978         if ((pte = *ptep) != 0) {
2979                 vm_offset_t pa;
2980
2981                 val = MINCORE_INCORE;
2982                 if ((pte & VPTE_MANAGED) == 0)
2983                         return val;
2984
2985                 pa = pte & VPTE_FRAME;
2986
2987                 m = PHYS_TO_VM_PAGE(pa);
2988
2989                 /*
2990                  * Modified by us
2991                  */
2992                 if (pte & VPTE_M)
2993                         val |= MINCORE_MODIFIED|MINCORE_MODIFIED_OTHER;
2994                 /*
2995                  * Modified by someone
2996                  */
2997                 else if (m->dirty || pmap_is_modified(m))
2998                         val |= MINCORE_MODIFIED_OTHER;
2999                 /*
3000                  * Referenced by us
3001                  */
3002                 if (pte & VPTE_A)
3003                         val |= MINCORE_REFERENCED|MINCORE_REFERENCED_OTHER;
3004
3005                 /*
3006                  * Referenced by someone
3007                  */
3008                 else if ((m->flags & PG_REFERENCED) || pmap_ts_referenced(m)) {
3009                         val |= MINCORE_REFERENCED_OTHER;
3010                         vm_page_flag_set(m, PG_REFERENCED);
3011                 }
3012         }
3013         return val;
3014 }
3015
3016 void
3017 pmap_replacevm(struct proc *p, struct vmspace *newvm, int adjrefs)
3018 {
3019         struct vmspace *oldvm;
3020         struct lwp *lp;
3021
3022         oldvm = p->p_vmspace;
3023         crit_enter();
3024         if (oldvm != newvm) {
3025                 p->p_vmspace = newvm;
3026                 KKASSERT(p->p_nthreads == 1);
3027                 lp = RB_ROOT(&p->p_lwp_tree);
3028                 pmap_setlwpvm(lp, newvm);
3029                 if (adjrefs) {
3030                         sysref_get(&newvm->vm_sysref);
3031                         sysref_put(&oldvm->vm_sysref);
3032                 }
3033         }
3034         crit_exit();
3035 }
3036
3037 void
3038 pmap_setlwpvm(struct lwp *lp, struct vmspace *newvm)
3039 {
3040         struct vmspace *oldvm;
3041         struct pmap *pmap;
3042
3043         crit_enter();
3044         oldvm = lp->lwp_vmspace;
3045
3046         if (oldvm != newvm) {
3047                 lp->lwp_vmspace = newvm;
3048                 if (curthread->td_lwp == lp) {
3049                         pmap = vmspace_pmap(newvm);
3050 #if defined(SMP)
3051                         atomic_set_int(&pmap->pm_active, 1 << mycpu->gd_cpuid);
3052 #else
3053                         pmap->pm_active |= 1;
3054 #endif
3055 #if defined(SWTCH_OPTIM_STATS)
3056                         tlb_flush_count++;
3057 #endif
3058                         pmap = vmspace_pmap(oldvm);
3059 #if defined(SMP)
3060                         atomic_clear_int(&pmap->pm_active,
3061                                           1 << mycpu->gd_cpuid);
3062 #else
3063                         pmap->pm_active &= ~1;
3064 #endif
3065                 }
3066         }
3067         crit_exit();
3068 }
3069
3070
3071 vm_offset_t
3072 pmap_addr_hint(vm_object_t obj, vm_offset_t addr, vm_size_t size)
3073 {
3074
3075         if ((obj == NULL) || (size < NBPDR) || (obj->type != OBJT_DEVICE)) {
3076                 return addr;
3077         }
3078
3079         addr = (addr + (NBPDR - 1)) & ~(NBPDR - 1);
3080         return addr;
3081 }
3082
3083
3084 #if defined(DEBUG)
3085
3086 static void     pads (pmap_t pm);
3087 void            pmap_pvdump (vm_paddr_t pa);
3088
3089 /* print address space of pmap*/
3090 static void
3091 pads(pmap_t pm)
3092 {
3093         vm_offset_t va;
3094         int i, j;
3095         vpte_t *ptep;
3096
3097         if (pm == &kernel_pmap)
3098                 return;
3099         for (i = 0; i < 1024; i++)
3100                 if (pm->pm_pdir[i])
3101                         for (j = 0; j < 1024; j++) {
3102                                 va = (i << PDRSHIFT) + (j << PAGE_SHIFT);
3103                                 if (pm == &kernel_pmap && va < KERNBASE)
3104                                         continue;
3105                                 if (pm != &kernel_pmap && va > UPT_MAX_ADDRESS)
3106                                         continue;
3107                                 ptep = pmap_pte(pm, va);
3108                                 if (ptep && (*ptep & VPTE_V)) {
3109                                         kprintf("%p:%x ",
3110                                                 (void *)va, (unsigned)*ptep);
3111                                 }
3112                         };
3113
3114 }
3115
3116 void
3117 pmap_pvdump(vm_paddr_t pa)
3118 {
3119         pv_entry_t pv;
3120         vm_page_t m;
3121
3122         kprintf("pa %08llx", (long long)pa);
3123         m = PHYS_TO_VM_PAGE(pa);
3124         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
3125 #ifdef used_to_be
3126                 kprintf(" -> pmap %p, va %x, flags %x",
3127                     (void *)pv->pv_pmap, pv->pv_va, pv->pv_flags);
3128 #endif
3129                 kprintf(" -> pmap %p, va %x", (void *)pv->pv_pmap, pv->pv_va);
3130                 pads(pv->pv_pmap);
3131         }
3132         kprintf(" ");
3133 }
3134 #endif
3135