Add platform vkernel64.
[dragonfly.git] / sys / platform / vkernel64 / platform / pmap.c
1 /*
2  * Copyright (c) 1991 Regents of the University of California.
3  * Copyright (c) 1994 John S. Dyson
4  * Copyright (c) 1994 David Greenman
5  * Copyright (c) 2003 Peter Wemm
6  * Copyright (c) 2005-2008 Alan L. Cox <alc@cs.rice.edu>
7  * Copyright (c) 2008, 2009 The DragonFly Project.
8  * Copyright (c) 2008, 2009 Jordan Gordeev.
9  * All rights reserved.
10  *
11  * This code is derived from software contributed to Berkeley by
12  * the Systems Programming Group of the University of Utah Computer
13  * Science Department and William Jolitz of UUNET Technologies Inc.
14  *
15  * Redistribution and use in source and binary forms, with or without
16  * modification, are permitted provided that the following conditions
17  * are met:
18  * 1. Redistributions of source code must retain the above copyright
19  *    notice, this list of conditions and the following disclaimer.
20  * 2. Redistributions in binary form must reproduce the above copyright
21  *    notice, this list of conditions and the following disclaimer in the
22  *    documentation and/or other materials provided with the distribution.
23  * 3. All advertising materials mentioning features or use of this software
24  *    must display the following acknowledgement:
25  *      This product includes software developed by the University of
26  *      California, Berkeley and its contributors.
27  * 4. Neither the name of the University nor the names of its contributors
28  *    may be used to endorse or promote products derived from this software
29  *    without specific prior written permission.
30  *
31  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
32  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
33  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
34  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
35  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
36  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
37  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
38  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
39  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
40  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
41  * SUCH DAMAGE.
42  *
43  *      from:   @(#)pmap.c      7.7 (Berkeley)  5/12/91
44  * $FreeBSD: src/sys/i386/i386/pmap.c,v 1.250.2.18 2002/03/06 22:48:53 silby Exp $
45  * $DragonFly: src/sys/platform/pc64/amd64/pmap.c,v 1.3 2008/08/29 17:07:10 dillon Exp $
46  */
47
48 /*
49  *      Manages physical address maps.
50  *
51  *      In addition to hardware address maps, this
52  *      module is called upon to provide software-use-only
53  *      maps which may or may not be stored in the same
54  *      form as hardware maps.  These pseudo-maps are
55  *      used to store intermediate results from copy
56  *      operations to and from address spaces.
57  *
58  *      Since the information managed by this module is
59  *      also stored by the logical address mapping module,
60  *      this module may throw away valid virtual-to-physical
61  *      mappings at almost any time.  However, invalidations
62  *      of virtual-to-physical mappings must be done as
63  *      requested.
64  *
65  *      In order to cope with hardware architectures which
66  *      make virtual-to-physical map invalidates expensive,
67  *      this module may delay invalidate or reduced protection
68  *      operations until such time as they are actually
69  *      necessary.  This module is given full information as
70  *      to which processors are currently using which maps,
71  *      and to when physical maps must be made correct.
72  */
73
74 #if JG
75 #include "opt_pmap.h"
76 #endif
77 #include "opt_msgbuf.h"
78
79 #include <sys/param.h>
80 #include <sys/systm.h>
81 #include <sys/kernel.h>
82 #include <sys/proc.h>
83 #include <sys/msgbuf.h>
84 #include <sys/vmmeter.h>
85 #include <sys/mman.h>
86 #include <sys/vmspace.h>
87
88 #include <vm/vm.h>
89 #include <vm/vm_param.h>
90 #include <sys/sysctl.h>
91 #include <sys/lock.h>
92 #include <vm/vm_kern.h>
93 #include <vm/vm_page.h>
94 #include <vm/vm_map.h>
95 #include <vm/vm_object.h>
96 #include <vm/vm_extern.h>
97 #include <vm/vm_pageout.h>
98 #include <vm/vm_pager.h>
99 #include <vm/vm_zone.h>
100
101 #include <sys/user.h>
102 #include <sys/thread2.h>
103 #include <sys/sysref2.h>
104
105 #include <machine/cputypes.h>
106 #include <machine/md_var.h>
107 #include <machine/specialreg.h>
108 #include <machine/smp.h>
109 #include <machine/globaldata.h>
110 #include <machine/pmap.h>
111 #include <machine/pmap_inval.h>
112
113 #include <ddb/ddb.h>
114
115 #include <stdio.h>
116 #include <assert.h>
117 #include <stdlib.h>
118
119 #define PMAP_KEEP_PDIRS
120 #ifndef PMAP_SHPGPERPROC
121 #define PMAP_SHPGPERPROC 200
122 #endif
123
124 #if defined(DIAGNOSTIC)
125 #define PMAP_DIAGNOSTIC
126 #endif
127
128 #define MINPV 2048
129
130 #if !defined(PMAP_DIAGNOSTIC)
131 #define PMAP_INLINE __inline
132 #else
133 #define PMAP_INLINE
134 #endif
135
136 /*
137  * Get PDEs and PTEs for user/kernel address space
138  */
139 static pd_entry_t *pmap_pde(pmap_t pmap, vm_offset_t va);
140 #define pdir_pde(m, v) (m[(vm_offset_t)(v) >> PDRSHIFT])
141
142 #define pmap_pde_v(pte)         ((*(pd_entry_t *)pte & VPTE_V) != 0)
143 #define pmap_pte_w(pte)         ((*(pt_entry_t *)pte & VPTE_WIRED) != 0)
144 #define pmap_pte_m(pte)         ((*(pt_entry_t *)pte & VPTE_M) != 0)
145 #define pmap_pte_u(pte)         ((*(pt_entry_t *)pte & VPTE_A) != 0)
146 #define pmap_pte_v(pte)         ((*(pt_entry_t *)pte & VPTE_V) != 0)
147
148 /*
149  * Given a map and a machine independent protection code,
150  * convert to a vax protection code.
151  */
152 #define pte_prot(m, p)          \
153         (protection_codes[p & (VM_PROT_READ|VM_PROT_WRITE|VM_PROT_EXECUTE)])
154 static int protection_codes[8];
155
156 struct pmap kernel_pmap;
157 static TAILQ_HEAD(,pmap)        pmap_list = TAILQ_HEAD_INITIALIZER(pmap_list);
158
159 static boolean_t pmap_initialized = FALSE;      /* Has pmap_init completed? */
160
161 static vm_object_t kptobj;
162
163 static int nkpt;
164
165 static uint64_t KPDphys;        /* phys addr of kernel level 2 */
166 uint64_t                KPDPphys;       /* phys addr of kernel level 3 */
167 uint64_t                KPML4phys;      /* phys addr of kernel level 4 */
168
169
170 /*
171  * Data for the pv entry allocation mechanism
172  */
173 static vm_zone_t pvzone;
174 static struct vm_zone pvzone_store;
175 static struct vm_object pvzone_obj;
176 static int pv_entry_count=0, pv_entry_max=0, pv_entry_high_water=0;
177 static int pmap_pagedaemon_waken = 0;
178 static struct pv_entry *pvinit;
179
180 /*
181  * All those kernel PT submaps that BSD is so fond of
182  */
183 pt_entry_t *CMAP1 = 0, *ptmmap;
184 caddr_t CADDR1 = 0;
185 static pt_entry_t *msgbufmap;
186
187 uint64_t KPTphys;
188
189 static PMAP_INLINE void free_pv_entry (pv_entry_t pv);
190 static pv_entry_t get_pv_entry (void);
191 static void     i386_protection_init (void);
192 static __inline void    pmap_clearbit (vm_page_t m, int bit);
193
194 static void     pmap_remove_all (vm_page_t m);
195 static void     pmap_enter_quick (pmap_t pmap, vm_offset_t va, vm_page_t m);
196 static int pmap_remove_pte (struct pmap *pmap, pt_entry_t *ptq,
197                                 vm_offset_t sva);
198 static void pmap_remove_page (struct pmap *pmap, vm_offset_t va);
199 static int pmap_remove_entry (struct pmap *pmap, vm_page_t m,
200                                 vm_offset_t va);
201 static boolean_t pmap_testbit (vm_page_t m, int bit);
202 static void pmap_insert_entry (pmap_t pmap, vm_offset_t va,
203                 vm_page_t mpte, vm_page_t m);
204
205 static vm_page_t pmap_allocpte (pmap_t pmap, vm_offset_t va);
206
207 static int pmap_release_free_page (pmap_t pmap, vm_page_t p);
208 static vm_page_t _pmap_allocpte (pmap_t pmap, vm_pindex_t ptepindex);
209 static pt_entry_t * pmap_pte_quick (pmap_t pmap, vm_offset_t va);
210 static vm_page_t pmap_page_lookup (vm_object_t object, vm_pindex_t pindex);
211 static int pmap_unwire_pte_hold(pmap_t pmap, vm_offset_t va, vm_page_t m);
212 static int pmap_unuse_pt (pmap_t, vm_offset_t, vm_page_t);
213
214 /*
215  * pmap_pte_quick:
216  *
217  *      Super fast pmap_pte routine best used when scanning the pv lists.
218  *      This eliminates many course-grained invltlb calls.  Note that many of
219  *      the pv list scans are across different pmaps and it is very wasteful
220  *      to do an entire invltlb when checking a single mapping.
221  *
222  *      Should only be called while in a critical section.
223  */
224 static __inline pt_entry_t *pmap_pte(pmap_t pmap, vm_offset_t va);
225
226 static pt_entry_t *
227 pmap_pte_quick(pmap_t pmap, vm_offset_t va)
228 {
229         return pmap_pte(pmap, va);
230 }
231
232 /* Return a non-clipped PD index for a given VA */
233 static __inline vm_pindex_t
234 pmap_pde_pindex(vm_offset_t va)
235 {
236         return va >> PDRSHIFT;
237 }
238
239 /* Return various clipped indexes for a given VA */
240 static __inline vm_pindex_t
241 pmap_pte_index(vm_offset_t va)
242 {
243
244         return ((va >> PAGE_SHIFT) & ((1ul << NPTEPGSHIFT) - 1));
245 }
246
247 static __inline vm_pindex_t
248 pmap_pde_index(vm_offset_t va)
249 {
250
251         return ((va >> PDRSHIFT) & ((1ul << NPDEPGSHIFT) - 1));
252 }
253
254 static __inline vm_pindex_t
255 pmap_pdpe_index(vm_offset_t va)
256 {
257
258         return ((va >> PDPSHIFT) & ((1ul << NPDPEPGSHIFT) - 1));
259 }
260
261 static __inline vm_pindex_t
262 pmap_pml4e_index(vm_offset_t va)
263 {
264
265         return ((va >> PML4SHIFT) & ((1ul << NPML4EPGSHIFT) - 1));
266 }
267
268 /* Return a pointer to the PML4 slot that corresponds to a VA */
269 static __inline pml4_entry_t *
270 pmap_pml4e(pmap_t pmap, vm_offset_t va)
271 {
272
273         return (&pmap->pm_pml4[pmap_pml4e_index(va)]);
274 }
275
276 /* Return a pointer to the PDP slot that corresponds to a VA */
277 static __inline pdp_entry_t *
278 pmap_pml4e_to_pdpe(pml4_entry_t *pml4e, vm_offset_t va)
279 {
280         pdp_entry_t *pdpe;
281
282         pdpe = (pdp_entry_t *)PHYS_TO_DMAP(*pml4e & VPTE_FRAME);
283         return (&pdpe[pmap_pdpe_index(va)]);
284 }
285
286 /* Return a pointer to the PDP slot that corresponds to a VA */
287 static __inline pdp_entry_t *
288 pmap_pdpe(pmap_t pmap, vm_offset_t va)
289 {
290         pml4_entry_t *pml4e;
291
292         pml4e = pmap_pml4e(pmap, va);
293         if ((*pml4e & VPTE_V) == 0)
294                 return NULL;
295         return (pmap_pml4e_to_pdpe(pml4e, va));
296 }
297
298 /* Return a pointer to the PD slot that corresponds to a VA */
299 static __inline pd_entry_t *
300 pmap_pdpe_to_pde(pdp_entry_t *pdpe, vm_offset_t va)
301 {
302         pd_entry_t *pde;
303
304         pde = (pd_entry_t *)PHYS_TO_DMAP(*pdpe & VPTE_FRAME);
305         return (&pde[pmap_pde_index(va)]);
306 }
307
308 /* Return a pointer to the PD slot that corresponds to a VA */
309 static __inline pd_entry_t *
310 pmap_pde(pmap_t pmap, vm_offset_t va)
311 {
312         pdp_entry_t *pdpe;
313
314         pdpe = pmap_pdpe(pmap, va);
315         if (pdpe == NULL || (*pdpe & VPTE_V) == 0)
316                  return NULL;
317         return (pmap_pdpe_to_pde(pdpe, va));
318 }
319
320 /* Return a pointer to the PT slot that corresponds to a VA */
321 static __inline pt_entry_t *
322 pmap_pde_to_pte(pd_entry_t *pde, vm_offset_t va)
323 {
324         pt_entry_t *pte;
325
326         pte = (pt_entry_t *)PHYS_TO_DMAP(*pde & VPTE_FRAME);
327         return (&pte[pmap_pte_index(va)]);
328 }
329
330 /* Return a pointer to the PT slot that corresponds to a VA */
331 static __inline pt_entry_t *
332 pmap_pte(pmap_t pmap, vm_offset_t va)
333 {
334         pd_entry_t *pde;
335
336         pde = pmap_pde(pmap, va);
337         if (pde == NULL || (*pde & VPTE_V) == 0)
338                 return NULL;
339         if ((*pde & VPTE_PS) != 0)      /* compat with i386 pmap_pte() */
340                 return ((pt_entry_t *)pde);
341         return (pmap_pde_to_pte(pde, va));
342 }
343
344
345 #if JGV
346 PMAP_INLINE pt_entry_t *
347 vtopte(vm_offset_t va)
348 {
349         uint64_t mask = ((1ul << (NPTEPGSHIFT + NPDEPGSHIFT + NPDPEPGSHIFT + NPML4EPGSHIFT)) - 1);
350
351         return (PTmap + ((va >> PAGE_SHIFT) & mask));
352 }
353
354 static __inline pd_entry_t *
355 vtopde(vm_offset_t va)
356 {
357         uint64_t mask = ((1ul << (NPDEPGSHIFT + NPDPEPGSHIFT + NPML4EPGSHIFT)) - 1);
358
359         return (PDmap + ((va >> PDRSHIFT) & mask));
360 }
361 #else
362 PMAP_INLINE pt_entry_t *
363 vtopte(vm_offset_t va)
364 {
365         pt_entry_t *x;
366         x = pmap_pte(&kernel_pmap, va);
367         assert(x != NULL);
368         return x;
369 }
370
371 static __inline pd_entry_t *
372 vtopde(vm_offset_t va)
373 {
374         pd_entry_t *x;
375         x = pmap_pde(&kernel_pmap, va);
376         assert(x != NULL);
377         return x;
378 }
379 #endif
380
381 static uint64_t
382 allocpages(vm_paddr_t *firstaddr, int n)
383 {
384         uint64_t ret;
385
386         ret = *firstaddr;
387 #if JGV
388         bzero((void *)ret, n * PAGE_SIZE);
389 #endif
390         *firstaddr += n * PAGE_SIZE;
391         return (ret);
392 }
393
394 void
395 create_pagetables(vm_paddr_t *firstaddr, int64_t ptov_offset)
396 {
397         int i;
398         pml4_entry_t *KPML4virt;
399         pdp_entry_t *KPDPvirt;
400         pd_entry_t *KPDvirt;
401         pt_entry_t *KPTvirt;
402         int kpml4i = pmap_pml4e_index(ptov_offset);
403         int kpdpi = pmap_pdpe_index(ptov_offset);
404
405
406         /* Allocate pages */
407         KPML4phys = allocpages(firstaddr, 1);
408         KPDPphys = allocpages(firstaddr, NKPML4E);
409         KPDphys = allocpages(firstaddr, NKPDPE);
410         KPTphys = allocpages(firstaddr, NKPT);
411
412         KPML4virt = (pml4_entry_t *)PHYS_TO_DMAP(KPML4phys);
413         KPDPvirt = (pdp_entry_t *)PHYS_TO_DMAP(KPDPphys);
414         KPDvirt = (pd_entry_t *)PHYS_TO_DMAP(KPDphys);
415         KPTvirt = (pt_entry_t *)PHYS_TO_DMAP(KPTphys);
416
417         bzero(KPML4virt, 1 * PAGE_SIZE);
418         bzero(KPDPvirt, NKPML4E * PAGE_SIZE);
419         bzero(KPDvirt, NKPDPE * PAGE_SIZE);
420         bzero(KPTvirt, NKPT * PAGE_SIZE);
421
422         /* Now map the page tables at their location within PTmap */
423         for (i = 0; i < NKPT; i++) {
424                 KPDvirt[i] = KPTphys + (i << PAGE_SHIFT);
425                 KPDvirt[i] |= VPTE_R | VPTE_W | VPTE_V;
426         }
427
428         /* And connect up the PD to the PDP */
429         for (i = 0; i < NKPDPE; i++) {
430                 KPDPvirt[i + kpdpi] = KPDphys + (i << PAGE_SHIFT);
431                 KPDPvirt[i + kpdpi] |= VPTE_R | VPTE_W | VPTE_V;
432         }
433
434         /* And recursively map PML4 to itself in order to get PTmap */
435         KPML4virt[PML4PML4I] = KPML4phys;
436         KPML4virt[PML4PML4I] |= VPTE_R | VPTE_W | VPTE_V;
437
438         /* Connect the KVA slot up to the PML4 */
439         KPML4virt[kpml4i] = KPDPphys;
440         KPML4virt[kpml4i] |= VPTE_R | VPTE_W | VPTE_V;
441 }
442
443 /*
444  *      Bootstrap the system enough to run with virtual memory.
445  *
446  *      On the i386 this is called after mapping has already been enabled
447  *      and just syncs the pmap module with what has already been done.
448  *      [We can't call it easily with mapping off since the kernel is not
449  *      mapped with PA == VA, hence we would have to relocate every address
450  *      from the linked base (virtual) address "KERNBASE" to the actual
451  *      (physical) address starting relative to 0]
452  */
453 void
454 pmap_bootstrap(vm_paddr_t *firstaddr, int64_t ptov_offset)
455 {
456         vm_offset_t va;
457         pt_entry_t *pte;
458
459         /*
460          * Create an initial set of page tables to run the kernel in.
461          */
462         create_pagetables(firstaddr, ptov_offset);
463
464         virtual_start = KvaStart + *firstaddr;
465         virtual_end = KvaEnd;
466
467         /*
468          * Initialize protection array.
469          */
470         i386_protection_init();
471
472         /*
473          * The kernel's pmap is statically allocated so we don't have to use
474          * pmap_create, which is unlikely to work correctly at this part of
475          * the boot sequence (XXX and which no longer exists).
476          */
477         kernel_pmap.pm_pml4 = (pml4_entry_t *)PHYS_TO_DMAP(KPML4phys);
478         kernel_pmap.pm_count = 1;
479         kernel_pmap.pm_active = (cpumask_t)-1;  /* don't allow deactivation */
480         TAILQ_INIT(&kernel_pmap.pm_pvlist);
481         nkpt = NKPT;
482
483         /*
484          * Reserve some special page table entries/VA space for temporary
485          * mapping of pages.
486          */
487 #define SYSMAP(c, p, v, n)      \
488         v = (c)va; va += ((n)*PAGE_SIZE); p = pte; pte += (n);
489
490         va = virtual_start;
491         pte = pmap_pte(&kernel_pmap, va);
492
493         /*
494          * CMAP1/CMAP2 are used for zeroing and copying pages.
495          */
496         SYSMAP(caddr_t, CMAP1, CADDR1, 1)
497
498 #if JGV
499         /*
500          * Crashdump maps.
501          */
502         SYSMAP(caddr_t, pt_crashdumpmap, crashdumpmap, MAXDUMPPGS);
503 #endif
504
505         /*
506          * ptvmmap is used for reading arbitrary physical pages via
507          * /dev/mem.
508          */
509         SYSMAP(caddr_t, ptmmap, ptvmmap, 1)
510
511         /*
512          * msgbufp is used to map the system message buffer.
513          * XXX msgbufmap is not used.
514          */
515         SYSMAP(struct msgbuf *, msgbufmap, msgbufp,
516                atop(round_page(MSGBUF_SIZE)))
517
518         virtual_start = va;
519
520         *CMAP1 = 0;
521
522         cpu_invltlb();
523 }
524
525 /*
526  *      Initialize the pmap module.
527  *      Called by vm_init, to initialize any structures that the pmap
528  *      system needs to map virtual memory.
529  *      pmap_init has been enhanced to support in a fairly consistant
530  *      way, discontiguous physical memory.
531  */
532 void
533 pmap_init(void)
534 {
535         int i;
536         int initial_pvs;
537
538         /*
539          * object for kernel page table pages
540          */
541         /* JG I think the number can be arbitrary */
542         kptobj = vm_object_allocate(OBJT_DEFAULT, 5);
543
544         /*
545          * Allocate memory for random pmap data structures.  Includes the
546          * pv_head_table.
547          */
548
549         for(i = 0; i < vm_page_array_size; i++) {
550                 vm_page_t m;
551
552                 m = &vm_page_array[i];
553                 TAILQ_INIT(&m->md.pv_list);
554                 m->md.pv_list_count = 0;
555         }
556
557         /*
558          * init the pv free list
559          */
560         initial_pvs = vm_page_array_size;
561         if (initial_pvs < MINPV)
562                 initial_pvs = MINPV;
563         pvzone = &pvzone_store;
564         pvinit = (struct pv_entry *) kmem_alloc(&kernel_map,
565                 initial_pvs * sizeof (struct pv_entry));
566         zbootinit(pvzone, "PV ENTRY", sizeof (struct pv_entry), pvinit,
567                 initial_pvs);
568
569         /*
570          * Now it is safe to enable pv_table recording.
571          */
572         pmap_initialized = TRUE;
573 }
574
575 /*
576  * Initialize the address space (zone) for the pv_entries.  Set a
577  * high water mark so that the system can recover from excessive
578  * numbers of pv entries.
579  */
580 void
581 pmap_init2(void)
582 {
583         int shpgperproc = PMAP_SHPGPERPROC;
584
585         TUNABLE_INT_FETCH("vm.pmap.shpgperproc", &shpgperproc);
586         pv_entry_max = shpgperproc * maxproc + vm_page_array_size;
587         TUNABLE_INT_FETCH("vm.pmap.pv_entries", &pv_entry_max);
588         pv_entry_high_water = 9 * (pv_entry_max / 10);
589         zinitna(pvzone, &pvzone_obj, NULL, 0, pv_entry_max, ZONE_INTERRUPT, 1);
590 }
591
592
593 /***************************************************
594  * Low level helper routines.....
595  ***************************************************/
596
597 /*
598  * The modification bit is not tracked for any pages in this range. XXX
599  * such pages in this maps should always use pmap_k*() functions and not
600  * be managed anyhow.
601  *
602  * XXX User and kernel address spaces are independant for virtual kernels,
603  * this function only applies to the kernel pmap.
604  */
605 static int
606 pmap_track_modified(pmap_t pmap, vm_offset_t va)
607 {
608         if (pmap != &kernel_pmap)
609                 return 1;
610         if ((va < clean_sva) || (va >= clean_eva))
611                 return 1;
612         else
613                 return 0;
614 }
615
616 /*
617  * pmap_extract:
618  *
619  *      Extract the physical page address associated with the map/VA pair.
620  */
621 vm_paddr_t
622 pmap_extract(pmap_t pmap, vm_offset_t va)
623 {
624         vm_paddr_t rtval;
625         pt_entry_t *pte;
626         pd_entry_t pde, *pdep;
627
628         rtval = 0;
629         pdep = pmap_pde(pmap, va);
630         if (pdep != NULL) {
631                 pde = *pdep;
632                 if (pde) {
633                         if ((pde & VPTE_PS) != 0) {
634                                 /* JGV */
635                                 rtval = (pde & PG_PS_FRAME) | (va & PDRMASK);
636                         } else {
637                                 pte = pmap_pde_to_pte(pdep, va);
638                                 rtval = (*pte & VPTE_FRAME) | (va & PAGE_MASK);
639                         }
640                 }
641         }
642         return rtval;
643 }
644
645 /*
646  *      Routine:        pmap_kextract
647  *      Function:
648  *              Extract the physical page address associated
649  *              kernel virtual address.
650  */
651 vm_paddr_t
652 pmap_kextract(vm_offset_t va)
653 {
654         pd_entry_t pde;
655         vm_paddr_t pa;
656
657         KKASSERT(va >= KvaStart && va < KvaEnd);
658
659         /*
660          * The DMAP region is not included in [KvaStart, KvaEnd)
661          */
662 #if 0
663         if (va >= DMAP_MIN_ADDRESS && va < DMAP_MAX_ADDRESS) {
664                 pa = DMAP_TO_PHYS(va);
665         } else {
666 #endif
667                 pde = *vtopde(va);
668                 if (pde & VPTE_PS) {
669                         /* JGV */
670                         pa = (pde & PG_PS_FRAME) | (va & PDRMASK);
671                 } else {
672                         /*
673                          * Beware of a concurrent promotion that changes the
674                          * PDE at this point!  For example, vtopte() must not
675                          * be used to access the PTE because it would use the
676                          * new PDE.  It is, however, safe to use the old PDE
677                          * because the page table page is preserved by the
678                          * promotion.
679                          */
680                         pa = *pmap_pde_to_pte(&pde, va);
681                         pa = (pa & VPTE_FRAME) | (va & PAGE_MASK);
682                 }
683 #if 0
684         }
685 #endif
686         return pa;
687 }
688
689 /***************************************************
690  * Low level mapping routines.....
691  ***************************************************/
692
693 /*
694  * Enter a mapping into kernel_pmap.  Mappings created in this fashion
695  * are not managed.  Mappings must be immediately accessible on all cpus.
696  *
697  * Call pmap_inval_pte() to invalidate the virtual pte and clean out the
698  * real pmap and handle related races before storing the new vpte.
699  */
700 void
701 pmap_kenter(vm_offset_t va, vm_paddr_t pa)
702 {
703         pt_entry_t *pte;
704         pt_entry_t npte;
705
706         KKASSERT(va >= KvaStart && va < KvaEnd);
707         npte = pa | VPTE_R | VPTE_W | VPTE_V;
708         pte = vtopte(va);
709         if (*pte & VPTE_V)
710                 pmap_inval_pte(pte, &kernel_pmap, va);
711         *pte = npte;
712 }
713
714 /*
715  * Enter an unmanaged KVA mapping for the private use of the current
716  * cpu only.  pmap_kenter_sync() may be called to make the mapping usable
717  * by other cpus.
718  *
719  * It is illegal for the mapping to be accessed by other cpus unleess
720  * pmap_kenter_sync*() is called.
721  */
722 void
723 pmap_kenter_quick(vm_offset_t va, vm_paddr_t pa)
724 {
725         pt_entry_t *pte;
726         pt_entry_t npte;
727
728         KKASSERT(va >= KvaStart && va < KvaEnd);
729
730         npte = (vpte_t)pa | VPTE_R | VPTE_W | VPTE_V;
731         pte = vtopte(va);
732         if (*pte & VPTE_V)
733                 pmap_inval_pte_quick(pte, &kernel_pmap, va);
734         *pte = npte;
735         //cpu_invlpg((void *)va);
736 }
737
738 /*
739  * Synchronize a kvm mapping originally made for the private use on
740  * some other cpu so it can be used on all cpus.
741  *
742  * XXX add MADV_RESYNC to improve performance.
743  */
744 void
745 pmap_kenter_sync(vm_offset_t va)
746 {
747         madvise((void *)va, PAGE_SIZE, MADV_INVAL);
748 }
749
750 /*
751  * Synchronize a kvm mapping originally made for the private use on
752  * some other cpu so it can be used on our cpu.  Turns out to be the
753  * same madvise() call, because we have to sync the real pmaps anyway.
754  *
755  * XXX add MADV_RESYNC to improve performance.
756  */
757 void
758 pmap_kenter_sync_quick(vm_offset_t va)
759 {
760         madvise((void *)va, PAGE_SIZE, MADV_INVAL);
761 }
762
763 /*
764  * Remove an unmanaged mapping created with pmap_kenter*().
765  */
766 void
767 pmap_kremove(vm_offset_t va)
768 {
769         pt_entry_t *pte;
770
771         KKASSERT(va >= KvaStart && va < KvaEnd);
772
773         pte = vtopte(va);
774         if (*pte & VPTE_V)
775                 pmap_inval_pte(pte, &kernel_pmap, va);
776         *pte = 0;
777 }
778
779 /*
780  * Remove an unmanaged mapping created with pmap_kenter*() but synchronize
781  * only with this cpu.
782  *
783  * Unfortunately because we optimize new entries by testing VPTE_V later
784  * on, we actually still have to synchronize with all the cpus.  XXX maybe
785  * store a junk value and test against 0 in the other places instead?
786  */
787 void
788 pmap_kremove_quick(vm_offset_t va)
789 {
790         pt_entry_t *pte;
791
792         KKASSERT(va >= KvaStart && va < KvaEnd);
793
794         pte = vtopte(va);
795         if (*pte & VPTE_V)
796                 pmap_inval_pte(pte, &kernel_pmap, va); /* NOT _quick */
797         *pte = 0;
798 }
799
800 /*
801  *      Used to map a range of physical addresses into kernel
802  *      virtual address space.
803  *
804  *      For now, VM is already on, we only need to map the
805  *      specified memory.
806  */
807 vm_offset_t
808 pmap_map(vm_offset_t virt, vm_paddr_t start, vm_paddr_t end, int prot)
809 {
810         return PHYS_TO_DMAP(start);
811 }
812
813
814 /*
815  * Map a set of unmanaged VM pages into KVM.
816  */
817 void
818 pmap_qenter(vm_offset_t va, vm_page_t *m, int count)
819 {
820         vm_offset_t end_va;
821
822         end_va = va + count * PAGE_SIZE;
823         KKASSERT(va >= KvaStart && end_va < KvaEnd);
824
825         while (va < end_va) {
826                 pt_entry_t *pte;
827
828                 pte = vtopte(va);
829                 if (*pte & VPTE_V)
830                         pmap_inval_pte(pte, &kernel_pmap, va);
831                 *pte = VM_PAGE_TO_PHYS(*m) | VPTE_R | VPTE_W | VPTE_V;
832                 va += PAGE_SIZE;
833                 m++;
834         }
835 }
836
837 /*
838  * Map a set of VM pages to kernel virtual memory.  If a mapping changes
839  * clear the supplied mask.  The caller handles any SMP interactions.
840  * The mask is used to provide the caller with hints on what SMP interactions
841  * might be needed.
842  */
843 void
844 pmap_qenter2(vm_offset_t va, vm_page_t *m, int count, cpumask_t *mask)
845 {
846         vm_offset_t end_va;
847         cpumask_t cmask = mycpu->gd_cpumask;
848
849         end_va = va + count * PAGE_SIZE;
850         KKASSERT(va >= KvaStart && end_va < KvaEnd);
851
852         while (va < end_va) {
853                 pt_entry_t *pte;
854                 pt_entry_t pteval;
855
856                 pte = vtopte(va);
857                 pteval = VM_PAGE_TO_PHYS(*m) | VPTE_R | VPTE_W | VPTE_V;
858                 if (*pte != pteval) {
859                         *mask = 0;
860                         pmap_inval_pte_quick(pte, &kernel_pmap, va);
861                         *pte = pteval;
862                 } else if ((*mask & cmask) == 0) {
863                         pmap_kenter_sync_quick(va);
864                 }
865                 va += PAGE_SIZE;
866                 m++;
867         }
868         *mask |= cmask;
869 }
870
871 /*
872  * Undo the effects of pmap_qenter*().
873  */
874 void
875 pmap_qremove(vm_offset_t va, int count)
876 {
877         vm_offset_t end_va;
878
879         end_va = va + count * PAGE_SIZE;
880         KKASSERT(va >= KvaStart && end_va < KvaEnd);
881
882         while (va < end_va) {
883                 pt_entry_t *pte;
884
885                 pte = vtopte(va);
886                 if (*pte & VPTE_V)
887                         pmap_inval_pte(pte, &kernel_pmap, va);
888                 *pte = 0;
889                 va += PAGE_SIZE;
890         }
891 }
892
893 /*
894  * This routine works like vm_page_lookup() but also blocks as long as the
895  * page is busy.  This routine does not busy the page it returns.
896  *
897  * Unless the caller is managing objects whos pages are in a known state,
898  * the call should be made with a critical section held so the page's object
899  * association remains valid on return.
900  */
901 static vm_page_t
902 pmap_page_lookup(vm_object_t object, vm_pindex_t pindex)
903 {
904         vm_page_t m;
905
906         do {
907                 m = vm_page_lookup(object, pindex);
908         } while (m && vm_page_sleep_busy(m, FALSE, "pplookp"));
909
910         return(m);
911 }
912
913 /*
914  * Create a new thread and optionally associate it with a (new) process.
915  * NOTE! the new thread's cpu may not equal the current cpu.
916  */
917 void
918 pmap_init_thread(thread_t td)
919 {
920         /* enforce pcb placement */
921         td->td_pcb = (struct pcb *)(td->td_kstack + td->td_kstack_size) - 1;
922         td->td_savefpu = &td->td_pcb->pcb_save;
923         td->td_sp = (char *)td->td_pcb - 16; /* JG is -16 needed on amd64? */
924 }
925
926 /*
927  * This routine directly affects the fork perf for a process.
928  */
929 void
930 pmap_init_proc(struct proc *p)
931 {
932 }
933
934 /*
935  * Dispose the UPAGES for a process that has exited.
936  * This routine directly impacts the exit perf of a process.
937  */
938 void
939 pmap_dispose_proc(struct proc *p)
940 {
941         KASSERT(p->p_lock == 0, ("attempt to dispose referenced proc! %p", p));
942 }
943
944 /***************************************************
945  * Page table page management routines.....
946  ***************************************************/
947
948 /*
949  * This routine unholds page table pages, and if the hold count
950  * drops to zero, then it decrements the wire count.
951  *
952  * We must recheck that this is the last hold reference after busy-sleeping
953  * on the page.
954  */
955 static int
956 _pmap_unwire_pte_hold(pmap_t pmap, vm_offset_t va, vm_page_t m)
957 {
958         while (vm_page_sleep_busy(m, FALSE, "pmuwpt"))
959                 ;
960         KASSERT(m->queue == PQ_NONE,
961                 ("_pmap_unwire_pte_hold: %p->queue != PQ_NONE", m));
962
963         if (m->hold_count == 1) {
964                 /*
965                  * Unmap the page table page.
966                  */
967                 //abort(); /* JG */
968                 vm_page_busy(m);
969                 /* pmap_inval_add(info, pmap, -1); */
970
971                 if (m->pindex >= (NUPDE + NUPDPE)) {
972                         /* PDP page */
973                         pml4_entry_t *pml4;
974                         pml4 = pmap_pml4e(pmap, va);
975                         *pml4 = 0;
976                 } else if (m->pindex >= NUPDE) {
977                         /* PD page */
978                         pdp_entry_t *pdp;
979                         pdp = pmap_pdpe(pmap, va);
980                         *pdp = 0;
981                 } else {
982                         /* PT page */
983                         pd_entry_t *pd;
984                         pd = pmap_pde(pmap, va);
985                         *pd = 0;
986                 }
987
988                 KKASSERT(pmap->pm_stats.resident_count > 0);
989                 --pmap->pm_stats.resident_count;
990
991                 if (pmap->pm_ptphint == m)
992                         pmap->pm_ptphint = NULL;
993
994                 if (m->pindex < NUPDE) {
995                         /* We just released a PT, unhold the matching PD */
996                         vm_page_t pdpg;
997
998                         pdpg = PHYS_TO_VM_PAGE(*pmap_pdpe(pmap, va) & VPTE_FRAME);
999                         pmap_unwire_pte_hold(pmap, va, pdpg);
1000                 }
1001                 if (m->pindex >= NUPDE && m->pindex < (NUPDE + NUPDPE)) {
1002                         /* We just released a PD, unhold the matching PDP */
1003                         vm_page_t pdppg;
1004
1005                         pdppg = PHYS_TO_VM_PAGE(*pmap_pml4e(pmap, va) & VPTE_FRAME);
1006                         pmap_unwire_pte_hold(pmap, va, pdppg);
1007                 }
1008
1009                 /*
1010                  * This was our last hold, the page had better be unwired
1011                  * after we decrement wire_count.
1012                  *
1013                  * FUTURE NOTE: shared page directory page could result in
1014                  * multiple wire counts.
1015                  */
1016                 vm_page_unhold(m);
1017                 --m->wire_count;
1018                 KKASSERT(m->wire_count == 0);
1019                 --vmstats.v_wire_count;
1020                 vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
1021                 vm_page_flash(m);
1022                 vm_page_free_zero(m);
1023                 return 1;
1024         } else {
1025                 KKASSERT(m->hold_count > 1);
1026                 vm_page_unhold(m);
1027                 return 0;
1028         }
1029 }
1030
1031 static __inline int
1032 pmap_unwire_pte_hold(pmap_t pmap, vm_offset_t va, vm_page_t m)
1033 {
1034         KKASSERT(m->hold_count > 0);
1035         if (m->hold_count > 1) {
1036                 vm_page_unhold(m);
1037                 return 0;
1038         } else {
1039                 return _pmap_unwire_pte_hold(pmap, va, m);
1040         }
1041 }
1042
1043 /*
1044  * After removing a page table entry, this routine is used to
1045  * conditionally free the page, and manage the hold/wire counts.
1046  */
1047 static int
1048 pmap_unuse_pt(pmap_t pmap, vm_offset_t va, vm_page_t mpte)
1049 {
1050         /* JG Use FreeBSD/amd64 or FreeBSD/i386 ptepde approaches? */
1051         vm_pindex_t ptepindex;
1052
1053         if (mpte == NULL) {
1054                 /*
1055                  * page table pages in the kernel_pmap are not managed.
1056                  */
1057                 if (pmap == &kernel_pmap)
1058                         return(0);
1059                 ptepindex = pmap_pde_pindex(va);
1060                 if (pmap->pm_ptphint &&
1061                         (pmap->pm_ptphint->pindex == ptepindex)) {
1062                         mpte = pmap->pm_ptphint;
1063                 } else {
1064                         mpte = pmap_page_lookup(pmap->pm_pteobj, ptepindex);
1065                         pmap->pm_ptphint = mpte;
1066                 }
1067         }
1068
1069         return pmap_unwire_pte_hold(pmap, va, mpte);
1070 }
1071
1072 /*
1073  * Initialize pmap0/vmspace0 .  Since process 0 never enters user mode we
1074  * just dummy it up so it works well enough for fork().
1075  *
1076  * In DragonFly, process pmaps may only be used to manipulate user address
1077  * space, never kernel address space.
1078  */
1079 void
1080 pmap_pinit0(struct pmap *pmap)
1081 {
1082         pmap_pinit(pmap);
1083 }
1084
1085 /*
1086  * Initialize a preallocated and zeroed pmap structure,
1087  * such as one in a vmspace structure.
1088  */
1089 void
1090 pmap_pinit(struct pmap *pmap)
1091 {
1092         vm_page_t ptdpg;
1093
1094         /*
1095          * No need to allocate page table space yet but we do need a valid
1096          * page directory table.
1097          */
1098         if (pmap->pm_pml4 == NULL) {
1099                 pmap->pm_pml4 =
1100                     (pml4_entry_t *)kmem_alloc_pageable(&kernel_map, PAGE_SIZE);
1101         }
1102
1103         /*
1104          * Allocate an object for the ptes
1105          */
1106         if (pmap->pm_pteobj == NULL)
1107                 pmap->pm_pteobj = vm_object_allocate(OBJT_DEFAULT, NUPDE + NUPDPE + PML4PML4I + 1);
1108
1109         /*
1110          * Allocate the page directory page, unless we already have
1111          * one cached.  If we used the cached page the wire_count will
1112          * already be set appropriately.
1113          */
1114         if ((ptdpg = pmap->pm_pdirm) == NULL) {
1115                 ptdpg = vm_page_grab(pmap->pm_pteobj, NUPDE + NUPDPE + PML4PML4I,
1116                                      VM_ALLOC_NORMAL | VM_ALLOC_RETRY);
1117                 pmap->pm_pdirm = ptdpg;
1118                 vm_page_flag_clear(ptdpg, PG_MAPPED | PG_BUSY);
1119                 ptdpg->valid = VM_PAGE_BITS_ALL;
1120                 if (ptdpg->wire_count == 0)
1121                         ++vmstats.v_wire_count;
1122                 ptdpg->wire_count = 1;
1123                 pmap_kenter((vm_offset_t)pmap->pm_pml4, VM_PAGE_TO_PHYS(ptdpg));
1124         }
1125         if ((ptdpg->flags & PG_ZERO) == 0)
1126                 bzero(pmap->pm_pml4, PAGE_SIZE);
1127
1128         pmap->pm_count = 1;
1129         pmap->pm_active = 0;
1130         pmap->pm_ptphint = NULL;
1131         TAILQ_INIT(&pmap->pm_pvlist);
1132         bzero(&pmap->pm_stats, sizeof pmap->pm_stats);
1133         pmap->pm_stats.resident_count = 1;
1134 }
1135
1136 /*
1137  * Clean up a pmap structure so it can be physically freed.  This routine
1138  * is called by the vmspace dtor function.  A great deal of pmap data is
1139  * left passively mapped to improve vmspace management so we have a bit
1140  * of cleanup work to do here.
1141  */
1142 void
1143 pmap_puninit(pmap_t pmap)
1144 {
1145         vm_page_t p;
1146
1147         KKASSERT(pmap->pm_active == 0);
1148         if ((p = pmap->pm_pdirm) != NULL) {
1149                 KKASSERT(pmap->pm_pml4 != NULL);
1150                 pmap_kremove((vm_offset_t)pmap->pm_pml4);
1151                 p->wire_count--;
1152                 vmstats.v_wire_count--;
1153                 KKASSERT((p->flags & PG_BUSY) == 0);
1154                 vm_page_busy(p);
1155                 vm_page_free_zero(p);
1156                 pmap->pm_pdirm = NULL;
1157         }
1158         if (pmap->pm_pml4) {
1159                 kmem_free(&kernel_map, (vm_offset_t)pmap->pm_pml4, PAGE_SIZE);
1160                 pmap->pm_pml4 = NULL;
1161         }
1162         if (pmap->pm_pteobj) {
1163                 vm_object_deallocate(pmap->pm_pteobj);
1164                 pmap->pm_pteobj = NULL;
1165         }
1166 }
1167
1168 /*
1169  * Wire in kernel global address entries.  To avoid a race condition
1170  * between pmap initialization and pmap_growkernel, this procedure
1171  * adds the pmap to the master list (which growkernel scans to update),
1172  * then copies the template.
1173  *
1174  * In a virtual kernel there are no kernel global address entries.
1175  */
1176 void
1177 pmap_pinit2(struct pmap *pmap)
1178 {
1179         crit_enter();
1180         TAILQ_INSERT_TAIL(&pmap_list, pmap, pm_pmnode);
1181         crit_exit();
1182 }
1183
1184 /*
1185  * Attempt to release and free a vm_page in a pmap.  Returns 1 on success,
1186  * 0 on failure (if the procedure had to sleep).
1187  *
1188  * When asked to remove the page directory page itself, we actually just
1189  * leave it cached so we do not have to incur the SMP inval overhead of
1190  * removing the kernel mapping.  pmap_puninit() will take care of it.
1191  */
1192 static int
1193 pmap_release_free_page(struct pmap *pmap, vm_page_t p)
1194 {
1195         pml4_entry_t *pml4 = pmap->pm_pml4;
1196         /*
1197          * This code optimizes the case of freeing non-busy
1198          * page-table pages.  Those pages are zero now, and
1199          * might as well be placed directly into the zero queue.
1200          */
1201         if (vm_page_sleep_busy(p, FALSE, "pmaprl"))
1202                 return 0;
1203
1204         vm_page_busy(p);
1205
1206         /*
1207          * Remove the page table page from the processes address space.
1208          */
1209         if (p->pindex == NUPDE + NUPDPE + PML4PML4I) {
1210                 /*
1211                  * We are the pml4 table itself.
1212                  */
1213                 /* XXX anything to do here? */
1214         } else if (p->pindex >= (NUPDE + NUPDPE)) {
1215                 /*
1216                  * We are a PDP page.
1217                  * We look for the PML4 entry that points to us.
1218                  */
1219                 vm_page_t m4 = vm_page_lookup(pmap->pm_pteobj, NUPDE + NUPDPE + PML4PML4I);
1220                 KKASSERT(m4 != NULL);
1221                 pml4_entry_t *pml4 = PHYS_TO_DMAP(VM_PAGE_TO_PHYS(m4));
1222                 int idx = (p->pindex - (NUPDE + NUPDPE)) % NPML4EPG;
1223                 KKASSERT(pml4[idx] != 0);
1224                 pml4[idx] = 0;
1225                 m4->hold_count--;
1226                 /* JG What about wire_count? */
1227         } else if (p->pindex >= NUPDE) {
1228                 /*
1229                  * We are a PD page.
1230                  * We look for the PDP entry that points to us.
1231                  */
1232                 vm_page_t m3 = vm_page_lookup(pmap->pm_pteobj, NUPDE + NUPDPE + (p->pindex - NUPDE) / NPDPEPG);
1233                 KKASSERT(m3 != NULL);
1234                 pdp_entry_t *pdp = PHYS_TO_DMAP(VM_PAGE_TO_PHYS(m3));
1235                 int idx = (p->pindex - NUPDE) % NPDPEPG;
1236                 KKASSERT(pdp[idx] != 0);
1237                 pdp[idx] = 0;
1238                 m3->hold_count--;
1239                 /* JG What about wire_count? */
1240         } else {
1241                 /* We are a PT page.
1242                  * We look for the PD entry that points to us.
1243                  */
1244                 vm_page_t m2 = vm_page_lookup(pmap->pm_pteobj, NUPDE + p->pindex / NPDEPG);
1245                 KKASSERT(m2 != NULL);
1246                 pd_entry_t *pd = PHYS_TO_DMAP(VM_PAGE_TO_PHYS(m2));
1247                 int idx = p->pindex % NPDEPG;
1248                 pd[idx] = 0;
1249                 m2->hold_count--;
1250                 /* JG What about wire_count? */
1251         }
1252         KKASSERT(pmap->pm_stats.resident_count > 0);
1253         --pmap->pm_stats.resident_count;
1254
1255         if (p->hold_count)  {
1256                 panic("pmap_release: freeing held page table page");
1257         }
1258         if (pmap->pm_ptphint && (pmap->pm_ptphint->pindex == p->pindex))
1259                 pmap->pm_ptphint = NULL;
1260
1261         /*
1262          * We leave the top-level page table page cached, wired, and mapped in
1263          * the pmap until the dtor function (pmap_puninit()) gets called.
1264          * However, still clean it up so we can set PG_ZERO.
1265          */
1266         if (p->pindex == NUPDE + NUPDPE + PML4PML4I) {
1267                 bzero(pmap->pm_pml4, PAGE_SIZE);
1268                 vm_page_flag_set(p, PG_ZERO);
1269                 vm_page_wakeup(p);
1270         } else {
1271                 abort();
1272                 p->wire_count--;
1273                 vmstats.v_wire_count--;
1274                 /* JG eventually revert to using vm_page_free_zero() */
1275                 vm_page_free(p);
1276         }
1277         return 1;
1278 }
1279
1280 /*
1281  * this routine is called if the page table page is not
1282  * mapped correctly.
1283  */
1284 static vm_page_t
1285 _pmap_allocpte(pmap_t pmap, vm_pindex_t ptepindex)
1286 {
1287         vm_page_t m, pdppg, pdpg;
1288
1289         /*
1290          * Find or fabricate a new pagetable page
1291          */
1292         m = vm_page_grab(pmap->pm_pteobj, ptepindex,
1293                         VM_ALLOC_NORMAL | VM_ALLOC_ZERO | VM_ALLOC_RETRY);
1294
1295         if ((m->flags & PG_ZERO) == 0) {
1296                 pmap_zero_page(VM_PAGE_TO_PHYS(m));
1297         }
1298
1299         KASSERT(m->queue == PQ_NONE,
1300                 ("_pmap_allocpte: %p->queue != PQ_NONE", m));
1301
1302         /*
1303          * Increment the hold count for the page we will be returning to
1304          * the caller.
1305          */
1306         m->hold_count++;
1307
1308         if (m->wire_count == 0)
1309                 vmstats.v_wire_count++;
1310         m->wire_count++;
1311
1312         /*
1313          * Map the pagetable page into the process address space, if
1314          * it isn't already there.
1315          */
1316
1317         ++pmap->pm_stats.resident_count;
1318
1319         if (ptepindex >= (NUPDE + NUPDPE)) {
1320                 pml4_entry_t *pml4;
1321                 vm_pindex_t pml4index;
1322
1323                 /* Wire up a new PDP page */
1324                 pml4index = ptepindex - (NUPDE + NUPDPE);
1325                 pml4 = &pmap->pm_pml4[pml4index];
1326                 *pml4 = VM_PAGE_TO_PHYS(m) | VPTE_R | VPTE_W | VPTE_V |
1327                         VPTE_A | VPTE_M;
1328         } else if (ptepindex >= NUPDE) {
1329                 vm_pindex_t pml4index;
1330                 vm_pindex_t pdpindex;
1331                 pml4_entry_t *pml4;
1332                 pdp_entry_t *pdp;
1333
1334                 /* Wire up a new PD page */
1335                 pdpindex = ptepindex - NUPDE;
1336                 pml4index = pdpindex >> NPML4EPGSHIFT;
1337
1338                 pml4 = &pmap->pm_pml4[pml4index];
1339                 if ((*pml4 & VPTE_V) == 0) {
1340                         /* Have to allocate a new PDP page, recurse */
1341                         if (_pmap_allocpte(pmap, NUPDE + NUPDPE + pml4index)
1342                              == NULL) {
1343                                 --m->wire_count;
1344                                 vm_page_free(m);
1345                                 return (NULL);
1346                         }
1347                 } else {
1348                         /* Add reference to the PDP page */
1349                         pdppg = PHYS_TO_VM_PAGE(*pml4 & VPTE_FRAME);
1350                         pdppg->hold_count++;
1351                 }
1352                 pdp = (pdp_entry_t *)PHYS_TO_DMAP(*pml4 & VPTE_FRAME);
1353
1354                 /* Now find the pdp page */
1355                 pdp = &pdp[pdpindex & ((1ul << NPDPEPGSHIFT) - 1)];
1356                 KKASSERT(*pdp == 0);    /* JG DEBUG64 */
1357                 *pdp = VM_PAGE_TO_PHYS(m) | VPTE_R | VPTE_W | VPTE_V |
1358                        VPTE_A | VPTE_M;
1359         } else {
1360                 vm_pindex_t pml4index;
1361                 vm_pindex_t pdpindex;
1362                 pml4_entry_t *pml4;
1363                 pdp_entry_t *pdp;
1364                 pd_entry_t *pd;
1365
1366                 /* Wire up a new PT page */
1367                 pdpindex = ptepindex >> NPDPEPGSHIFT;
1368                 pml4index = pdpindex >> NPML4EPGSHIFT;
1369
1370                 /* First, find the pdp and check that its valid. */
1371                 pml4 = &pmap->pm_pml4[pml4index];
1372                 if ((*pml4 & VPTE_V) == 0) {
1373                         /* We miss a PDP page. We ultimately need a PD page.
1374                          * Recursively allocating a PD page will allocate
1375                          * the missing PDP page and will also allocate
1376                          * the PD page we need.
1377                          */
1378                         /* Have to allocate a new PD page, recurse */
1379                         if (_pmap_allocpte(pmap, NUPDE + pdpindex)
1380                              == NULL) {
1381                                 --m->wire_count;
1382                                 vm_page_free(m);
1383                                 return (NULL);
1384                         }
1385                         pdp = (pdp_entry_t *)PHYS_TO_DMAP(*pml4 & VPTE_FRAME);
1386                         pdp = &pdp[pdpindex & ((1ul << NPDPEPGSHIFT) - 1)];
1387                 } else {
1388                         pdp = (pdp_entry_t *)PHYS_TO_DMAP(*pml4 & VPTE_FRAME);
1389                         pdp = &pdp[pdpindex & ((1ul << NPDPEPGSHIFT) - 1)];
1390                         if ((*pdp & VPTE_V) == 0) {
1391                                 /* Have to allocate a new PD page, recurse */
1392                                 if (_pmap_allocpte(pmap, NUPDE + pdpindex)
1393                                      == NULL) {
1394                                         --m->wire_count;
1395                                         vm_page_free(m);
1396                                         return (NULL);
1397                                 }
1398                         } else {
1399                                 /* Add reference to the PD page */
1400                                 pdpg = PHYS_TO_VM_PAGE(*pdp & VPTE_FRAME);
1401                                 pdpg->hold_count++;
1402                         }
1403                 }
1404                 pd = (pd_entry_t *)PHYS_TO_DMAP(*pdp & VPTE_FRAME);
1405
1406                 /* Now we know where the page directory page is */
1407                 pd = &pd[ptepindex & ((1ul << NPDEPGSHIFT) - 1)];
1408                 KKASSERT(*pd == 0);     /* JG DEBUG64 */
1409                 *pd = VM_PAGE_TO_PHYS(m) | VPTE_R | VPTE_W | VPTE_V |
1410                       VPTE_A | VPTE_M;
1411         }
1412
1413         /*
1414          * Set the page table hint
1415          */
1416         pmap->pm_ptphint = m;
1417
1418         m->valid = VM_PAGE_BITS_ALL;
1419         vm_page_flag_clear(m, PG_ZERO);
1420         vm_page_flag_set(m, PG_MAPPED);
1421         vm_page_wakeup(m);
1422
1423         return m;
1424 }
1425
1426 /*
1427  * Determine the page table page required to access the VA in the pmap
1428  * and allocate it if necessary.  Return a held vm_page_t for the page.
1429  *
1430  * Only used with user pmaps.
1431  */
1432 static vm_page_t
1433 pmap_allocpte(pmap_t pmap, vm_offset_t va)
1434 {
1435         vm_pindex_t ptepindex;
1436         pd_entry_t *pd;
1437         vm_page_t m;
1438
1439         /*
1440          * Calculate pagetable page index
1441          */
1442         ptepindex = pmap_pde_pindex(va);
1443
1444         /*
1445          * Get the page directory entry
1446          */
1447         pd = pmap_pde(pmap, va);
1448
1449         /*
1450          * This supports switching from a 2MB page to a
1451          * normal 4K page.
1452          */
1453         if (pd != NULL && (*pd & (VPTE_PS | VPTE_V)) == (VPTE_PS | VPTE_V)) {
1454                 panic("no promotion/demotion yet");
1455                 *pd = 0;
1456                 pd = NULL;
1457                 /*cpu_invltlb();*/
1458                 /*smp_invltlb();*/
1459         }
1460
1461         /*
1462          * If the page table page is mapped, we just increment the
1463          * hold count, and activate it.
1464          */
1465         if (pd != NULL && (*pd & VPTE_V) != 0) {
1466                 /* YYY hint is used here on i386 */
1467                 m = pmap_page_lookup( pmap->pm_pteobj, ptepindex);
1468                 pmap->pm_ptphint = m;
1469                 m->hold_count++;
1470                 return m;
1471         }
1472         /*
1473          * Here if the pte page isn't mapped, or if it has been deallocated.
1474          */
1475         return _pmap_allocpte(pmap, ptepindex);
1476 }
1477
1478
1479 /***************************************************
1480  * Pmap allocation/deallocation routines.
1481  ***************************************************/
1482
1483 /*
1484  * Release any resources held by the given physical map.
1485  * Called when a pmap initialized by pmap_pinit is being released.
1486  * Should only be called if the map contains no valid mappings.
1487  */
1488 static int pmap_release_callback(struct vm_page *p, void *data);
1489
1490 void
1491 pmap_release(struct pmap *pmap)
1492 {
1493         vm_object_t object = pmap->pm_pteobj;
1494         struct rb_vm_page_scan_info info;
1495
1496         KKASSERT(pmap != &kernel_pmap);
1497
1498 #if defined(DIAGNOSTIC)
1499         if (object->ref_count != 1)
1500                 panic("pmap_release: pteobj reference count != 1");
1501 #endif
1502
1503         info.pmap = pmap;
1504         info.object = object;
1505         crit_enter();
1506         TAILQ_REMOVE(&pmap_list, pmap, pm_pmnode);
1507         crit_exit();
1508
1509         do {
1510                 crit_enter();
1511                 info.error = 0;
1512                 info.mpte = NULL;
1513                 info.limit = object->generation;
1514
1515                 vm_page_rb_tree_RB_SCAN(&object->rb_memq, NULL,
1516                                         pmap_release_callback, &info);
1517                 if (info.error == 0 && info.mpte) {
1518                         if (!pmap_release_free_page(pmap, info.mpte))
1519                                 info.error = 1;
1520                 }
1521                 crit_exit();
1522         } while (info.error);
1523 }
1524
1525 static int
1526 pmap_release_callback(struct vm_page *p, void *data)
1527 {
1528         struct rb_vm_page_scan_info *info = data;
1529
1530         if (p->pindex == NUPDE + NUPDPE + PML4PML4I) {
1531                 info->mpte = p;
1532                 return(0);
1533         }
1534         if (!pmap_release_free_page(info->pmap, p)) {
1535                 info->error = 1;
1536                 return(-1);
1537         }
1538         if (info->object->generation != info->limit) {
1539                 info->error = 1;
1540                 return(-1);
1541         }
1542         return(0);
1543 }
1544
1545 /*
1546  * Grow the number of kernel page table entries, if needed.
1547  */
1548
1549 void
1550 pmap_growkernel(vm_offset_t addr)
1551 {
1552         vm_paddr_t paddr;
1553         vm_offset_t ptppaddr;
1554         vm_page_t nkpg;
1555         pd_entry_t *pde, newpdir;
1556         pdp_entry_t newpdp;
1557
1558         crit_enter();
1559         if (kernel_vm_end == 0) {
1560                 kernel_vm_end = KvaStart;
1561                 nkpt = 0;
1562                 while ((*pmap_pde(&kernel_pmap, kernel_vm_end) & VPTE_V) != 0) {
1563                         kernel_vm_end = (kernel_vm_end + PAGE_SIZE * NPTEPG) & ~(PAGE_SIZE * NPTEPG - 1);
1564                         nkpt++;
1565                         if (kernel_vm_end - 1 >= kernel_map.max_offset) {
1566                                 kernel_vm_end = kernel_map.max_offset;
1567                                 break;
1568                         }
1569                 }
1570         }
1571         addr = roundup2(addr, PAGE_SIZE * NPTEPG);
1572         if (addr - 1 >= kernel_map.max_offset)
1573                 addr = kernel_map.max_offset;
1574         while (kernel_vm_end < addr) {
1575                 pde = pmap_pde(&kernel_pmap, kernel_vm_end);
1576                 if (pde == NULL) {
1577                         /* We need a new PDP entry */
1578                         nkpg = vm_page_alloc(kptobj, nkpt,
1579                                              VM_ALLOC_NORMAL | VM_ALLOC_SYSTEM
1580                                              | VM_ALLOC_INTERRUPT);
1581                         if (nkpg == NULL)
1582                                 panic("pmap_growkernel: no memory to grow kernel");
1583                         paddr = VM_PAGE_TO_PHYS(nkpg);
1584                         if ((nkpg->flags & PG_ZERO) == 0)
1585                                 pmap_zero_page(paddr);
1586                         vm_page_flag_clear(nkpg, PG_ZERO);
1587                         newpdp = (pdp_entry_t)
1588                                 (paddr | VPTE_V | VPTE_R | VPTE_W | VPTE_A | VPTE_M);
1589                         *pmap_pdpe(&kernel_pmap, kernel_vm_end) = newpdp;
1590                         nkpt++;
1591                         continue; /* try again */
1592                 }
1593                 if ((*pde & VPTE_V) != 0) {
1594                         kernel_vm_end = (kernel_vm_end + PAGE_SIZE * NPTEPG) & ~(PAGE_SIZE * NPTEPG - 1);
1595                         if (kernel_vm_end - 1 >= kernel_map.max_offset) {
1596                                 kernel_vm_end = kernel_map.max_offset;
1597                                 break;
1598                         }
1599                         continue;
1600                 }
1601
1602                 /*
1603                  * This index is bogus, but out of the way
1604                  */
1605                 nkpg = vm_page_alloc(kptobj, nkpt,
1606                         VM_ALLOC_NORMAL | VM_ALLOC_SYSTEM | VM_ALLOC_INTERRUPT);
1607                 if (nkpg == NULL)
1608                         panic("pmap_growkernel: no memory to grow kernel");
1609
1610                 vm_page_wire(nkpg);
1611                 ptppaddr = VM_PAGE_TO_PHYS(nkpg);
1612                 pmap_zero_page(ptppaddr);
1613                 vm_page_flag_clear(nkpg, PG_ZERO);
1614                 newpdir = (pd_entry_t) (ptppaddr | VPTE_V | VPTE_R | VPTE_W | VPTE_A | VPTE_M);
1615                 *pmap_pde(&kernel_pmap, kernel_vm_end) = newpdir;
1616                 nkpt++;
1617
1618                 kernel_vm_end = (kernel_vm_end + PAGE_SIZE * NPTEPG) & ~(PAGE_SIZE * NPTEPG - 1);
1619                 if (kernel_vm_end - 1 >= kernel_map.max_offset) {
1620                         kernel_vm_end = kernel_map.max_offset;
1621                         break;
1622                 }
1623         }
1624         crit_exit();
1625 }
1626
1627 /*
1628  *      Retire the given physical map from service.
1629  *      Should only be called if the map contains
1630  *      no valid mappings.
1631  */
1632 void
1633 pmap_destroy(pmap_t pmap)
1634 {
1635         int count;
1636
1637         if (pmap == NULL)
1638                 return;
1639
1640         count = --pmap->pm_count;
1641         if (count == 0) {
1642                 pmap_release(pmap);
1643                 panic("destroying a pmap is not yet implemented");
1644         }
1645 }
1646
1647 /*
1648  *      Add a reference to the specified pmap.
1649  */
1650 void
1651 pmap_reference(pmap_t pmap)
1652 {
1653         if (pmap != NULL) {
1654                 pmap->pm_count++;
1655         }
1656 }
1657
1658 /************************************************************************
1659  *                      VMSPACE MANAGEMENT                              *
1660  ************************************************************************
1661  *
1662  * The VMSPACE management we do in our virtual kernel must be reflected
1663  * in the real kernel.  This is accomplished by making vmspace system
1664  * calls to the real kernel.
1665  */
1666 void
1667 cpu_vmspace_alloc(struct vmspace *vm)
1668 {
1669         int r;
1670         void *rp;
1671         vpte_t vpte;
1672
1673 #define USER_SIZE       (VM_MAX_USER_ADDRESS - VM_MIN_USER_ADDRESS)
1674
1675         if (vmspace_create(&vm->vm_pmap, 0, NULL) < 0)
1676                 panic("vmspace_create() failed");
1677
1678         rp = vmspace_mmap(&vm->vm_pmap, VM_MIN_USER_ADDRESS, USER_SIZE,
1679                           PROT_READ|PROT_WRITE,
1680                           MAP_FILE|MAP_SHARED|MAP_VPAGETABLE|MAP_FIXED,
1681                           MemImageFd, 0);
1682         if (rp == MAP_FAILED)
1683                 panic("vmspace_mmap: failed");
1684         vmspace_mcontrol(&vm->vm_pmap, VM_MIN_USER_ADDRESS, USER_SIZE,
1685                          MADV_NOSYNC, 0);
1686         vpte = VM_PAGE_TO_PHYS(vmspace_pmap(vm)->pm_pdirm) | VPTE_R | VPTE_W | VPTE_V;
1687         r = vmspace_mcontrol(&vm->vm_pmap, VM_MIN_USER_ADDRESS, USER_SIZE,
1688                              MADV_SETMAP, vpte);
1689         if (r < 0)
1690                 panic("vmspace_mcontrol: failed");
1691 }
1692
1693 void
1694 cpu_vmspace_free(struct vmspace *vm)
1695 {
1696         if (vmspace_destroy(&vm->vm_pmap) < 0)
1697                 panic("vmspace_destroy() failed");
1698 }
1699
1700 /***************************************************
1701 * page management routines.
1702  ***************************************************/
1703
1704 /*
1705  * free the pv_entry back to the free list.  This function may be
1706  * called from an interrupt.
1707  */
1708 static __inline void
1709 free_pv_entry(pv_entry_t pv)
1710 {
1711         pv_entry_count--;
1712         KKASSERT(pv_entry_count >= 0);
1713         zfree(pvzone, pv);
1714 }
1715
1716 /*
1717  * get a new pv_entry, allocating a block from the system
1718  * when needed.  This function may be called from an interrupt.
1719  */
1720 static pv_entry_t
1721 get_pv_entry(void)
1722 {
1723         pv_entry_count++;
1724         if (pv_entry_high_water &&
1725                 (pv_entry_count > pv_entry_high_water) &&
1726                 (pmap_pagedaemon_waken == 0)) {
1727                 pmap_pagedaemon_waken = 1;
1728                 wakeup(&vm_pages_needed);
1729         }
1730         return zalloc(pvzone);
1731 }
1732
1733 /*
1734  * This routine is very drastic, but can save the system
1735  * in a pinch.
1736  */
1737 void
1738 pmap_collect(void)
1739 {
1740         int i;
1741         vm_page_t m;
1742         static int warningdone=0;
1743
1744         if (pmap_pagedaemon_waken == 0)
1745                 return;
1746         pmap_pagedaemon_waken = 0;
1747
1748         if (warningdone < 5) {
1749                 kprintf("pmap_collect: collecting pv entries -- suggest increasing PMAP_SHPGPERPROC\n");
1750                 warningdone++;
1751         }
1752
1753         for(i = 0; i < vm_page_array_size; i++) {
1754                 m = &vm_page_array[i];
1755                 if (m->wire_count || m->hold_count || m->busy ||
1756                     (m->flags & PG_BUSY))
1757                         continue;
1758                 pmap_remove_all(m);
1759         }
1760 }
1761
1762
1763 /*
1764  * If it is the first entry on the list, it is actually
1765  * in the header and we must copy the following entry up
1766  * to the header.  Otherwise we must search the list for
1767  * the entry.  In either case we free the now unused entry.
1768  */
1769 static int
1770 pmap_remove_entry(struct pmap *pmap, vm_page_t m, vm_offset_t va)
1771 {
1772         pv_entry_t pv;
1773         int rtval;
1774
1775         crit_enter();
1776         if (m->md.pv_list_count < pmap->pm_stats.resident_count) {
1777                 TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
1778                         if (pmap == pv->pv_pmap && va == pv->pv_va)
1779                                 break;
1780                 }
1781         } else {
1782                 TAILQ_FOREACH(pv, &pmap->pm_pvlist, pv_plist) {
1783                         if (va == pv->pv_va)
1784                                 break;
1785                 }
1786         }
1787
1788         /*
1789          * Note that pv_ptem is NULL if the page table page itself is not
1790          * managed, even if the page being removed IS managed.
1791          */
1792         rtval = 0;
1793         /* JGXXX When can 'pv' be NULL? */
1794         if (pv) {
1795                 TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
1796                 m->md.pv_list_count--;
1797                 KKASSERT(m->md.pv_list_count >= 0);
1798                 if (TAILQ_EMPTY(&m->md.pv_list))
1799                         vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
1800                 TAILQ_REMOVE(&pmap->pm_pvlist, pv, pv_plist);
1801                 ++pmap->pm_generation;
1802                 rtval = pmap_unuse_pt(pmap, va, pv->pv_ptem);
1803                 free_pv_entry(pv);
1804         }
1805         crit_exit();
1806         return rtval;
1807 }
1808
1809 /*
1810  * Create a pv entry for page at pa for (pmap, va).  If the page table page
1811  * holding the VA is managed, mpte will be non-NULL.
1812  */
1813 static void
1814 pmap_insert_entry(pmap_t pmap, vm_offset_t va, vm_page_t mpte, vm_page_t m)
1815 {
1816         pv_entry_t pv;
1817
1818         crit_enter();
1819         pv = get_pv_entry();
1820         pv->pv_va = va;
1821         pv->pv_pmap = pmap;
1822         pv->pv_ptem = mpte;
1823
1824         TAILQ_INSERT_TAIL(&pmap->pm_pvlist, pv, pv_plist);
1825         TAILQ_INSERT_TAIL(&m->md.pv_list, pv, pv_list);
1826         m->md.pv_list_count++;
1827
1828         crit_exit();
1829 }
1830
1831 /*
1832  * pmap_remove_pte: do the things to unmap a page in a process
1833  */
1834 static int
1835 pmap_remove_pte(struct pmap *pmap, pt_entry_t *ptq, vm_offset_t va)
1836 {
1837         pt_entry_t oldpte;
1838         vm_page_t m;
1839
1840         oldpte = pmap_inval_loadandclear(ptq, pmap, va);
1841         if (oldpte & VPTE_WIRED)
1842                 --pmap->pm_stats.wired_count;
1843         KKASSERT(pmap->pm_stats.wired_count >= 0);
1844
1845 #if 0
1846         /*
1847          * Machines that don't support invlpg, also don't support
1848          * PG_G.  XXX PG_G is disabled for SMP so don't worry about
1849          * the SMP case.
1850          */
1851         if (oldpte & PG_G)
1852                 cpu_invlpg((void *)va);
1853 #endif
1854         KKASSERT(pmap->pm_stats.resident_count > 0);
1855         --pmap->pm_stats.resident_count;
1856         if (oldpte & VPTE_MANAGED) {
1857                 m = PHYS_TO_VM_PAGE(oldpte);
1858                 if (oldpte & VPTE_M) {
1859 #if defined(PMAP_DIAGNOSTIC)
1860                         if (pmap_nw_modified((pt_entry_t) oldpte)) {
1861                                 kprintf(
1862         "pmap_remove: modified page not writable: va: 0x%lx, pte: 0x%lx\n",
1863                                     va, oldpte);
1864                         }
1865 #endif
1866                         if (pmap_track_modified(pmap, va))
1867                                 vm_page_dirty(m);
1868                 }
1869                 if (oldpte & VPTE_A)
1870                         vm_page_flag_set(m, PG_REFERENCED);
1871                 return pmap_remove_entry(pmap, m, va);
1872         } else {
1873                 return pmap_unuse_pt(pmap, va, NULL);
1874         }
1875
1876         return 0;
1877 }
1878
1879 /*
1880  * pmap_remove_page:
1881  *
1882  *      Remove a single page from a process address space.
1883  *
1884  *      This function may not be called from an interrupt if the pmap is
1885  *      not kernel_pmap.
1886  */
1887 static void
1888 pmap_remove_page(struct pmap *pmap, vm_offset_t va)
1889 {
1890         pt_entry_t *pte;
1891
1892         pte = pmap_pte(pmap, va);
1893         if (pte == NULL)
1894                 return;
1895         if ((*pte & VPTE_V) == 0)
1896                 return;
1897         pmap_remove_pte(pmap, pte, va);
1898 }
1899
1900 /*
1901  * pmap_remove:
1902  *
1903  *      Remove the given range of addresses from the specified map.
1904  *
1905  *      It is assumed that the start and end are properly
1906  *      rounded to the page size.
1907  *
1908  *      This function may not be called from an interrupt if the pmap is
1909  *      not kernel_pmap.
1910  */
1911 void
1912 pmap_remove(struct pmap *pmap, vm_offset_t sva, vm_offset_t eva)
1913 {
1914         vm_offset_t va_next;
1915         pml4_entry_t *pml4e;
1916         pdp_entry_t *pdpe;
1917         pd_entry_t ptpaddr, *pde;
1918         pt_entry_t *pte;
1919
1920         if (pmap == NULL)
1921                 return;
1922
1923         KKASSERT(pmap->pm_stats.resident_count >= 0);
1924         if (pmap->pm_stats.resident_count == 0)
1925                 return;
1926
1927         /*
1928          * special handling of removing one page.  a very
1929          * common operation and easy to short circuit some
1930          * code.
1931          */
1932         if (sva + PAGE_SIZE == eva) {
1933                 pde = pmap_pde(pmap, sva);
1934                 if (pde && (*pde & VPTE_PS) == 0) {
1935                         pmap_remove_page(pmap, sva);
1936                         return;
1937                 }
1938         }
1939
1940         for (; sva < eva; sva = va_next) {
1941                 pml4e = pmap_pml4e(pmap, sva);
1942                 if ((*pml4e & VPTE_V) == 0) {
1943                         va_next = (sva + NBPML4) & ~PML4MASK;
1944                         if (va_next < sva)
1945                                 va_next = eva;
1946                         continue;
1947                 }
1948
1949                 pdpe = pmap_pml4e_to_pdpe(pml4e, sva);
1950                 if ((*pdpe & VPTE_V) == 0) {
1951                         va_next = (sva + NBPDP) & ~PDPMASK;
1952                         if (va_next < sva)
1953                                 va_next = eva;
1954                         continue;
1955                 }
1956
1957                 /*
1958                  * Calculate index for next page table.
1959                  */
1960                 va_next = (sva + NBPDR) & ~PDRMASK;
1961                 if (va_next < sva)
1962                         va_next = eva;
1963
1964                 pde = pmap_pdpe_to_pde(pdpe, sva);
1965                 ptpaddr = *pde;
1966
1967                 /*
1968                  * Weed out invalid mappings.
1969                  */
1970                 if (ptpaddr == 0)
1971                         continue;
1972
1973                 /*
1974                  * Check for large page.
1975                  */
1976                 if ((ptpaddr & VPTE_PS) != 0) {
1977                         /* JG FreeBSD has more complex treatment here */
1978                         KKASSERT(*pde != 0);
1979                         pmap_inval_pde(pde, pmap, sva);
1980                         pmap->pm_stats.resident_count -= NBPDR / PAGE_SIZE;
1981                         continue;
1982                 }
1983
1984                 /*
1985                  * Limit our scan to either the end of the va represented
1986                  * by the current page table page, or to the end of the
1987                  * range being removed.
1988                  */
1989                 if (va_next > eva)
1990                         va_next = eva;
1991
1992                 /*
1993                  * NOTE: pmap_remove_pte() can block.
1994                  */
1995                 for (pte = pmap_pde_to_pte(pde, sva); sva != va_next; pte++,
1996                     sva += PAGE_SIZE) {
1997                         if (*pte == 0)
1998                                 continue;
1999                         if (pmap_remove_pte(pmap, pte, sva))
2000                                 break;
2001                 }
2002         }
2003 }
2004
2005 /*
2006  * pmap_remove_all:
2007  *
2008  *      Removes this physical page from all physical maps in which it resides.
2009  *      Reflects back modify bits to the pager.
2010  *
2011  *      This routine may not be called from an interrupt.
2012  */
2013
2014 static void
2015 pmap_remove_all(vm_page_t m)
2016 {
2017         pt_entry_t *pte, tpte;
2018         pv_entry_t pv;
2019
2020 #if defined(PMAP_DIAGNOSTIC)
2021         /*
2022          * XXX this makes pmap_page_protect(NONE) illegal for non-managed
2023          * pages!
2024          */
2025         if (!pmap_initialized || (m->flags & PG_FICTITIOUS)) {
2026                 panic("pmap_page_protect: illegal for unmanaged page, va: 0x%08llx", (long long)VM_PAGE_TO_PHYS(m));
2027         }
2028 #endif
2029
2030         crit_enter();
2031         while ((pv = TAILQ_FIRST(&m->md.pv_list)) != NULL) {
2032                 KKASSERT(pv->pv_pmap->pm_stats.resident_count > 0);
2033                 --pv->pv_pmap->pm_stats.resident_count;
2034
2035                 pte = pmap_pte(pv->pv_pmap, pv->pv_va);
2036                 KKASSERT(pte != NULL);
2037
2038                 tpte = pmap_inval_loadandclear(pte, pv->pv_pmap, pv->pv_va);
2039                 if (tpte & VPTE_WIRED)
2040                         pv->pv_pmap->pm_stats.wired_count--;
2041                 KKASSERT(pv->pv_pmap->pm_stats.wired_count >= 0);
2042
2043                 if (tpte & VPTE_A)
2044                         vm_page_flag_set(m, PG_REFERENCED);
2045
2046                 /*
2047                  * Update the vm_page_t clean and reference bits.
2048                  */
2049                 if (tpte & VPTE_M) {
2050 #if defined(PMAP_DIAGNOSTIC)
2051                         if (pmap_nw_modified(tpte)) {
2052                                 kprintf(
2053         "pmap_remove_all: modified page not writable: va: 0x%lx, pte: 0x%lx\n",
2054                                     pv->pv_va, tpte);
2055                         }
2056 #endif
2057                         if (pmap_track_modified(pv->pv_pmap, pv->pv_va))
2058                                 vm_page_dirty(m);
2059                 }
2060                 TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
2061                 TAILQ_REMOVE(&pv->pv_pmap->pm_pvlist, pv, pv_plist);
2062                 ++pv->pv_pmap->pm_generation;
2063                 m->md.pv_list_count--;
2064                 KKASSERT(m->md.pv_list_count >= 0);
2065                 if (TAILQ_EMPTY(&m->md.pv_list))
2066                         vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
2067                 pmap_unuse_pt(pv->pv_pmap, pv->pv_va, pv->pv_ptem);
2068                 free_pv_entry(pv);
2069         }
2070         KKASSERT((m->flags & (PG_MAPPED|PG_WRITEABLE)) == 0);
2071         crit_exit();
2072 }
2073
2074 /*
2075  * pmap_protect:
2076  *
2077  *      Set the physical protection on the specified range of this map
2078  *      as requested.
2079  *
2080  *      This function may not be called from an interrupt if the map is
2081  *      not the kernel_pmap.
2082  */
2083 void
2084 pmap_protect(pmap_t pmap, vm_offset_t sva, vm_offset_t eva, vm_prot_t prot)
2085 {
2086         vm_offset_t va_next;
2087         pml4_entry_t *pml4e;
2088         pdp_entry_t *pdpe;
2089         pd_entry_t ptpaddr, *pde;
2090         pt_entry_t *pte;
2091
2092         /* JG review for NX */
2093
2094         if (pmap == NULL)
2095                 return;
2096
2097         if ((prot & VM_PROT_READ) == VM_PROT_NONE) {
2098                 pmap_remove(pmap, sva, eva);
2099                 return;
2100         }
2101
2102         if (prot & VM_PROT_WRITE)
2103                 return;
2104
2105         for (; sva < eva; sva = va_next) {
2106
2107                 pml4e = pmap_pml4e(pmap, sva);
2108                 if ((*pml4e & VPTE_V) == 0) {
2109                         va_next = (sva + NBPML4) & ~PML4MASK;
2110                         if (va_next < sva)
2111                                 va_next = eva;
2112                         continue;
2113                 }
2114
2115                 pdpe = pmap_pml4e_to_pdpe(pml4e, sva);
2116                 if ((*pdpe & VPTE_V) == 0) {
2117                         va_next = (sva + NBPDP) & ~PDPMASK;
2118                         if (va_next < sva)
2119                                 va_next = eva;
2120                         continue;
2121                 }
2122
2123                 va_next = (sva + NBPDR) & ~PDRMASK;
2124                 if (va_next < sva)
2125                         va_next = eva;
2126
2127                 pde = pmap_pdpe_to_pde(pdpe, sva);
2128                 ptpaddr = *pde;
2129
2130                 /*
2131                  * Check for large page.
2132                  */
2133                 if ((ptpaddr & VPTE_PS) != 0) {
2134                         /* JG correct? */
2135                         pmap_clean_pde(pde, pmap, sva);
2136                         pmap->pm_stats.resident_count -= NBPDR / PAGE_SIZE;
2137                         continue;
2138                 }
2139
2140                 /*
2141                  * Weed out invalid mappings. Note: we assume that the page
2142                  * directory table is always allocated, and in kernel virtual.
2143                  */
2144                 if (ptpaddr == 0)
2145                         continue;
2146
2147                 if (va_next > eva)
2148                         va_next = eva;
2149
2150                 for (pte = pmap_pde_to_pte(pde, sva); sva != va_next; pte++,
2151                     sva += PAGE_SIZE) {
2152                         pt_entry_t obits, pbits;
2153                         vm_page_t m;
2154
2155                         /*
2156                          * Clean managed pages and also check the accessed
2157                          * bit.  Just remove write perms for unmanaged
2158                          * pages.  Be careful of races, turning off write
2159                          * access will force a fault rather then setting
2160                          * the modified bit at an unexpected time.
2161                          */
2162                         if (*pte & VPTE_MANAGED) {
2163                                 pbits = pmap_clean_pte(pte, pmap, sva);
2164                                 m = NULL;
2165                                 if (pbits & VPTE_A) {
2166                                         m = PHYS_TO_VM_PAGE(pbits & VPTE_FRAME);
2167                                         vm_page_flag_set(m, PG_REFERENCED);
2168                                         atomic_clear_long(pte, VPTE_A);
2169                                 }
2170                                 if (pbits & VPTE_M) {
2171                                         if (pmap_track_modified(pmap, sva)) {
2172                                                 if (m == NULL)
2173                                                         m = PHYS_TO_VM_PAGE(pbits & VPTE_FRAME);
2174                                                 vm_page_dirty(m);
2175                                         }
2176                                 }
2177                         } else {
2178                                 pbits = pmap_setro_pte(pte, pmap, sva);
2179                         }
2180                 }
2181         }
2182 }
2183
2184 /*
2185  * Enter a managed page into a pmap.  If the page is not wired related pmap
2186  * data can be destroyed at any time for later demand-operation.
2187  *
2188  * Insert the vm_page (m) at virtual address (v) in (pmap), with the
2189  * specified protection, and wire the mapping if requested.
2190  *
2191  * NOTE: This routine may not lazy-evaluate or lose information.  The
2192  * page must actually be inserted into the given map NOW.
2193  *
2194  * NOTE: When entering a page at a KVA address, the pmap must be the
2195  * kernel_pmap.
2196  */
2197 void
2198 pmap_enter(pmap_t pmap, vm_offset_t va, vm_page_t m, vm_prot_t prot,
2199            boolean_t wired)
2200 {
2201         vm_paddr_t pa;
2202         pd_entry_t *pde;
2203         pt_entry_t *pte;
2204         vm_paddr_t opa;
2205         pt_entry_t origpte, newpte;
2206         vm_page_t mpte;
2207
2208         if (pmap == NULL)
2209                 return;
2210
2211         va = trunc_page(va);
2212
2213         /*
2214          * Get the page table page.   The kernel_pmap's page table pages
2215          * are preallocated and have no associated vm_page_t.
2216          */
2217         if (pmap == &kernel_pmap)
2218                 mpte = NULL;
2219         else
2220                 mpte = pmap_allocpte(pmap, va);
2221
2222         pde = pmap_pde(pmap, va);
2223         if (pde != NULL && (*pde & VPTE_V) != 0) {
2224                 if ((*pde & VPTE_PS) != 0)
2225                         panic("pmap_enter: attempted pmap_enter on 2MB page");
2226                 pte = pmap_pde_to_pte(pde, va);
2227         } else
2228                 panic("pmap_enter: invalid page directory va=%#lx", va);
2229
2230         KKASSERT(pte != NULL);
2231         /*
2232          * Deal with races on the original mapping (though don't worry
2233          * about VPTE_A races) by cleaning it.  This will force a fault
2234          * if an attempt is made to write to the page.
2235          */
2236         pa = VM_PAGE_TO_PHYS(m);
2237         origpte = pmap_clean_pte(pte, pmap, va);
2238         opa = origpte & VPTE_FRAME;
2239
2240         if (origpte & VPTE_PS)
2241                 panic("pmap_enter: attempted pmap_enter on 2MB page");
2242
2243         /*
2244          * Mapping has not changed, must be protection or wiring change.
2245          */
2246         if (origpte && (opa == pa)) {
2247                 /*
2248                  * Wiring change, just update stats. We don't worry about
2249                  * wiring PT pages as they remain resident as long as there
2250                  * are valid mappings in them. Hence, if a user page is wired,
2251                  * the PT page will be also.
2252                  */
2253                 if (wired && ((origpte & VPTE_WIRED) == 0))
2254                         ++pmap->pm_stats.wired_count;
2255                 else if (!wired && (origpte & VPTE_WIRED))
2256                         --pmap->pm_stats.wired_count;
2257
2258                 /*
2259                  * Remove the extra pte reference.  Note that we cannot
2260                  * optimize the RO->RW case because we have adjusted the
2261                  * wiring count above and may need to adjust the wiring
2262                  * bits below.
2263                  */
2264                 if (mpte)
2265                         mpte->hold_count--;
2266
2267                 /*
2268                  * We might be turning off write access to the page,
2269                  * so we go ahead and sense modify status.
2270                  */
2271                 if (origpte & VPTE_MANAGED) {
2272                         if ((origpte & VPTE_M) &&
2273                             pmap_track_modified(pmap, va)) {
2274                                 vm_page_t om;
2275                                 om = PHYS_TO_VM_PAGE(opa);
2276                                 vm_page_dirty(om);
2277                         }
2278                         pa |= VPTE_MANAGED;
2279                         KKASSERT(m->flags & PG_MAPPED);
2280                 }
2281                 goto validate;
2282         }
2283         /*
2284          * Mapping has changed, invalidate old range and fall through to
2285          * handle validating new mapping.
2286          */
2287         if (opa) {
2288                 int err;
2289                 err = pmap_remove_pte(pmap, pte, va);
2290                 if (err)
2291                         panic("pmap_enter: pte vanished, va: 0x%lx", va);
2292         }
2293
2294         /*
2295          * Enter on the PV list if part of our managed memory. Note that we
2296          * raise IPL while manipulating pv_table since pmap_enter can be
2297          * called at interrupt time.
2298          */
2299         if (pmap_initialized &&
2300             (m->flags & (PG_FICTITIOUS|PG_UNMANAGED)) == 0) {
2301                 pmap_insert_entry(pmap, va, mpte, m);
2302                 pa |= VPTE_MANAGED;
2303                 vm_page_flag_set(m, PG_MAPPED);
2304         }
2305
2306         /*
2307          * Increment counters
2308          */
2309         ++pmap->pm_stats.resident_count;
2310         if (wired)
2311                 pmap->pm_stats.wired_count++;
2312
2313 validate:
2314         /*
2315          * Now validate mapping with desired protection/wiring.
2316          */
2317         newpte = (pt_entry_t) (pa | pte_prot(pmap, prot) | VPTE_V);
2318
2319         if (wired)
2320                 newpte |= VPTE_WIRED;
2321         if (pmap != &kernel_pmap)
2322                 newpte |= VPTE_U;
2323
2324         /*
2325          * If the mapping or permission bits are different from the
2326          * (now cleaned) original pte, an update is needed.  We've
2327          * already downgraded or invalidated the page so all we have
2328          * to do now is update the bits.
2329          *
2330          * XXX should we synchronize RO->RW changes to avoid another
2331          * fault?
2332          */
2333         if ((origpte & ~(VPTE_W|VPTE_M|VPTE_A)) != newpte) {
2334                 *pte = newpte | VPTE_A;
2335                 if (newpte & VPTE_W)
2336                         vm_page_flag_set(m, PG_WRITEABLE);
2337         }
2338         KKASSERT((newpte & VPTE_MANAGED) == 0 || (m->flags & PG_MAPPED));
2339 }
2340
2341 /*
2342  * This code works like pmap_enter() but assumes VM_PROT_READ and not-wired.
2343  *
2344  * Currently this routine may only be used on user pmaps, not kernel_pmap.
2345  */
2346 static void
2347 pmap_enter_quick(pmap_t pmap, vm_offset_t va, vm_page_t m)
2348 {
2349         pt_entry_t *pte;
2350         vm_paddr_t pa;
2351         vm_page_t mpte;
2352         vm_pindex_t ptepindex;
2353         pd_entry_t *ptepa;
2354
2355         KKASSERT(pmap != &kernel_pmap);
2356
2357         KKASSERT(va >= VM_MIN_USER_ADDRESS && va < VM_MAX_USER_ADDRESS);
2358
2359         /*
2360          * Calculate pagetable page index
2361          */
2362         ptepindex = pmap_pde_pindex(va);
2363
2364         do {
2365                 /*
2366                  * Get the page directory entry
2367                  */
2368                 ptepa = pmap_pde(pmap, va);
2369
2370                 /*
2371                  * If the page table page is mapped, we just increment
2372                  * the hold count, and activate it.
2373                  */
2374                 if (ptepa && (*ptepa & VPTE_V) != 0) {
2375                         if (*ptepa & VPTE_PS)
2376                                 panic("pmap_enter_quick: unexpected mapping into 2MB page");
2377                         if (pmap->pm_ptphint &&
2378                             (pmap->pm_ptphint->pindex == ptepindex)) {
2379                                 mpte = pmap->pm_ptphint;
2380                         } else {
2381                                 mpte = pmap_page_lookup( pmap->pm_pteobj, ptepindex);
2382                                 pmap->pm_ptphint = mpte;
2383                         }
2384                         if (mpte)
2385                                 mpte->hold_count++;
2386                 } else {
2387                         mpte = _pmap_allocpte(pmap, ptepindex);
2388                 }
2389         } while (mpte == NULL);
2390
2391         /*
2392          * Ok, now that the page table page has been validated, get the pte.
2393          * If the pte is already mapped undo mpte's hold_count and
2394          * just return.
2395          */
2396         pte = pmap_pte(pmap, va);
2397         if (*pte & VPTE_V) {
2398                 KKASSERT(mpte != NULL);
2399                 pmap_unwire_pte_hold(pmap, va, mpte);
2400                 pa = VM_PAGE_TO_PHYS(m);
2401                 KKASSERT(((*pte ^ pa) & VPTE_FRAME) == 0);
2402                 return;
2403         }
2404
2405         /*
2406          * Enter on the PV list if part of our managed memory
2407          */
2408         if ((m->flags & (PG_FICTITIOUS|PG_UNMANAGED)) == 0) {
2409                 pmap_insert_entry(pmap, va, mpte, m);
2410                 vm_page_flag_set(m, PG_MAPPED);
2411         }
2412
2413         /*
2414          * Increment counters
2415          */
2416         ++pmap->pm_stats.resident_count;
2417
2418         pa = VM_PAGE_TO_PHYS(m);
2419
2420         /*
2421          * Now validate mapping with RO protection
2422          */
2423         if (m->flags & (PG_FICTITIOUS|PG_UNMANAGED))
2424                 *pte = (vpte_t)pa | VPTE_V | VPTE_U;
2425         else
2426                 *pte = (vpte_t)pa | VPTE_V | VPTE_U | VPTE_MANAGED;
2427         /*pmap_inval_add(&info, pmap, va); shouldn't be needed 0->valid */
2428         /*pmap_inval_flush(&info); don't need for vkernel */
2429 }
2430
2431 /*
2432  * Make a temporary mapping for a physical address.  This is only intended
2433  * to be used for panic dumps.
2434  */
2435 void *
2436 pmap_kenter_temporary(vm_paddr_t pa, int i)
2437 {
2438         pmap_kenter(crashdumpmap + (i * PAGE_SIZE), pa);
2439         return ((void *)crashdumpmap);
2440 }
2441
2442 #define MAX_INIT_PT (96)
2443
2444 /*
2445  * This routine preloads the ptes for a given object into the specified pmap.
2446  * This eliminates the blast of soft faults on process startup and
2447  * immediately after an mmap.
2448  */
2449 static int pmap_object_init_pt_callback(vm_page_t p, void *data);
2450
2451 void
2452 pmap_object_init_pt(pmap_t pmap, vm_offset_t addr, vm_prot_t prot,
2453                     vm_object_t object, vm_pindex_t pindex,
2454                     vm_size_t size, int limit)
2455 {
2456         struct rb_vm_page_scan_info info;
2457         struct lwp *lp;
2458         vm_size_t psize;
2459
2460         /*
2461          * We can't preinit if read access isn't set or there is no pmap
2462          * or object.
2463          */
2464         if ((prot & VM_PROT_READ) == 0 || pmap == NULL || object == NULL)
2465                 return;
2466
2467         /*
2468          * We can't preinit if the pmap is not the current pmap
2469          */
2470         lp = curthread->td_lwp;
2471         if (lp == NULL || pmap != vmspace_pmap(lp->lwp_vmspace))
2472                 return;
2473
2474         psize = amd64_btop(size);
2475
2476         if ((object->type != OBJT_VNODE) ||
2477                 ((limit & MAP_PREFAULT_PARTIAL) && (psize > MAX_INIT_PT) &&
2478                         (object->resident_page_count > MAX_INIT_PT))) {
2479                 return;
2480         }
2481
2482         if (psize + pindex > object->size) {
2483                 if (object->size < pindex)
2484                         return;
2485                 psize = object->size - pindex;
2486         }
2487
2488         if (psize == 0)
2489                 return;
2490
2491         /*
2492          * Use a red-black scan to traverse the requested range and load
2493          * any valid pages found into the pmap.
2494          *
2495          * We cannot safely scan the object's memq unless we are in a
2496          * critical section since interrupts can remove pages from objects.
2497          */
2498         info.start_pindex = pindex;
2499         info.end_pindex = pindex + psize - 1;
2500         info.limit = limit;
2501         info.mpte = NULL;
2502         info.addr = addr;
2503         info.pmap = pmap;
2504
2505         crit_enter();
2506         vm_page_rb_tree_RB_SCAN(&object->rb_memq, rb_vm_page_scancmp,
2507                                 pmap_object_init_pt_callback, &info);
2508         crit_exit();
2509 }
2510
2511 static
2512 int
2513 pmap_object_init_pt_callback(vm_page_t p, void *data)
2514 {
2515         struct rb_vm_page_scan_info *info = data;
2516         vm_pindex_t rel_index;
2517         /*
2518          * don't allow an madvise to blow away our really
2519          * free pages allocating pv entries.
2520          */
2521         if ((info->limit & MAP_PREFAULT_MADVISE) &&
2522                 vmstats.v_free_count < vmstats.v_free_reserved) {
2523                     return(-1);
2524         }
2525         if (((p->valid & VM_PAGE_BITS_ALL) == VM_PAGE_BITS_ALL) &&
2526             (p->busy == 0) && (p->flags & (PG_BUSY | PG_FICTITIOUS)) == 0) {
2527                 if ((p->queue - p->pc) == PQ_CACHE)
2528                         vm_page_deactivate(p);
2529                 vm_page_busy(p);
2530                 rel_index = p->pindex - info->start_pindex;
2531                 pmap_enter_quick(info->pmap,
2532                                  info->addr + amd64_ptob(rel_index), p);
2533                 vm_page_wakeup(p);
2534         }
2535         return(0);
2536 }
2537
2538 /*
2539  * pmap_prefault provides a quick way of clustering pagefaults into a
2540  * processes address space.  It is a "cousin" of pmap_object_init_pt,
2541  * except it runs at page fault time instead of mmap time.
2542  */
2543 #define PFBAK 4
2544 #define PFFOR 4
2545 #define PAGEORDER_SIZE (PFBAK+PFFOR)
2546
2547 static int pmap_prefault_pageorder[] = {
2548         -PAGE_SIZE, PAGE_SIZE,
2549         -2 * PAGE_SIZE, 2 * PAGE_SIZE,
2550         -3 * PAGE_SIZE, 3 * PAGE_SIZE,
2551         -4 * PAGE_SIZE, 4 * PAGE_SIZE
2552 };
2553
2554 void
2555 pmap_prefault(pmap_t pmap, vm_offset_t addra, vm_map_entry_t entry)
2556 {
2557         int i;
2558         vm_offset_t starta;
2559         vm_offset_t addr;
2560         vm_pindex_t pindex;
2561         vm_page_t m;
2562         vm_object_t object;
2563         struct lwp *lp;
2564
2565         /*
2566          * We do not currently prefault mappings that use virtual page
2567          * tables.  We do not prefault foreign pmaps.
2568          */
2569         if (entry->maptype == VM_MAPTYPE_VPAGETABLE)
2570                 return;
2571         lp = curthread->td_lwp;
2572         if (lp == NULL || (pmap != vmspace_pmap(lp->lwp_vmspace)))
2573                 return;
2574
2575         object = entry->object.vm_object;
2576
2577         starta = addra - PFBAK * PAGE_SIZE;
2578         if (starta < entry->start)
2579                 starta = entry->start;
2580         else if (starta > addra)
2581                 starta = 0;
2582
2583         /*
2584          * critical section protection is required to maintain the
2585          * page/object association, interrupts can free pages and remove
2586          * them from their objects.
2587          */
2588         crit_enter();
2589         for (i = 0; i < PAGEORDER_SIZE; i++) {
2590                 vm_object_t lobject;
2591                 pt_entry_t *pte;
2592                 pd_entry_t *pde;
2593
2594                 addr = addra + pmap_prefault_pageorder[i];
2595                 if (addr > addra + (PFFOR * PAGE_SIZE))
2596                         addr = 0;
2597
2598                 if (addr < starta || addr >= entry->end)
2599                         continue;
2600
2601                 pde = pmap_pde(pmap, addr);
2602                 if (pde == NULL || *pde == 0)
2603                         continue;
2604
2605                 pte = pmap_pde_to_pte(pde, addr);
2606                 if (*pte)
2607                         continue;
2608
2609                 pindex = ((addr - entry->start) + entry->offset) >> PAGE_SHIFT;
2610                 lobject = object;
2611
2612                 for (m = vm_page_lookup(lobject, pindex);
2613                     (!m && (lobject->type == OBJT_DEFAULT) &&
2614                      (lobject->backing_object));
2615                     lobject = lobject->backing_object
2616                 ) {
2617                         if (lobject->backing_object_offset & PAGE_MASK)
2618                                 break;
2619                         pindex += (lobject->backing_object_offset >> PAGE_SHIFT);
2620                         m = vm_page_lookup(lobject->backing_object, pindex);
2621                 }
2622
2623                 /*
2624                  * give-up when a page is not in memory
2625                  */
2626                 if (m == NULL)
2627                         break;
2628
2629                 /*
2630                  * If everything meets the requirements for pmap_enter_quick(),
2631                  * then enter the page.
2632                  */
2633
2634                 if (((m->valid & VM_PAGE_BITS_ALL) == VM_PAGE_BITS_ALL) &&
2635                         (m->busy == 0) &&
2636                     (m->flags & (PG_BUSY | PG_FICTITIOUS)) == 0) {
2637
2638                         if ((m->queue - m->pc) == PQ_CACHE) {
2639                                 vm_page_deactivate(m);
2640                         }
2641                         vm_page_busy(m);
2642                         pmap_enter_quick(pmap, addr, m);
2643                         vm_page_wakeup(m);
2644                 }
2645         }
2646         crit_exit();
2647 }
2648
2649 /*
2650  *      Routine:        pmap_change_wiring
2651  *      Function:       Change the wiring attribute for a map/virtual-address
2652  *                      pair.
2653  *      In/out conditions:
2654  *                      The mapping must already exist in the pmap.
2655  */
2656 void
2657 pmap_change_wiring(pmap_t pmap, vm_offset_t va, boolean_t wired)
2658 {
2659         pt_entry_t *pte;
2660
2661         if (pmap == NULL)
2662                 return;
2663
2664         pte = pmap_pte(pmap, va);
2665
2666         if (wired && !pmap_pte_w(pte))
2667                 pmap->pm_stats.wired_count++;
2668         else if (!wired && pmap_pte_w(pte))
2669                 pmap->pm_stats.wired_count--;
2670
2671         /*
2672          * Wiring is not a hardware characteristic so there is no need to
2673          * invalidate TLB.  However, in an SMP environment we must use
2674          * a locked bus cycle to update the pte (if we are not using
2675          * the pmap_inval_*() API that is)... it's ok to do this for simple
2676          * wiring changes.
2677          */
2678         if (wired)
2679                 atomic_set_long(pte, VPTE_WIRED);
2680         else
2681                 atomic_clear_long(pte, VPTE_WIRED);
2682 }
2683
2684 /*
2685  *      Copy the range specified by src_addr/len
2686  *      from the source map to the range dst_addr/len
2687  *      in the destination map.
2688  *
2689  *      This routine is only advisory and need not do anything.
2690  */
2691 void
2692 pmap_copy(pmap_t dst_pmap, pmap_t src_pmap, vm_offset_t dst_addr,
2693         vm_size_t len, vm_offset_t src_addr)
2694 {
2695         /*
2696          * XXX BUGGY.  Amoung other things srcmpte is assumed to remain
2697          * valid through blocking calls, and that's just not going to
2698          * be the case.
2699          *
2700          * FIXME!
2701          */
2702         return;
2703 }
2704
2705 /*
2706  * pmap_zero_page:
2707  *
2708  *      Zero the specified physical page.
2709  *
2710  *      This function may be called from an interrupt and no locking is
2711  *      required.
2712  */
2713 void
2714 pmap_zero_page(vm_paddr_t phys)
2715 {
2716         vm_offset_t va = PHYS_TO_DMAP(phys);
2717
2718         bzero((void *)va, PAGE_SIZE);
2719 }
2720
2721 /*
2722  * pmap_page_assertzero:
2723  *
2724  *      Assert that a page is empty, panic if it isn't.
2725  */
2726 void
2727 pmap_page_assertzero(vm_paddr_t phys)
2728 {
2729         int i;
2730
2731         crit_enter();
2732         vm_offset_t virt = PHYS_TO_DMAP(phys);
2733
2734         for (i = 0; i < PAGE_SIZE; i += sizeof(int)) {
2735             if (*(int *)((char *)virt + i) != 0) {
2736                 panic("pmap_page_assertzero() @ %p not zero!\n",
2737                     (void *)virt);
2738             }
2739         }
2740         crit_exit();
2741 }
2742
2743 /*
2744  * pmap_zero_page:
2745  *
2746  *      Zero part of a physical page by mapping it into memory and clearing
2747  *      its contents with bzero.
2748  *
2749  *      off and size may not cover an area beyond a single hardware page.
2750  */
2751 void
2752 pmap_zero_page_area(vm_paddr_t phys, int off, int size)
2753 {
2754         crit_enter();
2755         vm_offset_t virt = PHYS_TO_DMAP(phys);
2756         bzero((char *)virt + off, size);
2757         crit_exit();
2758 }
2759
2760 /*
2761  * pmap_copy_page:
2762  *
2763  *      Copy the physical page from the source PA to the target PA.
2764  *      This function may be called from an interrupt.  No locking
2765  *      is required.
2766  */
2767 void
2768 pmap_copy_page(vm_paddr_t src, vm_paddr_t dst)
2769 {
2770         vm_offset_t src_virt, dst_virt;
2771
2772         crit_enter();
2773         src_virt = PHYS_TO_DMAP(src);
2774         dst_virt = PHYS_TO_DMAP(dst);
2775         bcopy(src_virt, dst_virt, PAGE_SIZE);
2776         crit_exit();
2777 }
2778
2779 /*
2780  * pmap_copy_page_frag:
2781  *
2782  *      Copy the physical page from the source PA to the target PA.
2783  *      This function may be called from an interrupt.  No locking
2784  *      is required.
2785  */
2786 void
2787 pmap_copy_page_frag(vm_paddr_t src, vm_paddr_t dst, size_t bytes)
2788 {
2789         vm_offset_t src_virt, dst_virt;
2790
2791         crit_enter();
2792         src_virt = PHYS_TO_DMAP(src);
2793         dst_virt = PHYS_TO_DMAP(dst);
2794         bcopy((char *)src_virt + (src & PAGE_MASK),
2795               (char *)dst_virt + (dst & PAGE_MASK),
2796               bytes);
2797         crit_exit();
2798 }
2799
2800 /*
2801  * Returns true if the pmap's pv is one of the first
2802  * 16 pvs linked to from this page.  This count may
2803  * be changed upwards or downwards in the future; it
2804  * is only necessary that true be returned for a small
2805  * subset of pmaps for proper page aging.
2806  */
2807 boolean_t
2808 pmap_page_exists_quick(pmap_t pmap, vm_page_t m)
2809 {
2810         pv_entry_t pv;
2811         int loops = 0;
2812
2813         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
2814                 return FALSE;
2815
2816         crit_enter();
2817
2818         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
2819                 if (pv->pv_pmap == pmap) {
2820                         crit_exit();
2821                         return TRUE;
2822                 }
2823                 loops++;
2824                 if (loops >= 16)
2825                         break;
2826         }
2827         crit_exit();
2828         return (FALSE);
2829 }
2830
2831 /*
2832  * Remove all pages from specified address space
2833  * this aids process exit speeds.  Also, this code
2834  * is special cased for current process only, but
2835  * can have the more generic (and slightly slower)
2836  * mode enabled.  This is much faster than pmap_remove
2837  * in the case of running down an entire address space.
2838  */
2839 void
2840 pmap_remove_pages(pmap_t pmap, vm_offset_t sva, vm_offset_t eva)
2841 {
2842         struct lwp *lp;
2843         pt_entry_t *pte, tpte;
2844         pv_entry_t pv, npv;
2845         vm_page_t m;
2846         int iscurrentpmap;
2847         int save_generation;
2848
2849         lp = curthread->td_lwp;
2850         if (lp && pmap == vmspace_pmap(lp->lwp_vmspace))
2851                 iscurrentpmap = 1;
2852         else
2853                 iscurrentpmap = 0;
2854
2855         crit_enter();
2856         for (pv = TAILQ_FIRST(&pmap->pm_pvlist); pv; pv = npv) {
2857                 if (pv->pv_va >= eva || pv->pv_va < sva) {
2858                         npv = TAILQ_NEXT(pv, pv_plist);
2859                         continue;
2860                 }
2861
2862                 KKASSERT(pmap == pv->pv_pmap);
2863
2864                 pte = pmap_pte(pmap, pv->pv_va);
2865
2866                 /*
2867                  * We cannot remove wired pages from a process' mapping
2868                  * at this time
2869                  */
2870                 if (*pte & VPTE_WIRED) {
2871                         npv = TAILQ_NEXT(pv, pv_plist);
2872                         continue;
2873                 }
2874                 tpte = pmap_inval_loadandclear(pte, pmap, pv->pv_va);
2875
2876                 m = PHYS_TO_VM_PAGE(tpte & VPTE_FRAME);
2877
2878                 KASSERT(m < &vm_page_array[vm_page_array_size],
2879                         ("pmap_remove_pages: bad tpte %lx", tpte));
2880
2881                 KKASSERT(pmap->pm_stats.resident_count > 0);
2882                 --pmap->pm_stats.resident_count;
2883
2884                 /*
2885                  * Update the vm_page_t clean and reference bits.
2886                  */
2887                 if (tpte & VPTE_M) {
2888                         vm_page_dirty(m);
2889                 }
2890
2891                 npv = TAILQ_NEXT(pv, pv_plist);
2892                 TAILQ_REMOVE(&pmap->pm_pvlist, pv, pv_plist);
2893                 save_generation = ++pmap->pm_generation;
2894
2895                 m->md.pv_list_count--;
2896                 TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
2897                 if (TAILQ_EMPTY(&m->md.pv_list))
2898                         vm_page_flag_clear(m, PG_MAPPED | PG_WRITEABLE);
2899
2900                 pmap_unuse_pt(pmap, pv->pv_va, pv->pv_ptem);
2901                 free_pv_entry(pv);
2902
2903                 /*
2904                  * Restart the scan if we blocked during the unuse or free
2905                  * calls and other removals were made.
2906                  */
2907                 if (save_generation != pmap->pm_generation) {
2908                         kprintf("Warning: pmap_remove_pages race-A avoided\n");
2909                         pv = TAILQ_FIRST(&pmap->pm_pvlist);
2910                 }
2911         }
2912         crit_exit();
2913 }
2914
2915 /*
2916  * pmap_testbit tests bits in active mappings of a VM page.
2917  */
2918 static boolean_t
2919 pmap_testbit(vm_page_t m, int bit)
2920 {
2921         pv_entry_t pv;
2922         pt_entry_t *pte;
2923
2924         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
2925                 return FALSE;
2926
2927         if (TAILQ_FIRST(&m->md.pv_list) == NULL)
2928                 return FALSE;
2929
2930         crit_enter();
2931
2932         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
2933                 /*
2934                  * if the bit being tested is the modified bit, then
2935                  * mark clean_map and ptes as never
2936                  * modified.
2937                  */
2938                 if (bit & (VPTE_A|VPTE_M)) {
2939                         if (!pmap_track_modified(pv->pv_pmap, pv->pv_va))
2940                                 continue;
2941                 }
2942
2943 #if defined(PMAP_DIAGNOSTIC)
2944                 if (pv->pv_pmap == NULL) {
2945                         kprintf("Null pmap (tb) at va: 0x%lx\n", pv->pv_va);
2946                         continue;
2947                 }
2948 #endif
2949                 pte = pmap_pte(pv->pv_pmap, pv->pv_va);
2950                 if (*pte & bit) {
2951                         crit_exit();
2952                         return TRUE;
2953                 }
2954         }
2955         crit_exit();
2956         return (FALSE);
2957 }
2958
2959 /*
2960  * This routine is used to clear bits in ptes.  Certain bits require special
2961  * handling, in particular (on virtual kernels) the VPTE_M (modify) bit.
2962  *
2963  * This routine is only called with certain VPTE_* bit combinations.
2964  */
2965 static __inline void
2966 pmap_clearbit(vm_page_t m, int bit)
2967 {
2968         pv_entry_t pv;
2969         pt_entry_t *pte;
2970         pt_entry_t pbits;
2971
2972         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
2973                 return;
2974
2975         crit_enter();
2976
2977         /*
2978          * Loop over all current mappings setting/clearing as appropos If
2979          * setting RO do we need to clear the VAC?
2980          */
2981         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
2982                 /*
2983                  * don't write protect pager mappings
2984                  */
2985                 if (bit == VPTE_W) {
2986                         if (!pmap_track_modified(pv->pv_pmap, pv->pv_va))
2987                                 continue;
2988                 }
2989
2990 #if defined(PMAP_DIAGNOSTIC)
2991                 if (pv->pv_pmap == NULL) {
2992                         kprintf("Null pmap (cb) at va: 0x%lx\n", pv->pv_va);
2993                         continue;
2994                 }
2995 #endif
2996
2997                 /*
2998                  * Careful here.  We can use a locked bus instruction to
2999                  * clear VPTE_A or VPTE_M safely but we need to synchronize
3000                  * with the target cpus when we mess with VPTE_W.
3001                  *
3002                  * On virtual kernels we must force a new fault-on-write
3003                  * in the real kernel if we clear the Modify bit ourselves,
3004                  * otherwise the real kernel will not get a new fault and
3005                  * will never set our Modify bit again.
3006                  */
3007                 pte = pmap_pte(pv->pv_pmap, pv->pv_va);
3008                 if (*pte & bit) {
3009                         if (bit == VPTE_W) {
3010                                 /*
3011                                  * We must also clear VPTE_M when clearing
3012                                  * VPTE_W
3013                                  */
3014                                 pbits = pmap_clean_pte(pte, pv->pv_pmap,
3015                                                        pv->pv_va);
3016                                 if (pbits & VPTE_M)
3017                                         vm_page_dirty(m);
3018                         } else if (bit == VPTE_M) {
3019                                 /*
3020                                  * We do not have to make the page read-only
3021                                  * when clearing the Modify bit.  The real
3022                                  * kernel will make the real PTE read-only
3023                                  * or otherwise detect the write and set
3024                                  * our VPTE_M again simply by us invalidating
3025                                  * the real kernel VA for the pmap (as we did
3026                                  * above).  This allows the real kernel to
3027                                  * handle the write fault without forwarding
3028                                  * the fault to us.
3029                                  */
3030                                 atomic_clear_long(pte, VPTE_M);
3031                         } else if ((bit & (VPTE_W|VPTE_M)) == (VPTE_W|VPTE_M)) {
3032                                 /*
3033                                  * We've been asked to clear W & M, I guess
3034                                  * the caller doesn't want us to update
3035                                  * the dirty status of the VM page.
3036                                  */
3037                                 pmap_clean_pte(pte, pv->pv_pmap, pv->pv_va);
3038                         } else {
3039                                 /*
3040                                  * We've been asked to clear bits that do
3041                                  * not interact with hardware.
3042                                  */
3043                                 atomic_clear_long(pte, bit);
3044                         }
3045                 }
3046         }
3047         crit_exit();
3048 }
3049
3050 /*
3051  *      pmap_page_protect:
3052  *
3053  *      Lower the permission for all mappings to a given page.
3054  */
3055 void
3056 pmap_page_protect(vm_page_t m, vm_prot_t prot)
3057 {
3058         /* JG NX support? */
3059         if ((prot & VM_PROT_WRITE) == 0) {
3060                 if (prot & (VM_PROT_READ | VM_PROT_EXECUTE)) {
3061                         pmap_clearbit(m, VPTE_W);
3062                         vm_page_flag_clear(m, PG_WRITEABLE);
3063                 } else {
3064                         pmap_remove_all(m);
3065                 }
3066         }
3067 }
3068
3069 vm_paddr_t
3070 pmap_phys_address(vm_pindex_t ppn)
3071 {
3072         return (amd64_ptob(ppn));
3073 }
3074
3075 /*
3076  *      pmap_ts_referenced:
3077  *
3078  *      Return a count of reference bits for a page, clearing those bits.
3079  *      It is not necessary for every reference bit to be cleared, but it
3080  *      is necessary that 0 only be returned when there are truly no
3081  *      reference bits set.
3082  *
3083  *      XXX: The exact number of bits to check and clear is a matter that
3084  *      should be tested and standardized at some point in the future for
3085  *      optimal aging of shared pages.
3086  */
3087 int
3088 pmap_ts_referenced(vm_page_t m)
3089 {
3090         pv_entry_t pv, pvf, pvn;
3091         pt_entry_t *pte;
3092         int rtval = 0;
3093
3094         if (!pmap_initialized || (m->flags & PG_FICTITIOUS))
3095                 return (rtval);
3096
3097         crit_enter();
3098
3099         if ((pv = TAILQ_FIRST(&m->md.pv_list)) != NULL) {
3100
3101                 pvf = pv;
3102
3103                 do {
3104                         pvn = TAILQ_NEXT(pv, pv_list);
3105
3106                         TAILQ_REMOVE(&m->md.pv_list, pv, pv_list);
3107
3108                         TAILQ_INSERT_TAIL(&m->md.pv_list, pv, pv_list);
3109
3110                         if (!pmap_track_modified(pv->pv_pmap, pv->pv_va))
3111                                 continue;
3112
3113                         pte = pmap_pte(pv->pv_pmap, pv->pv_va);
3114
3115                         if (pte && (*pte & VPTE_A)) {
3116 #ifdef SMP
3117                                 atomic_clear_long(pte, VPTE_A);
3118 #else
3119                                 atomic_clear_long_nonlocked(pte, VPTE_A);
3120 #endif
3121                                 rtval++;
3122                                 if (rtval > 4) {
3123                                         break;
3124                                 }
3125                         }
3126                 } while ((pv = pvn) != NULL && pv != pvf);
3127         }
3128         crit_exit();
3129
3130         return (rtval);
3131 }
3132
3133 /*
3134  *      pmap_is_modified:
3135  *
3136  *      Return whether or not the specified physical page was modified
3137  *      in any physical maps.
3138  */
3139 boolean_t
3140 pmap_is_modified(vm_page_t m)
3141 {
3142         return pmap_testbit(m, VPTE_M);
3143 }
3144
3145 /*
3146  *      Clear the modify bits on the specified physical page.
3147  */
3148 void
3149 pmap_clear_modify(vm_page_t m)
3150 {
3151         pmap_clearbit(m, VPTE_M);
3152 }
3153
3154 /*
3155  *      pmap_clear_reference:
3156  *
3157  *      Clear the reference bit on the specified physical page.
3158  */
3159 void
3160 pmap_clear_reference(vm_page_t m)
3161 {
3162         pmap_clearbit(m, VPTE_A);
3163 }
3164
3165 /*
3166  * Miscellaneous support routines follow
3167  */
3168
3169 static void
3170 i386_protection_init(void)
3171 {
3172         int *kp, prot;
3173
3174         kp = protection_codes;
3175         for (prot = 0; prot < 8; prot++) {
3176                 if (prot & VM_PROT_READ)
3177                         *kp |= VPTE_R;
3178                 if (prot & VM_PROT_WRITE)
3179                         *kp |= VPTE_W;
3180                 if (prot & VM_PROT_EXECUTE)
3181                         *kp |= VPTE_X;
3182                 ++kp;
3183         }
3184 }
3185
3186 /*
3187  * perform the pmap work for mincore
3188  */
3189 int
3190 pmap_mincore(pmap_t pmap, vm_offset_t addr)
3191 {
3192         pt_entry_t *ptep, pte;
3193         vm_page_t m;
3194         int val = 0;
3195
3196         ptep = pmap_pte(pmap, addr);
3197         if (ptep == 0) {
3198                 return 0;
3199         }
3200
3201         if ((pte = *ptep) != 0) {
3202                 vm_offset_t pa;
3203
3204                 val = MINCORE_INCORE;
3205                 if ((pte & VPTE_MANAGED) == 0)
3206                         return val;
3207
3208                 pa = pte & VPTE_FRAME;
3209
3210                 m = PHYS_TO_VM_PAGE(pa);
3211
3212                 /*
3213                  * Modified by us
3214                  */
3215                 if (pte & VPTE_M)
3216                         val |= MINCORE_MODIFIED|MINCORE_MODIFIED_OTHER;
3217                 /*
3218                  * Modified by someone
3219                  */
3220                 else if (m->dirty || pmap_is_modified(m))
3221                         val |= MINCORE_MODIFIED_OTHER;
3222                 /*
3223                  * Referenced by us
3224                  */
3225                 if (pte & VPTE_A)
3226                         val |= MINCORE_REFERENCED|MINCORE_REFERENCED_OTHER;
3227
3228                 /*
3229                  * Referenced by someone
3230                  */
3231                 else if ((m->flags & PG_REFERENCED) || pmap_ts_referenced(m)) {
3232                         val |= MINCORE_REFERENCED_OTHER;
3233                         vm_page_flag_set(m, PG_REFERENCED);
3234                 }
3235         }
3236         return val;
3237 }
3238
3239 /*
3240  * Replace p->p_vmspace with a new one.  If adjrefs is non-zero the new
3241  * vmspace will be ref'd and the old one will be deref'd.
3242  */
3243 void
3244 pmap_replacevm(struct proc *p, struct vmspace *newvm, int adjrefs)
3245 {
3246         struct vmspace *oldvm;
3247         struct lwp *lp;
3248
3249         crit_enter();
3250         oldvm = p->p_vmspace;
3251         if (oldvm != newvm) {
3252                 p->p_vmspace = newvm;
3253                 KKASSERT(p->p_nthreads == 1);
3254                 lp = RB_ROOT(&p->p_lwp_tree);
3255                 pmap_setlwpvm(lp, newvm);
3256                 if (adjrefs) {
3257                         sysref_get(&newvm->vm_sysref);
3258                         sysref_put(&oldvm->vm_sysref);
3259                 }
3260         }
3261         crit_exit();
3262 }
3263
3264 /*
3265  * Set the vmspace for a LWP.  The vmspace is almost universally set the
3266  * same as the process vmspace, but virtual kernels need to swap out contexts
3267  * on a per-lwp basis.
3268  */
3269 void
3270 pmap_setlwpvm(struct lwp *lp, struct vmspace *newvm)
3271 {
3272         struct vmspace *oldvm;
3273         struct pmap *pmap;
3274
3275         crit_enter();
3276         oldvm = lp->lwp_vmspace;
3277
3278         if (oldvm != newvm) {
3279                 lp->lwp_vmspace = newvm;
3280                 if (curthread->td_lwp == lp) {
3281                         pmap = vmspace_pmap(newvm);
3282 #if defined(SMP)
3283                         atomic_set_int(&pmap->pm_active, 1 << mycpu->gd_cpuid);
3284 #else
3285                         pmap->pm_active |= 1;
3286 #endif
3287 #if defined(SWTCH_OPTIM_STATS)
3288                         tlb_flush_count++;
3289 #endif
3290                         pmap = vmspace_pmap(oldvm);
3291 #if defined(SMP)
3292                         atomic_clear_int(&pmap->pm_active,
3293                                           1 << mycpu->gd_cpuid);
3294 #else
3295                         pmap->pm_active &= ~1;
3296 #endif
3297                 }
3298         }
3299         crit_exit();
3300 }
3301
3302 vm_offset_t
3303 pmap_addr_hint(vm_object_t obj, vm_offset_t addr, vm_size_t size)
3304 {
3305
3306         if ((obj == NULL) || (size < NBPDR) || (obj->type != OBJT_DEVICE)) {
3307                 return addr;
3308         }
3309
3310         addr = (addr + (NBPDR - 1)) & ~(NBPDR - 1);
3311         return addr;
3312 }
3313
3314
3315 #if defined(DEBUG)
3316
3317 static void     pads (pmap_t pm);
3318 void            pmap_pvdump (vm_paddr_t pa);
3319
3320 /* print address space of pmap*/
3321 static void
3322 pads(pmap_t pm)
3323 {
3324         vm_offset_t va;
3325         unsigned i, j;
3326         pt_entry_t *ptep;
3327
3328         if (pm == &kernel_pmap)
3329                 return;
3330         crit_enter();
3331         for (i = 0; i < NPDEPG; i++) {
3332 #if JGPMAP32
3333                 if (pm->pm_pdir[i]) {
3334                         for (j = 0; j < NPTEPG; j++) {
3335                                 va = (i << PDRSHIFT) + (j << PAGE_SHIFT);
3336                                 if (pm == &kernel_pmap && va < KERNBASE)
3337                                         continue;
3338                                 if (pm != &kernel_pmap && va > UPT_MAX_ADDRESS)
3339                                         continue;
3340                                 ptep = pmap_pte_quick(pm, va);
3341                                 if (pmap_pte_v(ptep))
3342                                         kprintf("%lx:%lx ", va, *ptep);
3343                         };
3344                 }
3345 #endif
3346         }
3347         crit_exit();
3348
3349 }
3350
3351 void
3352 pmap_pvdump(vm_paddr_t pa)
3353 {
3354         pv_entry_t pv;
3355         vm_page_t m;
3356
3357         kprintf("pa %08llx", (long long)pa);
3358         m = PHYS_TO_VM_PAGE(pa);
3359         TAILQ_FOREACH(pv, &m->md.pv_list, pv_list) {
3360 #ifdef used_to_be
3361                 kprintf(" -> pmap %p, va %x, flags %x",
3362                     (void *)pv->pv_pmap, pv->pv_va, pv->pv_flags);
3363 #endif
3364                 kprintf(" -> pmap %p, va %lx", (void *)pv->pv_pmap, pv->pv_va);
3365                 pads(pv->pv_pmap);
3366         }
3367         kprintf(" ");
3368 }
3369 #endif