kernel - Major SMP performance patch / VM system, bus-fault/seg-fault fixes
[dragonfly.git] / sys / platform / pc32 / include / pmap.h
1 /*
2  * Copyright (c) 1991 Regents of the University of California.
3  * All rights reserved.
4  *
5  * This code is derived from software contributed to Berkeley by
6  * the Systems Programming Group of the University of Utah Computer
7  * Science Department and William Jolitz of UUNET Technologies Inc.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions
11  * are met:
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. All advertising materials mentioning features or use of this software
18  *    must display the following acknowledgement:
19  *      This product includes software developed by the University of
20  *      California, Berkeley and its contributors.
21  * 4. Neither the name of the University nor the names of its contributors
22  *    may be used to endorse or promote products derived from this software
23  *    without specific prior written permission.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
26  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
29  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
30  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
31  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
32  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
33  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
34  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
35  * SUCH DAMAGE.
36  *
37  * Derived from hp300 version by Mike Hibler, this version by William
38  * Jolitz uses a recursive map [a pde points to the page directory] to
39  * map the page tables using the pagetables themselves. This is done to
40  * reduce the impact on kernel virtual memory for lots of sparse address
41  * space, and to reduce the cost of memory to each process.
42  *
43  * from: hp300: @(#)pmap.h      7.2 (Berkeley) 12/16/90
44  * from: @(#)pmap.h     7.4 (Berkeley) 5/12/91
45  * $FreeBSD: src/sys/i386/include/pmap.h,v 1.65.2.3 2001/10/03 07:15:37 peter Exp $
46  * $DragonFly: src/sys/platform/pc32/include/pmap.h,v 1.7 2007/06/08 00:57:04 dillon Exp $
47  */
48
49 #ifndef _MACHINE_PMAP_H_
50 #define _MACHINE_PMAP_H_
51
52 #include <cpu/pmap.h>
53
54 /*
55  * Size of Kernel address space.  This is the number of page table pages
56  * (4MB each) to use for the kernel.  256 pages == 1 Gigabyte.
57  * This **MUST** be a multiple of 4 (eg: 252, 256, 260, etc).
58  */
59 #ifndef KVA_PAGES
60 #define KVA_PAGES       256
61 #endif
62
63 /*
64  * PTE related macros
65  */
66 #define VADDR(pdi, pti) ((vm_offset_t)(((pdi)<<PDRSHIFT)|((pti)<<PAGE_SHIFT)))
67
68 #ifndef NKPT
69 #define NKPT            30                      /* starting general kptds */
70 #endif
71
72 #ifndef NKPDE
73 #define NKPDE   (KVA_PAGES - 2) /* max general kptds */
74 #endif
75 #if NKPDE > KVA_PAGES - 2
76 #error "Maximum NKPDE is KVA_PAGES - 2"
77 #endif
78
79 /*
80  * The *PTDI values control the layout of virtual memory
81  *
82  * NPEDEPG      - number of pde's in the page directory (1024)
83  * NKPDE        - max general kernel page table pages not including
84  *                special PTDs.  Typically KVA_PAGES minus the number
85  *                of special PTDs.
86  *
87  *      +---------------+ End of kernel memory
88  *      |   APTDPTDI    | alt page table map for cpu 0
89  *      +---------------+
90  *      |    MPPTDI     | globaldata array
91  *      +---------------+
92  *      |               |
93  *      |               |
94  *      |               |
95  *      |               | general kernel page table pages
96  *      |               |
97  *      |  KPTDI[NKPDE] |
98  *      +---------------+ Start of kernel memory
99  *      |    PTDPTDI    | self-mapping of current pmap
100  *      +---------------+
101  *
102  * This typically places PTDPTDI at the index corresponding to VM address
103  * (0xc0000000 - 4M) = bfc00000, and that is where PTmap[] is based for
104  * the self-mapped page table.  PTD points to the self-mapped page
105  * directory itself and any indexes >= KPTDI will correspond to the
106  * common kernel page directory pages since all pmaps map the same ones.
107  *
108  * APTmap / APTDpde are now used by cpu 0 as its alternative page table
109  * mapping via gd_GDMAP1 and GD_GDADDR1.  The remaining cpus allocate
110  * their own dynamically.
111  *
112  * Even though the maps are per-cpu the PTD entries are stored in the
113  * individual pmaps and obviously not replicated so each process pmap
114  * essentially gets its own per-cpu cache (PxN) making for fairly efficient
115  * access.
116  *
117  * UMAXPTDI     - highest inclusive ptd index for user space
118  */
119 #define APTDPTDI        (NPDEPG-1)      /* alt ptd entry that points to APTD */
120 #define MPPTDI          (APTDPTDI-1)    /* globaldata array ptd entry */
121 #define KPTDI           (MPPTDI-NKPDE)  /* start of kernel virtual pde's */
122 #define PTDPTDI         (KPTDI-1)       /* ptd entry that points to ptd! */
123 #define UMAXPTDI        (PTDPTDI-1)     /* ptd entry for user space end */
124
125 /*
126  * XXX doesn't really belong here I guess...
127  */
128 #define ISA_HOLE_START    0xa0000
129 #define ISA_HOLE_LENGTH (0x100000-ISA_HOLE_START)
130
131 #ifndef LOCORE
132
133 #ifndef _SYS_TYPES_H_
134 #include <sys/types.h>
135 #endif
136 #ifndef _SYS_QUEUE_H_
137 #include <sys/queue.h>
138 #endif
139 #ifndef _SYS_SPINLOCK_H_
140 #include <sys/spinlock.h>
141 #endif
142 #ifndef _SYS_THREAD_H_
143 #include <sys/thread.h>
144 #endif
145 #ifndef _MACHINE_TYPES_H_
146 #include <machine/types.h>
147 #endif
148 #ifndef _MACHINE_PARAM_H_
149 #include <machine/param.h>
150 #endif
151
152 /*
153  * Address of current and alternate address space page table maps
154  * and directories.
155  */
156 #ifdef _KERNEL
157 extern pt_entry_t PTmap[], APTmap[], Upte;
158 extern pd_entry_t PTD[], APTD[], PTDpde, APTDpde, Upde;
159
160 extern pd_entry_t IdlePTD;      /* physical address of "Idle" state directory */
161 #endif
162
163 #ifdef _KERNEL
164 /*
165  * virtual address to page table entry and
166  * to physical address. Likewise for alternate address space.
167  * Note: these work recursively, thus vtopte of a pte will give
168  * the corresponding pde that in turn maps it.
169  */
170 #define vtopte(va)      (PTmap + i386_btop(va))
171
172 #define avtopte(va)     (APTmap + i386_btop(va))
173
174 /*
175  *      Routine:        pmap_kextract
176  *      Function:
177  *              Extract the physical page address associated
178  *              kernel virtual address.
179  */
180 static __inline vm_paddr_t
181 pmap_kextract(vm_offset_t va)
182 {
183         vm_paddr_t pa;
184
185         if ((pa = (vm_offset_t) PTD[va >> PDRSHIFT]) & PG_PS) {
186                 pa = (pa & ~(NBPDR - 1)) | (va & (NBPDR - 1));
187         } else {
188                 pa = *(vm_offset_t *)vtopte(va);
189                 pa = (pa & PG_FRAME) | (va & PAGE_MASK);
190         }
191         return pa;
192 }
193
194 /*
195  * XXX
196  */
197 #define vtophys(va)     pmap_kextract(((vm_offset_t)(va)))
198 #define vtophys_pte(va) ((pt_entry_t)pmap_kextract(((vm_offset_t)(va))))
199
200 #endif
201
202 /*
203  * Pmap stuff
204  */
205 struct pv_entry;
206 struct vm_page;
207 struct vm_object;
208 struct vmspace;
209
210 struct md_page {
211         int pv_list_count;
212         TAILQ_HEAD(,pv_entry)   pv_list;
213 };
214
215 /*
216  * Each machine dependent implementation is expected to
217  * keep certain statistics.  They may do this anyway they
218  * so choose, but are expected to return the statistics
219  * in the following structure.
220  *
221  * NOTE: We try to match the size of the pc32 pmap with the vkernel pmap
222  * so the same utilities (like 'ps') can be used on both.
223  */
224 struct pmap_statistics {
225         long resident_count;    /* # of pages mapped (total) */
226         long wired_count;       /* # of pages wired */
227 };
228 typedef struct pmap_statistics *pmap_statistics_t;
229
230 struct pmap {
231         pd_entry_t              *pm_pdir;       /* KVA of page directory */
232         struct vm_page          *pm_pdirm;      /* VM page for pg directory */
233         struct vm_object        *pm_pteobj;     /* Container for pte's */
234         TAILQ_ENTRY(pmap)       pm_pmnode;      /* list of pmaps */
235         TAILQ_HEAD(,pv_entry)   pm_pvlist;      /* list of mappings in pmap */
236         TAILQ_HEAD(,pv_entry)   pm_pvlist_free; /* free mappings */
237         int                     pm_count;       /* reference count */
238         cpumask_t               pm_active;      /* active on cpus */
239         cpumask_t               pm_cached;      /* cached on cpus */
240         int                     pm_filler02;    /* (filler sync w/vkernel) */
241         struct pmap_statistics  pm_stats;       /* pmap statistics */
242         struct  vm_page         *pm_ptphint;    /* pmap ptp hint */
243         int                     pm_generation;  /* detect pvlist deletions */
244         struct spinlock         pm_spin;
245         struct lwkt_token       pm_token;
246 };
247
248 #define pmap_resident_count(pmap) (pmap)->pm_stats.resident_count
249
250 #define CPUMASK_LOCK            CPUMASK(SMP_MAXCPU)
251 #define CPUMASK_BIT             SMP_MAXCPU      /* 1 << SMP_MAXCPU */
252
253 typedef struct pmap     *pmap_t;
254
255 #ifdef _KERNEL
256 extern struct pmap      kernel_pmap;
257 #endif
258
259 /*
260  * For each vm_page_t, there is a list of all currently valid virtual
261  * mappings of that page.  An entry is a pv_entry_t, the list is pv_table.
262  */
263 typedef struct pv_entry {
264         pmap_t          pv_pmap;        /* pmap where mapping lies */
265         vm_offset_t     pv_va;          /* virtual address for mapping */
266         TAILQ_ENTRY(pv_entry)   pv_list;
267         TAILQ_ENTRY(pv_entry)   pv_plist;
268         struct vm_page  *pv_ptem;       /* VM page for pte */
269 #ifdef PMAP_DEBUG
270         struct vm_page  *pv_m;
271 #else
272         void            *pv_dummy;      /* align structure to 32 bytes */
273 #endif
274 } *pv_entry_t;
275
276 #ifdef  _KERNEL
277
278 #define NPPROVMTRR              8
279 #define PPRO_VMTRRphysBase0     0x200
280 #define PPRO_VMTRRphysMask0     0x201
281 struct ppro_vmtrr {
282         u_int64_t base, mask;
283 };
284 extern struct ppro_vmtrr PPro_vmtrr[NPPROVMTRR];
285
286 extern caddr_t  CADDR1;
287 extern pt_entry_t *CMAP1;
288 extern vm_paddr_t dump_avail[];
289 extern vm_paddr_t avail_end;
290 extern vm_paddr_t avail_start;
291 extern vm_offset_t clean_eva;
292 extern vm_offset_t clean_sva;
293 extern char *ptvmmap;           /* poor name! */
294
295 void    pmap_release(struct pmap *pmap);
296 void    pmap_interlock_wait (struct vmspace *);
297 void    pmap_bootstrap (vm_paddr_t, vm_paddr_t);
298 void    *pmap_mapdev (vm_paddr_t, vm_size_t);
299 void    *pmap_mapdev_uncacheable (vm_paddr_t, vm_size_t);
300 void    pmap_unmapdev (vm_offset_t, vm_size_t);
301 unsigned *pmap_kernel_pte (vm_offset_t) __pure2;
302 struct vm_page *pmap_use_pt (pmap_t, vm_offset_t);
303 int     pmap_get_pgeflag(void);
304 #ifdef SMP
305 void    pmap_set_opt (void);
306 #endif
307
308 #endif /* _KERNEL */
309
310 #endif /* !LOCORE */
311
312 #endif /* !_MACHINE_PMAP_H_ */