kernel - Add support for up to 63 cpus & 512G of ram for 64-bit builds.
[dragonfly.git] / share / man / man7 / vkernel.7
1 .\"
2 .\" Copyright (c) 2006, 2007
3 .\"     The DragonFly Project.  All rights reserved.
4 .\"
5 .\" Redistribution and use in source and binary forms, with or without
6 .\" modification, are permitted provided that the following conditions
7 .\" are met:
8 .\"
9 .\" 1. Redistributions of source code must retain the above copyright
10 .\"    notice, this list of conditions and the following disclaimer.
11 .\" 2. Redistributions in binary form must reproduce the above copyright
12 .\"    notice, this list of conditions and the following disclaimer in
13 .\"    the documentation and/or other materials provided with the
14 .\"    distribution.
15 .\" 3. Neither the name of The DragonFly Project nor the names of its
16 .\"    contributors may be used to endorse or promote products derived
17 .\"    from this software without specific, prior written permission.
18 .\"
19 .\" THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20 .\" ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21 .\" LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
22 .\" FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
23 .\" COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
24 .\" INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
25 .\" BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
26 .\" LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
27 .\" AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
28 .\" OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
29 .\" OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
30 .\" SUCH DAMAGE.
31 .\"
32 .Dd March 28, 2010
33 .Dt VKERNEL 7
34 .Os
35 .Sh NAME
36 .Nm vkernel ,
37 .Nm vcd ,
38 .Nm vkd ,
39 .Nm vke
40 .Nd virtual kernel architecture
41 .Sh SYNOPSIS
42 .Cd "platform vkernel   # for 32 bit vkernels"
43 .Cd "platform vkernel64 # for 64 bit vkernels"
44 .Cd "device vcd"
45 .Cd "device vkd"
46 .Cd "device vke"
47 .Pp
48 .Pa /var/vkernel/boot/kernel
49 .Op Fl sUv
50 .Op Fl c Ar file
51 .Op Fl e Ar name Ns = Ns Li value : Ns Ar name Ns = Ns Li value : Ns ...
52 .Op Fl i Ar file
53 .Op Fl I Ar interface Ns Op Ar :address1 Ns Oo Ar :address2 Oc Ns Oo Ar /netmask Oc
54 .Op Fl l Ar cpulock
55 .Op Fl m Ar size
56 .Op Fl n Ar numcpus
57 .Op Fl p Ar file
58 .Op Fl r Ar file
59 .Sh DESCRIPTION
60 The
61 .Nm
62 architecture allows for running
63 .Dx
64 kernels in userland.
65 .Pp
66 The following options are available:
67 .Bl -tag -width ".Fl m Ar size"
68 .It Fl c Ar file
69 Specify a readonly CD-ROM image
70 .Ar file
71 to be used by the kernel, with the first
72 .Fl c
73 option defining
74 .Li vcd0 ,
75 the second one
76 .Li vcd1 ,
77 and so on.
78 The first
79 .Fl r
80 or
81 .Fl c
82 option specified on the command line will be the boot disk.
83 The CD9660 filesystem is assumed when booting from this media.
84 .It Fl e Ar name Ns = Ns Li value : Ns Ar name Ns = Ns Li value : Ns ...
85 Specify an environment to be used by the kernel.
86 .It Fl i Ar file
87 Specify a memory image
88 .Ar file
89 to be used by the virtual kernel.
90 If no
91 .Fl i
92 option is given, the kernel will generate a name of the form
93 .Pa /var/vkernel/memimg.XXXXXX ,
94 with the trailing
95 .Ql X Ns s
96 being replaced by a sequential number, e.g.\&
97 .Pa memimg.000001 .
98 .It Fl I Ar interface Ns Op Ar :address1 Ns Oo Ar :address2 Oc Ns Oo Ar /netmask Oc
99 Create a virtual network device, with the first
100 .Fl I
101 option defining
102 .Li vke0 ,
103 the second one
104 .Li vke1 ,
105 and so on.
106 .Pp
107 The
108 .Ar interface
109 argument is the name of a
110 .Xr tap 4
111 device node.
112 The
113 .Pa /dev/
114 path prefix does not have to be specified and will be automatically prepended.
115 Specifying
116 .Cm auto
117 will pick the first unused
118 .Xr tap 4
119 device.
120 .Pp
121 The
122 .Ar address1
123 and
124 .Ar address2
125 arguments are the IP addresses of the
126 .Xr tap 4
127 and
128 .Nm vke
129 interfaces.
130 Optionally,
131 .Ar address1
132 may be of the form
133 .Li bridge Ns Em X
134 in which case the
135 .Xr tap 4
136 interface is added to the specified
137 .Xr bridge 4
138 interface.
139 The
140 .Nm vke
141 address is not assigned until the interface is brought up in the guest.
142 .Pp
143 The
144 .Ar netmask
145 argument applies to all interfaces for which an address is specified.
146 .It Fl l Ar cpulock
147 Specify which, if any, real CPUs to lock virtual CPUs to.
148 .Ar cpulock
149 is one of
150 .Cm any ,
151 .Cm map Ns Op Ns , Ns Ar startCPU ,
152 or
153 .Ar CPU .
154 .Pp
155 .Cm any
156 does not map virtual CPUs to real CPUs.
157 This is the default.
158 .Pp
159 .Cm map Ns Op Ns , Ns Ar startCPU
160 maps each virtual CPU to a real CPU starting with real CPU 0 or
161 .Ar startCPU
162 if specified.
163 .Pp
164 .Ar CPU
165 locks all virtual CPUs to the real CPU specified by
166 .Ar CPU .
167 .It Fl m Ar size
168 Specify the amount of memory to be used by the kernel in bytes,
169 .Cm K
170 .Pq kilobytes ,
171 .Cm M
172 .Pq megabytes
173 or
174 .Cm G
175 .Pq gigabytes .
176 Lowercase versions of
177 .Cm K , M ,
178 and
179 .Cm G
180 are allowed.
181 .It Fl n Ar numcpus
182 Specify the number of CPUs you wish to emulate.
183 Up to 16 CPUs are supported.
184 The virtual kernel must be built with
185 .Cd options SMP
186 to use this option and will default to 2 CPUs unless otherwise specified.
187 .It Fl p Ar file
188 Specify a file in which to store the process ID.
189 A warning is issued if this file cannot be opened for writing.
190 .It Fl r Ar file
191 Specify a R/W disk image
192 .Ar file
193 to be used by the kernel, with the first
194 .Fl r
195 option defining
196 .Li vkd0 ,
197 the second one
198 .Li vkd1 ,
199 and so on.
200 The first
201 .Fl r
202 or
203 .Fl c
204 option specified on the command line will be the boot disk.
205 .It Fl s
206 Boot into single-user mode.
207 .It Fl U
208 Enable writing to kernel memory and module loading.
209 By default, those are disabled for security reasons.
210 .It Fl v
211 Turn on verbose booting.
212 .El
213 .Sh DEVICES
214 A number of virtual device drivers exist to supplement the virtual kernel.
215 .Ss Disk device
216 The
217 .Nm vkd
218 driver allows for up to 16
219 .Xr vn 4
220 based disk devices.
221 The root device will be
222 .Li vkd0
223 (see
224 .Sx EXAMPLES
225 for further information on how to prepare a root image).
226 .Ss CD-ROM device
227 The
228 .Nm vcd
229 driver allows for up to 16 virtual CD-ROM devices.
230 Basically this is a read only
231 .Nm vkd
232 device with a block size of 2048.
233 .Ss Network interface
234 The
235 .Nm vke
236 driver supports up to 16 virtual network interfaces which are associated with
237 .Xr tap 4
238 devices on the host.
239 For each
240 .Nm vke
241 device, the per-interface read only
242 .Xr sysctl 3
243 variable
244 .Va hw.vke Ns Em X Ns Va .tap_unit
245 holds the unit number of the associated
246 .Xr tap 4
247 device.
248 .Sh SIGNALS
249 The virtual kernel only enables
250 .Dv SIGQUIT
251 and
252 .Dv SIGTERM
253 while operating in regular console mode.
254 Sending
255 .Ql \&^\e
256 .Pq Dv SIGQUIT
257 to the virtual kernel causes the virtual kernel to enter its internal
258 .Xr ddb 4
259 debugger and re-enable all other terminal signals.
260 Sending
261 .Dv SIGTERM
262 to the virtual kernel triggers a clean shutdown by passing a
263 .Dv SIGUSR2
264 to the virtual kernel's
265 .Xr init 8
266 process.
267 .Sh DEBUGGING
268 It is possible to directly gdb the virtual kernel's process.
269 It is recommended that you do a
270 .Ql handle SIGSEGV noprint
271 to ignore page faults processed by the virtual kernel itself and
272 .Ql handle SIGUSR1 noprint
273 to ignore signals used for simulating inter-processor interrupts (SMP build
274 only).
275 .Sh FILES
276 .Bl -tag -width ".It Pa /sys/config/VKERNEL" -compact
277 .It Pa /sys/config/VKERNEL
278 default
279 .Nm
280 configuration file, for
281 .Xr config 8 .
282 .El
283 .Sh CONFIGURATION FILES
284 Your virtual kernel is a complete
285 .Dx
286 system, but you might not want to run all the services a normal kernel runs.
287 Here is what a typical virtual kernel's
288 .Pa /etc/rc.conf
289 file looks like, with some additional possibilities commented out.
290 .Bd -literal
291 hostname="vkernel"
292 network_interfaces="lo0 vke0"
293 ifconfig_vke0="DHCP"
294 sendmail_enable="NO"
295 #syslog_enable="NO"
296 blanktime="NO"
297 .Ed
298 .Sh EXAMPLES
299 A couple of steps are necessary in order to prepare the system to build and
300 run a virtual kernel.
301 .Ss Setting up the filesystem
302 The
303 .Nm
304 architecture needs a number of files which reside in
305 .Pa /var/vkernel .
306 Since these files tend to get rather big and the
307 .Pa /var
308 partition is usually of limited size, we recommend the directory to be
309 created in the
310 .Pa /home
311 partition with a link to it in
312 .Pa /var :
313 .Bd -literal
314 mkdir -p /home/var.vkernel/boot
315 ln -s /home/var.vkernel /var/vkernel
316 .Ed
317 .Pp
318 Next, a filesystem image to be used by the virtual kernel has to be
319 created and populated (assuming world has been built previously).
320 If the image is created on a UFS filesystem you might want to pre-zero it.
321 On a HAMMER filesystem you should just truncate-extend to the image size
322 as HAMMER does not re-use data blocks already present in the file.
323 .Bd -literal
324 vnconfig -c -S 2g -T vn0 /var/vkernel/rootimg.01
325 disklabel -r -w vn0s0 auto
326 disklabel -e vn0s0      # add `a' partition with fstype `4.2BSD'
327 newfs /dev/vn0s0a
328 mount /dev/vn0s0a /mnt
329 cd /usr/src
330 make installworld DESTDIR=/mnt
331 cd etc
332 make distribution DESTDIR=/mnt
333 echo '/dev/vkd0s0a      /       ufs     rw      1  1' >/mnt/etc/fstab
334 echo 'proc              /proc   procfs  rw      0  0' >>/mnt/etc/fstab
335 .Ed
336 .Pp
337 Edit
338 .Pa /mnt/etc/ttys
339 and replace the
340 .Li console
341 entry with the following line and turn off all other gettys.
342 .Bd -literal
343 console "/usr/libexec/getty Pc"         cons25  on  secure
344 .Ed
345 .Pp
346 Replace
347 .Li \&Pc
348 with
349 .Li al.Pc
350 if you would like to automatically log in as root.
351 .Pp
352 Then, unmount the disk.
353 .Bd -literal
354 umount /mnt
355 vnconfig -u vn0
356 .Ed
357 .Ss Compiling the virtual kernel
358 In order to compile a virtual kernel use the
359 .Li VKERNEL
360 kernel configuration file residing in
361 .Pa /sys/config
362 (or a configuration file derived thereof):
363 .Bd -literal
364 cd /usr/src
365 make -DNO_MODULES buildkernel KERNCONF=VKERNEL
366 make -DNO_MODULES installkernel KERNCONF=VKERNEL DESTDIR=/var/vkernel
367 .Ed
368 .Ss Enabling virtual kernel operation
369 A special
370 .Xr sysctl 8 ,
371 .Va vm.vkernel_enable ,
372 must be set to enable
373 .Nm
374 operation:
375 .Bd -literal
376 sysctl vm.vkernel_enable=1
377 .Ed
378 .Ss Configuring the network on the host system
379 In order to access a network interface of the host system from the
380 .Nm ,
381 you must add the interface to a
382 .Xr bridge 4
383 device which will then be passed to the
384 .Fl I
385 option:
386 .Bd -literal
387 kldload if_bridge.ko
388 kldload if_tap.ko
389 ifconfig bridge0 create
390 ifconfig bridge0 addm re0       # assuming re0 is the host's interface
391 ifconfig bridge0 up
392 .Ed
393 .Ss Running the kernel
394 Finally, the virtual kernel can be run:
395 .Bd -literal
396 cd /var/vkernel
397 \&./boot/kernel -m 64m -r rootimg.01 -I auto:bridge0
398 .Ed
399 .Pp
400 You can issue the
401 .Xr reboot 8 ,
402 .Xr halt 8 ,
403 or
404 .Xr shutdown 8
405 commands from inside a virtual kernel.
406 After doing a clean shutdown the
407 .Xr reboot 8
408 command will re-exec the virtual kernel binary while the other two will
409 cause the virtual kernel to exit.
410 .Sh BUILDING THE WORLD UNDER A VKERNEL
411 The virtual kernel platform does not have all the header files expected
412 by a world build, so the easiest thing to do right now is to specify a
413 pc32 (in a 32 bit vkernel) or pc64 (in a 64 bit vkernel) target when
414 building the world under a virtual kernel, like this:
415 .Bd -literal
416 vkernel# make MACHINE_PLATFORM=pc32 buildworld
417 vkernel# make MACHINE_PLATFORM=pc32 installworld
418 .Ed
419 .Sh SEE ALSO
420 .Xr vknet 1 ,
421 .Xr bridge 4 ,
422 .Xr tap 4 ,
423 .Xr vn 4 ,
424 .Xr sysctl.conf 5 ,
425 .Xr build 7 ,
426 .Xr disklabel 8 ,
427 .Xr ifconfig 8 ,
428 .Xr vknetd 8 ,
429 .Xr vnconfig 8
430 .Rs
431 .%A Aggelos Economopoulos
432 .%D March 2007
433 .%T "A Peek at the DragonFly Virtual Kernel"
434 .Re
435 .Sh HISTORY
436 Virtual kernels were introduced in
437 .Dx 1.7 .
438 .Sh AUTHORS
439 .An -nosplit
440 .An Matt Dillon
441 thought up and implemented the
442 .Nm
443 architecture and wrote the
444 .Nm vkd
445 device driver.
446 .An Sepherosa Ziehau
447 wrote the
448 .Nm vke
449 device driver.
450 This manual page was written by
451 .An Sascha Wildner .