Donation from Plamen Tanovski. Thanks, Plamen!
[ikiwiki.git] / docs / developer / ProjectsPage.mdwn
1 [[!meta title="DragonFly Projects"]]
2
3 This page shall serve as a common place to look if you're in search of a DragonFly related project. It's also the place to check if someone else is already working on it (to prevent project collision) or should be contacted.
4
5 Projects that can be clearly used for Google Code-In are marked with their category, where applicable.  Some unmarked items may be eligible; it depends on how the student wants to tackle the project.
6
7 [[!toc levels=3 ]]
8
9 ## Documentation projects 
10
11 ### Write manpages
12 * sysref (GCI:Documentation or Research)
13
14 ## Userland projects 
15
16 ### One-liners
17 * Bring in smbfs changes from FreeBSD (GCI:Code)
18 * rpc.lockd and rpc.statd sync with FreeBSD (GCI:Code)
19 * Add extended slice support to `fdisk`
20 * C99 Standards Conformance. The todo list is on [[/docs/developer/StandardsConformanceProject]] (GCI:Code)
21 * Add lwp support to ptrace/gdb/core dumps.
22 * UTF8 support in the console
23
24 ### Scalability (algorithmic performance) (GCI:Research)
25 * [http://bulk.fefe.de/scalability/](http://bulk.fefe.de/scalability/) 
26 * [http://bulk.fefe.de/lk2006/talk.pdf](http://bulk.fefe.de/lk2006/talk.pdf)
27
28 ### Clean our code to make it [style(9)](http://leaf.dragonflybsd.org/cgi/web-man?command=style&section=ANY#style&sectionANY) compatible.  (GCI:Code)
29 * Compile and test your changes.
30 * Verify that the checksum (sha(1)) of the unmodified object matches the checksum of the cleaned object.  Check also with strip(1)+sha(1)  
31
32 ### Port BSD-licensed tools (ex: `diff` and `sort`) (GCI:Code)
33 * The OpenBSD guys already did some work related to that.
34 * If you manage to bring the tools to DragonFly, check if everything works as expected (e.g. rc.d scripts, make world runs, ...).
35
36 ### GDB
37 * ptrace/gdb follow-fork-mode support and more (peek at linux)
38 * Change the build to create one libbfd for gdb and binutils
39 * Separate RPC code from NFS into separate library.
40
41 ### I/O diagnostic utilities
42 * A utility similar to top which displays I/O usage on a per-process basis
43 * Network, Disk
44
45 ### SMART capabilities
46 * Add to camcontrol
47 * Add to natacontrol (see NetBSD's atactl?)
48
49 ### Disk scheduling rc scripts (GCI:Code)
50 * Create a rc script to manage the disk/io scheduling system
51 * Perhaps 1 entry to "enable" it, and all disks will have mode set to "auto", in auto mode smart inquiries and other heuristics could attempt to determine the best i/o scheduler
52 * Per-device and device class or similar defaults should be definable in rc.conf also
53 * The bulk of this functionality could be implemented in a resurrected "dschedctl" utility and exposed through the rc interface using just a thin wrapper, allowing hotplug scripts and etc. an easier option to use the same facilities.
54
55 ### libHAMMER 
56 * HAMMER has the capability to expose very rich information to userland through ioctl's.
57 * Currently the hammer(8) utility makes use of this information in an ad-hoc manner.
58 * Port this core functionality into a public libhammer library so that other base and third party utilities may take advantage of it.
59 * See commit: cb7575e6a89409a2041a37fcfc22ce9e41297ab8 -- libHAMMER already exists, port functionality into it!
60
61 ### Live images enhancement
62
63 The live images could be made easier to use by not assuming a QWERTY keyboard layout.
64
65 Not beeing able to choose a localized keyboard layout before having to type 'installer' or 'root' may be a deal breaker for some users.
66 A simple menu replacing login(1) and displaying the following three choices could be a good solution:
67
68 1. Set keyboard layout
69 2. Launch the installer
70 3. Login as root
71
72 ### pkill/pgrep enhancement
73
74 killall recently gained a -T flag to kill all descendents of a tty, bring this feature to pkill/pgrep and evaluate any other features flags of these utilities and bring them to parity.
75
76 ## Kernel projects 
77
78 ### One-liners
79 * Port the BSDL OSS code to DragonFly
80 * Complete Path MTU Discovery by adding a host route to remember the Path MTU and setting a timer to expire old host routes. See netinet/if_ether.c for an example of this mechanism as used by ARP. Periodically increase MTU of hosts that have had its MTU decreased.
81 * Port or update drivers from other systems.
82 * Port Linux emulation to x86-64
83
84 ### Code to port/sync from FreeBSD
85 * PCI code (to take advantage of power saving features)
86 * Bring in support for UFS2, just the changes to extend the width of some fields from 32 bits to 64 bits.  (GCI:Code)
87 * hardware drivers. 
88 * ext2fs
89
90 ### Code to port/sync from OpenBSD
91 * Add support for the NoExecute bit as described in [http://www.openbsd.org/papers/auug04/index.html](http://www.openbsd.org/papers/auug04/index.html).
92 * After that, make user stacks and data heaps non-executable. (W^X)
93 * hardware drivers, specially wireless.
94
95 ### CPU scheduler
96 * A scheduler API supporting multiple scheduler implementations already exists
97 * Add a Solaris-like dispatcher framework that can handle more than one installed scheduling policy
98
99 ### Implement boot cache
100 * Effectively a smart readahead.
101 * Store the pattern of incoming read requests of the boot disk.
102
103 ### Improve kernel boot speed
104 * Research source of delays in boot process, keyboard init, scsi?
105 * Better thread some hardware init, for example USB?
106 * Perhaps look to see how Linux can boot in one second, better pci scan code?
107 * "Some kernel work made it possible to do asynchronous initialization of some subsystems. For example, the modified kernel starts the Advanced Host Controller Interface (AHCI) initialization, to handle storage, at the same time as the Universal Host Controller Interface (UHCI), in order to handle USB" - http://lwn.net/Articles/299483/
108
109 ### Modify firmware framework 
110 * We currently use the firmware(9) FreeBSD also uses
111 * It would be more appropriate to avoid future problems with redistribution problems, etc, to adapt the wifi firmware stuff to use the firmware(9) we used to have before, which was able to load firmware files from userland (/etc/firmware).
112 * See "firmware discussion" thread on kernel@ mailing list, March-May 2010.
113 * Since it's not desired to just add another way of doing it, this project should include getting rid of loading firmwares as modules
114
115 ### Work relating to LWKT (LightWeightKernelThreading)
116 * Implement lazy IPI cross-processor lwkt message passing.
117 * Add timeout functionality to lwkt_waitmsg().
118
119 ### Filesystem extended attributes
120 * Generic VFS attributes layer
121 * Emulate attributes ala Darwin
122 * Allow filesystems to define their own attribute vop ops
123 * QUESTIONS: Attributes or subfiles? The consensus is that subfiles are better?
124
125 ### Capabilities
126 * Implement something resembling or inspired by POSIX.1e
127 * This implementation could possibly exist in userland and interlock with the kernel via a VFS Journal or HAMMER mirroring ioctl's.
128 * These should be capable of supporting NFSv4 capabilities.
129 * References: [1](http://leaf.dragonflybsd.org/mailarchive/kernel/2006-07/msg00012.html)
130
131 ### Hardware virtualization extensions
132 * Increase performance of virtual kernels
133 * Make use of hardware virtualization extensions, if supported, to manage vmspaces
134 * Implement a KVM-compatible virtualization device to support qemu
135 * Hardware IOMMU support is not a priority and if implemented must be strictly optional.
136
137 ### Remove zalloc
138 * zalloc is a deprecated kernel interface and all current consumers can be ported to objcache, with varying levels of difficulty.
139 * zlib, pv entries
140 * Once all consumers are ported, zalloc can be removed.
141
142 ### Convert kprintf-enabling sysctl's to KTR's
143 * Many sysctl's simply enable one or more kernel kprintf's
144 * This can be very easy, or can be very unwieldy
145 * Convert all of these cases to ktr's, while slightly less easy they are far easier to wield in all cases.
146
147 ### Tear out C/H/S disk reporting
148 * Cylinders/Heads/Sectors are an outdated concept and the system doesn't rely on them anymore.
149 * Verify the assumption that we don't rely on them in any way, shape or form.
150 * Tear the reporting out of the kernel/installer/etc.
151
152 ### Change vm_map lookup algorithm
153 * The vm_map lookups currently use a Red-Black tree, since 2005.
154 * It has been decided that using an array'ized bucket'ized hash table is probably a better approach.
155 * References: [1](http://kerneltrap.org/mailarchive/freebsd-current/2010/10/1/6260944) [2](http://leaf.dragonflybsd.org/mailarchive/kernel/2005-01/msg00122.html)
156
157 ### Trampoline Code Page instead of direct syscalls
158 * Map a read/execute trampoline page into every process, which has a syscall table, i.e. is used instead of "int" to enter the kernel. This way we can easily change the kernel enter method from "int" to e.g. "sysenter" without having to recompile userland applications, or even implement some syscalls in userspace.
159
160 ### Compressed in-memory swap device
161 * A device that uses physical memory as swap space, but compresses it.
162 * Do we support stacking of swap space? For example, one would have this compressed in-memory swap device with highest priority. Replaced objects will be put into the next priority swap device (e.g. a SSD), and so on.
163
164 ### mmap MAP_ALIGN
165 * Solaris's mmap support a flag, MAP_ALIGN, where the address to mmap acts as an alignment hint
166 * Our backing VM calls support an alignment parameter, but our public mmap does not
167 * This would allow nmalloc to allocate slabs (64k, 64k-aligned) without wastage
168
169 ### vnode dumps
170 * It may be beneficial to be able to have crash dumps written to an ordinary file in configurations where swap is not configured.
171
172 ### vnode swap
173 * Add a vnode-backed swap pager that respects a file size limit, to allow paging to a "swap file" on a filesystem.
174
175 ### Kernel allocator feature enhancements
176 * Enhance objcache in a manner that will allow the initialization to specify allocation functions which will allocate and free entire slabs of memory, not just single objects.
177 * Rework the kmalloc allocator to sit on top of objcache (there are various dependencies to making this work).
178 * Create or sort out a metric for vnode/other cache object cycling rate that can indicate realistic memory pressure.
179 * Clear out free objcache slabs under memory pressure.
180 * Add reclaim functionality to objcache, such that it may ask consumers to free objects back into it under memory pressure.
181
182 ### Tear out serializers
183 * Serializers could be _carefully_ replaced with MTX locks?
184
185 ### Tear out condvars
186 * Conditional vars -- condvar(9), could be replaced with other locking primitives and our tsleep/wakeup interlock.
187
188 ### Partially rewrite buffer cache
189 * Buffer cache buffers map VM pages from the filesystems VM-backed vnodes, the "buffer space" is the maximum amount of virtual space to allocate to these buffers.
190 * When the buffer_map KVA space gets fragmented it caused very expensive defrag operations, the buffer_map KVA was recently increased to double the actual buffer space to allow full space utilization in the face of fragmentation and reduce the frequency of defrag operations.
191 * Rewrite the buffer cache to have separate spaces or separate buffer pools for different sizes (16, 32, 64, 128, 256... up to max).
192 * The vm_map API is used to allocate kvm out of the buffer_map.  If the buffer's KVAs are preallocated then things can basically just be setup linearly at boot time.
193
194 ### Sync wireless infrastructure / drivers from FreeBSD
195 * Rui Paulo ported the wireless infrastructure and ath drivers to DragonFly from FreeBSD in recent history. A lot has changed in the intervening time, the infrastructure should be synchronized/updated to match the state-of-the-art in FreeBSD. At a minimum the drivers that currently work in DragonFly should be tested to ensure functionality and updates as well or improved.
196
197 ### Add informational hardware-related sysctl's
198 * MacOS X exports a bunch of cpu-specific sysctl's detailing sizes, layout, features, etc. Most/all of this could be detected by a userspace program, but exporting these makes the barrier of entry to cpu-conditional code lower.
199 * Research which of these sysctl's is the most useful and add them, using the same node names as OSX.
200 1. hw.vectorunit = 1
201 1. hw.busfrequency = 100000000
202 1. hw.cpufrequency = 3062000000
203 1. hw.cachelinesize = 64
204 1. hw.l1icachesize = 32768
205 1. hw.l1dcachesize = 32768
206 1. hw.l2settings = 1
207 1. hw.l2cachesize = 262144
208 1. hw.l3settings = 1
209 1. hw.l3cachesize = 6291456
210 1. hw.tbfrequency = 1000000000
211 1. hw.activecpu: 2
212 1. hw.physicalcpu: 2
213 1. hw.physicalcpu_max: 2
214 1. hw.logicalcpu: 2
215 1. hw.logicalcpu_max: 2
216 1. hw.cputype: 7
217 1. hw.cpusubtype: 4
218 1. hw.cpu64bit_capable: 1
219 1. hw.cpufamily: 1418770316
220 1. hw.cacheconfig: 2 1 1 1 0 0 0 0 0 0
221 1. hw.cachesize: 2147483648 32768 262144 6291456 0 0 0 0 0 0
222 1. hw.busfrequency: 100000000
223 1. hw.busfrequency_min: 100000000
224 1. hw.busfrequency_max: 100000000
225 1. hw.cpufrequency: 3062000000
226 1. hw.cpufrequency_min: 3062000000
227 1. hw.cpufrequency_max: 3062000000
228 1. hw.cachelinesize: 64
229 1. hw.l1icachesize: 32768
230 1. hw.l1dcachesize: 32768
231 1. hw.l2cachesize: 262144
232 1. hw.l3cachesize: 6291456
233 1. hw.tbfrequency: 1000000000
234 1. hw.packages: 2
235 1. hw.optional.floatingpoint: 1
236 1. hw.optional.mmx: 1
237 1. hw.optional.sse: 1
238 1. hw.optional.sse2: 1
239 1. hw.optional.sse3: 1
240 1. hw.optional.supplementalsse3: 1
241 1. hw.optional.sse4_1: 1
242 1. hw.optional.sse4_2: 1
243 1. hw.optional.x86_64: 1
244 1. hw.optional.aes: 1
245 1. hw.optional.avx1_0: 1
246 1. hw.optional.rdrand: 0
247 1. hw.optional.f16c: 0
248 1. hw.optional.enfstrg: 0
249 1. machdep.cpu.max_basic: 13
250 1. machdep.cpu.max_ext: 2147483656
251 1. machdep.cpu.vendor: GenuineIntel
252 1. machdep.cpu.brand_string: Intel(R) Core(TM) i5-3470 CPU @ 3.20GHz
253 1. machdep.cpu.family: 6
254 1. machdep.cpu.model: 42
255 1. machdep.cpu.extmodel: 2
256 1. machdep.cpu.extfamily: 0
257 1. machdep.cpu.stepping: 7
258 1. machdep.cpu.feature_bits: 262929407 2660770315
259 1. machdep.cpu.extfeature_bits: 672139520 1
260 1. machdep.cpu.signature: 132775
261 1. machdep.cpu.brand: 0
262 1. machdep.cpu.features: FPU VME DE PSE TSC MSR PAE MCE CX8 APIC SEP MTRR PGE MCA CMOV PAT PSE36 CLFSH DS MMX FXSR SSE SSE2 SS SSE3 PCLMULQDQ MON SSSE3 CX16 SSE4.1 SSE4.2 POPCNT AES VMM XSAVE OSXSAVE AVX1.0
263 1. machdep.cpu.extfeatures: SYSCALL XD EM64T LAHF RDTSCP TSCI
264 1. machdep.cpu.cores_per_package: 1
265 1. machdep.cpu.microcode_version: 16
266 1. machdep.cpu.processor_flag: 0
267 1. machdep.cpu.mwait.linesize_min: 4096
268 1. machdep.cpu.mwait.linesize_max: 4096
269 1. machdep.cpu.mwait.extensions: 3
270 1. machdep.cpu.mwait.sub_Cstates: 4384
271 1. machdep.cpu.xsave.extended_state: 7 832 832 0
272 1. machdep.cpu.arch_perf.version: 1
273 1. machdep.cpu.arch_perf.number: 8
274 1. machdep.cpu.arch_perf.width: 48
275 1. machdep.cpu.arch_perf.events_number: 7
276 1. machdep.cpu.arch_perf.events: 127
277 1. machdep.cpu.arch_perf.fixed_number: 0
278 1. machdep.cpu.arch_perf.fixed_width: 0
279 1. machdep.cpu.cache.linesize: 64
280 1. machdep.cpu.cache.L2_associativity: 8
281 1. machdep.cpu.cache.size: 256
282 1. machdep.cpu.tlb.inst.small: 128
283 1. machdep.cpu.tlb.data.small: 64
284 1. machdep.cpu.tlb.data.large: 32
285 1. machdep.cpu.tlb.shared: 512
286 1. machdep.cpu.address_bits.physical: 40
287 1. machdep.cpu.address_bits.virtual: 48
288 1. machdep.cpu.core_count: 1
289 1. machdep.cpu.thread_count: 1
290
291
292 For more theoretical projects and project concepts see [[ResearchProjects|/docs/developer/ResearchProjectsPage]]