More X.org installation notes
[ikiwiki.git] / docs / developer / GEMdrmKMS / index.mdwn
1 # Port of GEM and KMS
2
3 ## Status
4
5 The latest drm code from FreeBSD 9.x current has been successfully ported to DragonFly BSD, [patch](http://leaf.dragonflybsd.org/~davshao/r600fbsd.diff) and git branch **r600fbsd** git://leaf.dragonflybsd.org/~davshao/dragonfly.git, and tested with a Radeon HD 4550 on an x86_64 machine (Shuttle SG45H7).  However it must be remembered that testing has only been done with this one graphics card and it is completely unknown whether say an Intel machine will lock up solid.  Also nothing was done to port the extensive Via drivers FreeBSD has already ported.
6
7 ## Introduction or what the heck is being talked about
8
9 We are talking about modern graphics card drivers that have already or are in the process of being written for Linux.  Fortunately for the BSDs the source code that is the basis of these drivers, part hosted in git repositories accessible from [freedesktop.org](http://cgit.freedesktop.org/), and even the part that is now residing in the Linux kernel, is mostly licensed under terms compatible with the [MIT X License](http://www.opensource.org/licenses/mit-license.php), and therefore can be directly ported to DragonFly.
10
11 When we refer to DRM, we are referring to the [Direct Render Manager](http://dri.freedesktop.org/wiki/DRM) that is a kernel module arbitrating requests for various graphics related services.  Because of this acronym, the source code for DragonFly's DRM module can be found in directory **sys/dev/drm**, while the source code for Linux'd DRM module has been split into **include/drm** hosting common header files and **drivers/gpu/drm**.  Furthermore the Linux files have had vendor specific code split off into their own separate directories, a change the BSDs should consider since having all files in one directory is becoming rather unwieldy.
12
13 ## Previous work makes the port possible
14
15 Simply take a diff of the FreeBSD and DragonFlyBSD versions of DRM and one can readily see that the hard work of translating the semantics of the locking for the Linux drivers has mostly been done, and better still can be done almost automatically.  The FreeBSD port represents the limits of what can be ported having worked out exclusive access mechanisms, but not having completely worked out equivalents of other Linux APIs such as **idr**, small integer ID management.
16
17 ## What has been done and should be done
18
19 The software used for graphics whether the kernel or Mesa is surprisingly resilient.  As long as it compiles it will try and find a way with dealing with other mismatched components by falling back on default behavior.  Working on a fast x86_64 machine, it is easy to be lulled into a false sense that things are working properly unless one checks the logs.
20
21 ### **dmesg* output
22
23 Here the proper kernel module appears to be loaded.  I wasted quite a bit of time earlier this week not realizing an error that led to the kernel module not being loaded at all that appeared from the messages to be a device non-existence problem.
24
25     drm0: <ATI Radeon HD 4550> on vgapci0
26     vgapci0: child drm0 requested pci_enable_busmaster
27     info: [drm] Initialized radeon 1.31.0 20080613
28     info: [drm] Setting GART location based on new memory map
29     info: [drm] Loading RV710 Microcode
30     info: [drm] Resetting GPU
31     info: [drm] writeback test succeeded in 1 usecs
32
33 ### **var/log/Xorg.0.log** output
34
35 Somewhere on one's system are the logs of the latest startup of the X server and the modules it finds.  There can be an alternate place if one installs a second X.org, say at */opt/xtest*, in which case instead of **/var/log/Xorg.0.log** one will look in **/opt/xtest/var/log/Xorg.0.log**.
36
37 Here's a case of a failure where things are fine: I am composing this wiki from within Firefox 3.6.3 on a system where the proper module fails to load and yet where because of the machine's speed there is no discernible problem.
38
39     drmOpenDevice: node name is /dev/dri/card0
40     drmOpenDevice: open result is 10, (OK)
41     drmOpenByBusid: Searching for BusID pci:0000:01:00.0
42     drmOpenDevice: node name is /dev/dri/card0
43     drmOpenDevice: open result is 10, (OK)
44     drmOpenByBusid: drmOpenMinor returns 10
45     drmOpenByBusid: drmGetBusid reports pci:0000:01:00.0
46     (EE) AIGLX error: dlopen of /usr/pkg/lib/dri/r600_dri.so failed (Cannot open "/usr/pkg/lib/dri/r600_dri.so")
47     (EE) AIGLX: reverting to software rendering
48     (II) AIGLX: Loaded and initialized /usr/pkg/lib/dri/swrast_dri.so
49
50 The Mesa 7.4.x series simply didn't *have* an r600_drv.so driver so of course it can't be found.  Mesa happily falls back to using software rendering and nothing seems greatly wrong.
51
52 Now here is an example using latest Mesa and everything else from git where the driver is found:
53
54     [    95.404] drmOpenDevice: node name is /dev/dri/card0
55     [    95.405] drmOpenDevice: open result is 11, (OK)
56     [    95.405] drmOpenByBusid: Searching for BusID pci:0000:01:00.0
57     [    95.405] drmOpenDevice: node name is /dev/dri/card0
58     [    95.405] drmOpenDevice: open result is 11, (OK)
59     [    95.405] drmOpenByBusid: drmOpenMinor returns 11
60     [    95.405] drmOpenByBusid: drmGetBusid reports pci:0000:01:00.0
61     [    95.507] (II) AIGLX: enabled GLX_MESA_copy_sub_buffer
62     [    95.507] (II) AIGLX: enabled GLX_SGI_make_current_read
63     [    95.507] (II) AIGLX: enabled GLX_texture_from_pixmap with driver support
64     [    95.507] (II) AIGLX: Loaded and initialized /opt/xtest/lib/dri/r600_dri.so
65     [    95.507] (II) GLX: Initialized DRI GL provider for screen 0
66     [    95.508] (II) RADEON(0): Setting screen physical size to 508 x 285
67
68 Ironically I knew I was on the right track porting the latest git versions of the X.org stack when I succeeded in locking up hard my machine.  That meant a real hardware acceleration module was being loaded by that the previous kernel could not handle it, which was why the latest drm from FreeBSD had to be imported for Radeon r600.
69
70 ## Installing from pkgsrc
71
72 As of 2010-05-09, I find it necessary on x86_64 to use the following patch for
73 pkgsrc gstreamer0.10, an eventual dependency of the full xfce desktop:
74
75     --- pkgsrc/multimedia/gstreamer0.10/Makefile.orig       2010-03-29 16:04:23 -0700
76     +++ pkgsrc/multimedia/gstreamer0.10/Makefile    2010-03-29 16:09:04 -0700
77     @@ -44,6 +44,11 @@
78  
79      .include "../../mk/bsd.prefs.mk"
80  
81     +# __udivti3 error otherwise
82     +.if ${OPSYS} == "DragonFly" && ${MACHINE_ARCH} == "x86_64"
83     +MAKEFLAGS+=    CCVER=gcc44
84     +.endif
85     +
86      .if ${OPSYS} == "NetBSD"
87      # We must have a glib2 compiled with the RTLD_GLOBAL fix; if not, plugins
88      # won't work at all.
89
90 See for example the following bug report for more details:
91 <http://mail-index.netbsd.org/pkgsrc-bugs/2010/03/30/msg037304.html>
92
93 ## Building a separate version of X.org
94
95 We try something **ill-advised**, we build a separate version of X.org in another directory, say */opt/xbeta*,
96 on the same machine where we have installed the latext pkgsrc.  We do this because we have no choice but to
97 use the graphics hardware on this machine, but the risk is that it is very easy to link the wrong libraries
98 from pkgsrc.
99
100 ### expat and gettext
101
102 We start with installing into */opt/xbeta* [expat 2.0.1](http://sourceforge.net/projects/expat/)
103 and [gettext 0.17](http://www.gnu.org/software/gettext/).
104
105 ### Git repository for most of X.org
106
107 We use the following listing:
108
109 [freedesktop.org git repository browser](http://cgit.freedesktop.org/)
110
111 One can easily script getting, updating, and building the projects listed on that page.
112
113 ### Example of using ldd
114
115     $ ldd ./libXau.so.6          
116     ./libXau.so.6:
117         libc.so.7 => /usr/lib/libc.so.7 (0x800640000)
118     $ ldd ./libXdmcp.so.6        
119     ./libXdmcp.so.6:
120         libc.so.7 => /usr/lib/libc.so.7 (0x800640000)
121
122 ### libxcb problem with Python 2.6 cElementTree
123
124 Library *xcb/libxcb* unfortunately needs to be built early and there is a catch for
125 using pkgsrc Python 2.6.  Unfortunately at the current time not all of
126 *cElementTree* appears to be functional; therefore, one needs a patch similar to
127
128     diff --git a/src/c_client.py b/src/c_client.py
129     index d86d05e..36a7039 100755
130     --- a/src/c_client.py
131     +++ b/src/c_client.py
132     @@ -1,5 +1,5 @@
133      #!/usr/bin/env python
134     -from xml.etree.cElementTree import *
135     +from xml.etree.ElementTree import *
136      from os.path import basename
137      import getopt
138      import sys
139
140 ### libXext
141
142       CCLD   libXext.la
143     /usr/libexec/binutils217/elf/ld: .libs/extutil.o: relocation R_X86_64_PC32 against `xgeExtRegister' can not be used when making a shared   object; recompile with -fPIC
144     /usr/libexec/binutils217/elf/ld: final link failed: Bad value
145
146 Use the following patch from <http://lists.x.org/archives/xorg-devel/2009-November/003724.html>
147
148     diff --git a/src/Xge.c b/src/Xge.c
149     index 7a583e5..2ea5d27 100644
150     --- a/src/Xge.c
151     +++ b/src/Xge.c
152     @@ -294,7 +294,7 @@ _xgeEventToWire(Display* dpy, XEvent* re, xEvent* event)
153      /*
154       * Extensions need to register callbacks for their events.
155       */
156     -Bool
157     +_X_HIDDEN Bool
158      xgeExtRegister(Display* dpy, int offset, XExtensionHooks* callbacks)
159      {
160          XGEExtNode* newExt;
161
162 ### FreeType 2
163
164 We install [FreeType 2.3.12](http://www.freetype.org/).  It appears that *GNUMAKE=gmake* is required.
165 Most of the X.org projects use *autogen.sh*, but here we use a standard call to *configure* somewhat
166 similar to:
167
168         export ACLOCAL="aclocal -I ${PREFIX}/share/aclocal"
169         export PKG_CONFIG_PATH="${PREFIX}/lib/pkgconfig"
170         GNUMAKE=gmake ./configure --prefix=${PREFIX} CPPFLAGS="-I${PREFIX}/include -I${PREFIX}/X11/include" LDFLAGS="-L${PREFIX}/lib -Wl,-rpath -Wl,${PREFIX}/lib -L${PREFIX}/X11/lib -Wl,-rpath -Wl,${PREFIX}/lib/X11"
171
172 where *$PREFIX* is where we install X.org, say */opt/xbeta*,
173 the first two exports of *ACLOCAL* and *PKG_CONFIG_PATH* occur for most X.org projects,
174 *CPPFLAGS* and *LDFLAGS* ensure that the *$PREFIX* include directories and library paths
175 are used, and *-Wl,-rpath ...* is an incantation that ensures that previous built
176 *libtool* libraries can be used.
177
178 ### libXfont
179
180 *autogen.sh* script seems to build easier with
181     --without-xmlto
182 option.
183
184 ### Mesa
185
186 As of 2010-05-09, known problem with GNU m4 pkgsrc on DragonFly
187
188     /usr/pkg/bin/gm4: m4_esyscmd subprocess failed: Operation not permitted
189     /usr/pkg/bin/gm4:configure.ac:8: cannot run command `${MAKE-make} -s -f bin/version.mk version | tr -d '\n'': Operation not permitted
190     configure.ac:8: error: Failed to get the Mesa version from `make -f bin/version.mk version`
191
192 For now just manually run command
193     $ make -f bin/version.mk version
194     7.9.0
195 and substitute it using a patch similar to
196
197     diff --git a/configure.ac b/configure.ac
198     index c40c842..224a858 100644
199     --- a/configure.ac
200     +++ b/configure.ac
201     @@ -4,7 +4,7 @@ AC_PREREQ([2.59])
202  
203      dnl Versioning - scrape the version from configs/default
204      m4_define([mesa_version],
205     -    [m4_esyscmd([${MAKE-make} -s -f bin/version.mk version | tr -d '\n'])])
206     +    [7.9.0])])
207      m4_ifval(mesa_version,,
208          [m4_fatal([Failed to get the Mesa version from `make -f bin/version.mk version`])])
209
210 ### xserver
211
212       YACC   parser.c
213     bison: m4 subprocess failed: Operation not permitted
214     gmake[3]: *** [parser.c] Error 1
215
216 I'm fed up: I'm going to see if applying some patches to GNU m4 and bison can fix this.