(no commit message)
[ikiwiki.git] / docs / howtos / HowToDPorts / index.mdwn
1 [[!toc  levels=3]]
2
3 # DPorts and pkg(8)
4
5 DPorts is DragonFly's own third-party software build system.  It is based on FreeBSD's Ports Collection.  Differences between ports and DPorts are intentionally kept to a minimum, both to maintain familiarity for mutual users of both operating systems and also to leverage the tremendous amount of work the FreeBSD contributors put into ports.  DPorts can and does feature ports unique to DragonFly, so it's truly a native system.
6
7 The __pkg(8)__ tool called "pkg" is a modern and fast binary package manager.  It was developed for FreeBSD, but PC-BSD used it in production first, followed soon after by DragonFly.  FreeBSD has since removed their legacy tools so __pkg(8)__ is exclusively used by FreeBSD as well.
8
9 __pkg(8)__ is not a replacement for port management tools like `ports-mgmt/portmaster` or `ports-mgmt/portupgrade`. While `ports-mgmt/portmaster` and `ports-mgmt/portupgrade` can install third-party software from both binary packages and DPorts, __pkg(8)__ installs only binary packages.  On the other hand, many people use __pkg(8)__ by itself and never install the optional portupgrade or portmaster tools.
10
11 ## Getting started with pkg(8)
12
13 DragonFly daily snapshots and Releases (starting with 3.4) come with __pkg(8)__ already installed.  Upgrades from earlier releases, however, will not have it.  If the "pkg" program is missing on the system for any reason, it can be quickly bootstrapped without having to build it from source or even having dports installed:
14
15     # cd /usr
16     # make pkg-bootstrap
17     # rehash
18     # pkg-static install -y pkg
19     # rehash
20
21 After any installation or reinstallation of the __pkg(8)__ package, you may want to open review the configuration files to customize it, e.g. select a different mirror.
22
23 ## Configuring pkg(8)
24
25 The __pkg(8)__ program has a configuration file at /usr/local/etc/pkg.conf (the default installation is typically fine and requires no alteration).  It uses a a separate location for repository configuration at /usr/local/etc/pkg/repos/ directory.
26
27 For fresh installations, the file /usr/local/etc/pkg/repos/df-latest.conf.sample is copied to /usr/local/etc/pkg/repos/df-latest so that __pkg(8)__ works out of the box.  The files ending in the ".sample" extension are ignored; __pkg(8)__ only reads files that end in ".conf" and it will read as many as it finds.  
28
29 The default is to use the California-based Avalon, which is also the master.  Avalon will have new packages first and they'll be updated as a set.  The others are mirrors and may be much, much faster depending on the user's location, but there will be a period between set updates where the mirror is mix of old and new packages.
30
31 The simple case is to use a single repository.  If you want to switch off the overloaded Avalon, simply change the *enabled* value of Avalon to "no" and enable a new single repository, e.g.:
32
33     Avalon: {
34         url             : pkg+http://mirror-master.dragonflybsd.org/dports/${ABI}/LATEST,
35         mirror_type     : NONE
36         [...]
37         enabled         : no
38     }
39     
40     Wolfpond: {
41         url             : http://pkg.wolfpond.org/${ABI}/LATEST,
42         enabled         : yes
43     }
44
45 The provided df-latest.conf may not be up to date.  There may be defunct repositories listed and there may be active mirrors that are not listed as options.  You may edit or add new repo configuration files as necessary.
46
47 It is possible to use multiple repositories.  The normal use case is that someone builds specific packages (e.g. using poudriere) which should have a higher priority over the official packages.  In other words, whenever a package has been built locally, __pkg(8)__ installs the local version and only uses the external repository to install packages not available locally.
48
49 In the above case, a custom repository configuration file should be created, and it should include the "priority" field, e.g. "priority: 10".  The higher the number, the higher the priority.  The priority when unspecified is 0.
50
51 The last output of "pkg -vv" lists all enable repositories and their priority values.
52
53 Before using, consult the man page (`man pkg`) and then try these examples:
54
55     # pkg search editors
56     # pkg install vim
57
58 ## Basic pkg(8) Operations
59
60 Usage information for __pkg(8)__ is available in the pkg(8) manual page, or by running `pkg` without additional arguments.
61
62 Each __pkg(8)__ command argument is documented in a command-specific manual page. To read the manual page for `pkg install`, for example, run either:
63
64     # pkg help install
65     # man pkg-install
66
67 ## Obtaining Information About Installed Packages with pkg(8)
68
69 Information about the packages installed on a system can be viewed by running `pkg info`. Similar to pkg_info(1), the package version and description for all packages will be listed.  Information about a specific package is available by running:
70
71     # pkg info packagename
72
73 For example, to see which version of __pkg(8)__ is installed on the system, run:
74
75     # pkg info pkg
76     pkg-1.0.12                   New generation package manager
77
78 ## Installing and Removing Packages with pkg(8)
79
80 In general, most DragonFly users will install binary packages by typing:
81
82     # pkg install <packagename>
83
84 For example, to install curl:
85
86     # pkg install curl
87
88     Updating repository catalogue
89     Repository catalogue is up-to-date, no need to fetch fresh copy
90     The following packages will be installed:
91     
92         Installing ca_root_nss: 3.13.5
93         Installing curl: 7.24.0
94     
95     The installation will require 4 MB more space
96     
97     1 MB to be downloaded
98     
99     Proceed with installing packages [y/N]: y
100     ca_root_nss-3.13.5.txz           100%    255KB   255.1KB/s  255.1KB/s   00:00
101     curl-7.24.0.txz                  100%   1108KB     1.1MB/s    1.1MB/s   00:00
102     Checking integrity... done
103     Installing ca_root_nss-3.13.5... done
104     Installing curl-7.24.0... done
105
106 The new package and any additional packages that were installed as dependencies can be seen in the installed packages list:
107
108     # pkg info
109     ca_root_nss-3.13.5    The root certificate bundle from the Mozilla Project
110     curl-7.24.0           Non-interactive tool to get files from FTP, GOPHER, HTTP(S) servers
111     pkg-1.0.12            New generation package manager
112
113 Packages that are no longer needed can be removed with `pkg delete`. For example, if it turns out that curl is not needed after all:
114
115     # pkg delete curl
116     The following packages will be deleted:
117     
118         curl-7.24.0_1
119     
120     The deletion will free 3 MB
121     
122     Proceed with deleting packages [y/N]: y
123     Deleting curl-7.24.0_1... done
124
125 ## Upgrading Installed Packages with pkg(8)
126
127 Packages that are outdated can be found with `pkg version`. If a local ports tree does not exist, pkg-version(8) will use the remote repository catalogue, otherwise the local ports tree will be used to identify package versions.
128
129 Packages can be upgraded to newer versions with __pkg(8)__. Suppose a new version of curl has been released. The local package can be upgraded to the new version:
130
131     # pkg upgrade
132     Updating repository catalogue
133     repo.txz            100%    297KB   296.5KB/s   296.5KB/s   00:00
134     The following packages will be upgraded:
135     
136     Upgrading curl: 7.24.0 -> 7.24.0_1
137     
138     1 MB to be downloaded
139     
140     Proceed with upgrading packages [y/N]: y
141     curl-7.24.0_1.txz   100%    1108KB  1.1MB/s       1.1MB/s   00:00
142     Checking integrity... done
143     Upgrading curl from 7.24.0 to 7.24.0_1... done
144
145 ## Auditing Installed Packages with pkg(8)
146
147 Occasionally, software vulnerabilities may be discovered in software within DPorts. __pkg(8)__ includes built-in auditing. To audit the software installed on the system, type:
148
149     # pkg audit -F
150
151 # Advanced pkg(8) Operations
152
153 ## Automatically Removing Leaf Dependencies with pkg(8)
154
155 Removing a package may leave behind unnecessary dependencies, like `security/ca_root_nss` in the example above. Such packages are still installed, but nothing depends on them any more. Unneeded packages that were installed as dependencies can be automatically detected and removed:
156
157     # pkg autoremove
158     Packages to be autoremoved:
159         ca_root_nss-3.13.5
160     
161     The autoremoval will free 723 kB
162     
163     Proceed with autoremoval of packages [y/N]: y
164     Deinstalling ca_root_nss-3.13.5... done
165
166 ## Backing Up the pkg(8) Package Database
167
168 __pkg(8)__ includes its own package database backup mechanism. To manually back up the package database contents, type:
169
170     # pkg backup -d <pkg.db>
171
172 Additionally, __pkg(8)__ includes a periodic(8) script to automatically back up the package database daily if `daily_backup_pkgng_enable` is set to `YES` in periodic.conf(5).   To prevent the `pkg_install` periodic script from also backing up the package database, set `daily_backup_pkgdb_enable` to `NO` in periodic.conf(5).
173
174 To restore the contents of a previous package database backup, run:
175
176     # pkg backup -r </path/to/pkg.db>
177
178 ## Removing Stale pkg(8) Packages
179
180 By default, __pkg(8)__ stores binary packages in a cache directory as defined by `PKG_CACHEDIR` in pkg.conf(5). When upgrading packages with pkg upgrade, old versions of the upgraded packages are not automatically removed.
181
182 To remove the outdated binary packages, type:
183
184     # pkg clean
185
186 ##Modifying pkg(8) Package Metadata
187
188 __pkg(8)__ has a couple of built-in commands to update package origins. 
189
190 _Note_: Previously it was recommended to use the -o option, e.g. "-o < category / oldport >:< category / newport >" but this option is deprecated and will be removed in the future.
191
192 _Note_: The --change-name (-n) option requires the package name.  Normally it's intuitive based on the name of the port, but not always.  To get the definitive name, the following command can be used:
193
194     # make -V PKGBASE -C /usr/dports/<category>/<portname>
195
196 For example, if `lang/php5` was originally at version 5.3, but has been renamed to lang/php53 for the inclusion of version 5.4, the package database can be updated to deal with this. For __pkg(8)__, the syntax is:
197
198     # pkg set -n <oldname>:<newname>
199
200 For example, to change the package origin for the above example, type:
201
202     # pkg set -n php5:php53
203
204 As another example, to update lang/ruby20 to lang/ruby21 (the current default), type:
205
206     # pkg set -n ruby20:ruby
207
208 As a final example, to change the origin of the libglut shared libraries from graphics/libglut to graphics/freeglut, type:
209
210     # pkg set -n libglut:freeglut
211
212 _Note_: When changing package origins, in most cases it is important to reinstall packages that are dependent on the package that has had the origin changed. To force a reinstallation of dependent packages, type:
213
214     # pkg install -Rf graphics/freeglut
215
216
217 # Bullet-proof (conflict-proof) upgrade technique
218
219 Several people have run into problem upgrading binary packages when default versions change (e.g. PHP default changes from version 5.4 to 5.6, or PostgreSQL default changes from 9.0 to 9.2).  Usually there are upgrading hints at /usr/dports/UPDATING, but there are issues with this method of communication
220
221  1. You must have /usr/dports installed and current, which kind of defeats the purpose of using binary packages
222  2. You usually don't go looking there until after you hit a failure
223  3. Proactively reading /usr/dports/UPDATING perhaps from [DragonFly's Gitweb](http://gitweb.dragonflybsd.org/dports.git/blob/HEAD:/UPDATING) would be the best approach, but honestly nobody is going to do that.
224
225 Additionally, over time Administrators install packages to evaluate them or otherwise don't need them any longer, but often the Administrators forget to remove the package and its dependencies later.  These extra packages still get upgraded unnecessarily.  
226
227 ## Technique Instructions
228
229 The following technique will guarantee conflict-proof, integral updates and at the same time allow manually pruning of unwanted packages.
230
231 ### Step 1: Get list of primary packages
232
233 For __pkg(8)__ version 1.5.1 or later, the "prime-list" alias is predefined in the pre-installed pkg.conf, so you can run the following command: 
234
235     > pkg prime-list > ~/prime.list
236  
237 If you are using an older version of package, or already had pkg.conf which was not overwritten, you can use the equivalent of the alias like so:
238
239     > pkg query -e "%a = 0" "%n" > ~/prime.list
240
241 The file ~/prime.list contains the list of packages that were manually installed.  For example, if an Administrator only requested on package to  be installed, Libreoffice, __pkg(8)__ might pull in 200 dependencies, but ~/prime.list would only contain the name of a single package.  
242
243 ### Step 2: Review and edit primary package list
244
245 Using your favorite editor, load ~/prime.list, which indicates which packages were manually installed.  If there are any packages that are no longer desired, simple delete the line that contains it.
246
247 ### Step 3: Wipe everything out
248
249 Now everything except package needs to be removed off the system.
250
251     > pkg delete -ay
252
253 ### Step 4: Upgrade the repository category
254
255 What we really want to do here is update the repository catalog, but if there's a newer version of __pkg(8)__, we can upgrade it at the same time.
256
257     > pkg upgrade
258
259 Say yes if __pkg(8)__ wants permission to update itself on the system.
260
261 ### Step 5: Cleanse the package cache
262
263 To avoid any possible reinstallation of a stale package, we want to remove obsolete packages from the cache.
264
265     > pkg clean -y
266
267 ### Step 6: Reinstall the primary packages
268
269 Now we reinstall the packages that we really want on the system and let __pkg(8)__ pull in the dependencies that are needed without fear of conflict.
270
271     > pkg install `cat ~/prime.list`
272
273 Provide affirmative answers to any confirmations __pkg(8)__ asks.
274
275 ## How to create the _prime-list_ alias for future use
276
277 Rather than try to remember that hard-to-type query, it's more convenient to define this command as an alias.  Note this is not necessary for new installations since around 22 April 2015 (The alias is predefined for __pkg(8)__ version 1.5.1 and later).  To defined the alias, create or append the */usr/local/etc/pkg.conf* file with the following:
278
279     ALIAS : {
280       prime-list: query -e "%a = 0" "%n",
281     }
282
283 If ALIAS is already defined, just add the prime-list line to the list.  You may review */usr/local/etc/pkg.conf.sample* for other ALIAS suggestions.  There are several useful ones offered there.
284
285 # Building DPorts from source
286
287 The average user will probably not build packages from source.  However, it's easy to do and it can be done even when packages have already been pre-installed on the system.  Common reasons to build from source are:
288
289 * The port is new and there's no pre-binary available yet
290 * The pre-built binaries use the default options and the user needs a package built with a different set of options
291 * Testing FreeBSD port in order to patch them and submit to DPorts
292 * The user just prefers building from source
293
294 ## Installing DPorts tree
295
296 DragonFly 3.4 or later is the minimum version that can build DPorts from source.
297
298 It's probably that pkgsrc binaries are already installed because it comes bootstrapped with new systems.  It is necessary to rename `/usr/pkg` directory so that the existing pkgsrc binary tools and libraries don’t get accidentally used while building DPorts, causing breakage.  For the installation of the DPorts tree, type:
299
300     # cd /usr
301     # make dports-create-shallow
302
303 If the `/usr/pkg directory` has already been renamed, `git` won’t be in the search path any more.  One option is to download a tarball of DPorts and unpack it.  To do this, type:
304
305     # cd /usr
306     # make dports-download
307
308 For future updates, pull delta changes via `git` is fastest, so it is suggested to convert the static tree to a git repository by typing:
309
310     # cd /usr/dports/devel/git
311     # make install
312     # cd /usr
313     # rm -rf /usr/dports
314     # make dports-create-shallow
315
316 The git repository is hosted on the [github account of DragonFly](https://github.com/DragonFlyBSD/DPorts/#readme).
317
318 ## Final thoughts
319
320 Building from source works similar to ports and pkgsrc: cd into the appropriate program's directory, and type 'make'. 'make install' to install the software, 'make clean' to clean up work files, and so on. Use 'make config-recursive' if you want to set all the port's options, and the options of its dependencies, immediately instead of during the build.
321
322 To take all the default build options and avoid getting the pop-up dialog box, set `NO_DIALOG=yes` on either the command line or the make.conf file.
323
324 If you just want to set the options for one package, and accept the default for all of its dependencies, do 'make config' in the package in you want non-default options, and then 'make NO_DIALOG=yes'.  Note that this is only necessary if you want to build from source with a non-default set of options, or if no pre-built binary package is available yet.
325
326 ## More reading
327 * How fix/add broken ports: [[docs/howtos/fixdports]]
328 * [Trick: How to get i386-only software via dports](http://leaf.dragonflybsd.org/mailarchive/users/2013-06/msg00023.html)
329
330 # Internal: Procedure to sync freebsd ports
331
332 This documentation is not intended for anyone other than the person(s) responsible for generating dports from the freebsd tree using the DragonFly BSD project's muscle server.  All of these commands are done as root.
333
334 ## Update the world / kernel of muscles
335
336 Ideally the host machine and the jail's world should match.  In reality, if changes are close, the jail's world can be newer but it's best that they always match.
337
338     # cd /usr/src
339     # make -j12 buildworld > /tmp/bw.log
340     # make -j12 kernel > /tmp/kernel.log
341     # make installworld > /tmp/iw.log
342     # make upgrade
343     # reboot 
344
345 ## Update the jail's world
346
347     # cd /root/adm/exec-dports-builder
348     # make update-world
349
350 Note that after a new release of DragonFly, a new world has to be create rather than updated.  This will appear in documentation later.
351
352 ## Bring in latest freebsd ports
353
354     # make update-ports
355
356 ## Purge the previous dports tree
357
358     # make merge-purge
359
360 This can take several minutes.
361
362 ## Merge the framework
363
364     # make merge-mk
365
366 It is very common that one or more of the patches will not apply.  If that happens:
367
368     1. su automaton
369     2. cd ~/DeltaPorts/special/Mk/diffs
370     3. Regenerate the diff patch or patches as necessary
371     4. exit
372     5. make merge-purge
373     6. make merge-mk
374
375 Repeat cycle until every diff patch applies.  When it's clear, issue this comand
376
377     # make sync-mk
378
379 ##  Merge everything
380
381     # make merge-purge
382     # make merge
383
384 This takes several minutes.  During the merge, you will almost certainly see ports fail to sync due to that port utilizing a "diff" against the freebsd which has changed since the last sync.   Take note of all failed ports.  If you lost that information, you can execute "make reject-list" command to see which ports failed to merge.  You can see the reject files at /usr/xports/[category]/[portname] for more information.
385
386 Each port has to be fixed before continuing.  The general process for doing this is:
387
388     # su automaton
389     # cd ~/Deltaports/ports/[category]/[portname]
390       (assuming that the Makefile diff failed to apply in this example):
391     # cp /usr/ports/[category]/[portname]/Makefile .
392     # dupe Makefile
393     # modify Makefile accordingly (see diffs/Makefile.diff)
394     # genpatch Makefile > diffs/Makefile.diff
395     # exit
396     # ./sync [category]/[portname]
397       (if the sync command has no output, then the fix was good)
398
399 ## Finish merge
400
401     # make rsync-tree
402
403 ## Prune old ports
404
405 Remove dports where the freebsd ports have been removed.
406
407     # make prune-confirm
408
409 ## Reclaim hard disk space
410
411     # make purge-distfiles
412
413 This removes all distfiles that are no longer needed.  It takes a few minutes, but it can reclaim gigabytes of space.  You can usually go a few months without running this command (so it's optional; skip it if you're in a hurry to get started).
414
415 ## Kick off full build
416
417     # make synth-full-run
418
419 This command takes 3-4 days to execute.