avoid obfuscation, be perspicuous.
[ikiwiki.git] / docs / howtos / HowToDPorts / index.mdwn
1 # DPorts and pkgng
2
3 Dports is DragonFly's own third-party software build system.  It is based on FreeBSD's Ports Collection.  Differences between ports and DPorts are intentionally kept to a minimum, both to maintain familiarity for mutual users of both operating systems and also to leverage the tremendous amount of work the FreeBSD contributors put into ports.  DPorts can and does feature ports unique to DragonFly, so it's truly a native system.
4
5 The __pkgng__ tool called "pkg" is a modern and fast binary package manager.  It was developed for FreeBSD, but PC-BSD used it in production first, followed soon after by DragonFly.  In the future, it will be the only binary package manager on FreeBSD just as it is for DPorts.
6
7 __pkgng__ is not a replacement for port management tools like `ports-mgmt/portmaster` or `ports-mgmt/portupgrade`. While `ports-mgmt/portmaster` and `ports-mgmt/portupgrade` can install third-party software from both binary packages and DPorts, __pkgng__ installs only binary packages.
8
9 ## Getting started with pkgng
10
11 DragonFly daily snapshots and Releases (starting with 3.4) come with __pkgng__ already installed.  However upgrades from earlier releases won't have it.  If the "pkg" program is missing on the system for any reason, it can be quickly bootstrapped without having to build it from source.
12
13 To ensure  __pkgng__ on a DragonFly BSD 3.4 or higher system is  ready for use, run the following BEFORE you try to use `pkg` the first time:
14
15     # cd /usr
16     # make dports-create
17     # rm -rf /usr/pkg
18     # pkg upgrade
19     # rehash
20
21 Since you may need to manually edit the configuration file `/usr/local/etc/pkg.conf`  here is the
22 usual command to edit it using the vi editor:
23
24      # vi /usr/local/etc/pkg.conf
25
26
27
28 Before using consult the man page (`man pkg`) and then try things like these examples:
29
30
31     # pkg search editors
32     # pkg install vim
33
34
35 To bootstrap __pkgng__ with a download on a very old version of DragonFly that is still using `pkgsrc` run:
36
37     # make pkg-bootstrap
38     # rehash
39     # pkg-static install -y pkg
40     # rehash
41
42 Note that this step is unnecessary for any newly installed release from DragonFly 3.4 onwards.
43
44 ## Configuring the pkgng Environment
45
46 NOTE: the environment variable is deprecated.  This documentation needs updates.
47
48 The __pkgng__ package management system uses a package repository for most operations. The default package repository location is defined in `/usr/local/etc/pkg.conf` or the `PACKAGESITE` environment variable, which overrides the configuration file.  Additional __pkgng__ configuration options are described in pkg.conf(5).  
49
50
51 The pkg.conf file comes preinstalled with the latest release repository pre-selected.
52
53     PACKAGESITE: http://avalon.dragonflybsd.org/dports/${ABI}/RELEASE
54
55 The RELEASE repository is static, but the LATEST repository is periodically updated.  If bleeding edge is wanted, change pkg.conf to reflect that:
56
57     PACKAGESITE: http://avalon.dragonflybsd.org/dports/${ABI}/LATEST
58
59 DragonFly users on the development branch can also use pre-built binary packages from the last release, but they will need to override the ABI in pkg.conf, e.g.:
60
61     ABI: dragonfly:3.4:x86:32  # for i386 platform
62     ABI: dragonfly:3.4:x86:64  # for x86-64 platform
63
64 There are already a few mirrors available which can be set in pkg.conf
65
66 * North America: http://avalon.dragonflybsd.org/dports/${ABI}/LATEST
67 * Europe: http://pkg.wolfpond.org/${ABI}/LATEST
68 * Europe: http://mirrors.ircam.fr/pub/DragonFlyBSD-dports/${ABI}/LATEST
69 * Europe: http://dfly.schlundtech.de/dports/${ABI}/LATEST
70
71 All the above european mirrors are IPV6-enabled.
72
73 ## Basic pkgng Operations
74
75 Usage information for __pkgng__ is available in the pkg(8) manual page, or by running `pkg` without additional arguments.
76
77 Each __pkgng__ command argument is documented in a command-specific manual page. To read the manual page for `pkg install`, for example, run either:
78
79     # pkg help install
80     # man pkg-install
81
82 ## Obtaining Information About Installed Packages with pkgng
83
84 Information about the packages installed on a system can be viewed by running `pkg info`. Similar to pkg_info(1), the package version and description for all packages will be listed.  Information about a specific package is available by running:
85
86     # pkg info packagename
87
88 For example, to see which version of __pkgng__ is installed on the system, run:
89
90     # pkg info pkg
91     pkg-1.0.12                   New generation package manager
92
93 ## Installing and Removing Packages with pkgng
94
95 In general, most DragonFly users will install binary packages by typing:
96
97     # pkg install <packagename>
98
99 For example, to install curl:
100
101     # pkg install curl
102
103     Updating repository catalogue
104     Repository catalogue is up-to-date, no need to fetch fresh copy
105     The following packages will be installed:
106     
107         Installing ca_root_nss: 3.13.5
108         Installing curl: 7.24.0
109     
110     The installation will require 4 MB more space
111     
112     1 MB to be downloaded
113     
114     Proceed with installing packages [y/N]: y
115     ca_root_nss-3.13.5.txz           100%    255KB   255.1KB/s  255.1KB/s   00:00
116     curl-7.24.0.txz                  100%   1108KB     1.1MB/s    1.1MB/s   00:00
117     Checking integrity... done
118     Installing ca_root_nss-3.13.5... done
119     Installing curl-7.24.0... done
120
121 The new package and any additional packages that were installed as dependencies can be seen in the installed packages list:
122
123     # pkg info
124     ca_root_nss-3.13.5    The root certificate bundle from the Mozilla Project
125     curl-7.24.0           Non-interactive tool to get files from FTP, GOPHER, HTTP(S) servers
126     pkg-1.0.12            New generation package manager
127
128 Packages that are no longer needed can be removed with `pkg delete`. For example, if it turns out that curl is not needed after all:
129
130     # pkg delete curl
131     The following packages will be deleted:
132     
133         curl-7.24.0_1
134     
135     The deletion will free 3 MB
136     
137     Proceed with deleting packages [y/N]: y
138     Deleting curl-7.24.0_1... done
139
140 ## Upgrading Installed Packages with pkgng
141
142 Packages that are outdated can be found with `pkg version`. If a local ports tree does not exist, pkg-version(8) will use the remote repository catalogue, otherwise the local ports tree will be used to identify package versions.
143
144 Packages can be upgraded to newer versions with __pkgng__. Suppose a new version of curl has been released. The local package can be upgraded to the new version:
145
146     # pkg upgrade
147     Updating repository catalogue
148     repo.txz            100%    297KB   296.5KB/s   296.5KB/s   00:00
149     The following packages will be upgraded:
150     
151     Upgrading curl: 7.24.0 -> 7.24.0_1
152     
153     1 MB to be downloaded
154     
155     Proceed with upgrading packages [y/N]: y
156     curl-7.24.0_1.txz   100%    1108KB  1.1MB/s       1.1MB/s   00:00
157     Checking integrity... done
158     Upgrading curl from 7.24.0 to 7.24.0_1... done
159
160 ## Auditing Installed Packages with pkgng
161
162 Occasionally, software vulnerabilities may be discovered in software within DPorts. __pkgng__ includes built-in auditing. To audit the software installed on the system, type:
163
164     # pkg audit -F
165
166 # Advanced pkgng Operations
167
168 ## Automatically Removing Leaf Dependencies with pkgng
169
170 Removing a package may leave behind unnecessary dependencies, like `security/ca_root_nss` in the example above. Such packages are still installed, but nothing depends on them any more. Unneeded packages that were installed as dependencies can be automatically detected and removed:
171
172     # pkg autoremove
173     Packages to be autoremoved:
174         ca_root_nss-3.13.5
175     
176     The autoremoval will free 723 kB
177     
178     Proceed with autoremoval of packages [y/N]: y
179     Deinstalling ca_root_nss-3.13.5... done
180
181 ## Backing Up the pkgng Package Database
182
183 __pkgng__ includes its own package database backup mechanism. To manually back up the package database contents, type:
184
185     # pkg backup -d <pkgng.db>
186
187 Additionally, __pkgng__ includes a periodic(8) script to automatically back up the package database daily if `daily_backup_pkgng_enable` is set to `YES` in periodic.conf(5).   To prevent the `pkg_install` periodic script from also backing up the package database, set `daily_backup_pkgdb_enable` to `NO` in periodic.conf(5).
188
189 To restore the contents of a previous package database backup, run:
190
191     # pkg backup -r </path/to/pkgng.db>
192
193 ## Removing Stale pkgng Packages
194
195 By default, __pkgng__ stores binary packages in a cache directory as defined by `PKG_CACHEDIR` in pkg.conf(5). When upgrading packages with pkg upgrade, old versions of the upgraded packages are not automatically removed.
196
197 To remove the outdated binary packages, type:
198
199     # pkg clean
200
201 ##Modifying pkgng Package Metadata
202
203 __pkgng__ has a built-in command to update package origins. For example, if `lang/php5` was originally at version 5.3, but has been renamed to lang/php53 for the inclusion of version 5.4, the package database can be updated to deal with this. For __pkgng__, the syntax is:
204
205     # pkg set -o <category/oldport>:<category/newport>
206
207 For example, to change the package origin for the above example, type:
208
209     # pkg set -o lang/php5:lang/php53
210
211 As another example, to update lang/ruby18 to lang/ruby19, type:
212
213     # pkg set -o lang/ruby18:lang/ruby19
214
215 As a final example, to change the origin of the libglut shared libraries from graphics/libglut to graphics/freeglut, type:
216
217     # pkg set -o graphics/libglut:graphics/freeglut
218
219 _Note_: When changing package origins, in most cases it is important to reinstall packages that are dependent on the package that has had the origin changed. To force a reinstallation of dependent packages, type:
220
221     # pkg install -Rf graphics/freeglut
222
223 # Building DPorts from source
224
225 The average user will probably not build packages from source.  However, it's easy to do and it can be done even when packages have already been pre-installed on the system.  Common reasons to build from source are:
226
227 * The port is new and there's no pre-binary available yet
228 * The pre-built binaries use the default options and the user needs a package built with a different set of options
229 * Testing FreeBSD port in order to patch them and submit to DPorts
230 * The user just prefers building from source
231
232 ## Installing DPorts tree
233
234 DragonFly 3.4 or later is the minimum version that can build DPorts from source.
235
236 It's probably that pkgsrc binaries are already installed because it comes bootstrapped with new systems.  It is necessary to rename `/usr/pkg` directory so that the existing pkgsrc binary tools and libraries don’t get accidentally used while building DPorts, causing breakage.  For the installation of the DPorts tree, type:
237
238     # cd /usr
239     # make dports-create-shallow
240
241 If the `/usr/pkg directory` has already been renamed, `git` won’t be in the search path any more.  One option is to download a tarball of DPorts and unpack it.  To do this, type:
242
243     # cd /usr
244     # make dports-download
245
246 For future updates, pull delta changes via `git` is fastest, so it is suggested to convert the static tree to a git repository by typing:
247
248     # cd /usr/dports/devel/git
249     # make install
250     # cd /usr
251     # rm -rf /usr/dports
252     # make dports-create-shallow
253
254 The git repository is hosted on the [github account of John Marino](https://github.com/jrmarino/DPorts/#readme).
255
256 ## Final thoughts
257
258 Building from source works similar to ports and pkgsrc: cd into the appropriate program's directory, and type 'make'. 'make install' to install the software, 'make clean' to clean up work files, and so on. Use 'make config-recursive' if you want to set all the port's options, and the options of its dependencies, immediately instead of during the build.
259
260 To take all the default build options and avoid getting the pop-up dialog box, set `NO_DIALOG=yes` on either the command line or the make.conf file.
261
262 If you just want to set the options for one package, and accept the default for all of its dependencies, do 'make config' in the package in you want non-default options, and then 'make NO_DIALOG=yes'.  Note that this is only necessary if you want to build from source with a non-default set of options, or if no pre-built binary package is available yet.
263
264 ## More reading
265 * How fix/add broken ports: [[docs/howtos/fixdports]]
266 * [Trick: How to get i386-only software via dports](http://leaf.dragonflybsd.org/mailarchive/users/2013-06/msg00023.html)