No commit message specified.
[ikiwiki.git] / docs / howtos / HowToDPorts / index.mdwn
1 # DPorts and pkgng
2
3 Dports is DragonFly's own third-party software build system.  It is based on FreeBSD's Ports Collection.  Differences between ports and DPorts are intentionally kept to a minimum, both to maintain familiarity for mutual users of both operating systems and also to leverage the tremendous amount of work the FreeBSD contributors put into ports.  DPorts can and does feature ports unique to DragonFly, so it's truly a native system.
4
5 The __pkgng__ tool called "pkg" is a modern and fast binary package manager.  It was developed for FreeBSD, but PC-BSD used it in production first, followed soon after by DragonFly.  In the future, it will be the only binary package manager on FreeBSD, just as DPorts is currently the only port manager.
6
7 __pkgng__ is not a replacement for port management tools like `ports-mgmt/portmaster` or `ports-mgmt/portupgrade`. While `ports-mgmt/portmaster` and `ports-mgmt/portupgrade` can install third-party software from both binary packages and DPorts, __pkgng__ installs only binary packages.
8
9 ## Getting started with pkgng
10
11 DragonFly daily snapshots and Releases (starting with 3.4) come with __pkgng__ already installed.  Upgrades from earlier releases, however, will not have it.  If the "pkg" program is missing on the system for any reason, it can be quickly bootstrapped without having to build it from source.
12
13 To ensure  __pkgng__ on a DragonFly BSD 3.4 or higher system is  ready for use, run the following BEFORE you try to use `pkg` the first time:
14
15     # cd /usr
16     # make dports-create
17     # rm -rf /usr/pkg
18     # pkg upgrade
19     # rehash
20
21 Since you may need to manually edit the configuration file `/usr/local/etc/pkg.conf`, here is the
22 usual command to edit it using the vi editor:
23
24      # vi /usr/local/etc/pkg.conf
25
26 Before using consult the man page (`man pkg`) and then try these examples:
27
28     # pkg search editors
29     # pkg install vim
30
31
32 To bootstrap __pkgng__ with a download on a very old version of DragonFly that is still using `pkgsrc` run:
33
34     # make pkg-bootstrap
35     # rehash
36     # pkg-static install -y pkg
37     # rehash
38
39 Note that this step is unnecessary for any newly installed release from DragonFly 3.4 onwards.
40
41 ## Configuring pkgng
42
43 Information previously contained in here worked for older versions of pkg, but as pkgng has undergone some changes, so too have the configurations.
44
45 Previously, /usr/local/etc/pkg.conf was used and reference to a PACKAGESITE was made.  pkgng will still work, but a warning will pop up.
46
47 # pkg update
48 pkg: PACKAGESITE in pkg.conf is deprecated. Please create a repository configuration file
49 Updating repository catalogue
50 pkg: Warning: use of http:// URL scheme with SRV records is deprecated: switch to pkg+http://
51
52 Listen to the errors: hash out the packagesite line, save the file, and move on.
53
54 Go to /usr/local/etc/pkg/repos/
55
56 You should see something like this with an ls
57
58 df-latest.conf.sample   df-releases.conf.sample
59
60 cp or mv one of them to be .conf
61
62 edit the one you choose and make the following changes. (I edited the latest version)
63
64 Avalon: {
65         url             : pkg+http://mirror-master.dragonflybsd.org/dports/${ABI}/L\
66 ATEST,
67         mirror_type     : SRV,
68         signature_type  : NONE,
69         pubkey          : NONE,
70         fingerprints    : /usr/share/fingerprints,
71         enabled         : yes
72 }
73
74 Depending on when and how you installed and/or upgraded, you may have to chmod 644 the file first to be able to edit it.
75
76 ## Basic pkgng Operations
77
78 Usage information for __pkgng__ is available in the pkg(8) manual page, or by running `pkg` without additional arguments.
79
80 Each __pkgng__ command argument is documented in a command-specific manual page. To read the manual page for `pkg install`, for example, run either:
81
82     # pkg help install
83     # man pkg-install
84
85 ## Obtaining Information About Installed Packages with pkgng
86
87 Information about the packages installed on a system can be viewed by running `pkg info`. Similar to pkg_info(1), the package version and description for all packages will be listed.  Information about a specific package is available by running:
88
89     # pkg info packagename
90
91 For example, to see which version of __pkgng__ is installed on the system, run:
92
93     # pkg info pkg
94     pkg-1.0.12                   New generation package manager
95
96 ## Installing and Removing Packages with pkgng
97
98 In general, most DragonFly users will install binary packages by typing:
99
100     # pkg install <packagename>
101
102 For example, to install curl:
103
104     # pkg install curl
105
106     Updating repository catalogue
107     Repository catalogue is up-to-date, no need to fetch fresh copy
108     The following packages will be installed:
109     
110         Installing ca_root_nss: 3.13.5
111         Installing curl: 7.24.0
112     
113     The installation will require 4 MB more space
114     
115     1 MB to be downloaded
116     
117     Proceed with installing packages [y/N]: y
118     ca_root_nss-3.13.5.txz           100%    255KB   255.1KB/s  255.1KB/s   00:00
119     curl-7.24.0.txz                  100%   1108KB     1.1MB/s    1.1MB/s   00:00
120     Checking integrity... done
121     Installing ca_root_nss-3.13.5... done
122     Installing curl-7.24.0... done
123
124 The new package and any additional packages that were installed as dependencies can be seen in the installed packages list:
125
126     # pkg info
127     ca_root_nss-3.13.5    The root certificate bundle from the Mozilla Project
128     curl-7.24.0           Non-interactive tool to get files from FTP, GOPHER, HTTP(S) servers
129     pkg-1.0.12            New generation package manager
130
131 Packages that are no longer needed can be removed with `pkg delete`. For example, if it turns out that curl is not needed after all:
132
133     # pkg delete curl
134     The following packages will be deleted:
135     
136         curl-7.24.0_1
137     
138     The deletion will free 3 MB
139     
140     Proceed with deleting packages [y/N]: y
141     Deleting curl-7.24.0_1... done
142
143 ## Upgrading Installed Packages with pkgng
144
145 Packages that are outdated can be found with `pkg version`. If a local ports tree does not exist, pkg-version(8) will use the remote repository catalogue, otherwise the local ports tree will be used to identify package versions.
146
147 Packages can be upgraded to newer versions with __pkgng__. Suppose a new version of curl has been released. The local package can be upgraded to the new version:
148
149     # pkg upgrade
150     Updating repository catalogue
151     repo.txz            100%    297KB   296.5KB/s   296.5KB/s   00:00
152     The following packages will be upgraded:
153     
154     Upgrading curl: 7.24.0 -> 7.24.0_1
155     
156     1 MB to be downloaded
157     
158     Proceed with upgrading packages [y/N]: y
159     curl-7.24.0_1.txz   100%    1108KB  1.1MB/s       1.1MB/s   00:00
160     Checking integrity... done
161     Upgrading curl from 7.24.0 to 7.24.0_1... done
162
163 ## Auditing Installed Packages with pkgng
164
165 Occasionally, software vulnerabilities may be discovered in software within DPorts. __pkgng__ includes built-in auditing. To audit the software installed on the system, type:
166
167     # pkg audit -F
168
169 # Advanced pkgng Operations
170
171 ## Automatically Removing Leaf Dependencies with pkgng
172
173 Removing a package may leave behind unnecessary dependencies, like `security/ca_root_nss` in the example above. Such packages are still installed, but nothing depends on them any more. Unneeded packages that were installed as dependencies can be automatically detected and removed:
174
175     # pkg autoremove
176     Packages to be autoremoved:
177         ca_root_nss-3.13.5
178     
179     The autoremoval will free 723 kB
180     
181     Proceed with autoremoval of packages [y/N]: y
182     Deinstalling ca_root_nss-3.13.5... done
183
184 ## Backing Up the pkgng Package Database
185
186 __pkgng__ includes its own package database backup mechanism. To manually back up the package database contents, type:
187
188     # pkg backup -d <pkgng.db>
189
190 Additionally, __pkgng__ includes a periodic(8) script to automatically back up the package database daily if `daily_backup_pkgng_enable` is set to `YES` in periodic.conf(5).   To prevent the `pkg_install` periodic script from also backing up the package database, set `daily_backup_pkgdb_enable` to `NO` in periodic.conf(5).
191
192 To restore the contents of a previous package database backup, run:
193
194     # pkg backup -r </path/to/pkgng.db>
195
196 ## Removing Stale pkgng Packages
197
198 By default, __pkgng__ stores binary packages in a cache directory as defined by `PKG_CACHEDIR` in pkg.conf(5). When upgrading packages with pkg upgrade, old versions of the upgraded packages are not automatically removed.
199
200 To remove the outdated binary packages, type:
201
202     # pkg clean
203
204 ##Modifying pkgng Package Metadata
205
206 __pkgng__ has a built-in command to update package origins. For example, if `lang/php5` was originally at version 5.3, but has been renamed to lang/php53 for the inclusion of version 5.4, the package database can be updated to deal with this. For __pkgng__, the syntax is:
207
208     # pkg set -o <category/oldport>:<category/newport>
209
210 For example, to change the package origin for the above example, type:
211
212     # pkg set -o lang/php5:lang/php53
213
214 As another example, to update lang/ruby18 to lang/ruby19, type:
215
216     # pkg set -o lang/ruby18:lang/ruby19
217
218 As a final example, to change the origin of the libglut shared libraries from graphics/libglut to graphics/freeglut, type:
219
220     # pkg set -o graphics/libglut:graphics/freeglut
221
222 _Note_: When changing package origins, in most cases it is important to reinstall packages that are dependent on the package that has had the origin changed. To force a reinstallation of dependent packages, type:
223
224     # pkg install -Rf graphics/freeglut
225
226 # Building DPorts from source
227
228 The average user will probably not build packages from source.  However, it's easy to do and it can be done even when packages have already been pre-installed on the system.  Common reasons to build from source are:
229
230 * The port is new and there's no pre-binary available yet
231 * The pre-built binaries use the default options and the user needs a package built with a different set of options
232 * Testing FreeBSD port in order to patch them and submit to DPorts
233 * The user just prefers building from source
234
235 ## Installing DPorts tree
236
237 DragonFly 3.4 or later is the minimum version that can build DPorts from source.
238
239 It's probably that pkgsrc binaries are already installed because it comes bootstrapped with new systems.  It is necessary to rename `/usr/pkg` directory so that the existing pkgsrc binary tools and libraries don’t get accidentally used while building DPorts, causing breakage.  For the installation of the DPorts tree, type:
240
241     # cd /usr
242     # make dports-create-shallow
243
244 If the `/usr/pkg directory` has already been renamed, `git` won’t be in the search path any more.  One option is to download a tarball of DPorts and unpack it.  To do this, type:
245
246     # cd /usr
247     # make dports-download
248
249 For future updates, pull delta changes via `git` is fastest, so it is suggested to convert the static tree to a git repository by typing:
250
251     # cd /usr/dports/devel/git
252     # make install
253     # cd /usr
254     # rm -rf /usr/dports
255     # make dports-create-shallow
256
257 The git repository is hosted on the [github account of John Marino](https://github.com/jrmarino/DPorts/#readme).
258
259 ## Final thoughts
260
261 Building from source works similar to ports and pkgsrc: cd into the appropriate program's directory, and type 'make'. 'make install' to install the software, 'make clean' to clean up work files, and so on. Use 'make config-recursive' if you want to set all the port's options, and the options of its dependencies, immediately instead of during the build.
262
263 To take all the default build options and avoid getting the pop-up dialog box, set `NO_DIALOG=yes` on either the command line or the make.conf file.
264
265 If you just want to set the options for one package, and accept the default for all of its dependencies, do 'make config' in the package in you want non-default options, and then 'make NO_DIALOG=yes'.  Note that this is only necessary if you want to build from source with a non-default set of options, or if no pre-built binary package is available yet.
266
267 ## More reading
268 * How fix/add broken ports: [[docs/howtos/fixdports]]
269 * [Trick: How to get i386-only software via dports](http://leaf.dragonflybsd.org/mailarchive/users/2013-06/msg00023.html)