release58/index.mdwn

   1 # DragonFly BSD 5.8
   2
   3 * Version 5.8.0 released xx MM 2020
   4
   5
   6 DragonFly version 5.8 brings ....
   7
   8 The details of all commits between the 5.6 and 5.8 branches are available in the associated commit messages for [5.8.0rc1](http://lists.dragonflybsd.org/pipermail/commits/2020-February/720529.html) and [5.8.0]().
   9
  10 ## Big-ticket items
  11
  12 * [`dsynth(1)`](https://www.dragonflybsd.org/cgi/web-man?command=dsynth&section=1) written and added to base, making it more convenient for users to build their own binary repos for [DPorts(7)](https://www.dragonflybsd.org/cgi/web-man?command=dports&section=7).
  13 dsynth is used to build some or all of the DPorts collection, over 25000 third-party packages.  It's also working as an informal performance measure, with many of the changes in this release to speed up DragonFly when building multiple dependent packages.
  14
  15 * Many ports these days seem to assume a greater degree of signal safety for libc function, particularly for `malloc()`.  We have implemented a low-overhead signal masking feature that now allows us to make `malloc*()` and other related functions signal-safe.
  16
  17 * A ton of bug fixes, stability work, and usability work has gone into this release.  Many niggling little annoyances, such as Chrome/Chromium stuttering when system memory is low, have been fixed.
  18
  19 * DRM (GPU) support continues to improve slowly but steadily.
  20
  21 ## Details
  22
  23 ### Checksums
  24
  25     MD5 (dfly-x86_64-5.8.0_REL.img) =
  26     MD5 (dfly-x86_64-5.8.0_REL.iso) =
  27     MD5 (dfly-x86_64-5.8.0_REL.img.bz2) =
  28     MD5 (dfly-x86_64-5.8.0_REL.iso.bz2) =
  29
  30 ### Upgrading
  31
  32 If you have an existing 5.x system and are running a generic kernel, the normal upgrade process, described below, will work.
  33
  34 Change your local `/usr/src` to 5.8:
  35
  36     cd /usr/src
  37     git fetch origin
  38     git branch DragonFly_RELEASE_5_8 origin/DragonFly_RELEASE_5_8
  39     git checkout DragonFly_RELEASE_5_8
  40     git pull
  41
  42 And then rebuild: (in `/usr/src`)
  43
  44     make buildworld
  45     make buildkernel
  46     make installkernel
  47     make installworld
  48     make upgrade
  49
  50     (reboot your system)
  51
  52     make initrd
  53
  54 `make initrd` is optional for systems with unencrypted disks, and has been possible for several releases; it's mentioned here for completeness. Look at the [initrd(7)](https://leaf.dragonflybsd.org/cgi/web-man?command=initrd&section=ANY) man page for details on what it does.
  55
  56 Don't forget to upgrade your existing packages.  5.8 packages have already been built and are immediately available.
  57
  58     pkg update
  59     pkg upgrade
  60
  61 ## All other changes since prior release
  62
  63 ### Security Issues
  64
  65 * Fix two minor kernel stack disclosures and a few minor memory leaks.
  66 * Fix a buffer overflow in libfetch (CVS-2020-7450)
  67 * Fix CVE-2019-18218.
  68 * Fix two environment variable vulnerabilities in the telnet client.
  69
  70 ### Kernel
  71
  72 * Scaling adjustments to improve performance on high-core-count machines.  VM page lookup shortcuts, reduced contention when opening special devices like `/dev/lpmap`, reduced contention for `open(... O_RDWR)` calls, recoded namecache (mp, ncp) mount point lookup cache.
  73 * Significantly reduce SMP contention in low-memory situation.
  74 * Significantly improve page selection in the pageout scan.  SMP work over the last few years marginalized the page selection algorithm, causing it to often select pages which were actually active.  These changes significantly reduce the selection of such pages in favor of inactive pages.  The result is the elimination of stuttering in applications like Chrome when system memory is tight.
  75 * Do not shortcut VM faults of INACTIVE pages, require the long-path to ensure that the pages are moved to the ACTIVE queue first.  This prevents premature pageout of heavily cached VM pages such as pages from highly-shared libraries.
  76 * Improve pageout daemon pipe-lining by fixing some of the hysteresis code.  Also improve the early-termination checks for the pageout daemon to stop paging more quickly when a large amount of memory is suddenly freed up.
  77 * Fixed a rare `wait*()` deadlock.
  78 * The `vm.fault_quick` sysctl now supports a burst count, but the default is still 1.  We do not expect significant gains in performance until the APIs can be refactored all the way through to the low-level pmap code.
  79 * Offset the stathz timer by 50% of the hz timer and change default frequency to (hz + 1).  This is intended to reduce sampling errors that were causing phantom 'interrupt' time accumulation in system statistics.
  80 * Refactor the random number generator in the kernel and also as supplied to userland to use per-CPU state.  This gets rid of a significant source of SMP contention under heavy loads.  Adjust the RDRAND driver to collect entropy on all CPUs, as well as to chain some of the entropy between CPUs.  This ensures that no single CPU can accidentally become deficient.
  81 * Reduce excessive RDRAND harvesting.  The RDRAND harvesting rate was too high and causing high-core-count Zen CPUs to burn 2-3% of the system CPU at idle.  The harvest size has been reduced to compensate.  In addition, some of the entropy is chained between CPUs to ensure that entropy collection on one CPU is not only beneficial to that CPU.
  82 * Fix a USB crash on quick plug/detach/plug/detach sequences.
  83 * Add system call support for `realpath(3)`, allowing the kernel to build the path for us instead of having to cycle tons of *stat() calls.
  84 * Add system call support for `getrandom(2)`.  We already had a sysctl-based mechanism and a device mechanism.
  85 * Fix a bug in the (rare) `lockmgr(9)` cancel path.
  86 * Fix 'indefinite wait buffer' live-locks related to encrypted disks.  The encrypted I/O path had a low-memory deadlock that could prevent paging to encrypted-swap from happening, resulting in a locked up system.
  87 * Reduce mpipe overhead, improving (primarily) encrypted I/O performance a bit.
  88 * Fix a panic in the control messages processing for IPv6.
  89 * Enable keyboard polling in `shutdown -h` to try to keep the keyboard operational at the 'press any key to reboot' message.
  90 * Fix a dangling reference on filesystem FIFO vnodes.  This could prevent umount from succeeding indefinitely.
  91 * Merge a `m_pulldown()` bug fix (discussed with multiple BSDs).  See c24e3890e671.
  92 * Enable busmaster operation on bridges (the BIOS might not).
  93 * Make sure the `%fs` selector is properly loaded in the AP bootstrap.  Otherwise the selector may be invalid on certain Zen 2 CPUs.
  94 * Change the TCP keepalive options from milliseconds to seconds, making the units the same as Linux, in order to improve ports compatibility.
  95 * Fix a rare pmap placemarker timing race that could cause a process to get stuck in the `pvplw` state.
  96 * Implement SMAP/SMEP support.
  97 * Fix `vm.swap_size` reporting and add a new sysctl `vm.swap_free`.
  98 * Fix a minor kernel memory leak related to the `rt_msg_buffer()` API.
  99 * Check for deferred interrupts in more `crit_exit*()` paths, undoing some optimizations made in prior years.  The checks are necessary to avoid non-deterministic interrupt response times in certain cases.
 100 * Get rid of `udev_t`.
 101 * Add sysctl support for `CTLTYPE_BIT32` and `CTLTYPE_BIT64`, allowing sysctl to directly control the same flags field with separate sysctl elements.
 102 * Add `/dev/lpmap`, a per-thread shared user/kernel page.  This page allows userland to implement temporary signal blocking on a per-thread basis without having to make any system calls.
 103 * Add support for `pthread_get_name_np()` via a new system call, `lwp_getname()`.  Reimplement `lwp_setname()` via the new `/dev/lpmap` feature (i.e. make it work without needing a system call).  Also, `setproctitle()` now uses `upmap->proc_title[]`.
 104 * Catch infinite parser recursions in broken ACPI.
 105 * Fix a bug in the `lockf(1)` code that could cause a process to hang indefinitely in "lockfz".
 106 * Fix multiple `devfs(5)` bitmap races primarily related to PTY allocation and management.
 107 * Jails - Rework sysctl configuration variables.  See [`jail(8)`](https://www.dragonflybsd.org/cgi/web-man?command=jail&section=8) for more information.
 108 * Jails are now allowed to mount nullfs and tmpfs filesystems.
 109
 110 ### Filesystems
 111
 112 * HAMMER2
 113   * Fix inode & chain limits in order to avoid kmalloc pool assertions on low-memory machines.
 114   * Significantly improve the flush pipeline and dirty inode count hysteresis.  This fixes a long-standing issue where heavy filesystem activity was not making use of available I/O bandwidth due to a number of `tsleep()` stalls in the flusher loop.  This also improves frontend-operation vs backend-flush concurrency.
 115   * Fix a bug where a small file less than or equal to 512 bytes that is extended above 512 bytes can sometimes lose data in the first 512 bytes (replaced with `0x00` bytes).
 116   * Fix an indefinite stall that could occur when I/O errors are encountered.
 117   * Add an emergency operations mode to allow recovery of `ENOSPC` edge cases.  This is a mode which allows snapshots to be destroyed by updating inodes in-place, allowing the removal of a files and directories in situations where the normal block-copy-on-write mechanism does not function due to lack of space.  See the [`hammer2(8)`](https://www.dragonflybsd.org/cgi/web-man?command=hammer2&section=8) man page for more details.
 118   * Fix a number of issues and significantly improve performance by optimizing how HAMMER2 support threads are dispatched.
 119 * TMPFS
 120   * Improve by not reserving an entire 16KB buffer cache buffer for files <= 8KB in size.  Small files now eat 4KB, 8KB, or 12KB of physical memory before returning to multiples of 16KB.
 121   * Reduce low-memory thrashing.  Normally TMPFS cycles pages through the VM page cache only and avoids flushing them to backing store (swap).  In low-memory conditions, TMPFS now cycles dirtied pages through the buffer cache and bypasses the inactive queue upon completion to avoid interfering with memory pressure caused by processes.
 122   * Enable write-clustering, improving paging performance when under memory pressure.  Prior to this fix, physical I/O was limited to 16KB chunks.
 123   * Make `tmpfs_move_pages()` more robust to close potential race conditions.  Fix a number of other race conditions as well.
 124 * MSDOSFS - Many fixes and improvements, mostly taken from FreeBSD.
 125 * DEVFS - Fixed a missing lock that could result in a panic during heavy duplicate mount/umount activity.
 126 * NFS - Fix a rare NFS deadlock related to `mmap()`'s I/O.
 127 * NULLFS - Improve mount/umount performance slightly.
 128 * All filesystems now default to microseconds precision instead of seconds precision.  The use of nanoseconds is problematic due to `utimes()`'s archaic API.
 129
 130 ### Networking
 131
 132 * Add support for IPv4 /31 prefixes (RFC 3021).
 133 * tap(4) - Improve `SIOCSIFMTU` ioctl handle to support MTU > 1500.
 134 * PF - Fix a number of edge cases, but these fixes have not dealt with all reported PF issues.
 135 * Add support for `SIOCSIFINFO_IN6`.
 136 * Refactor the `CMSG_ALIGN` mechanic for network control messages to work properly with modern data types.
 137 * Return `EHOSTDOWN` under certain situations in the route lookup code.  Don't mark cloned route as `RTF_REJECT` or `RTM_MISS`.  Also separate route messages from creation/lookup.
 138 * Ensure that `RTM_IFINFO` is sent first when bringing an interface up or down, as route update messages can overflow the route socket.
 139 * Add support for `SO_RERROR`.
 140
 141 ### Graphics
 142
 143 * Generic drm code has been updated to Linux 4.9 with a few backported Linux 4.12 features in order to improve Wayland support
 144 * the drm/i915 driver has been updated to Linux 4.8.17 with a few backported changes from Linux 5.4 (support for newer Skylake, Coffelake, Amber Lake, Whiskey Lake and Comet Lake GPU models).
 145 * the drm/radeon driver has been updated to Linux 4.9.
 146 * Fix some DMAP issues with the way Linux expects `pmap_change_attr()` to work.
 147
 148 ### Driver updates
 149
 150 * SOUND/HDA - use driver-specific taskqueue instead of per-CPU taskqueue.
 151 * PSM - Fix memory corruption and panic, add Elantech IC type 15 support (e.g., in ThinkPad L480 laptops).
 152 * AHCI - Add a quirk for the MCP73 AHCI controller.
 153 * AHCI - Add a TPS balancing mode for storage devices, enabled by default.  This feature brings write TPS down to match read TPS when both are pending.  Normally both read and write I/Os get a few private tags, but because write I/O is heavily buffered by the device even a single tag can destroy read performance.
 154 * AHCI - Enforce a 10-second poll of the chipset when idle to try to catch any potential lost interrupts.  This is an attempt to work around a 'lost' timeout issue that we sometimes see.
 155 * u4b/uaudio - Fix a NULL pointer indirection panic.
 156 * IWM - Full sync from FreeBSD, adding iwm-9000 and iwm-9260 support.
 157 * SIO - Refactor some of the code.
 158 * AMDSBWD and INTPM - Updated for AMD watchdog, power management on newer chips.
 159
 160 ### Userland
 161
 162 * Binutils 2.34 added, and 2.25 removed.  2.27 is still the default for now.
 163 * pctrack (`%rip` sampler) - Improved symbol table translation.
 164 * Sync `<math.h>`, `sincos()`, and other math support from OpenBSD.
 165 * Sync `<sys/ttydefaults.h>` from FreeBSD to improve ports compatibility.
 166 * Synchronize improvements made to `fsck_msdosfs` from FreeBSD.
 167 * Check if the context is invalid in `setcontext()` and `swapcontext()` to throw errors earlier in situations where too-small a stack size has been specified.
 168 * `fish(6)` - bug fixes.
 169 * Fix `ps(1)` and `fstat(1)` when used on kernel cores.
 170 * `vmstat(8)` now pulls 'ncpus' from the kernel core image, when used with a kernel core.  Also make the verbose (`-v`) option work with (`-m`), dumping all memory pools whether they are empty or not.
 171 * Adopt a more Linux-friendly `basename()` and `dirname()` to improve ports compatibility.
 172 * Fix bug in `fparseln()` (taken from NetBSD).
 173 * libc/`getaddrinfo()` - Accept numeric servname for `AF_INET` / `AF_INET6`.  Take from FreeBSD.
 174 * Update zoneinfo to tzdata2019c.
 175 * Fix an issue when rotating `/var/log/wtmpx`.
 176 * `iostat(8)` - fix column count bug.
 177 * libdevstat - Fix a bug in `DS_SELECT_REMOVE`.
 178 * libc - Add `sigblockall()` and `sigunblockall()` (DragonFly native API), a fast way to mask signals for a short period of time without having to make any system calls.
 179 * libc - Make signal safe (primarily for `malloc()` and friends).  Numerous ports now assume more expansive signal safety for various libc functions.
 180 * libc - Make `strtok()` thread-safe.
 181 * libc - Add `TABDLY`, `TAB0`, and `TAB3` to improve dports support.
 182 * libc - Add `__errno_location()` for better ports compatibility, particularly for some languages which need an actual procedure to call rather than a macro for their run-times.
 183 * libc - Significant `utmpx` changes, taken from NetBSD and FreeBSD mostly.
 184 * Remove `mrouted` and related utilities from the tree.  Newer, better versions can be found in dports and ours was getting crufy.
 185 * libkvm - Fix mask generation when parsing minidumps.  This fixes many of the corrupted dump issues reported.
 186 * `leave(1)` - Allow up to 99 in the minutes field in + mode.  Just like microwaves do.
 187 * `phantasia(6)` - Fix monsters file permissions.
 188 * `du(1)` - Add an option (`-t`) to return results based on the file size instead of `st_blkcnt`.
 189 * libpthreads - Fix numerous issues.
 190 * `calendar(1)` - Multiple improvements, mostly taken from FreeBSD and OpenBSD.
 191 * `rcorder(8)` - Import `rcorder-visualize.sh` script from FreeBSD
 192 * Openresolv upgrade to 3.9.2.
 193 * DHCPCD upgraded to 8.1.3.
 194
 195 ### Boot, Image
 196
 197 * Sync ACPICA with Intel's version 20200214
 198 * Unbreak the EFI build when `WORLD_LDVER` is overridden.
 199 * The installer now chooses a more sane default for the `/build` partition.
 200 * EFI - Sync our TianoCore EDK II headers to edk2-stable201911.
 201 * Refactor `malloc_type` in the kernel, which caused an excessive amount of static data in the image.  This reduces the image size by 6MB.
 202 * Warn when duplicate physical address ranges for free memory are passed in from the BIOS, instead of crashing.
 203
 204 ### Various tools have been upgraded in the base system:
 205
 206 * The build system is slowly being adapted to allow bootstrap utilities and tools to be compiled on a wide range of operating systems as part of a project to supply a `build.sh` script to be able to build DragonFly BSD on other OSs.  This work is not yet complete.
 207 * The build system now has a `build-all` and `install-all` target to conveniently do a full world + kernel build and install in one or two steps as desired.
 208 * Multiple cleanups to `kern.pre.mk` and `kern.post.mk`.
 209 * No longer try to generate embedded newlines in strings, instead use POSIX string concatenation.
 210 * The [`nrelease(7)`](http://man.dragonflybsd.org/?command=nrelease&section=7) build now supports a `binpkgs` option to allow the use of binary packages, and has received many other fixes and improvements.
 211
 212 ### Compiler status
 213
 214 * Currently using GCC 8 by default, with GCC 4.7 built but not used as fallback.
 215
 216 ### Package updates
 217
 218 * A full set of new binary packages has been built for 5.8, available through the `pkg(8)` tool.