release56/index.mdwn

   1 # DragonFly BSD 5.6
   2
   3 * Version 5.6.0 released 17 June 2019
   4
   5 DragonFly version 5.6 brings an improved virtual memory system, updates to radeon and ttm, and performance improvements for HAMMER2.
   6
   7 *** Do not link to this page before release, please. ***
   8
   9 The details of all commits between the 5.4 and 5.6 branches are available in the associated commit messages for [5.6.0rc1](http://lists.dragonflybsd.org/pipermail/commits/2019-June/718996.html) and [5.6.0](http://lists.dragonflybsd.org/pipermail/commits/2019-June/719031.html).
  10
  11 ## Big-ticket items
  12
  13 ### Improved VM.
  14
  15 * Reduce stalls in the kernel vm_page_alloc*() code (vm_page_list_find*()).
  16 * Improve page allocation algorithm to avoid re-iterating the same queues as the search is widened.
  17 * Add a vm_page_hash*() API that allows the kernel to do heuristical lockless lookups of VM pages.
  18 * Change vm_hold() and vm_unhold() semantics to not require any spin-locks.
  19 * Change vm_page_wakeup() to not require any spin-locks.
  20 * Change wiring vm_page's no longer manipulates the queue the page is on, saving a lot of overhead.  Instead, the page will be removed from its queue only if the pageout demon encounters it.  This allows pages to enter and leave the buffer cache quickly.
  21 * Refactor the handling of fictitious pages.
  22 * Remove m->md.pv_list entirely.  VM pages in mappings no longer allocate pv_entry's, saving an enormous amount of memory when multiple processes utilize large shared memory maps (e.g. postgres database cache).
  23 * Refactor vm_object shadowing, disconnecting the backing linkages from the vm_object itself and instead organizing the linkages in a new structure called vm_map_backing which hangs off the vm_map_entry.
  24 * pmap operations now iterate vm_map_backing structures (rather than spin-locked page lists based on the vm_page and pv_entry's), and will test/match operations against the PTE found in the pmap at the requisite location.  This doubles VM fault performance on shared pages and reduces the locking overhead for fault and pmap operations.
  25 * Simplify the collapse code, removing most of the original code and replacing it with simpler per-vm_map_entry optimizations to limit the shadow depth.
  26
  27 ### DRM
  28
  29 * Major updates to the radeon and ttm (amd support code) drivers.  We have not quite gotten the AMD support up to the more modern cards or Ryzen APUs yet, however.
  30 * Improve UEFI framebuffer support.
  31 * A major deadlock has been fixed in the radeon/ttm code.
  32 * Refactor the startup delay designed to avoid conflicts between the i915 driver initialization and X startup.
  33 * Add DRM_IOCTL_GET_PCIINFO to improve mesa/libdrm support.
  34 * Fix excessive wired memory build-ups.
  35 * Fix Linux/DragonFly PAGE_MASK confusion in the DRM code.
  36 * Fix idr_*() API bugs.
  37
  38 ### HAMMER2.
  39
  40 * The filesystem sync code has been rewritten to significantly improve performance.
  41 * Sequential write performance also improved.
  42 * Add simple dependency tracking to prevent directory/file splits during create/rename/remove operations, for better consistency after a crash.
  43 * Refactor the snapshot code to reduce flush latency and to ensure a consistent snapshot.
  44 * Attempt to pipeline the flush code against the frontend, improving flush vs frontend write concurrency.
  45 * Improve umount operation.
  46 * Fix an allocator race that could lead to corruption.
  47 * Numerous other bugs fixed.
  48 * Improve verbosity of CHECK (CRC error) console messages.
  49
  50 ## Details
  51
  52 ### Checksums
  53
  54     MD5 (dfly-x86_64-5.6.0_REL.img) = a1085fff0b8c39cbc790a3123005f328
  55     MD5 (dfly-x86_64-5.6.0_REL.iso) = 8351ae7a59fc6c01f33c9351634935f3
  56     MD5 (dfly-x86_64-5.6.0_REL.img.bz2) = 7faa0770df7001bd4dc664e1858b13ee
  57     MD5 (dfly-x86_64-5.6.0_REL.iso.bz2) = c3201c115dd480382f324ec9c1a7d71a
  58
  59
  60 ### Upgrading
  61
  62 If you have an existing 5.x system and are running a generic kernel, the normal upgrade process, described below, will work.
  63
  64 Change your local `/usr/src` to 5.6:
  65
  66     cd /usr/src
  67     git fetch origin
  68     git branch DragonFly_RELEASE_5_6 origin/DragonFly_RELEASE_5_6
  69     git checkout DragonFly_RELEASE_5_6
  70     git pull
  71
  72 And then rebuild: (in `/usr/src`)
  73
  74     make buildworld
  75     make buildkernel
  76     make installkernel
  77     make installworld
  78     make upgrade
  79
  80     (reboot your system)
  81
  82     make initrd
  83
  84 `make initrd` is optional for systems with unencrypted disks, and has been possible for several releases; it's mentioned here for completeness. Look at the [initrd(7)](https://leaf.dragonflybsd.org/cgi/web-man?command=initrd&section=ANY) man page for details on what it does.
  85
  86 Don't forget to upgrade your existing packages.  5.6 packages have already been built and are immediately available.
  87
  88     pkg update
  89     pkg upgrade
  90
  91 ## All other changes since DragonFly 5.4
  92
  93 ### Security Issues
  94
  95 * Add MDS mitigation support for the Intel side-channel attack.  Must be enabled by the user, and also requires an Intel microcode update to supports it.  The mitigation burns around 250ns of additional latency on kernel->user transitions and is set with 'sysctl machdep.mds_mitigation=MD_CLEAR'.
  96 * The kernel is compiled with retpoline support by default under GCC8.
  97 * Implement support for SMAP and SMEP security when available.  This prevents accidental accesses to the user-address-space by the kernel.  Support is reported in dmesg.
  98
  99 ### Kernel
 100
 101 * Add /dev/part-by-label, allowing user-specified labeling of disklabels to show up in /dev.
 102 * Synchronize ACPICA to Intel's version 20190509.
 103 * Fix a probable callout race that could result in stuck processes.
 104 * Increase number of kqueue timers from 4096 to 65536.  More apps use them.
 105 * Adjust the blist code to allow more than 2TB of swap to be configured.
 106 * Fix bugs related to the STOP signal that could block threads with locks held.
 107 * Fix a race related to the STOP signal when operating on a multi-threaded program.
 108 * Fix a rare vref() assertion.  This typically required extreme loads to reproduce.
 109 * atkbdc - Still attach a PS2 controller even if the FADT says not to.
 110 * All modules now use inlined atomics instead of static function calls.
 111 * Update PCI ids for pciconf output.
 112 * Throw a global lock around udev dictionary ops.  Not having them could result in fairly rare corruption (devices aren't added or removing very often), particularly when using the 'vn' device.
 113 * Major cleanup of TSC related code.
 114 * Fix panic in mlock() and munlock().
 115 * Implement the sbrk() system call and remove obsolete brk() support.
 116 * Improve mmap() hinting above RLIMIT_DATA's current value, allowing languages to use it to map data below the 4GB mark if they desire (some languages implement 32-bit interpreters and need this).
 117 * Change how SEM_VALUE_MAX is acquired by userland.
 118 * Change the behavior of MADV_NOSYNC and MAP_NOSYNC for file-backed pages.  If the file is no longer memory-mapped the filesystem sync will now flush such pages to the filesystem, avoid a CPU-burning degenerate condition in the pageout and filesystem flush code.
 119 * Rewrite the callout subsystem to utilize a handle and improve debugging.  This has been done to improve performance and in particular prevent the callout timer lists from getting corrupted by bugged driver code.  This also ensures that the CAM ccb_hdr structure, which is exposed to userland, will no longer be sensitive to changes made to the callout structure.
 120 * Fix info->si_code for waitid(2) support.
 121 * Add support for char and short-sized values.
 122 * Add memcmp() and make bcmp() linux-compatible w/regards to return value.
 123 * Remove vm_map traversal heuristics and the secondary linked list.  Just stick with the RB tree.
 124 * Limit kernel spams of swap-full warnings.
 125 * Permanently disable and remove lazy FP register saving for all cases.  This fixes a previously known hardware bug on Intel CPUs that we thought was fixed before, but wasn't.  Lazy FP switching is no longer supported, period.
 126 * Remove an improper direct user-space access by chroot_kernel() (a privileged system call).
 127 * Change MAP_STACK operation to better match the expectations of third party applications. See commit 4837705ef8e and d6924570fb4.  This significantly improves the stability of a number of language ports.
 128 * Isolate more global variables with __read_mostly and friends, improving SMP operation.
 129 * Fix bugs in STOP signal handling that could block a thread in the kernel with locks held.
 130 * Refactor nbuf and maxvnodes calculations, generally reducing the limits.  Obscene amounts of memory were being unnecessarily devoted to these caches on systems with tons of memory.  With BKVABUF, buffers are no longer as expensive as they used to be, and both HAMMER1 and HAMMER2 cache file data and meta-data via the device node (prior to decompression).  A large buffer cache would reduce re-decompression but not by much.
 131 * Refactor the scheduler heuristics, with serious testing.  This fixes numerous issues which have cropped up due to breaking previous tunings and gets our pgbench results back to normal.
 132 * Improve vmstats synchronization, refactoring vmmeter_neg_slop_cnt to improve SMP performance.
 133 * vkernel - The vkernel uses the TSC by default when possible.
 134
 135 ### Filesystems
 136
 137 * fuse- Initial support added.
 138 * hammer2 - (see above)
 139 * hammer2 - Refactor the 'info' directive.
 140 * hammer2 - No longer panics if the root inode is corrupt, the mount will fail gracefully instead.
 141 * hammer1 - Fix left-over /var/run/hammer.cleanup lock files.
 142 * tmpfs - Fix cpu inefficiencies related to the syncer.
 143 * autofs - Misc fixes.
 144 * ufs - Expand time_t support to 48-bits to try to head-off the 32-bit time_t overflow issue in older filesystems.  In addition, treat the original 32-bit fields as unsigned.
 145 * smbfs - Bring in some string safety and typo fixes.
 146 * nfs - NFS mounts which go bad can now be unmounted.
 147 * nfs - NFS mounts that went bad were not being listed in 'df'.  Fixed.
 148 * nfs - Try to ensure a uniform fsid for exports.
 149
 150 ### Networking
 151
 152 * pf - Improve SMP performance by cpu-localizing most tracking counters.
 153 * wpa_supplicant pkg included in nrelease build for usb install image.
 154 * pkg based wpa_supplicant is preferred over base version.
 155 * Properly bring up/down interface, primarily to support wpa_supplicant.
 156 * Add ifconfig -n ... to disable automatic module loading.
 157 * dhcpcd will now go into the background immediately by default.
 158 * Implement DHCP flag for ipv6_ifconfig_* in rc.conf.
 159 * Rework wlan_down() and other wlan support in network.subr.
 160 * pf - Fix at least one SMP race related to max-src-nodes and max-src-conn tracking.
 161 * dummynet - Only turn on polling while dummynet is operational.  That is, when pipes or flows are present.
 162 * Add kern.ipc.soaccess_reuse and set the default to enabled.  This feature fixes a long-standing problem with listen sockets when a daemon goes away but pending or active TCP connections are still present.  Previously, the presence of this state prevented daemons from being able to re-bind and listen() without SO_REUSEADDR.  They would have to wait existing and pending tcp state to timeout/terminate.  SO_REUSEADDR should not be required, and linux does not appear to require it.  This fixes the issue.
 163
 164
 165 ### Driver updates
 166
 167 * if_re - Sync with Realtek's 1.95.
 168 * sound - Add quirk for AC256 sound devices.
 169 * evdev - Bring evdev in from FreeBSD.
 170 * iwm - Fix possible null pointer indirection.
 171 * ena - (amazon AWS) - release MSI-X vectors on probe failure.
 172 * ps/2 - Fix a race that could panic the kernel and corrupt the ps/2 packet buffer.  There was a bit of code that was still depending on critical sections to interlock the interrupt, which is obviously no longer protective.
 173 * uhci - Fix panic in the uhci attach error path.
 174 * da/cd - Try to quiet repeated DA/CD probes for removable devices such as SD cards and CD/DVD drives.
 175 * ahci - More generous interrupt rate warning limits to reduce livelock warnings that are more abundant now that fast SSDs exist.
 176 * acpi - Reduce the acpi_ec device timeout from 750ms to 100ms after the first failure.  This allows laptops to boot in a reasonable amount of time by default (without having to disable the "ec" sub-module).
 177
 178 ### Userland
 179
 180 * Convert many base utilities to use LibreSSL.
 181 * Update 'script', bringing new options and bug fixes in from FreeBSD.
 182 * Remove groff (and nroff, etc) from base.
 183 * Replace the 'man' implementation.
 184 * Sync zoneinfo database to tzdata2019a (from ftp.iana.org).
 185 * Header file adjustments.
 186 * Detect a common mistake of putting a 'sysctl' prefix in /etc/sysctl.conf and don't spew to the console when it happens.
 187 * rtld-elf can now handle late dynamic relocations for 'relro' sections.
 188 * libc - Now uses sbrk() system call.
 189 * The installer now uses /dev/part-by-label to locate the installation media instead of assuming that it is 'da8'.
 190 * Add a sysctl debug.acpi.silent_all to silence annoying repetitive ACPI messages.
 191 * Remove 'cat*' cached manual pages support.  There's no need to do this any longer, just generate the manual pages in real-time.
 192 * buildworld and friends now ensure that /usr/local/bin is NOT in $PATH, preventing the mistaken use of incompatible loaders.
 193 * libc - Add aligned_alloc(),
 194 * libc - Add freezero(), recallocarray(), explicit_bzero() from OPENBSD.
 195 * libc - Add the timing_safe*() functions from OpenBSD.
 196 * libc - Add dup3().
 197 * libc - Refactor shm_open() and implement /var/run/shm (more linux-like).
 198 * build- Add __read_mostly, __read_frequently, and __exclusive_cache_line from FreeBSD.
 199
 200
 201 ### Boot, Image
 202
 203 * Rework the initrd build logic to simplify matters.
 204 * nrelease - Install security/ca_root_nss explicitly (non-automatic).
 205 * Reduce the size of /usr/local in various ways.
 206
 207 ### Various tools have been upgraded in the base system:
 208
 209 * xz - Upgrade to 5.2.4.
 210 * libarchive - Import libarchive-3.3.3
 211 * libressl - Update to version 2.9.1 stable.
 212 * openssh - Update to 8.0p1.
 213 * ldns - Update vendor branch to 1.7.0
 214 * libcipher - Removed.
 215 * gcore - Significantly improved.
 216 * makefs - Bring in from FreeBSD to aid in initrd creation.
 217 * ministat - Import from FreeBSD.
 218 * libfetch - Synchronize with FreeBSD
 219 * libedit - Update to version 2019-03-24.
 220 * sysctl - Don't try to update if the current value matches.
 221 * dd - Rework the time interval calculation.
 222 * dd - Generally sync with FreeBSD.
 223 * gpt - Add "-g" to print the gpt GUID info in the 'show' directive.
 224 * systat - Default to not showing pass*, sg*, and md* as previously intended, probe terminal width.
 225 * iostat - Default to not showing pass*, sg*, and md* as previously intended, probe terminal width.
 226 * telnet - Disable use of OPIE
 227
 228 ### Compiler status
 229
 230 * gcc-8 is our default compiler.  gcc5 is no longer built by default.  gcc4.7 remains for emergencies.
 231 * gcc-8 - Add support for -save-temps=objects option.
 232 * gcc-4.7 - Add support for -save-temps=objects option.
 233 * libc - Add reallocarray() from OpenBSD to improve application compatibility.
 234 * buildkernel - Generate a less ambiguous label via gitrev.sh.
 235
 236 ### Package updates
 237
 238 * A full set of new binary packages has been built for 5.6, available through the pkg tool.