release50/index.mdwn

   1 # DragonFly BSD 5.0
   2
   3 * Version 5.0.0 released XX October 2017
   4
   5 *** PLEASE NOTE THAT THIS IS A PAGE FOR A SOFTWARE RELEASE THAT HAS NOT HAPPENED YET, AND IS a WORK IN PROGRESS.  If you aren't working on this page directly, please ignore it until the actual 5.0 release.  ***
   6
   7 DragonFly version 5.0 brings the first bootable release of HAMMER2, DragonFly's next generation file system.
   8
   9 The details of all commits between the 4.8 and 5.0 branches are available in the associated commit messages for [5.0.0rc1](http://lists.dragonflybsd.org/pipermail/commits/2017-September/626463.html), [5.0.0rc2](http://lists.dragonflybsd.org/pipermail/commits/2017-September/626480.html), and [5.0.0](http://commit.does.not.exist.yet).
  10
  11 ## Big-ticket items
  12
  13 ### HAMMER2
  14
  15 Preliminary HAMMER2 support has been released into the wild as-of the 5.0 release.  This support is considered EXPERIMENTAL and should generally not yet be used for production machines and important data.  The boot loader will support both UFS and HAMMER2 /boot.  The installer will still use a UFS /boot even for a H2 installation because the /boot partition is typically very small and H2, like H1, does not instantly free space when files are deleted or replaced.
  16
  17 DragonFly 5.0 has single-image HAMMER2 support, with live dedup (for cp's), compression, fast recovery, snapshot, and boot support.  HAMMER2 does not yet support multi-volume or clustering, though commands for it exist.  Please use non-clustered single images for now.  We intend to get basic mirroring
  18
  19 ### ipfw Updates
  20
  21 IPFW has gone through a number of updates in DragonFly and now offers [better](http://lists.dragonflybsd.org/pipermail/commits/2017-September/626329.html) [performance](http://lists.dragonflybsd.org/pipermail/commits/2017-September/626290.html).  pf and ipfw3 are also still supported.
  22
  23 ###
  24
  25 ### Improved graphics support
  26
  27 * The i915 driver has been brought up to match what's in the Linux 4.7.10 kernel. Intel GPUs are supported up to the Kabylake generation.
  28 * [vga_switcheroo(4)](https://leaf.dragonflybsd.org/cgi/web-man?command=vga_switcheroo&section=ANY) module added, allowing the use of Intel GPUs on hybrid-graphics systems.
  29 * The new apple_gmux driver enables switching to the Intel video chipset on dual Intel/NVIDIA Macbook computers.
  30
  31 ### Other user-affecting changes
  32
  33 * [[efisetup(8)|https://leaf.dragonflybsd.org/cgi/web-man?command=efisetup&section=ANY]] added.
  34 * DragonFly can now support [over 900,000 processes](http://lists.dragonflybsd.org/pipermail/users/2017-August/313552.html) on a single machine.
  35
  36 ## Details
  37
  38 ### Checksums
  39
  40     MD5 (dfly-x86_64-5.0.0_REL.img) =
  41     MD5 (dfly-x86_64-5.0.0_REL.iso) =
  42     MD5 (dfly-x86_64-5.0.0_REL.img.bz2) =
  43     MD5 (dfly-x86_64-5.0.0_REL.iso.bz2) =
  44
  45 ### Upgrading
  46
  47 If you have an existing 4.8.x system and are running a generic kernel, the normal upgrade process, described below, will work.
  48
  49 * Note that DSA OpenSSH keys were deprecated in the 4.6 to 4.8 release.*  If you are upgrading from a release older than 4.8 and use DSA OpenSSH keys, please update your private/public key pair or risk locking yourself out.
  50
  51 Change your local /usr/src to 5.0:
  52
  53     cd /usr/src
  54     git fetch origin
  55     git branch DragonFly_RELEASE_5_0 origin/DragonFly_RELEASE_5_0
  56     git checkout DragonFly_RELEASE_5_0
  57     git pull
  58
  59 And then rebuild: (in /usr/src )
  60
  61     make buildworld
  62     make buildkernel
  63     make installkernel
  64     make installworld
  65     make upgrade
  66
  67 Don't forget to upgrade your existing packages.  5.0 packages have
  68 already been built and are immediately available.
  69
  70     pkg upgrade
  71
  72 ## All changes since DragonFly 4.8
  73
  74 ### Kernel
  75
  76 * if_sl, if_ppp, and if_faith are now built as modules and can be removed from kernel configs.
  77 * NX (no-execute) pmap support has been added.
  78 * Use 64-bit serials for poll/select's kevent.udata.  This fixes an issue where serial cycling could cause spurious events to be reported.
  79 * Fix several issues for encrypted installations.
  80 * Fix a blocked-lock issue in procfs
  81 * Fix a serious permissions bug for sticky directories
  82 * Fix event preset bug
  83 * Fix an ACPI initialization ordering issue
  84 * Fix a CAM shutdown ordering issue
  85 * NX support added to kernel, but does not work with some interpreted or JIT languages so disabled by default.
  86 * Fix a crypto subsystem stall.
  87 * Ryzen CPUs can lockup when the instruction pre-fetcher (which can be speculative) transitions from a canonical to a non-canonical address.  This can happen if the top of the user stack is mapped.  Unmap the top of the user stack, and the top of the user stack is no longer considered to be part of userspace.
  88 * Longer stir in arc4random(), make arc4random per-cpu to reduce contention.
  89 * Fix a zget() panic which can occur during heavy paging
  90 * Fix clustering inefficiencies
  91 * tmpfs and vn can't handle certain swapoff situations.  Be sure to fail a swapoff attempt under such conditions so not corruption occurs.
  92 * Fix a gcc code reordering problem related to td_critcount operations.  This fixes a lockmgr() race.
  93 * Significantly reduce tsleep()/wakeup() queue collisions.
  94 * Do many more NUMA-localized allocations for per-cpu structures.
  95 * Add better AMD topology detection.
  96 * Restrict kill(-1, ...) to the current reaper group.  This fixes issues during bulk builds via synth where third-party programs erroneously signal process -1 after a fork() failure.
  97 * Fix broken cpu rotator in lwkt_alloc_thread().
  98 * Fix a rare allproc scan vs p_ucred race
  99 * Fix unnecessary ucred duplication which led to potentially as many ucred allocations as vnodes.
 100 * Fix a memory ordering race in the shared lock mutex code.
 101 * Fix an ordering issue with coincident systimer interrupts.  This improves user/sys/idle percentage reporting.
 102 * Change our MBR partition type from 0xA5 (which we shared with FreeBSD) to 0x6C
 103 * Fix a callout_stop()/callout_reset() rearming race
 104 * Improve flushing during low-memory situations
 105 * Add an emergency pager.  The normal pager can pageout vnode-backed pages, but the complexity of the filesystem VFS can cause low-memory deadlocks during such flushes.  The emergency pager only pages out anonymous memory and can recover these situations.
 106 * Fix the panic() code for AMD cpus that assumed mwait hinting support when there might not be any.
 107 * Improve TSC handling.
 108 * Fix a SMP tsleep_interlock() vs wakeup() race.
 109 * Validate the kernel up to 1 million processes (since PIDs are restricted to 6 digits, this is the max).  Fix numerous issues that crop up under high-process-count conditions.  Yes, it actually does work.
 110 * Increase the default posix-lock limit.
 111 * Remove a performance bottleneck related to large numbers of pipe() close() operations.
 112 * Scale tsleep() performance to hundreds of thousands of processes.
 113 * Refactor the maxproc calculation, allowing maxproc to be higher without improperly scaling maxvnodes and other resources to insane levels.
 114 * Refactor the load calculation code to not stall cpu 0 when a large number of processes are present (aka a million procsses).
 115 * Fix excessive call stack depth for stuck interrupts.
 116 * Refactor IPI vector assignments and reformulate INVLTLB IPIs
 117
 118 ### Graphics
 119
 120 * Update i915 DRM to Linux 4.7.10
 121 * Primary support through Kabylake GPUs
 122 * MSI enabled by default for if_em devices which support it.
 123 * Fix a deadlock in the device lock retry code.
 124
 125 ### Networking
 126
 127 * [Direct input support for polling](http://lists.dragonflybsd.org/pipermail/commits/2017-September/626402.html), on by default for [ix(4)](https://leaf.dragonflybsd.org/cgi/web-man?command=ix&section=ANY).
 128 * Allow up to 64 TX and RX rings for X550 chipsets
 129 * Do not pad if_re chips which do not require explicit padding.  This fixes UDP checksum generation on these chipsets.
 130 * Limit the number of accepted sockets that kevent() reports.  Defaults to 32.  Does not effect accept() calls.  This deconfuses some third party applications.
 131 * Bring in vmx (VMWare virtual network driver, aka vmxnet3).
 132 * Add Kabylake support (add Kabylake PCI IDs)
 133 * Improve syncache performance.
 134 * Add an interface network filter to IPFW.
 135 * Add an ipfrag filter to IPFW.
 136 * Rework IPFW's states and tracks.
 137 * Reduce unnecessary IPIs by using sendmsg_oncpu() when possible.
 138 * Improve ipflow code.
 139 * Improve polling code.
 140 * Fix issue with accelerated IPv4/IPv6 fragment draining.
 141 * Randomize the local port.
 142
 143 ### Other drivers
 144
 145 * [virtio_scsi(4)](https://leaf.dragonflybsd.org/cgi/web-man?command=virtio_scsi&section=ANY) added
 146 * [ig4(4)](https://leaf.dragonflybsd.org/cgi/web-man?command=ig4&section=ANY) devices are now recognized.
 147 * internal updates to the [isp(4)](https://leaf.dragonflybsd.org/cgi/web-man?command=isp&section=ANY) SCSI adapter driver.
 148 * [ADMA2 mode](http://lists.dragonflybsd.org/pipermail/commits/2017-May/625874.html) is now supported for SD card data transfer.
 149 * UHS1 SD card disk format is [now supported](http://lists.dragonflybsd.org/pipermail/commits/2017-May/625911.html).
 150 * Properly delete /dev/dsp and /dev/mixer on sound module unload.
 151 * NVMe now handles devices without MSI-X support (aka virtualized NVMe).
 152 * vtnet and virtio_blk improvements.
 153
 154 ### Userland
 155
 156 * HAMMER1 now is at an internal version of 7, reflecting a new, faster [checksum operation](http://lists.dragonflybsd.org/pipermail/commits/2017-March/625653.html).
 157 * [kcollect(8)](https://leaf.dragonflybsd.org/cgi/web-man?command=kcollect&section=ANY) has been added for automatic data gathering on a running DragonFly system.
 158 * [sshlockout(8)](https://leaf.dragonflybsd.org/cgi/web-man?command=sshlockout&section=ANY) will now lock out based on [number of attempts](http://lists.dragonflybsd.org/pipermail/commits/2017-July/626020.html).
 159 * Fix a static buffer overflow in mfiutil
 160 * Fix a graphics compatibility enable test in 'window'
 161 * Fix several sscanf bugs in userland
 162 * usched now allows a process to change its own cpu affinity
 163 * Fix a bug in ceill()
 164 * Fix a seg-fault on crypt failure.
 165 * Many namespace cleanups to improve dports compatibility.
 166
 167 ### Various tools have been upgraded in the base system:
 168
 169 ### Hammer Changes
 170
 171 * Improve concurrent dedup stability under heavy concurrent loads.
 172 * HAMMER to version 7.  This version changes the CRC mechanic from an older slower CRC API to the ISCSI CRC code, which is 6x faster.  Improves HAMMER performance.  HHAMMER supports both old and new CRC methods and is backwards compatible, but only files created after this change will use the new mechanism.
 173
 174 ### Clang status
 175
 176 A starting framework has been added for using clang as the alternate base compiler in DragonFly, to replace gcc 4.7.  It's not yet complete.  Clang can of course be added as a package.
 177
 178 ### 64-bit status
 179
 180 * Note that DragonFly is a 64-bit-only operating system as of 4.6, and will not run on 32-bit hardware.
 181
 182 * AMD Ryzen is supported and DragonFly 5.0 has a workaround for a [hardware bug](http://lists.dragonflybsd.org/pipermail/commits/2017-August/626190.html).