dm - Fix a reference leak

* References to the newly created target would not be released on an
  error, but they should. Otherwise dm_target_rem will never succeed if
  an error occured here.

Merge branch 'master' of /repository/git/dragonfly

kernel - Export vm_map_transition_wait and correct race between sleep/wakeup.

kernel - Implement munlockall.

Test commit

kernel - Add a flags field to the vm_map and a MAP_WIREFUTURE flag.

libdm - clean libdm-dragonfly-iface

* Remove bogus whitespace.

* Remove dead code.

* Clean up a few comments.

* Remove prop_dictionary_externalize_to_file that were used for debug
  purposes.

newfs - add volume name support

Obtained-from: FreeBSD

fsid - clear buffer before reading

Fix a couple of typos in messages & manpages.

arcmsr(4): Update to vendor release 1.20.00.19.

Bug fixes:
  * Fixed "inquiry data fails comparion at DV1 step"
  * Fixed bad range input in bus_alloc_resource for ADAPTER_TYPE_B
  * Fixed arcmsr driver prevent arcsas support for Areca SAS HBA ARC13x0

Taken-from: FreeBSD

arcmsr(4): Fix up the device description a bit.

printf(1): Fix the printing of floats which I broke back in 2007.

I forgot braces in f386bcf2683a4edef25828e3958ba5b087d702d2

kernel - Fix namecache memory exhaustion edge case

* The namecache has traditionally relied on vnode limits to avoid
  blowing up its memory pool.  However, creating millions of hardlinks
  to the same vnode easily circumvents this assumption.

* Enhance the negative cache hysteresis code with a section for the
  positive cache that does the same thing, preventing the namecache
  from growing greater than 2x maxvnodes.

  This situation will not occur under normal operation, it is strictly
  for correctness.  The kernel should never panic on normal filesystem
  operations even if those operations are unrealistic.

* Tested w/HAMMER and a few million hardlinks to a single file.

Reported-by: Venkatesh Srinivas <me@acm.jhu.edu>

kernel - AHCI hotplug work to help support AMD chipsets

* Change the Hot-plug mechanics to something which appears to work for
  both NVidia and AMD AHCI chipsets, and hopefully Intel too (untested).

  This appears to fix hot-plug for AMD's SB850-based AHCI (circa AM3 socket
  mobos).

* Basically the SCTL.DET and CMD.SUD bits control the behavior of the
  SATA Phy, but in typical Intel fashion the specification is seriously
  lacking on how events such as hot-plug are handled based on what state
  the phy is in.

  Previously we were looking for phy transition events while holding
  the port in the RESET state (DET=1, SUD=1), which worked up till this
  point.  But it doesn't work with AMD's SB850-based AHCI.

  Now we are attempting to do the same thing with the port in
  the SPIN-UP/NORMAL state (DET=0, SUD=1).

* The AHCI documentation wants us to use the LISTEN mode (DET=0, SUD=0)
  and get a SERR.DIAG.X event for hot-plug but this doesn't seem to work
  very reliably.  In fact, 10.10.4 is ambiguous for the case
  where Staggered-spin-up is not supported since SUD is wired to '1'
  in that case (making LISTEN mode impossible).

kernel - More AHCI work to help support broken AMD chipsets

This cleans up more of our AHCI support for AMD 880/890/SB850 chipsets.

This does NOT clean up hot-plug issues (fixing those might require actually
probing dead ports every few seconds).

* Better PCS/PRCS masking during low level reset sequences to prevent
  the PCS/PRCS interrupt from poking ports while we are in a hard reset.

* Breakout the COMRESET sequence into its own procedure.

* Make sure SPM is disabled in addition to IPM when doing a hard reset
  of a port.  Also make sure that POD (Power Up Device) is set in
  addition to SUD (Spin up Device) while we are in a hard reset.

* Wait one full second after aftering DET_INIT (sending COMINIT) before
  testing the SSTS bits, to ensure the microcontroller has reinitialized
  itself so we do not get bogus bits and to prevent bogus device detection
  which some chipsets may have left unmasked.

  This may also be needed in general when supporting SATA-III's longer
  training times.

* Do not reinit the port after a PM probe fails as it could undo all of
  the hard work we did initializing it.

* Reissue the COMRESET if a PM probe fails to ensure that any state left
  over from the PM detection gets cleared and to deal with any devices
  which brick when they receive a PM-related command.

kernel - Add APIC_IO conf option back in / make it adjust hw.apic_io_enable

* APIC_IO again controls whether a SMP kernel will use the io-apic or not.
  All it does now is adjust the hw.apic_io_enable default value.

  Changing the code to allow apic-io to be soft-selectable was great, but
  removing the kernel config option was not so great.

* SMP Kernels compiled without APIC_IO again default to not using it.  You
  can use APIC_IO either by configuring the kernel with the option or
  by setting hw.apic_io_enable=1 in /boot/loader.conf.

* SMP Kernels compiled with APIC_IO default to using APIC_IO.

* Reduces confusion between 2.8 and 2.9 kernel config files.

* Reduces personal frustrations.

OpenSSL: Add pre-generated asm files to the build.

This causes measurable performance increases.

The Makefile in asm/ will generate the .s files from the vendor-provided
.pl files when a new version of OpenSSL is imported.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1542>

Merge branch 'vendor/OPENSSL' into HEAD

OpenSSL: Reduce diffs to vendor source.

Make OpenSSL thread-safe.

tmpfs - fix chgrp(), or chown() when one of uid/gid is to be unchanged

uid/gid values from function arguments were being used instead of the ones
arranged by vop_helper_chown(), accidentally setting one of them to -1
(4294967295) instead of leaving it unchanged.

debug - Add seekbench.c

* Add a little program which purposefully attempts to defeat OS and disk
  caches to calculate seek latencies for different relative seek spans.

  Well, this doesn't tell us anything we didn't know already, that being
  that unless one can make accesses use of the HDs zone cache well anything
  other than a linear read is going to have a fairly huge seek-time cost.

Fortune: update hammer snapshot info

kbdmap(1): Fix a segmentation fault with -r.

Reported-by: Mikael Moghadam <binarybusiness@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1918>

mount_devfs - don't unconditionally clear rules

* mount_devfs was unconditionally clearing all rules of a mountpoint
  after mounting.

* According to the man page (and my original intentions, I'd presume),
  mount_devfs should only clear the rules of a mountpoint if it was
  already mounted. So fix mount_devfs accordingly.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1885

kern_shutdown - sync_devs before looking for dumpdev

* We need to sync_devs before starting to look for dumpdev, otherwise it
  might have happened that the probing of the disk hasn't finished yet.

devfs - don't propagate on terminate, it's redundant

* Don't propagate the device removal in the cdev terminate op since it
  must have happened before; otherwise something went horribly wrong.

* Verify that the cdev isn't linked into the dev list anymore upon
  terminate. As explained in the commit, this *must* be the case.

dloader - understand dumpdev

devfs - Only check rules after inserting into topology

* Previously rules were checked in allocp before binding the node into
  the topology. Since the rule checking itself needs the topology,
  stuff(TM) didn't work properly.

* NOTE: this still doesn't fix the issue of rules not being applied
  correctly on mount, but it's the first step towards that end.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1885

Add files to OpenSSL that will generate optimized asm code.

build - Fix IP_DIVERT w/UP build error

Reported-by: Stephane Russell <srussell@prodigeinfo.com>

mlxcontrol(8): Sync with FreeBSD.

While here, raise WARNS to 6 and fix the warnings.

vn - switch to using own malloc type

devfs - Fix FREEBLKS

* Since vn and md were changed to use the disk subsystem they
  essentially haven't been able to receive any BUF_CMD_FREEBLKS since
  their D_CANFREE flag was not propagated through the disk subsystem.

* Fix this by making the flag specific to the device via SI_CANFREE and
  propagating the D_CANFREE of even *underlying*/covered devices to the
  top-level device's SI_CANFREE.

kern_udev - fix the devtype property

* The devtype cannot be extracted from the si_flags in cdev, but only
  from the ops flags.

vn - Major overhaul

* Now that we can do proper disk cloning we do so. vn_create will now
  return the top device of the disk (the one that belongs to the disk
  subsystem and not us) if asked to do so. This is then passed back from
  the clone handler so that we have a real cloned disk.

* Remove all sorts of old hacks, mostly related to finding vn's and
  strange cdev lists that were not being used anymore anyways.

* Avoid the destruction/detachment of devices that are in use by keeping
  track of whether they are open or not and checking the opencount
  provided by the disk susbsystem.

* Fix a memory leak related to adding references to devs but never
  releasing them.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1561 (partly)

subr_disk - Keep an open count

subr_disk - 'official' support for cloning; cleanup

* Add 'official' cloning support, so that the top level node is also
  make_only_dev'd in the case of a cloned disk creation. This way
  the top level node can be used as a return value for the clone
  handler.

* Right now we are basically returning the raw underlying device node
  when we clone in vn. This can now be changed to actually do things
  properly so that everything passes through the disk subsystem.

* Clean up some dead code mostly related to the old understanding of
  'cloning', which has nothing to do with what's going on nowadays.

* Fix a leak of cdevs. The underlying 'rawdev' was never being released,
  resulting in a leak of these each time a disk was destroyed.

kern_conf - add make_only_dev_covering

libdm - Be a bit more verbose about ioctl issues

Reported-by: Sascha Wildner

dm - Disallow active vol removal; ret err of ioctl cmd

* Disallow the removal of volumes that are currently in use (determined
  by whether they are open or not).

* Return the error of the actual ioctl command that was executed and not
  of some prop copyout.

Reported-by: Sascha Wildner

installer: Remove /dev/mapper/* mappings where necessary.

kernel - Fix global counter used in lockf assertions

* lockf elements can be accessed MP.

* This may fix the 'panic: assertion: lf_global_counter>=0 in lf_destroy_range'
  panic.

Reported-by: Peter Avalos <peter@theshell.com>

Update build for OpenSSL-1.0.0b import.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.0b.

This primarily fixes CVE-2010-3864 and CVE-2010-2939.

Remove unused file from OpenSSH source.

libssh: Unset BROKEN_GLOB.  Ours works fine.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1891>

Fix buildkernel (LINT)

libc: Remove unused bit of code in __ujtoa().

All values of val that are <= ULONG_MAX have been handed to __ultoa() previously
so we can safely assume that val is not < 10.

Unless, of course, we're dealing with an architecture where ULONG_MAX <= 8,
which we hope will _never_ happen. :-)

Remove hotplug(4) since hotplugd(8) uses udev/devattr now.

On-behalf-of: alexh

udev_monitor(3) - Add new _property* macros

dm - adjust use of minor numbers to new reality

* Allocate (theoretical) minor numbers using the devfs_clone_bitmap
  facility instead of an ever-increasing int64.

* Set the actual minor of the dm-specific device information to the
  minor returned by the disk subsystem.

* Undo some of the dkunit() uses as they only covered very specific use
  cases.

disk - Add device-mapper specific fallthroughs

* Fall through for psize and ioctl if the underlying device is a device
  mapper volume and we aren't operating on a (real) slice or part.

* Enable the code hiding the compatibility slice s0.

Move net.wlan.force_swcrypto out of IEEE80211_DEBUG.

This fixes kernel builds that don't have IEEE80211_DEBUG in the config
(such as SOEKRIS).

fsid - Add to tree but don't build

* Add 'fsid', a proof-of-concept for now that reads volume names from
  hammer and ufs volumes (so far) and creates links to the devices with
  fs volumes in a /dev directory.

iostat - undo previous changes

* undo some previous changes that were not intended to be committed.

hotplugd rc script - add udevd dependency

udevd - Break startup into pre and post mount parts

* Add a SIGHUP handler to udevd that will recreate the socket and pid
  files, flush the current device database and read out a new one.

* Break the udevd rc.d script into udevd_early, to be run before
  mountcritlocal and a dependency of lvm, and udevd, which is the
  regular rc.d script which can be run at any time and on init takes
  over from udevd_early.

* Adjust lvm rc.d script to depend on udevd_early instead of udevd.

Suggested-by: Sascha Wildner

subr_disk - Maintain uuid aliases for disk volumes

* Maintain part-by-uuid (partitions on slices) and slice-by-uuid
  (GPT slices) aliases for the respective device nodes.

* This allows for access to a given partition or slice even after moving
  it around on a disk.

hotplugd - Switch to using udev/devattr

* Switch hotplugd from using the now removed hotplug devfs magic to
  using the unified device dictionary magic provided by kern_udev via
  devattr.

devfs - Add a destroy_dev_alias, remove hotplug

* Move the wildCmp* functions into devfs_core and expose them to the
  whole of devfs, but renamed as devfs_wildCmp*.

* Add a destroy_dev_alias functionality that will remove specific
  aliases to a cdev that match a given wild string.

* Remove the whole hotplug magic since it was broken already for systems
  with several devfs mount points (it would receive several attaches,
  one for each mount point). It is also redundant now that udev/devattr
  provides that functionality.

ufs - Adjust the on-disk structure to FreeBSD's

* Adjust the superblock on-disk structure a bit to include a few things
  like a volume name as FreeBSD does.

* NOTE: This introduces no functional changes but will allow to easily
  extract volume names from volumes.

Obtained-from: FreeBSD

kern_udev - Also add the device type to the dict

* By default also add the device type (D_DISK, ...) to the initial
  device dictionary.

udevd - Change filters to AND instead of OR processing

* Now all conditions in filters for monitor and enumerate have to be met
  instead of only one.

* This seems to be the way linux does it and it is
  pretty much the sensible way of doing it.

proplib - Don't link unconditionally to libphtread

* There is no need to link unconditionally to libpthread, since it can
  also work in single-thread applications using the libc stubs. That is
  after all why we fixed some of them a few months ago.

devattr - Add a few more convenience macros

* Add two more macros that take char* instead of const char* for setting
  monitor filters, as we do for enumerate filters.

dm/disk - cleanup, add '.' between name and slices

* Clean up some dm debugging introduced earlier.

* Add a DSO_DEVICEMAPPER option that will cause the disk subsystem to
  introduce a '.' between the base name and the slices (i.e. foo.s0
  instead of foos0).

dsched - adjust to work nicely with dm disks

* Substitute the forward slashes ('/') for '-' so that we don't have
  strangely named sysctl entries with slashes in them. This is also
  necessary for the loader, since it doesn't support slashes in the
  name.

dm/nestbuf - Bind into devstat, clean up

* Bind dm into devstat via nestbufs.

* Clean up several dm changes.

disk_setdiskinfo - correct assertion

* We want to assert that only either the number of blocks or the size in
* bytes is specified, not either the size in bytes or the blocksize.

dm - bind logical devices into the disk subsystem

* Bind logical dm devices into the disk subsystem so that they are more
  flexible. This way they'll appear as regular disks, they'll be able to
  have a disk scheduler and disklabels can be created on top of them.

disk_create_named - Adapt a bit to work with dm

* Don't add a 'unit' to the name if it's a named disk creation.

Temporarily bump the mbuf cluster size

* This solves issues with wpi. Once there is a different solution this
  can be reverted.

Suggested-by: Matthew Dillon (dillon@)

cam(4): Remove dead code. secs_per_cylinder can't be 0 here.

kernel: Remove some redundant initialization.

kernel - Add sysctl to bypass wifi chipset hardware crypto

* Add sysctl net.wlan.force_swcrypto, default disabled.  If set to 1
  prior to attaching wlan to the underlying wireless interface this
  will force software crypto to be used and bypass the hardware
  crypto implemented by the wireless chipset.

* Currently we know there is at least one serious issue with the
  Atheros 9280 when used with WEP2 (shows up as RSN in list scan) + WPS,
  and possibly other combinations.  The wrong transmit key winds up
  being used for broadcast packets, including ARP.

* This sysctl works around the problem.  If your wpa_supplicant is able
  to connect to a network but you are unable to dhclient / use the
  network you might be hitting this problem and setting the sysctl to
  1 may fix it.

  Note that the sysctl must be set prior to attaching the wlan to the
  underlying wireless driver, so it is typically best to do it at boot
  time or near the top of whatever script you use.

Inspired-by: 2-days of connectivity issues at NYCBSDCON.

kernel - Misc atheros updates

* Misc atheros updates, but doesn't seem to fix an issue that seems
  to be related to WPA2 + WPS for the 928x chipset

Taken-from: FreeBSD

kernel - add kern.sysbeep_enable feature

* Add a sysctl kern.sysbeep_enable (default on).  Setting this to 0
  will disable the system beep / bell.

* Useful when messing with a laptop in a conference, those beeps can
  get really annoying.

dc(4): Add IDs for the Abocom FE2500.

Tested-by: Max Herrgard <herrgard@gmail.com>

HAMMER - Check if supplied conf file exists

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1911>

Remove useless .PATH targets from kernel module Makefiles.

All these came in from FreeBSD which keeps their module Makefiles in
sys/modules (that is, separate from the source). We don't, so they are
not needed.

Make ubt(4) compilable into the kernel and add it to LINT.

ifconfig(8): Fix a bug and do some cleanup.

* Use the correct interface name (ifname instead of name) in a message.

* Remove an unused variable.

* Mark usage() as noreturn.

* Remove DragonFly CVS IDs.

hammer.8: Add some words about HAMMER version 5 and about upgrading to it.

Submitted-by: Ilya Dryomov <idryomov@gmail.com>

kernel: Silence some warnings that crept up with the APIC_IO changes.

HAMMER - Implement volume-list command

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1863>

kernel - Make sure invalidated pages are unmapped in rare situation.

* vfs_vmio_release() was ignoring pages busied by other MP users while
  releasing VM pages associated with the buffer cache.  This could
  potentially lead to invalida pages remaining memory mapped.

* Ensure that the released pages found to be in this state are still
  unmapped.

kernel - Close possible hole in hammer inval code

* Do not use FINDBLK_TEST, instead have findblk() return a locked buffer
  cache buffer and deal with it from there.  While the original code
  should have been ok (it would getblk() the buffer cache in either case),
  it depended on certain MP race characteristics that might not hold so
  don't take any chances.

* This does not fix any known issues but removes some uncertainty.

iir(4): Sync with FreeBSD.

* Remove an unused function.

* Fix a wrong check (io was checked for NULL twice, instead of io and irq).

diskless nfs - Add a remount feature for /conf.

* Add a feature where you can now remount the dirs in /conf so that
  you can e.g. have a /conf/10.1.2.3 that gets remounted off the local
  hdd of that machine before rc.d/initdiskless actually does it's thing
  and enables you to have private ssh keys that other diskless clients
  cannot access, but still enables you to exploit /conf to it's fullest.

Submitted-by: Rumko

HAMMER utility - Handle pruning when only snapshot meta-data present

* If only snapshot meta-data is present and no snapshot softlinks are found
  hammer prune (and hammer cleanup) previous exited with an error.  This case
  can occur when creating manual snapshot softlinks and/or trying to prune
  a slave PFS.

* In fact this is incorrect.  If meta-data is present we can prune based
  on that.

kernel - kmem_slab_alloc: Record vm_pages from page alloc for page mapping

This eliminates all of the vm map lookups for slab-sized and smaller
allocations and the first 32-or-so for larger ones.

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Nov  1, 2010
Mares:   Oct 20, 2010

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Remove remaining APIC_IO usages in bus/pci

installer: Ignore the exit status of two grep commands.

These commands may just find nothing which is okay in these cases. So don't
interpret their exit status 1 as failure.

Reported-by: lentferj

boot - Remove improper setting of default_kernel

* Setting default_kernel in loader.conf prevents dloader.menu from
  conditionally setting it according to what it finds in /boot.  Remove
  the set.

* To be symmetrical add a selection (u) for kernel.UP in addition to the
  selection (m) for kernel.SMP, in case someone selects SMP and then wants
  to go back to UP before booting.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly