devfs - don't propagate on terminate, it's redundant

* Don't propagate the device removal in the cdev terminate op since it
  must have happened before; otherwise something went horribly wrong.

* Verify that the cdev isn't linked into the dev list anymore upon
  terminate. As explained in the commit, this *must* be the case.

dloader - understand dumpdev

devfs - Only check rules after inserting into topology

* Previously rules were checked in allocp before binding the node into
  the topology. Since the rule checking itself needs the topology,
  stuff(TM) didn't work properly.

* NOTE: this still doesn't fix the issue of rules not being applied
  correctly on mount, but it's the first step towards that end.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1885

build - Fix IP_DIVERT w/UP build error

Reported-by: Stephane Russell <srussell@prodigeinfo.com>

mlxcontrol(8): Sync with FreeBSD.

While here, raise WARNS to 6 and fix the warnings.

vn - switch to using own malloc type

devfs - Fix FREEBLKS

* Since vn and md were changed to use the disk subsystem they
  essentially haven't been able to receive any BUF_CMD_FREEBLKS since
  their D_CANFREE flag was not propagated through the disk subsystem.

* Fix this by making the flag specific to the device via SI_CANFREE and
  propagating the D_CANFREE of even *underlying*/covered devices to the
  top-level device's SI_CANFREE.

kern_udev - fix the devtype property

* The devtype cannot be extracted from the si_flags in cdev, but only
  from the ops flags.

vn - Major overhaul

* Now that we can do proper disk cloning we do so. vn_create will now
  return the top device of the disk (the one that belongs to the disk
  subsystem and not us) if asked to do so. This is then passed back from
  the clone handler so that we have a real cloned disk.

* Remove all sorts of old hacks, mostly related to finding vn's and
  strange cdev lists that were not being used anymore anyways.

* Avoid the destruction/detachment of devices that are in use by keeping
  track of whether they are open or not and checking the opencount
  provided by the disk susbsystem.

* Fix a memory leak related to adding references to devs but never
  releasing them.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1561 (partly)

subr_disk - Keep an open count

subr_disk - 'official' support for cloning; cleanup

* Add 'official' cloning support, so that the top level node is also
  make_only_dev'd in the case of a cloned disk creation. This way
  the top level node can be used as a return value for the clone
  handler.

* Right now we are basically returning the raw underlying device node
  when we clone in vn. This can now be changed to actually do things
  properly so that everything passes through the disk subsystem.

* Clean up some dead code mostly related to the old understanding of
  'cloning', which has nothing to do with what's going on nowadays.

* Fix a leak of cdevs. The underlying 'rawdev' was never being released,
  resulting in a leak of these each time a disk was destroyed.

kern_conf - add make_only_dev_covering

libdm - Be a bit more verbose about ioctl issues

Reported-by: Sascha Wildner

dm - Disallow active vol removal; ret err of ioctl cmd

* Disallow the removal of volumes that are currently in use (determined
  by whether they are open or not).

* Return the error of the actual ioctl command that was executed and not
  of some prop copyout.

Reported-by: Sascha Wildner

installer: Remove /dev/mapper/* mappings where necessary.

kernel - Fix global counter used in lockf assertions

* lockf elements can be accessed MP.

* This may fix the 'panic: assertion: lf_global_counter>=0 in lf_destroy_range'
  panic.

Reported-by: Peter Avalos <peter@theshell.com>

Update build for OpenSSL-1.0.0b import.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.0b.

This primarily fixes CVE-2010-3864 and CVE-2010-2939.

Remove unused file from OpenSSH source.

libssh: Unset BROKEN_GLOB.  Ours works fine.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1891>

Fix buildkernel (LINT)

libc: Remove unused bit of code in __ujtoa().

All values of val that are <= ULONG_MAX have been handed to __ultoa() previously
so we can safely assume that val is not < 10.

Unless, of course, we're dealing with an architecture where ULONG_MAX <= 8,
which we hope will _never_ happen. :-)

Remove hotplug(4) since hotplugd(8) uses udev/devattr now.

On-behalf-of: alexh

udev_monitor(3) - Add new _property* macros

dm - adjust use of minor numbers to new reality

* Allocate (theoretical) minor numbers using the devfs_clone_bitmap
  facility instead of an ever-increasing int64.

* Set the actual minor of the dm-specific device information to the
  minor returned by the disk subsystem.

* Undo some of the dkunit() uses as they only covered very specific use
  cases.

disk - Add device-mapper specific fallthroughs

* Fall through for psize and ioctl if the underlying device is a device
  mapper volume and we aren't operating on a (real) slice or part.

* Enable the code hiding the compatibility slice s0.

Move net.wlan.force_swcrypto out of IEEE80211_DEBUG.

This fixes kernel builds that don't have IEEE80211_DEBUG in the config
(such as SOEKRIS).

fsid - Add to tree but don't build

* Add 'fsid', a proof-of-concept for now that reads volume names from
  hammer and ufs volumes (so far) and creates links to the devices with
  fs volumes in a /dev directory.

iostat - undo previous changes

* undo some previous changes that were not intended to be committed.

hotplugd rc script - add udevd dependency

udevd - Break startup into pre and post mount parts

* Add a SIGHUP handler to udevd that will recreate the socket and pid
  files, flush the current device database and read out a new one.

* Break the udevd rc.d script into udevd_early, to be run before
  mountcritlocal and a dependency of lvm, and udevd, which is the
  regular rc.d script which can be run at any time and on init takes
  over from udevd_early.

* Adjust lvm rc.d script to depend on udevd_early instead of udevd.

Suggested-by: Sascha Wildner

subr_disk - Maintain uuid aliases for disk volumes

* Maintain part-by-uuid (partitions on slices) and slice-by-uuid
  (GPT slices) aliases for the respective device nodes.

* This allows for access to a given partition or slice even after moving
  it around on a disk.

hotplugd - Switch to using udev/devattr

* Switch hotplugd from using the now removed hotplug devfs magic to
  using the unified device dictionary magic provided by kern_udev via
  devattr.

devfs - Add a destroy_dev_alias, remove hotplug

* Move the wildCmp* functions into devfs_core and expose them to the
  whole of devfs, but renamed as devfs_wildCmp*.

* Add a destroy_dev_alias functionality that will remove specific
  aliases to a cdev that match a given wild string.

* Remove the whole hotplug magic since it was broken already for systems
  with several devfs mount points (it would receive several attaches,
  one for each mount point). It is also redundant now that udev/devattr
  provides that functionality.

ufs - Adjust the on-disk structure to FreeBSD's

* Adjust the superblock on-disk structure a bit to include a few things
  like a volume name as FreeBSD does.

* NOTE: This introduces no functional changes but will allow to easily
  extract volume names from volumes.

Obtained-from: FreeBSD

kern_udev - Also add the device type to the dict

* By default also add the device type (D_DISK, ...) to the initial
  device dictionary.

udevd - Change filters to AND instead of OR processing

* Now all conditions in filters for monitor and enumerate have to be met
  instead of only one.

* This seems to be the way linux does it and it is
  pretty much the sensible way of doing it.

proplib - Don't link unconditionally to libphtread

* There is no need to link unconditionally to libpthread, since it can
  also work in single-thread applications using the libc stubs. That is
  after all why we fixed some of them a few months ago.

devattr - Add a few more convenience macros

* Add two more macros that take char* instead of const char* for setting
  monitor filters, as we do for enumerate filters.

dm/disk - cleanup, add '.' between name and slices

* Clean up some dm debugging introduced earlier.

* Add a DSO_DEVICEMAPPER option that will cause the disk subsystem to
  introduce a '.' between the base name and the slices (i.e. foo.s0
  instead of foos0).

dsched - adjust to work nicely with dm disks

* Substitute the forward slashes ('/') for '-' so that we don't have
  strangely named sysctl entries with slashes in them. This is also
  necessary for the loader, since it doesn't support slashes in the
  name.

dm/nestbuf - Bind into devstat, clean up

* Bind dm into devstat via nestbufs.

* Clean up several dm changes.

disk_setdiskinfo - correct assertion

* We want to assert that only either the number of blocks or the size in
* bytes is specified, not either the size in bytes or the blocksize.

dm - bind logical devices into the disk subsystem

* Bind logical dm devices into the disk subsystem so that they are more
  flexible. This way they'll appear as regular disks, they'll be able to
  have a disk scheduler and disklabels can be created on top of them.

disk_create_named - Adapt a bit to work with dm

* Don't add a 'unit' to the name if it's a named disk creation.

Temporarily bump the mbuf cluster size

* This solves issues with wpi. Once there is a different solution this
  can be reverted.

Suggested-by: Matthew Dillon (dillon@)

cam(4): Remove dead code. secs_per_cylinder can't be 0 here.

kernel: Remove some redundant initialization.

kernel - Add sysctl to bypass wifi chipset hardware crypto

* Add sysctl net.wlan.force_swcrypto, default disabled.  If set to 1
  prior to attaching wlan to the underlying wireless interface this
  will force software crypto to be used and bypass the hardware
  crypto implemented by the wireless chipset.

* Currently we know there is at least one serious issue with the
  Atheros 9280 when used with WEP2 (shows up as RSN in list scan) + WPS,
  and possibly other combinations.  The wrong transmit key winds up
  being used for broadcast packets, including ARP.

* This sysctl works around the problem.  If your wpa_supplicant is able
  to connect to a network but you are unable to dhclient / use the
  network you might be hitting this problem and setting the sysctl to
  1 may fix it.

  Note that the sysctl must be set prior to attaching the wlan to the
  underlying wireless driver, so it is typically best to do it at boot
  time or near the top of whatever script you use.

Inspired-by: 2-days of connectivity issues at NYCBSDCON.

kernel - Misc atheros updates

* Misc atheros updates, but doesn't seem to fix an issue that seems
  to be related to WPA2 + WPS for the 928x chipset

Taken-from: FreeBSD

kernel - add kern.sysbeep_enable feature

* Add a sysctl kern.sysbeep_enable (default on).  Setting this to 0
  will disable the system beep / bell.

* Useful when messing with a laptop in a conference, those beeps can
  get really annoying.

dc(4): Add IDs for the Abocom FE2500.

Tested-by: Max Herrgard <herrgard@gmail.com>

HAMMER - Check if supplied conf file exists

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1911>

Remove useless .PATH targets from kernel module Makefiles.

All these came in from FreeBSD which keeps their module Makefiles in
sys/modules (that is, separate from the source). We don't, so they are
not needed.

Make ubt(4) compilable into the kernel and add it to LINT.

ifconfig(8): Fix a bug and do some cleanup.

* Use the correct interface name (ifname instead of name) in a message.

* Remove an unused variable.

* Mark usage() as noreturn.

* Remove DragonFly CVS IDs.

hammer.8: Add some words about HAMMER version 5 and about upgrading to it.

Submitted-by: Ilya Dryomov <idryomov@gmail.com>

kernel: Silence some warnings that crept up with the APIC_IO changes.

HAMMER - Implement volume-list command

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1863>

kernel - Make sure invalidated pages are unmapped in rare situation.

* vfs_vmio_release() was ignoring pages busied by other MP users while
  releasing VM pages associated with the buffer cache.  This could
  potentially lead to invalida pages remaining memory mapped.

* Ensure that the released pages found to be in this state are still
  unmapped.

kernel - Close possible hole in hammer inval code

* Do not use FINDBLK_TEST, instead have findblk() return a locked buffer
  cache buffer and deal with it from there.  While the original code
  should have been ok (it would getblk() the buffer cache in either case),
  it depended on certain MP race characteristics that might not hold so
  don't take any chances.

* This does not fix any known issues but removes some uncertainty.

iir(4): Sync with FreeBSD.

* Remove an unused function.

* Fix a wrong check (io was checked for NULL twice, instead of io and irq).

diskless nfs - Add a remount feature for /conf.

* Add a feature where you can now remount the dirs in /conf so that
  you can e.g. have a /conf/10.1.2.3 that gets remounted off the local
  hdd of that machine before rc.d/initdiskless actually does it's thing
  and enables you to have private ssh keys that other diskless clients
  cannot access, but still enables you to exploit /conf to it's fullest.

Submitted-by: Rumko

HAMMER utility - Handle pruning when only snapshot meta-data present

* If only snapshot meta-data is present and no snapshot softlinks are found
  hammer prune (and hammer cleanup) previous exited with an error.  This case
  can occur when creating manual snapshot softlinks and/or trying to prune
  a slave PFS.

* In fact this is incorrect.  If meta-data is present we can prune based
  on that.

kernel - kmem_slab_alloc: Record vm_pages from page alloc for page mapping

This eliminates all of the vm map lookups for slab-sized and smaller
allocations and the first 32-or-so for larger ones.

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Nov  1, 2010
Mares:   Oct 20, 2010

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Remove remaining APIC_IO usages in bus/pci

installer: Ignore the exit status of two grep commands.

These commands may just find nothing which is okay in these cases. So don't
interpret their exit status 1 as failure.

Reported-by: lentferj

boot - Remove improper setting of default_kernel

* Setting default_kernel in loader.conf prevents dloader.menu from
  conditionally setting it according to what it finds in /boot.  Remove
  the set.

* To be symmetrical add a selection (u) for kernel.UP in addition to the
  selection (m) for kernel.SMP, in case someone selects SMP and then wants
  to go back to UP before booting.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - Fix broken assertion

* An assertion related to validating the flush group was not quite
  correct and causing fsstress panics with nohistory mounts.

* Fixed the assertion to allow a directory's flush group to be different
  from an underlying directory entry.  Directory records can be flushed
  independent of the directory inode itself, particularly under stressful
  conditions where the aggregate flush winds up being too large for the
  buffer cache to handle and has to be split up.

Reported-by: Sascha Wildner <saw@online.de>

smp.4: Adjust for the APIC_IO option removal.

GENERIC_SMP/X86_64_GENERIC_SMP: Properly sync for the APIC_IO removal.

* X86_64_GENERIC_SMP was forgotten, too (hey, we do have grep :).

* Bring back the comments in GENERIC_SMP.

* Remove some CVS IDs and trailing whitespace in other configs.

test commit (2)

test commit

wpi - (experimental) fixes

acpi.4 - correct cpu_idle_hlt foo

* According to code commnets in the machdep.c files, cpu_idle_hlt=2 is
  using ACPI sleep states. Setting it to 1 just uses the hlt
  instruction.

GENERIC_SMP - adapt to lack of APIC_IO

Merge branch 'apic_io'

Conflicts:
sys/platform/pc64/conf/options

Remove APIC_IO option

Remove APIC_IO option

Remove APIC_IO from vkernel

x86_64 - Get completely rid of APIC_IO

For SMP kernels compile time APIC_IO option has been superseeded
by loader tunable hw.apic_io_enable which defaults to APIC I/O
enabled.

Merge branch 'apic_io'

HAMMER - Add hammer dedup directive and support

* Adjust the utility to exit with an appropriate error if an
  attempt is made to dedup a filesystem which has not been upgraded
  to version 5.

i386 - Get completely rid of APIC_IO

For SMP kernels compile time APIC_IO option has been superseeded
by loader tunable hw.apic_io_enable which defaults to APIC I/O
enabled.

HAMMER - Add hammer dedup directive and support

* Minor adjustments to fix compile errors on 64-bit systems
  (printf %lld -> %jd and use intmax_t casts).

HAMMER - Add hammer dedup filesystem version dump

* Require a version 5 filesystem for dedup operation.  Upgrading can be done
  in-place.  All this does is make the layer2 bytes_free field a signed
  value instead of unsigned, allowing it to go negative.

  This allows dedup to use the field to account for multiple references to
  the same block of data, causing the field to (likely) go negative.

HAMMER - Add hammer dedup directive and support

* Implements all the logic required to dedup a HAMMER filesystem.

* There is one remaining issue and that is the reblocker's propensity to
  undo de-dup's hard work in certain cases.

* Code bounty for hammer_dedup

Submitted-by: Ilya Dryomov <idryomov@gmail.com>

libutil - Add humanize_unsigned()

* Add a humanize_unsigned() function as a companion to humanize_number()
  which does a much better job on large unsigned 64-bit quantities.

Submitted-by: Ilya Dryomov <idryomov@gmail.com>

nrelease - Add target to help w/ debugging

* Add a nopkgs target which disables the package step, for debugging
  purposes only.

talkd(8): Reduce diffs with FreeBSD and raise WARNS to 6.

watchdogd(8): Remove local warning options and fix static linking.

dialog(1): Remove local warning options and raise WARNS to 3.

dialog(3): Remove __linux__ conditionals.

They are no longer needed, now that the select function that gets passed
to scandir(3) takes a const parameter.

While I'm here, remove local warning options from the Makefile and raise
WARNS to 2.

kernel - Fix spinlock held on switch

* flushbufqueues() was holding bufqspin through a buffer cache callback,
  causing a kernel panic if the callback winds up blocking.  This only
  effected UFS not HAMMER).

* Release the spinlock a little earlier so it isn't held around the callback.

* Make a minor semantics change to bio_track_wait() to deal with potential
  compiler optimizations messing up the cmpxchg loop.

Reported-by: "goetz@net-amp.com" <goetz@net-amp.com>

umount - Remove sync() call from utility

* Do not call sync() unconditionally when issuing the /sbin/umount command.
  Let the kernel take care of any syncing.

* This may allow umount -f to operate better in situations where a mount
  might be stuck (such as a NFS mount), and also removes delays associated
  with scanning large numbers of vnodes on x86_64.

<sys/cdefs.h>: Add some definitions for IEEE 1003.1-2008.

Our default remains 200112 for now.