Bring in FreeBSD's usbdump(8).

Bring in FreeBSD's usbhidaction(1).

Sync the new USB stack's usbhidctl(1) with FreeBSD.

Sync the new USB stack's libusbhid with FreeBSD.

Sync libusb with FreeBSD.

Adjust SYNOPSIS in a couple of USB driver manual pages.

Namely, put "device oldusb" in all manual pages which are for drivers
that are only available in the old stack, be it because they are not
yet ported or because they are specific to the old stack.

kernel/ndis: Solve module build without a USB bus in the config better.

When there is no USB bus in the config, the ndis modules need a hint
about which of the two possible USB stacks to build for. Always build
for usb4bsd unless oldusb is explicitly specified.

usb4bsd: Remove irritating kprintf

Add new usb4bsd only devices to LINT/LINT64.

usb4bsd: Fix a couple of typos and build issues.

LINT/LINT64: Fix umass comment.

kernel: Comment out old or yet unsupported USB devices in our configs.

chgsbsize: Optimize for x86_64 by avoid uidinfo spinlock

This kills one of the highly contended spinlocks on accept(2) path.  And
it also greatly helps connect(2) path.

With this commit, tools/kq_connect_client could do 273Kconns/s instead
of 260Kconns/s (~5% improvement, however, connect(2) is still cpu bound).

usb4bsd: Adjust a Makefile comment.

Make usb4bsd the default USB stack.

To get back to the old stack, put "WANT_OLDUSB=yes" in /etc/make.conf and
replace "device usb" with "device oldusb" in the kernel configuration.

Requested-by: dillon, profmakx, marino etc.

usb4bsd - Fix poll/select/kqfilter issues with ums and usb_fifo*() API

* Fix handling of f->flag_isselect.  It was being improperly cleared on
  event notification.  It can only be cleared when the knote is removed.

* Call f->methods->f_start_read() unconditionally in usb_filter_read().
  Conditionalizing on f->queue_data will fail with devices (aka ums) which
  allocate the buffer independantly of starting the interrupt xfer.

* Call usb_fifo_wakeup() in mbuf re-queue cases to handle races when
  the read() code pulls an mbuf off the queue and then puts it back on.

* Fix bugs in UMS - Keep track of whether the interrupt transfer is running
  or not and do not re-submit or re-stop the transfer unconditionally.

usb4bsd: Adjust 'make upgrade' for the serial driver modules.

usb4bsd: Allow to build serial drivers into the kernel too.

usb4bsd: Fix typo in last commit.

usb4bsd: Fix some warnings in usb_serial.

* Fix two cases where sc was passed to ucom_modem() but sc->sc_tty
  should have been.

* Comment out a debug variable.

* Use #if 0 consequently and add a few more.

* Indent fixes.

OK'd-by: profmakx

usb4bsd: usb_dev kqfilter

* implement a working kqfilter
* integrate some FreeBSD patches

usb4bsd: work on usb_serial.c

usb4bsd: use generated usbdevs.h

replace respective includes and fixup makefiles

usb4bsd: Implement kqfilter for usb_dev

usb4bsd: port usb_serial

Start porting ucom.

* import serial.h from freebsd
* comment almost everything out in usb_serial.c
* make the whole thing compile

tools - Fix a couple mistakes.

- Don't write metadata file on dry-run mode for hammer-backup.sh
- Fix a corner case where hammer mirror-read does not find any changes
  and thus provides no endtid. Reused begtid for the metadata file
- Exit and remove the incremental file generated if we can't figure out
  which entid has to be written to the metadata file

tools - Reorganise a bit info messages in hammer-info.sh

- Also silence errors in md5's output.
- Remove some info that is already on the README

tools - Add option -k to hammer-backup.sh

- This new option goes through all metadata backup files in the
  specified backup directory and performs a checksum on them.
- While here fix usage.

tools - Easier incremental backups for hammer-backup.sh.

- If 'auto' is specified with option -i, then the latest full backup will
  be used. This allows easier backups via crontab for example.
- Fix a couple things in README.

tools - Improve hammer-backup.sh a bit

- Use globbing where appropriate.
- Fix some tests.
- Fix awk usage in some cases.
- Remove unused variables.

Submitted-by: Freddy DISSAUX

tools - Fix indentation.

- Use the same indentation across the whole hammer-backup.sh
  script.

Spotted-by: Freddy DISSAUX

chgsbsize: Reduce cover range of uidinfo spinlock

ethernet: If caller thread cpu is fixed, pass cpuid to ether_input_pkt()

So we could use optimized lwkt_sendmsg_oncpu() instead of lwkt_sendmsg(),
if the target netisr is on the same cpu as caller thread cpu.  Mainly to
avoid unnecessary wakeup() IPIs to other cpus.

THE RESULT:

On i7-3770 w/ HT enabled (8 logical cpus); NIC is 82599ES w/ 8 RX rings
and 8 TX rings.  Run:
    repeat 10 tcp_stream -H ... -i 256 -l 10 -r
(256 netperf TCP_MAERTS instances for 10 seconds, 10 rounds)

Total amount of cross IPIs before this commit is 6946097.  Total amount
of cross IPIs as of this commit is 5445324.  ~22% unnecessary wakeup()
IPIs are avoided!

kernel: Fixup KERN_PROC_PATHNAME sysctl

The code for the sysctl uses pfind, which PHOLDs the process
if a pid is passed to the sysctl, so we PRELE the process
if necessary.

hammer2 - Fix stack blowout in lookup iteration

* hammer2_chain_lookup()->hammer2_chain_next()->hammer2_chain_lookup()
  stacking could blow out the kernel stack.

* Inline the iteration within hammer2_chain_lookup() when the lookup runs
  out of blockrefs without finding anything at the current level, instead
  of having it call hammer2_chain_next().

hammer2 - stabilization

* Remove write transaction from hammer2_vop_reclaim().  This was being
  used to do the final deletion of chains for unlinked-but-open files.
  Instead, the related inode is placed on a pmp->unlinkq and finalization
  is handled by the sync and rmdir code.

* Fixes problems with flush synchronization due to the fact that a reclaim
  can occur at any time.

Sun switched these files to a 3-clause BSD license in 2009.

Change-noted-in: http://svnweb.freebsd.org/base?view=revision&revision=258564

tools - Implement a simple hammer-backup script.

This script operates HAMMER PFSes and dumps its contents for backup
purposes.

It uses mirror-read directive (see 'man 8 hammer') to perform a
dump to stdout that is redirected to a file with or without
compression.

Read /usr/src/tools/tools/hammer-backup/README for more detailed
information.

Also please note the script is not installed with a default DragonFly
BSD installation, so you have to take care of that manually.

Any suggestion or bug report is appreciated!

hammer2 - Stabilization pass

* Fix case in hammer2_chain_delete_duplicate(), allow delete-duplication
  of a deleted terminal chain outside of a flush.

* Fix assertions in the flush code.  Deleted parent's block tables are not
  updated.  If all parents are deleted we allow the CHAIN_DELETED flag to
  be cleared in children even though the children might still be on the
  DBTREE or be flagged BMAPPED.

* Fix bug in hammer2_bioq_sync() where new logical buffers instantiated while
  flushing existing buffers are not waited for before exiting the PREFLUSH
  state.  This might not actually be a bug but cover the case for now.

Revert "Add an /etc/periodic script to check for dports package vulnerabilities."

This reverts commit dced1188f0aae7a3a714a58540f8f6bf4043f35c.

Aw, actually there are scripts in /usr/local/etc/periodic doing just that.

Add an /etc/periodic script to check for dports package vulnerabilities.

It's basically just 'pkg audit' at them moment, the output of which is
then included in the nightly security mails.

To disable this check for some reason, daily_status_dports_audit_enable
can be set to 'no' in /etc/periodic.conf.

Reported-by: joris

Add a urtwnfw(4) manual page (from FreeBSD).

hier.7: Add /compat/ndis, binutils adjustments, remove /etc/firmare.

hammer2 - Reduce flush complexity, fix panics

* Set synchronous flush mode by default for now to reduce sources of
  potential crashes so the core can be stabilized.

  This means that the only transactions that will run with a higher
  transaction id during a flush are allocations from the freemap made
  by the flush itself.  This is far easier to debug.

  Concurrent frontend transactions are disabled during a flush, for now.

* The buffer flush which is run synchronously from the main flush now always
  uses an async + sync vfsync sequence and does not allow any buffers to
  be left over before entering the main flush.

* The buffer flush now also uses the same transaction id as the main flush.
  A new flag, HAMMER2_TRANS_PREFLUSH is used to manage this mechanic and
  to assert on any illegal buffer flushes.

* Fix miscellanious assertions that were incorrect, and split the pass4
  codepath in the flush into pass4 and pass5 to fix another bug.

* Fix an improper semicolon (from swildner)

* Remove more dead code.

* The hammer2_vop_reclaim() code was the only code path that would acquire
  a hammer2_inode lock prior to starting a transaction for a modifying
  operation (for the delete unlinked file on last reference).  Fix this
  code to open the transaction first and obtain the inode lock second,
  which fixes a deadlock.

* Fix an infinite while() loop due to improper arguments in a TAILQ_NEXT()
  call.

kernel: Adjust type of vmm_guest to enum vmm_guest_type.

Also rename VMM_LAST -> VMM_GUEST_LAST.

installer: Adjust so we can install a vkernel environment using our ISOs.

Tested-by: tuxillo

sbin/hammer - Remove trailing '/' from paths.

  When operating PFSes through symbolic links, it was not
  possible to specify the trailing backslash since that
  translated to the PFS root dir instead of the symbolic link
  to the PFS itself. This caused problems when upgrading or
  downgrading PFSes (and probably in other cases too).
  The error was "Directory not empty".

  This commit should solve those cases, but keep in mind
  there are other cases where it is actually not possible
  to complete certain operations (like while destroying
  PFSes).

Reported-by: Siju George, others

sbin/hammer - Fix a wrong error message.

kernel/vfs - Fix a refcount check in vclean_unlocked()

- vx_get() actually adds a ref so you actually need to count
  with that.

kernel: Add more detailed VM detection.

Previously, the kernel global 'vmm_guest' was either 0 or 1 depending
on the VMM bit in the CPU features (which isn't set in all VMs).

This commit adds more detailed information by checking the emulated
BIOS for known strings. The detected VMs include vkernel, which
doesn't strictly fit into the category, but it shares enough
similarities for this to be useful.

Also expose this information in a read-only sysctl (kern.vmm_guest).

The detection code was kind of adapted from FreeBSD (although their
kern.vm_guest works differently).

Tested-by: tuxillo

rc.d/root - Remove unnecessary 'mount /' call.

UFS and HAMMER do not emit an error when trying to mount
an already mounted root fileystem but cd9660 does.
That's why this wasn't producing any error message on
already installed systems.

While booting the LiveCD you could see:

cd9660: /dev/vcd0: Invalid argument

Reported-by: corecode
DragonFly-bug: <http://bugs.dragonflybsd.org/issues/1518>

This commit closes #1518

rtld(1): Fix a typo in inactive code.

Confirmed-by: kib@freebsd via marino

Some fixes to allow building with gcc44.

Most of them for type redefinitions which gcc47 has stopped warning about
(if they are compatible).

The libstdc++ fix is modeled after gcc47's libstdc++. We don't have
__libc_C_ctype_[] anymore.

drm/ttm: Use the Linux wait queues API

Reducing differences with Linux 3.9 (ttm) and Linux 3.8 (rest of the code)

drm: Add a local implementation of linux/wait.h

Inspired-by: OpenBSD

kern: fix integer underflow in exec_shell_imgact.

was returning E2BIG whenever argv[0] is longer interp+path.
see also FreeBSD PR 155321.

vkernel - Use 'vcd0' by default.

- This allow booting our ISO images directly.

virtual/vcd - Adapt for DEVFS.

- disk_setdiskinfo() call to completely configure the device.
- This allows vcd(4) to work properly on vkernels.

kernel/ixgbe: Fix building kernels with IX_RSS_DEBUG in the config.

test again

test

test - Testing 1 2 3

kernel/natapci - Fix a NULL pointer dereference.

- ata_devclass is NULL when no unit 0/1 is available or no
  legacy support has been detected.
- device_add_child() populates ata_devclass via make_device()
  so do not try to get information out of it when NULL.

Submitted-by: @dillon

kernel/nata - Fix a memory leak in ata-dma.

x86_64/mwait: Fix sysctl node OID settings

ix: Implement MSI-X support and enable multiple TX rings

Two modes are supported, if there are enough MSI-X vector:
- TX ring and RX ring processing uses independent MSI-X vector.  It
  could be useful for some most TX applocation.  It could be enabled
  by setting hw.ix.msix.agg_rxtx or hw.ixY.msix.agg_rxtx to 0.
- TX ring and RX ring processing uses same MSI-X vector.  This is the
  default.  TX ring is processed when the header write back pointer
  is moved; this avoids unecessary TX ring serialization if there is
  no TX descriptor to recollect at all.

For 82598, MSI-X is not enabled by default, due to hardware errata.  It
could be enabled by setting per-device tunable hw.ixY.msix.enable.

Multiple TX rings are enable as of this commit.  Under MSI-X mode, 32 TX
rings could be used for 82599 and X540; 16 TX rings could be used for
82598.  Once polling(4) is implemented, more TX rings could be used.

Multiple RX rings have already been enabled, however, under MSI-X mode,
16 RX rings could be used for all devices supported by this driver.

Unlike the original Intel's ixgbe, number of RX rings and number of TX
rings could be configured independently.

Remove the original Intel's ixgbe MSI-X related code, which is not used
at all.

rtadvt(8): Bump WARNS to 2.

libsmb: Bump WARNS to 2 and fix a warning.

kernel/ntfs - Remove a forgotten #if defined

kernel/ntfs - Fix buffer overlapping problems.

- Read only one cluster at a time.
- Do not cache boot block.

Taken-from:    FreeBSD's r118035
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2388>

(Commit refs #2388 and fixes #1853)

kernel/ntfs - Fix a possible problem in bufcache.

- Avoid different block size bread() calls for the
  same blkno.
- Fix a bug in the code handling holes which could
  cause infinite loops.

Taken-from:    FreeBSD's r116620

kernel: Remove {msg,sem,shm}sys() syscalls.

They have become obsolete with the recent sysvipc userland work
and are not implemented in userspace either.

Thanks to marino for helping to verify that no packages were
affected by this commit.

Pointed-out-by: Mihai Carabas

kernel - Try to catch possible bug in getnewbuf()

* Add a debugging kprintf() and cleanup code to attempt to catch a possible
  bug in getnewbuf() where a buffer is somehow left on a vnode's clean or
  dirty list before being reused.

kernel - Fix SMP race in VMM/VMX vmclear() call

* Fix an SMP race.  The pcpu vti field is used to trigger cpusync's from
  other cpus and cannot be cleared by the owning cpu until after it has
  vmclear'd and stopped using the structure.

Reported-by: tuxillo

debug - Fix build for ncptrace.c

kernel - Fix bug in last rdrand commit

* Fix incorrect sizeof() that I introduced.

Reported-by: alexh

kernel/usb4bsd: Add usbdevs.h to a few Makefile which need it.

kernel/usb4bsd: Remove usbdevs.h again. We generate it upon building.

kernel/ntfs - Cleanup.

- Remove NetBSD specific code.
- Removed few whitespaces.

kernel/ntfs - Fix warnings when compiling with NTFS_DEBUG

Stop suppressing -Wuninitialized in userland for WARNS >= 2 and <= 4.

This is from 2001 (via FreeBSD, who still have it). Since a lot of
important stuff is in that WARNS range (libc, most prominently) and
since the option has found some good bugs for us (just see the MFCs
of recent days), we definitely want it to be enabled. None of the
issues it reported turned out to be a false positive.

Do, however, turn off -Wmaybe-uninitialized in that WARNS range for
now.

Also, while here, turn on -Winit-self too.

ee(1): Temporarily lower WARNS to 1 until spell check support is fixed.

I hope I can sort it out with FreeBSD soon.

rand(3): Fix up sranddev(3) a bit better.

In case we can't read /dev/random for the seed, try kern.random. If that
fails, use the getpid()/gettimeofday() xor. For the latter, remove the
usage of an uninitialized variable.

We should probably just abort() when kern.random can't be read.

Discussed-with: dillon

rtld(1): Comment out max_stack_flags and the setting of it for now.

It is only used in code that's already commented out.

ldns: Fix -Winit-self.

Add -Winit-self to the kernel warning flags.

kernel/drm: Fix -Winit-self.

While here, define __must_check to __heedresult, the equivalent in
DragonFly, and fix one warning which fell out.

kernel - Use add_buffer_randomness()

* Use add_buffer_randomness() instead of add_true_randomness().  It will
  do a better job on the char array and also does a quick IBAA mix when it
  is through adding the buffer.

kernel - Fix similar register call-used bug in the padlock assembly

* Fix a bug similar to the rdrand bug in the padlock assembly

kernel - Fix bugs in rdrand, change sampling frequency

* Fix bugs in the rdrand assembly.  %ebx/%rbx is a call-saved register and
  cannot be destroyed.  For 64-bit use %r11 which is a temporary register.

* Increase the rdrand.c frequency from 1Hz to 10Hz

* add the debug.rdrand sysctl

* Use add_buffer_randomness() instead of add_true_randomness().

kernel - Change add_buffer_randomness() a little

* Move the securelevel and seedenable stuff to the /dev/random code,
  remove it from add_buffer_randomness().

* Adjust GENERIC and X86_64_GENERIC to include the chip RNGs by default.

hammer2 - Refactor flush mechanics

* Greatly simplify and reduce special cases in the flush code

* Remove the multi-layer rbtree and replace with two discrete rbtree's
  (rbtree and dbtree) representing the live state and one linked list (dbq)
  representing set-aside deleted chains that are not part of the live state.

* Cleanup some debugging junk, add more debugging junk.

* Separate flushing state flags and TIDs into their own fields instead of
  trying to use the live state flags and bref TIDs.

* Simplify transaction TID tracking.

aibs.4: Use .Lk for the URL.

km(4): Revert some email address changes at the request of Constantine.

Use .Lk for the URL in the manpage, too.

kernel/usb4bsd: Small -Wunused-variable fix from FreeBSD.

arcmsr(4): Sync with FreeBSD (1.20.00.25 -> 1.20.00.29).

Adds support for ARC1214, ARC1224, ARC1264, ARC1284, and ARC1883, mainly.

Unfortunately, lots of style fixes, whitespace adjustment, etc. are mixed up
in it too, so it's a rather large commit.

Also, this upgrade has so far only been tested with my ARC-1210.

mmap : check the return code of dev_dmmap_single

drm might return other codes than ENODEV. We want to fail in this
case too. This fix a path where object might be left uninitialized.

getifaddrs.3: Point out that ifa_broadaddr isn't really a struct field.

It's another name for the ifa_dstaddr field to use for the non-P2P case.
Remove it from the struct, though, to not give wrong ideas about the
struct size for example.

Pointed-out-by: marino

getifaddrs.3: Improve markup (.Vt for types and .Fa for struct fields).