Add a ufoma(4) manual page (from FreeBSD).

Implemented casuword for vkernel64. Fix two typos in casuword for pc64.

devfs - sync devfs after cloning a device

 * Use case are devices such as tty_pty which create a ptm/foo node as
   the cloned one, but also create a slave node (in pts/foo).

 * Without this, it's possible that ptm/foo is created before pts/foo
   is, and the program may race and not see pts/foo yet.

Sync ucom.4, uplcom.4 and uslcom.4 with FreeBSD.

libusb: add libusb_log_level enum

This is documented on http://libusb.sourceforge.net/api-1.0/group__lib.html

Add udav(4) and uep(4) manual pages.

Sync uhid.4 with FreeBSD.

Sync ugen.4 with FreeBSD.

Sync axe.4 with FreeBSD.

Gnargh, fix typo.

Remove usbdevs_data.h in /usr/include via 'make upgrade'.

kernel - Correct second edge-case for machdep.pmap_mmu_optimize

* The pmap_release*() code was previously optimized to not invalidate
  on pml4, pdp, pd, or pt pte's, only on terminal ptes.  This invalidation
  interferes with the PT replacement that the pmap_mmu_optimize feature
  uses.

* The bug generally would only occur when memory is mmap()'d and munmap()'d
  multiple times, which something like postgres will not do, but which
  rtorrent and other programs will do.

* Correctly invalidate page tables (use invltlb) when PT pte's are replaced.

* Requires further testing.  Default for this feature is still off.

nrelease - Minor fixes

- Use 'reinstallkernel' to avoid leaving *.old files
  in the ISO image.
- Make sure the '/boot/kernel/kernel.BOOTP' symbolic link
  is recreated when it already exists (-f option to ln).
- Do not use '-p' to cp. In the case /etc/resolv.conf file
  has schg flag set, a later rm during nrelease would fail.

Submitted-by: YONETANI Tomokazu <y0netan1@dragonflybsd.org>
DragonFly-bug: <http://bugs.dragonflybsd.org/issues/1496>

This commit closes #1496

sbin/hammer - Add 'header' option for mirror-dump directive.

- Provide means to dump PFS information only via 'mirror-dump'
  directive.
- Snapshots directory is not shown at the moment.

Submitted-by: YONETANI Tomokazu <y0netan1@dragonflybsd.org>
DragonFly-bug: <http://bugs.dragonflybsd.org/issues/1497>

This commit closes #1497

tools - Fix operator in hammer-backup.sh

Submitted-by: Freddy DISSAUX

tools - Fix return code in hammer-backup.sh

- When requesting help with '-h', exit with return code 0.

Submitted-by: Freddy DISSAUX

ehci.4: Break a long line.

Sync ehci.4, ohci.4 and uhci.4 with FreeBSD. Bring in xhci.4.

Fix a couple of mdoc issues in libusb.3 and usbdi.9.

kernel - Hack fix for tty last-close bug

* If a tty is owned by one devfs mount and programs are run which open/close
  the tty in a different devfs mount, the last-close test will get confused
  and believe that the last close in the second mount is the last close on
  the device, when the first mount still has it open.

* Temporarily hack a fix which is not SMP safe to deal with the situation.
  A proper fix requires us to put a struct lock and an opencount field in
  the struct cdev itself and use that instead of v_opencount.

* Fixes issue with 'screen' exiting when sub-processes are run inside a
  chroot (with their own /dev mount).

Reported-by: marino

usb4bsd: Remove usbdevs_data.h again.

It is automatically generated and only usbdevs needs to be modified for
new IDs.

Reported-by: tuxillo

bus_autoconf.sh: Stop putting $FreeBSD$ into the usb.conf database.

It is generated locally and gets never synched with FreeBSD.

Add a tool to keep the devd(8) database in sync with our USB device support.

Taken-from: FreeBSD

devd(8): Sync with FreeBSD and turn it on by default.

Most important of all, it cares about knowing which USB modules
support which device/vendor IDs and it will load the associated
module upon USB device plugging if it is not already loaded or
in the kernel config.

Taken-from: FreeBSD

rc.subr: Add get_pidfile_from_conf (from FreeBSD).

usb4bsd: Fix some mistakes i made in 5782e8a131ef79.

rc: Use kldload -n in our rc scripts which load modules.

kldload(8): Add -n for checking if a module is already loaded.

Also, give better error messages upon EEXISTS and ENOEXEC.

Taken-from: FreeBSD

usb4bsd: Update ukbd driver

Now that the base issue is fixed, enable -Wsign-compare again in scanners.

Disabling warnings is usually not fixing them.

flex: Fix -Wsign-compare warnings in generated scanners.

libusb20.3: Remove a reference to a (yet?) non-existent module.

uipaq.4: Comment out a dead reference.

Bring in libusb20 examples from FreeBSD.

Sync umass.4 with FreeBSD.

Sync zoneinfo database with tzdata2014a from ftp://ftp.iana.org/tz/releases

See https://github.com/eggert/tz/blob/master/NEWS for a list of
what changed. We were previously in sync with tzdata2013i.

Sync ums.4 and ukbd.4 with FreeBSD.

usbdi.9: Sync with FreeBSD.

urtwn.4: Use %O for now.

Sync uvisor.4 and uvscom.4 with FreeBSD.

Sync some USB serial driver manual pages with FreeBSD.

uark(4)
uchcom(4)
uftdi(4)
ulpt(4)
umct(4)
umodem(4)

usb4bsd: Add back the ID for HandyTech's Braille displays to ubsa(4).

See fb55151b494cf8878797ecfa6429d34f3a757765 where it was added
to our old obsa(4).

Also sync the manual page with FreeBSD.

tcp: Remove unused code

Add some USB serial driver manpages from FreeBSD.

u3g(4)
ubser(4)
ucycom(4)
uipaq(4)
umcs(4)

usbconfig.8: Add a usbdump(8) reference.

usb4bsd: Remove an obsolete comment in a Makefile.

usb4bsd: Fix some SCSI handling in umass

Set the sense data on probe.

Add libusb to <bsd.libnames.mk>.

Sync usbconfig(8) with FreeBSD.

Bring in FreeBSD's usbdump(8).

Bring in FreeBSD's usbhidaction(1).

Sync the new USB stack's usbhidctl(1) with FreeBSD.

Sync the new USB stack's libusbhid with FreeBSD.

Sync libusb with FreeBSD.

Adjust SYNOPSIS in a couple of USB driver manual pages.

Namely, put "device oldusb" in all manual pages which are for drivers
that are only available in the old stack, be it because they are not
yet ported or because they are specific to the old stack.

kernel/ndis: Solve module build without a USB bus in the config better.

When there is no USB bus in the config, the ndis modules need a hint
about which of the two possible USB stacks to build for. Always build
for usb4bsd unless oldusb is explicitly specified.

usb4bsd: Remove irritating kprintf

Add new usb4bsd only devices to LINT/LINT64.

usb4bsd: Fix a couple of typos and build issues.

LINT/LINT64: Fix umass comment.

kernel: Comment out old or yet unsupported USB devices in our configs.

chgsbsize: Optimize for x86_64 by avoid uidinfo spinlock

This kills one of the highly contended spinlocks on accept(2) path.  And
it also greatly helps connect(2) path.

With this commit, tools/kq_connect_client could do 273Kconns/s instead
of 260Kconns/s (~5% improvement, however, connect(2) is still cpu bound).

usb4bsd: Adjust a Makefile comment.

Make usb4bsd the default USB stack.

To get back to the old stack, put "WANT_OLDUSB=yes" in /etc/make.conf and
replace "device usb" with "device oldusb" in the kernel configuration.

Requested-by: dillon, profmakx, marino etc.

usb4bsd - Fix poll/select/kqfilter issues with ums and usb_fifo*() API

* Fix handling of f->flag_isselect.  It was being improperly cleared on
  event notification.  It can only be cleared when the knote is removed.

* Call f->methods->f_start_read() unconditionally in usb_filter_read().
  Conditionalizing on f->queue_data will fail with devices (aka ums) which
  allocate the buffer independantly of starting the interrupt xfer.

* Call usb_fifo_wakeup() in mbuf re-queue cases to handle races when
  the read() code pulls an mbuf off the queue and then puts it back on.

* Fix bugs in UMS - Keep track of whether the interrupt transfer is running
  or not and do not re-submit or re-stop the transfer unconditionally.

usb4bsd: Adjust 'make upgrade' for the serial driver modules.

usb4bsd: Allow to build serial drivers into the kernel too.

usb4bsd: Fix typo in last commit.

usb4bsd: Fix some warnings in usb_serial.

* Fix two cases where sc was passed to ucom_modem() but sc->sc_tty
  should have been.

* Comment out a debug variable.

* Use #if 0 consequently and add a few more.

* Indent fixes.

OK'd-by: profmakx

usb4bsd: usb_dev kqfilter

* implement a working kqfilter
* integrate some FreeBSD patches

usb4bsd: work on usb_serial.c

usb4bsd: use generated usbdevs.h

replace respective includes and fixup makefiles

usb4bsd: Implement kqfilter for usb_dev

usb4bsd: port usb_serial

Start porting ucom.

* import serial.h from freebsd
* comment almost everything out in usb_serial.c
* make the whole thing compile

tools - Fix a couple mistakes.

- Don't write metadata file on dry-run mode for hammer-backup.sh
- Fix a corner case where hammer mirror-read does not find any changes
  and thus provides no endtid. Reused begtid for the metadata file
- Exit and remove the incremental file generated if we can't figure out
  which entid has to be written to the metadata file

tools - Reorganise a bit info messages in hammer-info.sh

- Also silence errors in md5's output.
- Remove some info that is already on the README

tools - Add option -k to hammer-backup.sh

- This new option goes through all metadata backup files in the
  specified backup directory and performs a checksum on them.
- While here fix usage.

tools - Easier incremental backups for hammer-backup.sh.

- If 'auto' is specified with option -i, then the latest full backup will
  be used. This allows easier backups via crontab for example.
- Fix a couple things in README.

tools - Improve hammer-backup.sh a bit

- Use globbing where appropriate.
- Fix some tests.
- Fix awk usage in some cases.
- Remove unused variables.

Submitted-by: Freddy DISSAUX

tools - Fix indentation.

- Use the same indentation across the whole hammer-backup.sh
  script.

Spotted-by: Freddy DISSAUX

chgsbsize: Reduce cover range of uidinfo spinlock

ethernet: If caller thread cpu is fixed, pass cpuid to ether_input_pkt()

So we could use optimized lwkt_sendmsg_oncpu() instead of lwkt_sendmsg(),
if the target netisr is on the same cpu as caller thread cpu.  Mainly to
avoid unnecessary wakeup() IPIs to other cpus.

THE RESULT:

On i7-3770 w/ HT enabled (8 logical cpus); NIC is 82599ES w/ 8 RX rings
and 8 TX rings.  Run:
    repeat 10 tcp_stream -H ... -i 256 -l 10 -r
(256 netperf TCP_MAERTS instances for 10 seconds, 10 rounds)

Total amount of cross IPIs before this commit is 6946097.  Total amount
of cross IPIs as of this commit is 5445324.  ~22% unnecessary wakeup()
IPIs are avoided!

kernel: Fixup KERN_PROC_PATHNAME sysctl

The code for the sysctl uses pfind, which PHOLDs the process
if a pid is passed to the sysctl, so we PRELE the process
if necessary.

hammer2 - Fix stack blowout in lookup iteration

* hammer2_chain_lookup()->hammer2_chain_next()->hammer2_chain_lookup()
  stacking could blow out the kernel stack.

* Inline the iteration within hammer2_chain_lookup() when the lookup runs
  out of blockrefs without finding anything at the current level, instead
  of having it call hammer2_chain_next().

hammer2 - stabilization

* Remove write transaction from hammer2_vop_reclaim().  This was being
  used to do the final deletion of chains for unlinked-but-open files.
  Instead, the related inode is placed on a pmp->unlinkq and finalization
  is handled by the sync and rmdir code.

* Fixes problems with flush synchronization due to the fact that a reclaim
  can occur at any time.

Sun switched these files to a 3-clause BSD license in 2009.

Change-noted-in: http://svnweb.freebsd.org/base?view=revision&revision=258564

tools - Implement a simple hammer-backup script.

This script operates HAMMER PFSes and dumps its contents for backup
purposes.

It uses mirror-read directive (see 'man 8 hammer') to perform a
dump to stdout that is redirected to a file with or without
compression.

Read /usr/src/tools/tools/hammer-backup/README for more detailed
information.

Also please note the script is not installed with a default DragonFly
BSD installation, so you have to take care of that manually.

Any suggestion or bug report is appreciated!

hammer2 - Stabilization pass

* Fix case in hammer2_chain_delete_duplicate(), allow delete-duplication
  of a deleted terminal chain outside of a flush.

* Fix assertions in the flush code.  Deleted parent's block tables are not
  updated.  If all parents are deleted we allow the CHAIN_DELETED flag to
  be cleared in children even though the children might still be on the
  DBTREE or be flagged BMAPPED.

* Fix bug in hammer2_bioq_sync() where new logical buffers instantiated while
  flushing existing buffers are not waited for before exiting the PREFLUSH
  state.  This might not actually be a bug but cover the case for now.

Revert "Add an /etc/periodic script to check for dports package vulnerabilities."

This reverts commit dced1188f0aae7a3a714a58540f8f6bf4043f35c.

Aw, actually there are scripts in /usr/local/etc/periodic doing just that.

Add an /etc/periodic script to check for dports package vulnerabilities.

It's basically just 'pkg audit' at them moment, the output of which is
then included in the nightly security mails.

To disable this check for some reason, daily_status_dports_audit_enable
can be set to 'no' in /etc/periodic.conf.

Reported-by: joris

Add a urtwnfw(4) manual page (from FreeBSD).

hier.7: Add /compat/ndis, binutils adjustments, remove /etc/firmare.

hammer2 - Reduce flush complexity, fix panics

* Set synchronous flush mode by default for now to reduce sources of
  potential crashes so the core can be stabilized.

  This means that the only transactions that will run with a higher
  transaction id during a flush are allocations from the freemap made
  by the flush itself.  This is far easier to debug.

  Concurrent frontend transactions are disabled during a flush, for now.

* The buffer flush which is run synchronously from the main flush now always
  uses an async + sync vfsync sequence and does not allow any buffers to
  be left over before entering the main flush.

* The buffer flush now also uses the same transaction id as the main flush.
  A new flag, HAMMER2_TRANS_PREFLUSH is used to manage this mechanic and
  to assert on any illegal buffer flushes.

* Fix miscellanious assertions that were incorrect, and split the pass4
  codepath in the flush into pass4 and pass5 to fix another bug.

* Fix an improper semicolon (from swildner)

* Remove more dead code.

* The hammer2_vop_reclaim() code was the only code path that would acquire
  a hammer2_inode lock prior to starting a transaction for a modifying
  operation (for the delete unlinked file on last reference).  Fix this
  code to open the transaction first and obtain the inode lock second,
  which fixes a deadlock.

* Fix an infinite while() loop due to improper arguments in a TAILQ_NEXT()
  call.

kernel: Adjust type of vmm_guest to enum vmm_guest_type.

Also rename VMM_LAST -> VMM_GUEST_LAST.

installer: Adjust so we can install a vkernel environment using our ISOs.

Tested-by: tuxillo

sbin/hammer - Remove trailing '/' from paths.

  When operating PFSes through symbolic links, it was not
  possible to specify the trailing backslash since that
  translated to the PFS root dir instead of the symbolic link
  to the PFS itself. This caused problems when upgrading or
  downgrading PFSes (and probably in other cases too).
  The error was "Directory not empty".

  This commit should solve those cases, but keep in mind
  there are other cases where it is actually not possible
  to complete certain operations (like while destroying
  PFSes).

Reported-by: Siju George, others

sbin/hammer - Fix a wrong error message.

kernel/vfs - Fix a refcount check in vclean_unlocked()

- vx_get() actually adds a ref so you actually need to count
  with that.

kernel: Add more detailed VM detection.

Previously, the kernel global 'vmm_guest' was either 0 or 1 depending
on the VMM bit in the CPU features (which isn't set in all VMs).

This commit adds more detailed information by checking the emulated
BIOS for known strings. The detected VMs include vkernel, which
doesn't strictly fit into the category, but it shares enough
similarities for this to be useful.

Also expose this information in a read-only sysctl (kern.vmm_guest).

The detection code was kind of adapted from FreeBSD (although their
kern.vm_guest works differently).

Tested-by: tuxillo