ldns: Re-Add lost README files

ldns/drill: Update local files to 1.6.7

Update to ldns-1.6.7

HAMMER - Remove unused variable

Although assigned (so GCC was silent), the 'blockmap' variable is
unused in hammer_blockmap_free(), hammer_blockmap_dedup() and
hammer_blockmap_finalize() functions.

Nuke forward_fastint_remote(), which has never been used.

kernel - Fix lockmgr non-zero exclusive count panic (2)

* Handle another possible case when upgrading a shared lock to an
  exclusive lock where the exclusive flag can wiggle its way in.

Reported-by: Peter Avalos <peter@theshell.com>,
     YONETANI Tomokazu <qhwt.dfly@les.ath.cx>

kernel - Fix lockmgr non-zero exclusive count panic

* The vm_map lock uses shared & exclusive locks and tries to upgrade
  shared to exclusive.  There is a race where a shared upgrade can
  steal an exclusive lock from an exclusive request which has already
  acquired the LK_WANT_EXCL flag.

* Deal with the case by having the exclusive lock also acquire
  LK_HAVE_EXCL to catch any shared upgrades which beat out the
  request.

Reported-by: YONETANI Tomokazu <qhwt.dfly@les.ath.cx>
Researched-by: YONETANI Tomokazu <qhwt.dfly@les.ath.cx>

ip_demux: Update comment for tcp_ctlport()

ip_demux: Update comment for ip_lengthcheck()

mtodoff: Add comment

While i'm here, nuke staled comment

kernel: Remove support for the EISA bus and EISA/VLB devices.

Discussed-with-and-approved-by: dillon, aggelos, and others.

Remove redundant settings. These are the same in /etc/defaults/rc.conf.

installer: Add swap to /etc/crypttab only if it is actually encrypted.

This caused some nasty warnings and error msgs upon booting.

ipflow: cpumask_t should be used instead of uint32_t

re(4): Add support for 8168E

Submitted-by: Tim Bisson <bissont@mac.com>

Create MLINKS for the mbuf(9) manual page.

Someone with more knowledge than me should review mbuf(9) and update it
to our current state of affairs.

Reported-by: pavalos

Merge branch 'master' of /repository/git/dragonfly

kernel -- Spinlock debugging.

* Track spinlocks held by a thread in a per-thread array; records the lock
  address and the EIP of the lock-taker.

* Panic in lockmgr() if we hold any spinlocks when trying to take a sleeping
  lockmgr lock.

mpipe.9: Remove trailing whitespace.

vkernel - Catch manpage up with loader/installkernel changes

Reported-by: Tony

ips.4: Sort SEE ALSO references.

Miscellaneous manual page cleanup.

Fix typos in messages and manual pages.

kernel -- MPIPE: Don't call a NULL constructor.

kernel -- MPIPE: Add a constructor argument and priv ptr.

kernel - Fix boot-time lockup with if_igb

* In DragonFly on return from a call to if_start if
  (IFF_RUNNING|IFF_OACTIVE) == IFF_RUNNING the if_start code for the
  device is expected to have drained the queue and will be re-called
  if it has not.

  Add a required ifq_purge() in igb_start_locked() in case where the
  adapter's link is not yet active.

* NOTE: In FreeBSD this is not the case, but correctly coding the
  driver would probably still be beneficial.

udevd - Exit from the SIGTERM handler

Reported-by: Tim Darby

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

vm_map_findspace.9: Turn an Xr to a manpage we don't have (yet) into an Fn.

kernel - Add many sysctl definitions, sysv, vfs, nfs, etc.

* Also take the opportunity to remove some dead (no longer referenced
  sysctl's), these are:
  vfs.cache.dothits
  vfs.cache.dotdothits
  vfs.cache.nummiss
  vfs.cache.nummisszap
  vfs.cache.numposzaps
  vfs.cache.numposhits
  vfs.cache.numnegzaps
  vfs.cache.numneghits
  vfs.reassignbufloops
  vfs.reassignbufsortgood
  vfs.reassignbufsortbad
  vfs.reassignbufmethod
  vfs.nfs.defect
  vfs.cache.numfullpathfail4
  vfs.cache.numfullpathfail3
  vfs.cache.numfullpathfail2
  vfs.cache.numfullpathfail1
  vfs.cache.numcwdfail4
  vfs.cache.numcwdfail3
  vfs.cache.numcwdfail2
  vfs.cache.numcwdfail1

* Add back a couple of vfs.cache sysctl's with improved names
  vfs.cache.numcwdfailnf
  vfs.cache.numcwdfailsz
  vfs.cache.numfullpathfailnf
  vfs.cache.numfullpathfailsz

Submitted-by: Taras Klaskovsky
Sponsored-by: Google Code-In

Hook the vm_page_alloc.9 manual page into the build.

Import vm_page_alloc manpage from FreeBSD and add DFly-specifics.

Convert netstat/inet6.c to use a standard NELEM. (buildworld fixes).

Reported-by: pavalos@

Restore __arysize to stdint.h. Userland was including and using __arysize.

Reported-by: Santabolt on #dragonflybsd

kernel -- Convert sfbuf to use kref.

kref_dec was also modified to return an int, whether it saw a 1 -> 0
transition (0) or not (1).

Code clean -- nuke private defines of __arysize and arysize, replace with NELEM.

kernel -- Implement kref, a very lightweight reference counting system.

route(8)/routed(8): Raise WARNS to 6.

Update MPIPE manual page to describe MPF_CACHEDATA & remove old lock comment.

kgdb(1): Adjust comments, too.

kgdb(1): Fix finding the right kernel for symbols when using -n.

Due to a change of kernel names in /var/crash (kernel.xx -> kern.xx)
kgdb(1) wasn't finding the kernel anymore and resorted to the one in
/usr/obj.

last(1): Raise WARNS to 6.

tcp: Don't allow persist timer if TCP connection is not established yet

This probably could move the un-updated snd_nxt panic earlier.

The dump of the panic in http://bugs.dragonflybsd.org/issue1939 shows
- snd_nxt is less than snd_una
- A persist timer was fired (frame 16, tp->tt_msg->tt_prev_tasks).
- The TCP segment triggered the panic has SYN|ACK (frame 17, th->th_flags).
  This TCP segment is considered as valid (frame 17, list), so tp->t_state
  was SYN_SENT.

This explains why snd_nxt is less than snd_una:
If tcp_output() is called by persist timer, then the persist timer is
active and the "forced" is turned on, this causes the snd_nxt not updated
at all.

MISSING CHIAN IN THE LINK:
How is the persist timer got set in the SYN_SENT in the first place?

Hope the new panic could lift the veil...

Bring in mps(4) for LSI Fusion-MPT 2 Serial Attached SCSI controllers.

The driver should support the following controllers:

* LSI Logic SAS2004 (4 Port SAS)
* LSI Logic SAS2008 (8 Port SAS)
* LSI Logic SAS2108 (8 Port SAS)
* LSI Logic SAS2116 (16 Port SAS)
* LSI Logic SAS2208 (8 Port SAS)

Due to it still being in in development (Integrated RAID isn't supported,
for example), it's only hooked into the module build and added to LINT.

The port hasn't received any testing at all other than make it build. But
it is known that Matt has such a controller. :-)

Thanks to FreeBSD from which this driver is taken.

Fix buildworld for latest liblzma/libarchive changes.

libarchive:  link in liblzma.

Reported-by: dillon@

Fix VKERNEL/VKERNEL64 build.

utmpx - Bring in ${foo}x.3 manpages from NetBSD

kernel - vm_page BUSY handling, change vm_page_cache() API, maybe fix seg-fault

* All vm_page_deactivate() calls now operate with the caller holding
  the page PG_BUSY or the page known not to be busy.  Reorder several
  cases where a vm_page is unbusied prior to calling deactivate.

* vm_page_cache() now expected the vm_page to be PG_BUSY and will cache
  the page and clear the bit.

* Fix a race in vm_pageout_page_free() which calls vm_object_reference()
  with an unbusied vm_page, then proceeds to busy and free the page.
  The problem is that vm_object_reference() can block on vmobj_token.

  This may fix the x86-64 seg-fault issue.  Or it may not (throws up hands).

* Remove incorrect KKASSERT which was causing bogus panics.

kernel - Implement POLLING support for if_igb, change token->lockmgr lock

* Clean up the polling code so it works.

* Use a lockmgr lock instead of a token, the original driver writer
  expected a normal lock.

kernel - Optimize idle thread halt

* Count the number of times the idle thread is entered on a cpu without
  switching to a non-idle thread.  Use the fast-halt (non-ACPI) until the
  count exceeds a reasonable machdep.cpu_idle_repeat.

  This improves the default performance to levels closer to cpu_idle_hlt
  mode 1 but still gives us the power savings from mode 3.  Performanced is
  improved significantly because many threads on SMP boxes are event
  or pipe oriented and only sleep for short periods of time or ping-pong
  back and forth.  For example, a cc -pipe, or typical kernel threads
  blocking on tokens or locks for short periods of time.

* Adjust machdep.cpu_idle_hlt modes:

    0 Never halt, the idle thread just spins.

    1 Always use a fast HLT/MONITOR/MWAIT

    2 Hybrid approach use (1) up to a certain point, then use (3).
(this is the default)

    3 Always use the ACPI halt

kernel - Add MONITOR/MWAIT support to the LWKT scheduler

* Adjust the FIFO contention resequencer (which deals with spinning
  on tokens) to use MONITOR/MWAIT when available instead of DELAY(1)
  when waiting to become the head of the queue.

* Adjust the x86-64 idle loop to use MONITOR/MWAIT when available when
  the idle halt mode (machdep.cpu_idle_hlt) is set to 1.  This
  significantly improves performance for event-oriented programs, including
  compile pipelines.

  NOTE: On the 48-core monster setting machdep.cpu_idle_hlt to 1 improves
  performance but at the cost of an additional 200W of power at idle vs
  the default value of 2 (ACPI idle halt).  Look for a hybrid approach in
  a future commit.

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

Interbench -- Do not compare strings with ==.

Update to libarchive-2.8.4.

This includes support for lzma and no longer relies on OpenSSL for hash
functions.

Merge branch 'vendor/LIBARCHIVE' into HEAD

Add SHA384 functions to libmd.

jme: Rework software reset procedure

There is a wired TX/RX clock synchronization issues during software reset.
To address these issues we have to disable and enable TX/RX clocks several
times according to JMicron's document.

These clock synchronization issues seem to affect JMC250C/JMC260C chips,
however, it is claimed that these issues affact all JMC250/JMC260 chips.

Thank JMicron for providing JMC250C samples and detailed document.

Hook up liblzma, lzmainfo, xz, and xzdec to the build.

Merge branch 'vendor/XZ' into HEAD

Rearrange lib/Makefile.

Use one line per subdir.  This greatly improves readability.

Remove libraries we don't have any more from the comments.

Import xz-5.0.0.

This is from the XZ Utils project: http://tukaani.org/xz/

Rename cpu_mmw_pause(l) to cpu_mmw_pause_(int/long)

Use xorq, not xorl, for RAX on x64.

kernel -- Replace cpu_mmw_mwait with _pause, which doesn't loop. Correct bugs.

kernel -- Monitor/Mwait routine for x64; (untested!)

kernel -- Correct bug in i386 monitor / mwait routine and change to long type.

kernel -- Add MONITOR and MWAIT routine to i386 kernel.

Provides cpu_mmw_spin() and cpu_mmw_mwait(), both of which wait for a given
memory cell to contain a value different from an expected value. _spin()
merely spins on the cell; _mwait() uses the SSE3 MONITOR/MWAIT isns.

kernel - scheduler adjustments for large ncpus / 48-core monster

* Change the LWKT scheduler's token spinning algorithm.  It used to
  DELAY a short period of time and then simply retry, creating a lot
  of contention between cpus trying to acquire a token.

  Now the LWKT scheduler uses a FIFO index mechanic to resequence the
  contending cpus into 1uS retry slots using essentially just
  atomic_fetchadd_int(), so it is very cache friendly.  The spin-retry
  thus has a bounded cache management traffic load regardless of
  the number of cpus and contending cpus will not be tripping over
  each other.

  The new algorithm slightly regresses 4-cpu operation (~5% under heavy
  contention) but significantly improves 48-cpu operation.  It is also
  flexible enough for further work down the road.  The old algorithm
  simply did not scale very well.

  Add three sysctls:

  sysctl lwkt.spin_method=1

0    Allow a user thread to be scheduled on a cpu while kernel
     threads are contended on a token, using the IPI mechanic
     to interrupt the user thread and reschedule on decontention.

     This can potentially result in excessive IPI traffic.

1    Allow a user thread to be scheduled on a cpu while kernel
     threads are contended on a token, reschedule on the next clock
     tick (100 Hz typically).  Decontention will NOT generate
     any IPI traffic.  DEFAULT.

2    Do not allow a user thread to be scheduled on a cpu while
     kernel threads are contended.  Should not be used normally,
     for debugging only.

  sysctl lwkt.spin_delay=1

Slot time in microseconds, default 1uS.  Recommended values are
1 or 2 but not longer.

  sysctl lwkt.spin_loops=10

Number of times the LWKT scheduler loops on contended threads
before giving up and allowing an idle-thread HLT.  In order to
wake up from the HLT decontention will cause an IPI so you do
not want to set this value too small and.  Values between
10 and 100 are recommended.

* Redo the token decontention algorithm.  Use a new gd_reqflags flag,
  RQF_WAKEUP, coupled with RQF_AST_LWKT_RESCHED in the per-cpu globaldata
  structure to determine what cpus actually need to be IPId on token
  decontention (to wakeup their idle threads stuck in HLT).

  This requires that all gd_reqflags operations use locked atomic
  instructions rather than non-locked instructions.

* Decontention IPIs are a last-gasp effort if the LWKT scheduler has spun
  too many times.  Under normal conditions, even under heavy contention,
  actual IPIing should be minimal.

utilities - Print the cpu id for running and runnable threads

* The cpuid was only being printed for the currently running thread on
  a cpu.  Also print it for any scheduled (runnable) threads on that cpu
  even if they aren't the currently running thread.

kernel - Fix M_NOWAIT's in e1000/if_igb driver

* M_NOWAITs should be M_INTWAITs.  Fixes numerous boot-time problems
  with the driver.

kernel -- Remove fo_poll.

Merge branch 'master' of /repository/git/dragonfly

kernel -- vnlru: Resolve minor race between vnlru_proc_wait and vnlru_proc.

vnlru_proc_wait should have been using tsleep_interlock, not tsleep, to avoid
missed wakeups from the vnlru process.

manpages: Remove some unneeded .Pp's.

fortune - change dig to drill

last - add forgotten files

Fix build of last(1).

ssh - use utmpx

utmpx - Bring in utmpx,wtmpx and lastlogx support

* This commit introduces the necessary support for utmpx, wtmpx and
  lastlogx, as well as updating many base utils to work with these
  while mostly maintaining compatibility with the old utmp, wtmp and
  lastlog.

* The new last(1) supports wtmpx but defaults to wtmp as not all wtmp
  writers have been updated for wtmpx.

* All utmp readers support both utmp and utmpx now.

* lastlogin (the only lastlog reader) supports both lastlog and
  lastlogx.

* The utils who(1) and finger have been almost directly replaced by
  their NetBSD equivalent. In case of who(1) the only custom
  modification is the behaviour of '-b' to be as it has always been.

* Partially-Obtained-from: NetBSD

tzfile.h - install as include

test

twe(4): Add some missing newlines in system messages.

kernel - IPI subset of cpus on token de-collision.

* Implement sysctl lwkt.token_ipi_dispatch and set the default value
  to 4, meaning when a token is released up to 4 conflicting cpus
  will be IPId to wake them up.

* Saves 20-40W under load on the 48-core monster (out of ~450W
  or so).

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kern_proc - add kern.proc.cwd sysctl

* Add a kern.proc.cwd sysctl to be able to get the cwd of processes.
  Many terminal emulators need something this to set a window title.
  Right now, some simply don't work (konsole) and others (Terminal) use
  linprocfs.

kinfo.h - Document the units of some members

libcrypt - install crypt.h header

* Install the crypt.h header since some software (i.e. KDE) checks for
  crypt.h to decide whether it needs to link against libcrypt to be able
  to use crypt().

if_clone: Don't destroy iface which is not create through if_clone mechanism

DragonFly-bug: http://bugs.dragonflybsd.org/issue1919

Serialize IFADDR alteration by netisr0

Import libarchive-2.8.4.

Re-add README.DELETED to libarchive's vendor branch.

This was accidentally removed during the last import.

libfsid(3): Make the filesystem type an enum and perform misc cleanup.

mdoc: Add libfsid to the list of libraries.

msdosfs: Add a define of 0x28 as extended boot record signature.

As per http://support.microsoft.com/kb/140418 (Detailed Explanation
of FAT Boot Sector), the "...extended boot record signature must be
either 0x28 or 0x29...".

Bump WARNS for latest import of ftp and adjust README.DRAGONFLY for git.

Merge branch 'vendor/TNFTP'

Snyc tnftp with NetBSD:

Fix numerous WARNS issues.

Rename internal getline() function to get_line() to prevent conflicts.

Rename argument from "bool" to "val".

Parse HTTP 'Date' entries in the `C' locale rather than the user's.

Avoid NULL dereference in log output if the command line parser
failed to extract a port number from the URL.

Use AF_INET instead of AF_UNSPEC as the default family if
!defined(INET6).

In ftpvis(), prevent incomplete escape sequences at end of dst,
and ensure NUL-termination of dst.  Also tweak for readibility.

Update to zlib-1.2.5.

This contains numerous bug fixes and improvements.  For more details,
see the ChangeLog.

Incorporated in this commit is removal of using patch files, and just
making the appropriate changes on master.