Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel: Silence an unused variable warning.

kernel - stop cpus on panic whether the debugger is entered or not

* Stop cpus on panic regardless of the state of debug.debugger_on_panic.

* Cpus were previously only stopped when entering the debugger, causing
  unattended panics not entering the debugger to often cause secondary
  panics on other cpus and lockup entirely.

Switch back to using CSTD=gnu89 for a number of things again.

* gcc44's libobjc
* libc_r
* gprof(1)

pppd(8): Fix some CSTD=gnu99 fallout.

rcs(1): Raise WARNS to 2 and fix warnings.

While here, set has_sa_sigaction to 1 in conf.h.

libthread_xu: Raise WARNS to 5 and fix warnings.

sort(1): Raise WARNS to 2 and fix warnings.

Remove another 8k PAGE_SIZE test in vm_page.h.

manpages: Fix some more typos.

manpages: Fix some typos.

lwbuf.9: Remove trailing whitespace.

kernel - Conditionalize ipiq debugging

* Only print cm=... debug messages if ipiq_debug is enabled.

kernel - Fix lockup when debug.ktr.resynchronize is enabled

* The TSC resynchronization code can livelock the system due to the
  manual hard loops it runs to try to synchronize the TSC's on all
  cpus.

* Change the code to use the cpusync API.  It will be less accurate but
  it should no longer result in system livelocks.

kernel -- vm_page: Remove ifdef for 8K page size.

Remove sys/mplock2.h from more files.

Update token(9) removing MPSAFE flag and adding description to lwkt_token_init.

Remove mplock2.h include from files not using the mplock.

pf_socket_lookup: Don't domsg, which could easily lockup network system

pf_socket_lookup: lwkt_domsg is to be used, don't kmalloc the msg.

test - Make fsstress compile under x86-64

* Fix compile errors and warnings when compiling fsstress on x86-64

kernel - Remove mplock shims from global tokens

* cleanup (remove remaining sysctls).

kernel - Remove mplock shims from global tokens

* Remove the mplock safety shims from all global tokens.

* Remove the mplock flag and API arguments.  All tokens
  are now always MPSAFE.

HAMMER VFS - vfs.hammer.double_buffer adjustments

* Do not try to use the (currently broken) _vnode_validate() to
  validate de-dup data when double_buffer is turned on.  Use the
  device buffer cache instead.

ipflow: Use CPUMASK

kernel -- tmpfs: MPSAFE tmpfs_getattr.

Use the per-mount token to synchronize tmpfs_getattr.

Update lwbuf(9) manpage for recent lwbuf_alloc change.

kernel - Optimize the x86-64 lwbuf API

* Change lwbuf_alloc(m) to lwbuf_alloc(m, &lwb_cache), passing a pointer to
  a struct lwb which lwbuf_alloc() may used if it desires.

* The x86-64 lwbuf_alloc() now just fills in the passed lwb and returns it.
  The i386 lwbuf_alloc() still uses the objcache w/ its kva mappings.  This
  removes objcache calls from the critical path.

* The x86-64 lwbuf_alloc()/lwbuf_free() functions are now inlines (ALL x86-64
  lwbuf functions are now inlines).

kernel - Fix deadlock assertion panic with mmap/read combos

* Normally the uiomove() is called with the buffer locked.  When
  uiomove()ing into mmap'd memory this can cause a lock recursion and
  panic, or a deadlock.

* Fix the problem by adding bqhold() and bqdrop() and adjusting the use
  of the b_refs field to prevent the buffer from being invalidated,
  allowing VFS VOP_READ operations to release the buffer prior to the
  uiomove() into user memory.

* Adjust brelse() and getnewbuf() to do the right thing.  Note that there
  are two cases where b_refs can transition from 0->1.  The VFS
  release/uiomove case will only transition b_refs while the buffer is
  locked while findblk() will transition b_refs at any time (while holding
  the spin lock).  We only care about retaining the VM pages in the
  transition-during-locked case.

* Original problem reproducable with

  grep -r --mmap SomeString /usr/pkgsrc

Reported-by: YONETANI Tomokazu <qhwt.dfly@les.ath.cx>

kernel - Use atomic ops for devstat's ds->busy_count field.

* Use atomic ops to manage the busy_count field as these functions can
  be called MP.

* This should avoid negative busy_count transitions due to MP races on the
  field.

Reported-by: Peter Avalos <peter@theshell.com>

kernel: Some more style fixes.

cd9660: Style fix.

libc: Fix warnings fallout from the change to CSTD=gnu99.

groff: Raise WARNS to 1.

devd(8): Raise WARNS to 5 and fix a warning.

lib/libncp: Silence some warnings that cropped up with CSTD=gnu99.

compile_et(1): Set CSTD to gnu89 (compile_et(1) is in contrib/).

x86_64 intr: Support upto 192 IDT entries in ipl and intr vector asm code

Most parts are same as following commit on i386:
c263294b570bc9641fe5184b066fd801803046a4
except that 64bits mask array is used.

Things like (1UL << $const_val) does not work in .s file; currently
"movq $1,%rcx; shlq $const_val,%rcx;" is used instead.

icu: Remove unused macros

x86_64 madt: Remove unapplicable comment

NELEM: Take back the sys/boot part. We'll care about that later.

kernel: Use NELEM() where we can.

kernel: Use NELEM() in a few more places and nuke private arysize()'s.

udp ctlport: We should call udp_addrcpu() instead of INP_MPORT_HASH_UDP()

This is the leftover after we serialize UDP user space output to CPU0

Reported-by: pavalos@

Unbreak buildworld.

Set CSTD back to gnu89 for tip(1) too (this needs cleanup).

Set CSTD back to gnu89 again for various contrib/ related stuff.

Revert "Lower some WARNS from 1 to 0. This needs more work."

This reverts commit e49a8a3866b68864b4b89ab47dbe8f878d7abaa2.

Leave the WARNS where they are. We'll lower CSTD instead.

vi(1): Add some missing CLEANFILES.

Pluck options which are not applicable to C++ out of the C++ command line.

-Wnested-externs
-W*-prototypes
-Wno-pointer-sign
-Wold-style-definition

Also, ignore -std=... for the moment. It's set globally to gnu99 now and
that leads to warnings in C++ compilation. We'll ponder other ways to cope
with this later.

This commit will allow us to raise WARNS further for C++.

Taken-from: FreeBSD

Use CSTD and remove local CSTD settings which are no longer needed.

Also, stick with gnu89 for lib/liblvm and libexec/tcpd for now.

Set the C standard we use for compiling userland to gnu99.

Lower some WARNS from 1 to 0. This needs more work.

cam: Fix for missing prototypes (userland).

libkern: Add missing prototype for userland.

symorder(1): Fix for missing prototypes.

ppp(8): Fix for missing prototypes.

kzip(8): Clean up a bit and raise WARNS to 2.

rpc.statd(8): Fix for missing prototypes.

rpc.ypxfrc(8): Fix for missing prototypes.

rtadvd(8): Fix for missing prototypes.

fsck(8): Fix for missing prototypes.

liby: Add yyparse() prototype.

x86_64 apic: Remove no longer applicable comment

x86_64 intr: Don't pass the vector name to INTR_HANDLER

x86_64 intr: We no longer have the fast version of intr vectors

x86_64 icu: Strip extra blank lines

x86_64 icu: Remove no onger applicable comment

x86_64 intr_abi: Reindent

ioapic: Use shll in APIC_INTR{DIS,EN}

ioapic: macro renaming

Consistent with i386.  No functional changes

dloader: Add missing prototype.

Move CSTD out of NO_WARNS (i.e., it shall apply too if NO_WARNS is set).

twa(4): Fix some __printflike() issues I overlooked previously.

tcp: Don't panic if persist timer is started in CLOSED and TERMINATING

Persistent timer could go wrong only when SYN is to be turned on in
tcp_output(), however, CLOSED and TERMINATING states' flags does not
contain SYN at all.  And starting persistent timer in CLOSED state is
absolutely valid, e.g. from tcp_drop()

Reported-by: dillon@

Add __printflike's where possible and fix all related bugs & issues.

kernel - Fix maximum file size limit for NFSv3

* Remove throwback from an older era where the buffer cache used 32 bit
  block numbers.

* Maximum file size for NFSv3 is not 2^63-1

Reported-by: Rick Macklem <rmacklem@uoguelph.ca>

kernel - Fix an inefficiency in wait*()

* The exit code was not taking into account the fact that a parent
  process might race an exiting child, causing a tsleep(... "lwpzomb", hz)
  to delay an entire second.

  Issue the proper wakeup in all cases where p->p_nthreads drops to 1 or 0.

* Improves buildworld performance a little.

pf: statekey needs to be initialized for IPv6, too.

This fixes the panic described in issue1956.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Merge branch 'master' of /repository/git/dragonfly

kernel - Fix minor build error when building without INVARIANTS

* Fix an unused variable when building without INVARIANTS that was
  tripping up the kernel compile.

kernel -- tmpfs: Make tmpfs_strategy MPSAFE.

tmpfs_strategy now acquires only the per-mount token directly.

kernel -- tmpfs: Make tmpfs_read() MPSAFE.

tmpfs_read() no longer takes the MPlock or per-mount token via the VOP
callbacks. It obtains the mount token itself around the uncached read path.

HAMMER VFS - Remove B-Tree allocation hints, add double_buffer option.

* Remove the allocation hints when allocating b-tree nodes and
  remove over-full test in the blockmap allocator for b-tree and
  meta-data elements.

  The hinting and leaving some space unused in the big-blocks did
  not improve performance.  Write performance is actually slightly
  better when new allocations are made linearly.

* Either way we have to depend on the reblocker to reorganize the
  B-Tree.

* Add a sysctl vfs.hammer.double_buffer, defaulting to off.  This
  is currently used for debugging and testing live-dedup.

  Normally only small-data blocks are run through the device vnode's
  buffer cache (allowing us to consolidate many small data blocks
  within the device vnode's buffer cache), and large data blocks are
  read directly into the file vnode's buffer.

  Turning on double_buffer cases ALL file data to run through the
  device vnode's buffer cache, resulting in double data caching
  which is not normally useful, so leave this off for now.  It will
  not improve performance.

bus_dma.9: Document the recently added flags for bus_dma_tag_create().

HAMMER VFS - Unlock around uiomove

* Unlock the uncached read path's lock and the write path's lock
  around the uiomove().  The cached read path is already unlocked
  around the uiomove().

* Results in a marginal improvement in concurrency.  Full buffers (64K)
  are large enough to warrent the unlock/relock.

kernel - Fix very annoying lockup (SMP)

* Fix an extremely annoying lockup that took a week+ to find.  The cpusync
  code is rather fragile and any for (;;) or while (1) style loops in the
  kernel can trip it up and cause a deadlock.  These loops are careful to
  call lwkt_process_ipiq() to ensure that cpusync processing occurs.

  However, there is a race in the LWKT thread migration code where a thread
  deschedules itself on one cpu and schedules itself on another via a remote
  ipi.  The target cpu expects the thread's TDF_RUNNING state to clear and
  will loop until that happens.

  An IPI could sneak itself into the deschedule/lwkt_switch() path and
  deadlock against a cpusync, preventing the thread from leaving the
  TDF_RUNNING state.

  The solution is to ensure that lwkt_process_ipiq() is *NOT* run in
  the lwkt_switch() path if the calling thread has descheduled itself.

* The original bug could be reproduced by running blogbench in one window
  and a while (1) ps axl shell script in another.

* Add DEBUG_PUSH_INFO(msg)/DEBUG_POP_INFO() macros which record (msg)
  in the globaldata structure as a debugging aid.

* Remove unused platform/pc64/x86_64/systimer.c file.  The entire contents
  of this file was #ifdef'd out and its functionality is handled elsewhere
  by the lapic timer code.

* #if 0 out numerous debugging bits but don't remove the code because it
  is extremely useful for finding lockup conditions.

kernel - Enhance getcacheblk() (improve saturated write performance (3)).

* Change getcacheblk() to use getblk() instead of findblk() when the
  block size is known, allowing a cached buffer to be reinstantiated
  from VM backing store in the MPSAFE path.

  Well, mostly MPSAFE, the vm_token is still acquired, but this is still
  much faster than what HAMMER does when the buffer is not in-cache.

* This more than doubles blogbench performance w/HAMMER and further reduces
  concurrent read vs write conflicts.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Improve saturated write performance (2).

* Change the dirty io buffer lists from TAILQs to Red-Black trees.

* The dirty io buffers are sorted by disk address on a flush-group by
  flush-group basis and I/O writes are initiated in sorted order.

  This significantly improves write I/O throughput to normal HDs.
  Essentially what is happening here is that the sheer number of
  unsorted buffers are overwhelming the HDs own caches.  Having HAMMER
  pre-sort the buffers, of which there can be upwards of 100MBs worth,
  allow the HD to write more optimally.

HAMMER VFS - Improve saturated write performance.

* Change vfs.hammer.limit_reclaim to auto-scale to 1/10 the maximum
  number of vnodes, instead of using a fixed value of 4000.  On a
  typical i386 box this will be around ~10000 and on a typical x86-64
  box this will be ~50000.

* Greatly reduce the vfs.hammer.autoflush default from 2000 inodes
  to 500 inodes.

  This results in better locality of reference within the flush groups
  and better pipelining when the reclaim limit is approached (when the
  vnode cache is saturated).

* Refactor the sequencing of the hammer_flush_group structure, fixing
  a number of issues which caused the structures to hold an inconsistent
  number of inodes.

* Refactor the flusher's sequence space management.

* Blogbench performance is greatly improved, as is mixed random read/write
  I/O in general.

  Note, however, that typical production operations do not involve
  hundreds of thousands of files and will not be impacted as much.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Remove prototype of disksort().

kernel -- kref: Add KREF_DEC macro to allow braced blocks for destructors.

Convert sfbuf to use braced blocks on unref.

HAMMER VFS - Change default hammer fs version from 4 to 5

* change the default hammer fs from 4 to 5.  newfs_hammer calls with
  newly built worlds will now create version 5 by default.

  The version 5 filesystem media format supports de-dup.

HAMMER VFS - Implement Version 6 features as WIP (work in progress)

* Add a new directory hash which generates segmented CRC and then adds
  them together for the filename.

  This tends to result in a directory key offset instead of a complete
  re-randomization when a temporary file extension is renamed to its base
  filename.

  Numerous programs create temporary files and then rename them.  This
  tends to maintain inode number / directory name entry ordering a bit
  better.

* This is a work in progress version.  Production systems should not upgrade
  their HAMMER filesystem to version 6 at this time.

kernel64 - Add some lapic timer based debugging (disabled by default)

* Adjust the Xtimer interrupt to unconditionally call
  lapic_timer_always() regardless of the critical section state.

* Create a procedure lapic_timer_always() on x86-64 which is #if 0'd
  out by default with some on-screen debugging that can be used to
  help find system lockups.

kernel - Do a better job with the filesystem background sync

* Adjust code for MNT_LAZY, MNT_NOWAIT, and MNT_WAITOK to reflect
  the fact that they are three different flags and not enumeration
  constants.

* HAMMER now sets VMSC_ONEPASS for MNT_LAZY syncs (background filesystem
  sync).  This generally reduces instances where the background sync
  winds up running continuously when heavy filesystem ops saturate
  the disk.  Fewer vnodes dirtied after the sync is initiated will get
  caught up in the sync.

kernel - Refactor VMSC_ONEPASS

* Refactor the VMSC_ONEPASS flag to only iterate the current number
  of vnodes associated with a mount point, instead of 2x the vnodes.
  This makes 'sync' a bit more consistent in the face of heavy filesystem
  activity.