pf.os - Sync with OpenBSD

loader(8): adjustment & man update

 * fix `help' command by using $base/loader.help,
otherwise `help' didn't work when pwd outside $base.
 * allow `cd' and `optcd' without arguments,
using $base as default.
 * use pager for `?' and `local' commands.
 * make `more' work with relative file names
 * truncate very long lines (more than 256 chars),
and give warning; before they stopped include processing;
these are typically just comments.
 * add `optcd kernel' when using ESC in `menu',
like the menu item (`9') that exits via dloader.menu.
 * remove extra line in Fred menu (on right)
(it was scrolling warning about truncated line off screen).
 * remove obsolete variables in loader.conf.
 * update `help' output.
 * update man pages.

libstand: add fgets()

This fgets() operates on int fd, not FILE * stream,
as libstand doesn't supply FILE type.

fgetstr() is already in libstand, but it can't determine
if line did fit in supplied buffer.

libstand.3: remove .Xo/.Xc

kernel - Fix vmtotal sysctl

* Recognize unbounded VM objects and do not try to include their sizes
  in the vmtotal structure.

* Should fix systat -vm output for the All/Tot entry.

* Redo the vmstat structure.  Use long's and int64_t's as
  appropriate.

* Adjust systat and vmstat to deal with the new field widths
  in struct vmstat.

Reported-by: Antonio Huete Jimenez <ahuete.devel@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS - Fix deadlock during read-only HAMMER mount (2)

* Slightly more correct fix.  Only translate zone offsets which can be
  translated.

Tested-by: Matthias Schmidt <matthias@dragonflybsd.org>

installer: Raise the recommended size for / in the UFS install.

It turned out that the x86_64 install's contents of / didn't fit into
256M. So increase to 320M for the smallest supported disks (2-4G) and
raise it gradually to 640M (4-10G) and 768 (anything above 10G). The
latter is also the HAMMER install's default recommendation.

The best solution here would probably be to base the recommendations
on the actual contents of the medium (to be tackled after the release).

Reported-by: Przemyslaw Pawelczyk <pp_o2@o2.pl>

kernel - Fix panic when unblanking screen saver

* When console output occurs while the screen is blanked, e.g. when
  using something like blank_saver.ko, we hit a hard path lock assertion.

* Queue the unblank request instead of trying to unblank the screen
  directly in this path.

Reported-by: Sascha Wildner <swildner@crater.dragonflybsd.org>

HAMMER VFS - Fix deadlock during read-only HAMMER mount

* HAMMER UNDOs are addressed using zone-1 (HAMMER_ZONE_RAW_VOLUME) and
  zone-2 (HAMMER_ZONE_RAW_BUFFER) data offsets.  Normal filesystem
  operations may use zone references which are incompatible with the UNDO
  data references.  That is, they may use a different zone accessing
  the same physical disk offset.

  Normally when the UNDO is run the modified buffers are flushed to disk
  and the buffers are destroyed before normal filesystem operations begin.
  Thus it isn't a problem for normal R+W mounts.

* Read-only mounts are a different story.  The modified buffers from the
  undo are left in core memory (they cannot be flushed yet because the
  mount is read-only).  The incompatible zones cause the HAMMER buffer
  system to lose track of related locked buffer cache buffers and can lead
  to a deadlock.

* Fix this by explicitly checking for a read-only mount and doing a
  secondary lookup using the RAW zone for certain selected zones.

Reported-by: Matthias Schmidt <matthias@dragonflybsd.org>

procfs: Add vnode path to /proc/<pid>/map for vn-backed vm objects.

liblvm: Raise WARNS to 1.

Since __BSD_VISIBLE is unset for liblvm compilation, we need to add the
standard define for alloca() (taken from <stdlib.h>) to lib.h to prevent
warnings.

While here, clean up the Makefile a bit, too.

libcryptsetup & libluks: Raise WARNS to 1.

gcc44: Teach gcc44 about our special conversions, such as %b and %D.

Some special code is necessary to have %D take precedence over the DD
length specifier (which is not present in gcc41). Eventually, we will
probably have to get rid of all these local conversions entirely.

This commit gets rid of a large bunch of warnings when compiling the
kernel with gcc44.

top - Adjust docs

* Adjust manual page for PRES addition.

top - Adjust top display

* Replace RES with PRES, remove PRI.  This opens up more space for the
  command which had gotten too squeezed.

* Realign columns for smp and non-smp displays.

* Remove annoying "This terminal can only display..." message from the
  original contrib code.

kernel - Add Proportional RSS (PRES)

* Track vm_object sharing and calculate proportional RSS in kinfo_proc

* Add PRES to the top(1) output

Submitted-by: Pratyush Kshirsagar <pratyush.kshirsagar@gmail.com>

network - Fix altq_red

* altq_red was asserting that it could only be called from PF when in fact
  it can also be called via ifq_enqueue().

* Add code to handle the ifq_enqueue path.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

pkgsrc - Hack for dynamic loading of certain libgcc.a symbols (2)

* Make the hack i386-specific.

pkgsrc - Hack for dynamic loading of certain libgcc.a symbols

* For some reason firefox cannot find __popcountsi2 in a late reference
  from libcairo.so.2, which occurs when certain page content is accessed.
  This reference does not occur immediately.

* Add a weak reference from libc to force the symbol to be available,
  which appears to fix the problem.

* This is a horrible hack and currently we do not know why the dynamic
  link code cannot find the symbol.

libc - Fix some recursion issues during thread teardown

* thread destructors called by sophisticated pthreaded programs such
  as firefox can wind up allocating/freeing space multiple times
  AFTER nmalloc's destructor is run.

  This can leave the mtmagazine in a weird state because it's destructor
  fails to NULL-out tp->mags[i].loaded and tp->mags[i].prev.

* Properly NULL out tp->mags[i].{loaded,prev} in the destructor.

* Lockout mtmagazine use while the mtmagazine is being initialized or
  destroyed.

* Permanently lockout mtmagazine use after its destructor has been run.

* Instead of trying to initialize the mtmagazine on the first free, which
  might not occur until the destrutor is run (causing pthreads to complain
  about destructors being left hanging), have libthread_xu call a new
  function _nmalloc_thr_init() during thread creation and do all the slab
  initialization there.

network - Fix udp multicast assertion & mplock for ip_output

* Fix an assertion which is no longer valid, the MP lock is no longer
  held by the caller when passing a multicast packet into ip_output.

* Move the mp lock for udp multicast packets inward.  The underlying code
  still isn't mpsafe.

Reported-by: "Edward O'Callaghan" <eocallaghan@auroraux.org>

Fix VKERNEL64 build.

kernel: Fix numerous errors in printf() like formats and arguments.

kernel: Add some __printflike()'s to protect against format issues.

Teach gcc41 about %b and %D taking two parameters in a better way.

Previously, we had special code to handle the properties of %b and %D
(which are for printing bit masks and hexdumps, respectively). Remove
this code and instead use chained format_char_info's to pass the
information that both of these formats consume two arguments.

hammer(8): Fix wrong message.

Noticed-by: beket

pflogd(8): Use TAB for indentation.

pflogd(8): Raise WARNS to 6.

rc.resume - Reassociate with WPA client on resume

change a comment while here and accept ACPI state 5.

Obtained-From: FreeBSD

gzip - Do not return from write after each inflate

From FreeBSDs commit message:

In the past gunzip(1) write()'s after each inflate return.  This is
not optimal from a performance standpoint since the write buffer is
not necessarily be filled up when the inflate rountine reached the
end of input buffer and it's not the end of file.

Submitted-By: Xin LI <delphij@FreeBSD.org>
Obatined-From: FreeBSD

Regenerate the pciconf(8) database

...from the following files:

Hart:    Jan 22, 2008 (version 671)
Boemler: Oct  1, 2010
Mares:   Aug 27, 2010

fdisk(8): Fix a bug when reading >1TB slice sizes from a config file.

The numerical parameters in configuration file lines were previously
read into signed integers. This would cause a problem with a config
file line like this (for a ~1.2TB slice):

p 1 165 63 2491404993

The length parameter (2491404993) for the slice would have exceeded
INT_MAX (2147483647) and the slice would have been truncated to 1TB.

Since the installer is using fdisk with a configuration file, it
was previously not possible to use a whole >1TB disk from it (one
had to work around it from the command line).

To fix all this, read the numerical parameters in configuration file
lines into a long long.

Note that this change only affects the variable type into which the
parameters read from the file are stored and not any on-disk structures.
Also, checks at different places in fdisk(8) will of course still ensure
that we don't ever go above 2TB.

sshd - Remove libmd from link to fix SHA*() function conflicts

* libmd conflicts with libcrypto, remove libmd from the link to fix
  conflicts which were breaking putty connections to sshd.

Reported-by: Peter Avalos <peter@theshell.com>

SYSINIT.9: More mdoc fixes.

SYSINIT.9: Some cleanup (mostly whitespace).

dsched.9: Fix a typo.

Fix warnings when compiled with ACPI_IO

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

MP table: Do preliminary checks before claiming that the MP table is valid

Apply commit fa0583846340dfc45e2c45fe65868c95f295d8df for x86_64.

Put mp_nbusses and bus_data under APIC_IO

Apply commit 4f6a8b30c9ca96ca4df6ed16232bbc9eeba05a5e for x86_64.

Staticize mp_nbusses

Apply commit abe45f39559867d84370bf61f05b7649cd17a7b9 for x86_64.

Remove bsp_apic_ready

Apply commit ae996d5a08c195e14ffc9374645447d29611dd15 for x86_64.

Correct the logical_cpus calculation in mptable_hyperthread_fixup()

Apply commit 7ea07fd226314dc116e1089cb39196610300b406 for x86_x64.

build - Correct compile errors on 64-bit buildworld

* printf formatting stuff in ssh-keygen

installer: Fix the HAMMER install.

Due to the recent change of some variables from unsigned to signed some
issues had crept in.

While here, clean up the function a bit and make the error message more
useful.

build - Adjust Makefile.usr to point at new pkgsrcv2.git repo

* Change 'pkgsrc.git' to 'pkgsrcv2.git'.

nrelease: Fold the mklocatedb target into customizeiso.

Also make it simpler by just using the periodic(8) script in the chroot.

kernel - Fix MP race in kmalloc/kfree

* Fix two cases where a zone is mis-handled by the new kfree().  Note,
  however, that the race being fixed is nearly impossible (might even
  BE impossible) to produce because it requires a slab to go from
  completely empty to completely full through hysteresis and then destroyed
  all in a few microseconds.

  Essentially when a kfree() occurs on a cpu which is not the owner of
  the zone the chunk is linked into a side-list on the zone using atomic
  ops.  Under certain (very rare) circumstances the cpu doing the kfree()
  must IPI the cpu that owns the zone.

  The moment the chunk is linked in the cpu owning the zone can race the
  incoming IPI and destroy the zone (if it is now completely unused).
  The old kmemusage code handled the race just fine but the new vm_page_t
  based big-block handler could not.

  The solution is to have an atomic-ops counter for inflight IPIs which
  prevents the owning cpu from destroying the zone prematurely.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - More work on x86_64 low-memory configurations

* The nkpt calculation was wrong and could lead to too few kernel
  page-tables during low level boot.

  Try to calculate the correct value and then add 128 page tables just
  to be safe.

Reported-by: John Marino

Merge branch 'master' of /home/www-data/gitweb/dragonfly

kernel - Adjust KVA use on i386 and x86_64

The i386 changes recover another ~60MB of KVM for kernel use.  This is an
attempt to further reduce KVM use based on bug reports from people running
production systems.

The x86_64 changes recognize the now much-larger KVM space (128G+) and
remove some i386-era limitations.

* i386 - Reduce the nominal maximum swbufs on i386 from 256 to 128,
  saving 16MB of KVM (and also 16MB of real memory).

  Now that we have swbufs both with and without kva we don't really
  need so many with kva.

* i386 - Reduce pv_entry reservation on machines with maximal memory
  configurations from 2.5-3M entries down to 1.4M entries.

  In addition to fixing a bug which counted vm_page_array_size twice
  (which is also fixed on x86_64 in this commit), also put a soft cap
  of 1.4M pv entries.  Most production machines never even get close
  to the old cap and this saves us at least 45MB of KVM on machines
  with 3G+ of ram.

  The cap can be raised with a kenv boot variable (vm.pmap.pv_entries).

* x86_64 - Increase the maximum buffer cache size from 400MB to 1GB.
  This will effect machines with >4G of ram.  A machine with 8G of
  ram will wind up with ~800MB worth of buffer cache.

  In particular this should improve HAMMER's cache performance since
  the presence of a cache bp is needed to circumvent the per-mount
  lock.  This may also improve flushes but it is hard to say.

Reported-by: Peter Avalos <peter@theshell.com>

netstat - Fix netstat -m on core dumps

* Aggregate all ncpus worth of stats when operating on a core dump instead
  of just using cpu0.  Otherwise the numbers will be wildly incorrect.

Reported-by: Peter Avalos <peter@theshell.com>

dsched.9: Fix typo

Add a dsched(9) manual page.

Submitted-by: alexh

mutex.9: Adjust .Nm a bit and fix FILES section.

Update build for OpenSSH-5.6.

Add a SYSINIT(9) manpage describing the SYSINIT macro.

Merge branch 'vendor/OPENSSH'

kernel - Report actual real memory during kernel boot

* Calculate and report the actual real memory reported by the BIOS,
  only counting memory types and ignoring other mapping types and holes.

* Report this value instead of the highest mapped address, reducing
  user confusion.  e.g. on a machine with 8G of ram:

  real memory  = 8858370048 (8448 MB) (before change)
  avail memory = 7597334528 (7245 MB)

  real memory  = 8049428480 (7676 MB) (after change)
  avail memory = 7597334528 (7245 MB)

  real memory  = 8452081664 (8060 MB) (after changing BIOS video 512M->128M)
  avail memory = 7987879936 (7617 MB)

  This all makes sense if you think about.  The MB has on-board video and
  the BIOS reserves video memory for it, so after taking that into account
  the BIOS is really only eating around 4MB of ram for itself.  The

  "real memory" now correctly reflects memory remaining after the BIOS
  took its cut whereas originally (the 8.4GB) was really more a reflection
  of the highest mapped address, memory + IO/bus-space combined, and
  did not accurately reflect how much memory the BIOS was handing to the
  kernel.

Import OpenSSH-5.6p1.

kernel - Move action_list out of vm_page, and change flags from 16->32 bits

* vm_page->action_list removed, saving 16 bytes per vm_page on x86_64
  (8 on i386).  Instead we add a flag to vm_page->flags, PG_ACTIONLIST,
  and store the action registrations in a global hash table.

* Change vm_page->flags from a 16 to 32 bits, plus pad, adding 4 bytes
  to the vm_page structure.

* x86_64 sizeof(struct vm_page) goes from 136 to 128, keeping in mind
  that it grew from 132 to 136 with the addition of ku_pagecnt.  So,
  net-net, we have still managed to decrease the size of struct vm_page
  by a little.

kernel - Increase MSGBUF_SIZE from 64K to 128K

* MSGBUF_SIZE is too small to hold a verbose boot, bump the default
  up to 128K.

kernel - Greatly reduce kernel memory use for x86_64

* Remove the kmemusage array entirely and instead store ku_pagecnt
  in the vm_page structure.

  This allows x86_64 to boot with 128G of KVM without eating tons of
  real memory, in addition to another recent commit which reduced
  real memory use w/ large KVM spaces.

Reported-by: John Marino

UPGRADING: Add a note about OpenSSL SHLIB_MAJOR bump.

Fix buildkernel when pfsync(4) is compiled into an x86_64 kernel.

Reported-by: Dheeraj Reddy <dheerajr@gmail.com>

Make acpi(4) compilable into an x86_64 kernel.

Note that this doesn't mean that we recommend building ACPI into the
kernel in any way. But it will still be needed once we get to having
some kind of LINT config for x86_64.

Tested-by: Dheeraj Reddy <dheerajr@gmail.com>

installer: Raise WARNS to 6 and fix resulting warnings.

installer: Add back comment.

installer: Adjustments to the sources.conf file.

/cdrom is not part of our hierarchy and /usr/src only gets created in
the running system.

While here, remove the code that handles falling back to an internal
table since we can rely on /usr/share/installer/sources.conf to exist
always.

Bump SHLIB_MAJOR for libssl and libcrypto.

The latest OpenSSL upgrade caused some issues with existing 3rd-party
binaries.  To get those programs to use the new OpenSSL, they'll need to
be relinked against the new libraries.

kernel - Fix incorrect vfs.cache sysctls (x86_64)

* The vfs.cache.numneg and vfs.cache.numcache sysctls were being defined
  as unsigned longs when they are ints

* Remove duplicate debug. sysctls for numneg/numcache.

kernel - Fix NFS server deadlock

* _cache_cleanneg() was calling cache_zap() with the non-blocking argument
  set to FALSE, causing numerous out-of-order locking situations which
  could march up the topology and cause a deadlock.

  Fixed by calling cache_zap() with the non-blocking argument set to TRUE.

* This was particularly obvious when running a buildworld with a loopback
  NFS mount for /usr/obj, which generates lots of negative cache activity,
  but theoretically could cause deadlocks even without using NFS.

Reported-by: YONETANI Tomokazu <qhwt.dfly@les.ath.cx>

installer: Slightly change the item order in the configure menu.

Move the "Set keyboard map" item before the "Set root password" item
in order to prevent accidental foot-shooting.

Submitted-by: matthias

cryptsetup: Port API test to DragonFly.

Add libcryptsetup and libluks.

liblvm: Minor cleanup in the Makefile.

UPDATING - Remove CVS Id

This could confuse users as the date of the ID is in the past.  Adapt style
while here.

test commit

Added notes about BIND moving to pkgsrc version for <2.7 -> 2.8 upgrades.

Update build for OpenSSL-1.0.0a.

-Add Camellia, CMS, GOST, MDC-2, modes, SEED, ts, and Whirlpool.  mdc2
is freely available since its patent expired in 2002.

-Remove md2 for CVE-2009-2409.

-See CHANGES for the enitire changeset.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.0a.

vkernel - Add support for cdevs as virtual disks (2)

* I missed a spot where the lseek() hack is needed.  Fixed.

kernel - Rearrange pmap_growkernel() and fix up x86_64's pmap_growkernel()

* Rearrange pmap_growkernel() to pass an address range instead of just an
  end address.

* vm_map() no longer retries after calling pmap_growkernel(), the function
  either succeeds or panics.

* x86_64 - kldloading modules after system boot no longer populates 128GB
  worth of page tables (which eats ~256MB of ram) in order to push
  kernel_vm_end past KERNBASE.

  Instead, any kldloads into the space beyond KERNBASE, which is required
  to be able to link them into the kernel due to 32-bit PC-relative
  addressing, will populate just the required page tables and will not
  bump up kernel_vm_end.

* Fixes a panic which can occur well after boot when kldload'ing the first
  module, if 256MB worth of free pages is not instantly available.

* Saves us 256M of ram on x86_64.

df fortune - Bring some entries closer to reality

pkg_search - Replace avalon with mirror-master

and remove CVS-Id while here

OpenSSL: Set the date for manual pages to the release date.

vkernel - Add support for cdevs as virtual disks

* Allow a cdev to be directly specified as a virtual disk.

libcrypto:  There's no need to test for WANT_IDEA twice.

OpenSSL:  Define little endian on x86_64.

We only support little endian archs, so remove the test, and just put it
with the rest of CFLAGS.

installer: Suppress . in the hostname if the user didn't specify a domain.

Submitted-by: matthias

OpenSSL:  Eliminate some options from CFLAGS.

These are already included in opensslconf.h, so there's no need to put
them in CFLAGS too.

kernel - Fix rare token overwrite race

td_toks_stop was being decremented prior to releasing the token reference
and cleaning up the optional mp lock.  This left a very small
one-instruction opening where the following sequence of events could
occur:

  * While releasing the ref in 'if (tok->t_ref == ref) tok->t_ref = NULL;'
    a fast interrupt could come along, acquire a token reusing our ref,
    then release it.

  * A thread on another cpu then successfully acquires the now released
    token.

  * The fast interrupt returns our interrupted thread resumes with the
    execution of 'tok->t_ref = NULL;'.

  * The other thread asserts on the missing token ref or otherwise performs
    actions which assume the token is still held when it is not due to
    the first thread blowing it up.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

docs - Adjust swapcache.8

* Clarify the lack of clarity on read-disturb effects.  Expand the
  write endurance section a bit incorporating the results from long-term
  testing on pkgbox64.

Add prototype for devfs_assume_knotes()

   Fixes buildkernel problem

kernel - Bring devfs_assume_knotes() uptodate and fix panic

* devfs_assume_knotes() was blindly transfering the knotes without
  properly acquiring their soft-lock.

  The problem was easily reproducable by running 'moused -p /dev/ums0'
  and then unplugging the mouse.

* Move the core of the routine into a new procedure in kern_event.c
  called knote_assume_knotes() which properly acquires and releases
  the underlying knotes.

HAMMER VFS - Fix two ip->vp inode/vnode races

* nrename and nremove attempt to dereference ip->vp.  Because ip->vp has
  no other references in these code paths the operation can race and
  either assert or panic on a null-pointer dereference.

  Fix by formally acquiring the vnode before trying to dereference it.

* All other cases are passed a referenced vnode or properly acquire it
  (e.g. nresolve), and did not have this issue.

OpenSSL:  Fix includes insanity.

Use INCS instead of the hard-to-understand and rustic stuff that was
there.