Fix compile. lapic is setup later in mp_enable().

Add lapic_init() to map local apic

Apply commit 5a16ccc33e47fb29b6eb4249b6b3f582f5971ff3 for x86_64.

MP table: Pull lapic related information extraction into seperate function

Apply commit a0873f0751631415afae9507b515c3709a8e6336 for x86_x64.

Fix warnings when compiled with ACPI_IO

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

MP table: Do preliminary checks before claiming that the MP table is valid

Apply commit fa0583846340dfc45e2c45fe65868c95f295d8df for x86_64.

Put mp_nbusses and bus_data under APIC_IO

Apply commit 4f6a8b30c9ca96ca4df6ed16232bbc9eeba05a5e for x86_64.

Staticize mp_nbusses

Apply commit abe45f39559867d84370bf61f05b7649cd17a7b9 for x86_64.

Remove bsp_apic_ready

Apply commit ae996d5a08c195e14ffc9374645447d29611dd15 for x86_64.

Correct the logical_cpus calculation in mptable_hyperthread_fixup()

Apply commit 7ea07fd226314dc116e1089cb39196610300b406 for x86_x64.

build - Correct compile errors on 64-bit buildworld

* printf formatting stuff in ssh-keygen

installer: Fix the HAMMER install.

Due to the recent change of some variables from unsigned to signed some
issues had crept in.

While here, clean up the function a bit and make the error message more
useful.

build - Adjust Makefile.usr to point at new pkgsrcv2.git repo

* Change 'pkgsrc.git' to 'pkgsrcv2.git'.

nrelease: Fold the mklocatedb target into customizeiso.

Also make it simpler by just using the periodic(8) script in the chroot.

kernel - Fix MP race in kmalloc/kfree

* Fix two cases where a zone is mis-handled by the new kfree().  Note,
  however, that the race being fixed is nearly impossible (might even
  BE impossible) to produce because it requires a slab to go from
  completely empty to completely full through hysteresis and then destroyed
  all in a few microseconds.

  Essentially when a kfree() occurs on a cpu which is not the owner of
  the zone the chunk is linked into a side-list on the zone using atomic
  ops.  Under certain (very rare) circumstances the cpu doing the kfree()
  must IPI the cpu that owns the zone.

  The moment the chunk is linked in the cpu owning the zone can race the
  incoming IPI and destroy the zone (if it is now completely unused).
  The old kmemusage code handled the race just fine but the new vm_page_t
  based big-block handler could not.

  The solution is to have an atomic-ops counter for inflight IPIs which
  prevents the owning cpu from destroying the zone prematurely.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - More work on x86_64 low-memory configurations

* The nkpt calculation was wrong and could lead to too few kernel
  page-tables during low level boot.

  Try to calculate the correct value and then add 128 page tables just
  to be safe.

Reported-by: John Marino

Merge branch 'master' of /home/www-data/gitweb/dragonfly

kernel - Adjust KVA use on i386 and x86_64

The i386 changes recover another ~60MB of KVM for kernel use.  This is an
attempt to further reduce KVM use based on bug reports from people running
production systems.

The x86_64 changes recognize the now much-larger KVM space (128G+) and
remove some i386-era limitations.

* i386 - Reduce the nominal maximum swbufs on i386 from 256 to 128,
  saving 16MB of KVM (and also 16MB of real memory).

  Now that we have swbufs both with and without kva we don't really
  need so many with kva.

* i386 - Reduce pv_entry reservation on machines with maximal memory
  configurations from 2.5-3M entries down to 1.4M entries.

  In addition to fixing a bug which counted vm_page_array_size twice
  (which is also fixed on x86_64 in this commit), also put a soft cap
  of 1.4M pv entries.  Most production machines never even get close
  to the old cap and this saves us at least 45MB of KVM on machines
  with 3G+ of ram.

  The cap can be raised with a kenv boot variable (vm.pmap.pv_entries).

* x86_64 - Increase the maximum buffer cache size from 400MB to 1GB.
  This will effect machines with >4G of ram.  A machine with 8G of
  ram will wind up with ~800MB worth of buffer cache.

  In particular this should improve HAMMER's cache performance since
  the presence of a cache bp is needed to circumvent the per-mount
  lock.  This may also improve flushes but it is hard to say.

Reported-by: Peter Avalos <peter@theshell.com>

netstat - Fix netstat -m on core dumps

* Aggregate all ncpus worth of stats when operating on a core dump instead
  of just using cpu0.  Otherwise the numbers will be wildly incorrect.

Reported-by: Peter Avalos <peter@theshell.com>

dsched.9: Fix typo

Add a dsched(9) manual page.

Submitted-by: alexh

mutex.9: Adjust .Nm a bit and fix FILES section.

Update build for OpenSSH-5.6.

Add a SYSINIT(9) manpage describing the SYSINIT macro.

Merge branch 'vendor/OPENSSH'

kernel - Report actual real memory during kernel boot

* Calculate and report the actual real memory reported by the BIOS,
  only counting memory types and ignoring other mapping types and holes.

* Report this value instead of the highest mapped address, reducing
  user confusion.  e.g. on a machine with 8G of ram:

  real memory  = 8858370048 (8448 MB) (before change)
  avail memory = 7597334528 (7245 MB)

  real memory  = 8049428480 (7676 MB) (after change)
  avail memory = 7597334528 (7245 MB)

  real memory  = 8452081664 (8060 MB) (after changing BIOS video 512M->128M)
  avail memory = 7987879936 (7617 MB)

  This all makes sense if you think about.  The MB has on-board video and
  the BIOS reserves video memory for it, so after taking that into account
  the BIOS is really only eating around 4MB of ram for itself.  The

  "real memory" now correctly reflects memory remaining after the BIOS
  took its cut whereas originally (the 8.4GB) was really more a reflection
  of the highest mapped address, memory + IO/bus-space combined, and
  did not accurately reflect how much memory the BIOS was handing to the
  kernel.

Import OpenSSH-5.6p1.

kernel - Move action_list out of vm_page, and change flags from 16->32 bits

* vm_page->action_list removed, saving 16 bytes per vm_page on x86_64
  (8 on i386).  Instead we add a flag to vm_page->flags, PG_ACTIONLIST,
  and store the action registrations in a global hash table.

* Change vm_page->flags from a 16 to 32 bits, plus pad, adding 4 bytes
  to the vm_page structure.

* x86_64 sizeof(struct vm_page) goes from 136 to 128, keeping in mind
  that it grew from 132 to 136 with the addition of ku_pagecnt.  So,
  net-net, we have still managed to decrease the size of struct vm_page
  by a little.

kernel - Increase MSGBUF_SIZE from 64K to 128K

* MSGBUF_SIZE is too small to hold a verbose boot, bump the default
  up to 128K.

kernel - Greatly reduce kernel memory use for x86_64

* Remove the kmemusage array entirely and instead store ku_pagecnt
  in the vm_page structure.

  This allows x86_64 to boot with 128G of KVM without eating tons of
  real memory, in addition to another recent commit which reduced
  real memory use w/ large KVM spaces.

Reported-by: John Marino

UPGRADING: Add a note about OpenSSL SHLIB_MAJOR bump.

Fix buildkernel when pfsync(4) is compiled into an x86_64 kernel.

Reported-by: Dheeraj Reddy <dheerajr@gmail.com>

Make acpi(4) compilable into an x86_64 kernel.

Note that this doesn't mean that we recommend building ACPI into the
kernel in any way. But it will still be needed once we get to having
some kind of LINT config for x86_64.

Tested-by: Dheeraj Reddy <dheerajr@gmail.com>

installer: Raise WARNS to 6 and fix resulting warnings.

installer: Add back comment.

installer: Adjustments to the sources.conf file.

/cdrom is not part of our hierarchy and /usr/src only gets created in
the running system.

While here, remove the code that handles falling back to an internal
table since we can rely on /usr/share/installer/sources.conf to exist
always.

Bump SHLIB_MAJOR for libssl and libcrypto.

The latest OpenSSL upgrade caused some issues with existing 3rd-party
binaries.  To get those programs to use the new OpenSSL, they'll need to
be relinked against the new libraries.

kernel - Fix incorrect vfs.cache sysctls (x86_64)

* The vfs.cache.numneg and vfs.cache.numcache sysctls were being defined
  as unsigned longs when they are ints

* Remove duplicate debug. sysctls for numneg/numcache.

kernel - Fix NFS server deadlock

* _cache_cleanneg() was calling cache_zap() with the non-blocking argument
  set to FALSE, causing numerous out-of-order locking situations which
  could march up the topology and cause a deadlock.

  Fixed by calling cache_zap() with the non-blocking argument set to TRUE.

* This was particularly obvious when running a buildworld with a loopback
  NFS mount for /usr/obj, which generates lots of negative cache activity,
  but theoretically could cause deadlocks even without using NFS.

Reported-by: YONETANI Tomokazu <qhwt.dfly@les.ath.cx>

installer: Slightly change the item order in the configure menu.

Move the "Set keyboard map" item before the "Set root password" item
in order to prevent accidental foot-shooting.

Submitted-by: matthias

cryptsetup: Port API test to DragonFly.

Add libcryptsetup and libluks.

liblvm: Minor cleanup in the Makefile.

UPDATING - Remove CVS Id

This could confuse users as the date of the ID is in the past.  Adapt style
while here.

test commit

Added notes about BIND moving to pkgsrc version for <2.7 -> 2.8 upgrades.

Update build for OpenSSL-1.0.0a.

-Add Camellia, CMS, GOST, MDC-2, modes, SEED, ts, and Whirlpool.  mdc2
is freely available since its patent expired in 2002.

-Remove md2 for CVE-2009-2409.

-See CHANGES for the enitire changeset.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.0a.

vkernel - Add support for cdevs as virtual disks (2)

* I missed a spot where the lseek() hack is needed.  Fixed.

kernel - Rearrange pmap_growkernel() and fix up x86_64's pmap_growkernel()

* Rearrange pmap_growkernel() to pass an address range instead of just an
  end address.

* vm_map() no longer retries after calling pmap_growkernel(), the function
  either succeeds or panics.

* x86_64 - kldloading modules after system boot no longer populates 128GB
  worth of page tables (which eats ~256MB of ram) in order to push
  kernel_vm_end past KERNBASE.

  Instead, any kldloads into the space beyond KERNBASE, which is required
  to be able to link them into the kernel due to 32-bit PC-relative
  addressing, will populate just the required page tables and will not
  bump up kernel_vm_end.

* Fixes a panic which can occur well after boot when kldload'ing the first
  module, if 256MB worth of free pages is not instantly available.

* Saves us 256M of ram on x86_64.

df fortune - Bring some entries closer to reality

pkg_search - Replace avalon with mirror-master

and remove CVS-Id while here

OpenSSL: Set the date for manual pages to the release date.

vkernel - Add support for cdevs as virtual disks

* Allow a cdev to be directly specified as a virtual disk.

libcrypto:  There's no need to test for WANT_IDEA twice.

OpenSSL:  Define little endian on x86_64.

We only support little endian archs, so remove the test, and just put it
with the rest of CFLAGS.

installer: Suppress . in the hostname if the user didn't specify a domain.

Submitted-by: matthias

OpenSSL:  Eliminate some options from CFLAGS.

These are already included in opensslconf.h, so there's no need to put
them in CFLAGS too.

kernel - Fix rare token overwrite race

td_toks_stop was being decremented prior to releasing the token reference
and cleaning up the optional mp lock.  This left a very small
one-instruction opening where the following sequence of events could
occur:

  * While releasing the ref in 'if (tok->t_ref == ref) tok->t_ref = NULL;'
    a fast interrupt could come along, acquire a token reusing our ref,
    then release it.

  * A thread on another cpu then successfully acquires the now released
    token.

  * The fast interrupt returns our interrupted thread resumes with the
    execution of 'tok->t_ref = NULL;'.

  * The other thread asserts on the missing token ref or otherwise performs
    actions which assume the token is still held when it is not due to
    the first thread blowing it up.

Reported-by: Francois Tigeot <ftigeot@wolfpond.org>

docs - Adjust swapcache.8

* Clarify the lack of clarity on read-disturb effects.  Expand the
  write endurance section a bit incorporating the results from long-term
  testing on pkgbox64.

Add prototype for devfs_assume_knotes()

   Fixes buildkernel problem

kernel - Bring devfs_assume_knotes() uptodate and fix panic

* devfs_assume_knotes() was blindly transfering the knotes without
  properly acquiring their soft-lock.

  The problem was easily reproducable by running 'moused -p /dev/ums0'
  and then unplugging the mouse.

* Move the core of the routine into a new procedure in kern_event.c
  called knote_assume_knotes() which properly acquires and releases
  the underlying knotes.

HAMMER VFS - Fix two ip->vp inode/vnode races

* nrename and nremove attempt to dereference ip->vp.  Because ip->vp has
  no other references in these code paths the operation can race and
  either assert or panic on a null-pointer dereference.

  Fix by formally acquiring the vnode before trying to dereference it.

* All other cases are passed a referenced vnode or properly acquire it
  (e.g. nresolve), and did not have this issue.

OpenSSL:  Fix includes insanity.

Use INCS instead of the hard-to-understand and rustic stuff that was
there.

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

pkg_radd - Minor changes for script and man page

- chlamydia is down, so rephrase the man page with some more generic
  text

Reported-by: Przemyslaw Pawelczyk <pp_o2@o2.pl>
- Change URL from avalon to mirror-master in pkg_radd.sh

Fix typo in last commit.

Fix WANT_IDEA knob.

I broke this in my last OpenSSL import.  Add a note to README.DRAGONFLY
to automatically generate opensslconf.h when Configure is run, and
adjust Makefile.inc to compensate for the generated code.

kernel - Remove debugging kprintf

* Remove "td %p (%s) unexpectedly rescheduled" from the tsleep() path.

  This case is still undesired but it can happen through normal operation
  due to explicit lwkt_schedule()'s or delayed schedules from interlocked
  tsleep()s.  Don't kprintf a warning when it happens any more.

network - NFS Stability / races

* Fix additional races in the upcall interactions which can cause
  a nfsd to not get woken up when it should.

* Medium revamp of the SLP_* flags.

* Add NFSRV_RECLIMIT() macro and do a better job limiting the number
  of pending records taken off a socket.

* Fix a memory leak in the M_NFSSVC kmalloc pool.  Each time the
  server lost a socket it leaked a little memory.  Now it does not.

net80211 - Fix missing rcvif assignment in ieee80211_fragment()

* When the 80211 code decides it must fragment a packet for the logical
  device layer the pkthdr.rcvif for the fragments must be copied from
  the original, otherwise the underlying device will panic trying to
  locate the node.

* Untested but hopefully fixes an issue reported with wpi.

network - Restart the callout timer when setting TCP_FASTKEEP

* When TCP_FASTKEEP is enabled we must reload the callout with the shorter
  timeout.  If we allow the longer timeout to expire and the connection
  remains idle the tcp connection will be dropped when the longer timeout
  expires since it will have exceeded the maximum calculation.

* Fixes noisy but otherwise benign NFS messages on the console.

* Abstract the tcp activity function into tcp_timer_keep_activity() so
  we can call it from both usrreq and tcp_input.

Revert part of the previous commit.

* 'Iff' is the shortened version of 'if and only if'.
  See http://en.wikipedia.org/wiki/If_and_only_if.

Pointed-out-by: swildner@

Fix typos in share/mk/bsd.README.

* The variable name is DPADD not SRCLIB.
* Correctly spell 'if'.

kernel - Close big race in kqueue

* Refactor the KN_PROCESSING abstraction.  Remove shortcuts and use it
  in ALL knote-handling situations.  One place in the EV_DELETE handling
  was broken and one or two other places were not handling REPROCESS
  requests properly.

* Overnight buildworld -j 8 now succeeds with NFS mounted /usr/src.  It
  used to panic after a few runs with a kqueue-related assertion.

UPDATING - Add a note about 2.6 -> 2.8/HEAD upgrade /boot requirements

Suggested-By: Steve O'Hara-Smith and Dennis Melentyev

loader.conf(5) - Document 'fred_on_left' loader variable.

dloader - Add Fred to the menu.

* 'fred_disable' in loader.conf reverts to original dloader menu.
* 'loader_color' in loader.conf is now supported again.
* 'fred_on_left' in loader.conf puts Fred on the left of the menu.

Discussed-With: Sascha Wildner
Suggested-By: Sascha Wildner
Suggested-By: Thomas Nikolajsen

dloader - Add dvar_istrue() to test boolean variables.

* Accepts any form of 'yes', 'true', 'on', or '1' as true.

cryptsetup: In the tests, use /usr/bin/env for locating pkg binaries.

gnu/lib/Makefile: Clean up a bit.

test commit

rc.conf(5) - Add information howto start wlan(4) devices

Obtained-From: FreeBSD

build - Clarify instalkernel requirements when upgrading /boot

* When upgrading a system from the old /boot format to the new /boot
  format clarify the error message when someone tries to install a
  new kernel onto an old /boot.

  It now indicates specifically suggests doing a buildworld / installworld
  sequence first.

network - Fix a sleep/wakeup race in NFS (server), implement faster keepalives

* Fix a sleep/wakeup MP race in the NFS server where the server can receive
  data but fails to wakeup one of its nfsds.

* Set a faster keepalive timeout for NFS client and server.  Currently
  75 seconds (instead of 2 hours).  This solves a problem when connectivity
  is lost with the server for long enough that the server kills the
  connection, or if the server fails while processing a nfs request
  from the client.

  If the client is stuck waiting for the reply it can wind up waiting
  for the entire keepalive period before recovering, even if connectivity
  with the server is re-established.  This way the client will proactively
  determine that the connection is dead within 75 seconds and re-establish
  it.

* The value of the timeout is taken from net.inet.tcp.keepintvl
  (instead of net.inet.tcp.keepalive), which defaults to 75 seconds
  at the moment.

network - Add a tcp socket for faster keepalive timeouts

* Add a new socket opt, TCP_FASTKEEP, which enables faster keepalive
  timeouts on a tcp socket.  This will be used by NFS.

kernel - lapic pointer was still not quite correctly initialized

* A conditional in the new MADT code was bypassing the lapic pointer
  mapping in certain circumstances, causing the machine to lockup in the
  low level boot.

kernel - Close small race in kqueue

* Normalize the kn_status reprocessing code to close a race.
  A knote_detach_and_drop() during a descriptor close can set
  KN_DELETING and return, leaving a knote undergoing processing
  by another thread marked deleted.

  If the other thread is trying to execute a filter the filter can
  wind up being run after the file pointer has been detached
  from the knote, resulting in a panic.

* All KN_DELETING and KN_WAITING flags also now set KN_REPROCESS and
  all KN_REPROCESS handling is dealt with the same way.  The filter
  is run if KN_REPROCESS is not set and if it is set any KN_DELETING
  and KN_WAITING flags are dealt with before the filter is run.

boot - Rearrange dloader.menu a bit

* Rename some of the numbered options to lettered options.  For example,
  use 's' for single user boot, 'o' for booting kernel.old, and 'v' for
  verbose boot.

kernel - Work through some memory leaks in dsched

* Add a uninitbufbio() function to complement initbufbio().  Also move
  BUF_LOCKINIT() into initbufbio() and BUF_LOCKFREE() into uninitbufbio().

* There are several device drivers and other places where the struct buf
  is still being allocated manually (verses using getpbuf()).  These were
  kfree()ing the buffer without dealing with e.g. dsched_exit_buf().

  Have uninitbufbio() call dsched_exit_buf() and adjust the various manual
  allocations/frees of struct buf to call uninitbufbio() before kfree()ing.
  Also remove various manual calls to BUF_LOCKFREE() (which is now done
  inside uninitbufbio()).

* This should hopefully deal with the memory leaks but there could be a
  few left.

Reported-by: "Steve O'Hara-Smith" <steve@sohara.org>

kernel - Fix compile error w/last commit (unused var)

* Remove unused variable

Reported-by: Rumko

kernel - Add kqueue and fix chflags handling for tmpfs

* Implement kqueue ops for tmpfs so things like tail -f work properly.

* Redo all the chflags handling and checks to use the helper functions,
  also getting ridding of the horribly broken FREAD/FWRITE tests on
  node->tn_flags (which is the chflags flags, not the open flags).

  This fixes chflags handling for tmpfs.  Previously doing something
  like 'make installkernel ... DESTDIR=<sometmpfs_target>' would fail
  on re-install due to chflags not working properly.

* Fix a lost node unlock in tmpfs_chflags()

Reported-by: Nuno Antunes <nuno.antunes@gmail.com>

vkernel - Add physmem global

* The PF module assumes the 'physmem' global exists.  For the moment make
  sure it exists (add it to the vkernel targets).

network - Fix bug in redispatch after PF translation

* ip_input() checks M_HASH after PF/firewall processing and recalculates
  the protocol port if necessary.

  ip_input() was improperly restoring ip_len when doing the re-check,
  causing TCP packets destined for the local host to be dropped.  This
  caused NAT translations with local terminations to fail.

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

lapic pointer was not correctly initialized

MADT enumeration works now on x86_64, tested on HP Compaq 6710b.

MADT MP probe: Rework cpuid mapping, and cpuid to apicid mapping

Apply commit 223bf214b579c486a04c63795cdf9808b2e87b14 for x86_64.

Fallback to ACPI MADT CPU enumeration, if BIOS does not provide MP table.

APIC_IO does not work with ACPI MADT CPU enumeration yet.

Apply commit a26bbcd5fbded1b5c7fe0c79a0bea66716a15e33 for x86_64.