fastbulk - more work

* Output start and end date stamps

* Do a manual checksum test and delete the distfile if it fails (and the
  distfile is over 4 hours old).

* Do a better job deleting conflicting versions of a package.

fastbulk - More fixes and improvements

* Fix improper cleaning of the "${BUILDROOT}/usr/obj/work" directory

* Use lockf to lock the wildcard name for a package, serializing the
  builds of any related packages so they don't interfere with each
  other.

* Clean the work directory on success or failure instead of only on
  success, othrewise a large >10G tmpfs is needed.

fastbulk - Remove core files & empty dirs from /var/pkg/db

* The presence of a core file prevents the pkg code from properly handling
  the directory, causing installs from packages to fail if any dependency
  has a broken /var/pkg/db directory.

* Clean out any core files and empty dirs before starting a build.

Add an MLINK for KTR_COND_LOG.

While here, sort the msgport.9 MLINKS alphabetically.

ktr.4 - add note about KTR_USCHED_BSD4

usched_bsd4 - Topology-aware scheduling

 * Part of "Add SMT/HT awareness to DragonFly BSD scheduler" GSoC
   project.

 * Details at: http://leaf.dragonflybsd.org/mailarchive/kernel/2012-08/msg00009.html

Mentored-by: Alex Hornung (alexh@)
Sponsored-by: Google Summer of Code 2012

vkernel{,64} - CPU topology support

 * Part of "Add SMT/HT awareness to DragonFly BSD scheduler" GSoC
   project.

 * Details at: http://leaf.dragonflybsd.org/mailarchive/kernel/2012-08/msg00009.html

Mentored-by: Alex Hornung (alexh@)
Sponsored-by: Google Summer of Code 2012

CPU topology support

 * Part of "Add SMT/HT awareness to DragonFly BSD scheduler" GSoC
   project.

 * Details at: http://leaf.dragonflybsd.org/mailarchive/kernel/2012-08/msg00009.html

Mentored-by: Alex Hornung (alexh@)
Sponsored-by: Google Summer of Code 2012

ktr - add KTR_COND_LOG

 * KTR_COND_LOG provides conditional logging; the second parameter passed
   in is a condition which determines whether the entry is logged or
   not.

 * It provides a neater way to log conditionally than having to wrap a
   KTR in an if, which may then end up being empty if KTR is disbled.

msgport.9: Fix some minor mdoc issues.

fastbulk - Adjustments to fix various issues (2)

* Use tmpfs for /usr/obj, this speeds up builds by a lot.
  make w/ -DNOTMPFS will use the hard drive if your tmpfs
  isn't big enough.

* Cleanup {chroot}/tmp/logs/run/* when restarting

* When restarting handle the case where the correct package has
  already been installed.

* When restarting handle the case where the binary package already
  exists.

* Use pkg_add -f when adding existing packages.

fastbulk - Adjustments to fix various issues

* We weren't properly installing the binary packages we were creating,
  resulting in parallel build races.  Fixing this fixes most of the
  issues fastbulk was having.

* Change the way pkgsrc is mounted... copy it to /build/fastbulk and add
  code to ensure that it is clean.

* resident the bmake binary to speed things up a bit.

kernel - Attempt to fix i386 wire_count panic

* Finally found what could be the issue.  get_pv_entry() calls zalloc()
  which can fall through to zget() which obtains a zalloc-related LWKT
  token.

  This can temporarily break the vm_token and allow another thread to get
  in and change the pmap pte entry out from under a pmap_enter(), causing
  the pmap_enter() to potentially remove an extra wire_count from the
  page table page.

* Fix by pre-allocating the pv entry, taking it out of the critical path,
  and adjusting a few other bits of code to test the *pte closer to
  the code which replaces it for the purposes of adjusting the wire_count.

jme: Let the software to check hardware supplied hash

As far as I have tested, these chips could generate wrong hash under
certain situation.

ether: Add instrument to detect wrong hardware supplied hash

If wrong hardware supplied hash is detected, the packet will be
redispatched to the correct netisr

kernel/linprocfs: Fix accessing files in /proc (such as /proc/meminfo).

It is the same fix that was applied to procfs with 198c0ff2.

kernel/linprocfs: Fix a panic when accessing /proc/<pid>/maps.

Analogous to procfs.

ixgbe: Rework ixgbe_xmit()

* Use bus_dmamap_load_mbuf_segment()

* Clean up error handling code, following the example of the igb(4)
  driver

kernel/procfs: Remove some unneeded parentheses.

kernel/linprocfs: Remove an unreached return.

tools: Remove old script for installing 3rd party source drivers.

mdoc: Add a msgport(9) manual page documenting LWKT message passing interface.

ip: Put fast dispatch/slow dispatch and hashing done by IP under RSS_DEBUG

While im here, using atomic operation to increment debug counters

rtld: Perform reloc before filtree dependency object init

Ensure that for the object which is a dependency of some filtree,
relocations are performed before the object's initializer is called.
While dlopen()ing an object, relocate the whole DAG rooted in the
object instead of only relocating the object itself and list of newly
loaded dependencies.

Reversed sequence currently can occur if the same object is a
dependency for both filtree and filter since filtrees are loaded typically
during the relocation processing when some filter dependencies might be
already loaded but not yet relocated.

Taken-from: FreeBSD SVN 237659 (27 June 2012)

rtld: Delay DF_1_NODELETE process until object DAG loaded

The current code can miss searching dependencies that haven't been loaded
yet.  Delay DF_1_NODELETE processing until object DAG is fully loaded.

Taken-from: FreeBSD SVN 239253 (14 Aug 2012)

kernel: Set kern.ipc.shm_use_phys to 1 by default

* The only known user of SYSV shared memory is PostgreSQL

* It really needs physical allocation to perform well with high
  numbers of clients

* Physical allocation is now used by default

jme: Cache align RX/TX data structure

jme: Only main serializer is needed for timeout callback

This reduces periodic contention against TX/RX path.

dhclient - Assume link is up when IFM_AVALID isn't set.

- This is what the late interface_link_status() did.
- Allows drivers who cannot tell what the link state is to get
  dhcp leases.

Taken-from: OpenBSD

dhclient - Have only one timeout at once.

- Terminate with extreme prejudice the multiple timeout queuing
  mechanism that was a holdover from when dhclient handled multiple
  interfaces at once.

- Also move calculation of current time to just before check to see
  if the timeout has expired.

Taken-from: OpenBSD

dhclient - Add some more paranoia and make code clearer.

- Check that the required length field for the option
  is present before using it. Reject lease if no length
  field is present.

Taken-from: OpenBSD

dhclient - Delete trailing NUL's when parsing NVT ASCII options.

- RFC 2132 says "Options containing NVT ASCII data SHOULD NOT include
  a trailing NULL; however, the receiver of such options MUST be
  prepared to delete trailing nulls if they exist."
- Should fix odd results when 'append'ing info to such options via
  dhclient.conf.

Taken-from: OpenBSD

dhclient - Nuke interface_link_status().

- Make use of interface_status() (check IFF_UP|IFF_RUNNING
  and media status). The interface is forced up when dhclient
  starts so the flags should be correct.

Taken-from: OpenBSD

dhclient - Change return code test logic.

Taken from: OpenBSD

dhclient - Set state to S_REBOOTING when calling state_reboot().

- Also set state inside state_reboot() to S_INIT when calling
  state_init(). Rather than the other way around.
  Makes for more consistant idiom and might reduce state confusion.

Taken-from: OpenBSD

dhclient - Cancel all timeouts in state_reboot().

- We can get there from any state if a link state change happens.
  Fixes a problem where we'd continue to send (corrupted) discover
  packets after binding.

Taken-from: OpenBSD

dhclient - Try harder to re-initialize parsing state.

- Attempt that nothing accidentally carries over when
  a new file (i.e. leases after config) is parsed.
  May help with mysterious "Corrupt lease file" messages.

Taken-from: OpenBSD

dhclient - Tweak parsing.

- No need to declare, assign and then ignore the token
  value when only the token id is required.

Taken-from: OpenBSD

dhclient - Tweak leases file handling.

- Write out new leases file every time a lease is obtained. i.e. don't
  append 20 leases before cleaning it up.
- Write new leases file after calling dhclient-script to implement
  new info. Gets interface configured first, and makes it more likely
  the leases file reflects most current configuration.

Taken-from: OpenBSD

dhclient - Sequential options processing more friendly.

- Starting DHCP packet options with DHO_DHCP_MESSAGE_TYPE. Now
  DHCP-specific options always come after the option identifying
  the packet as DHCP rather than BOOTP. Makes at least Nortel NetIP
  DHCP server happier. Clean up some code and parameter passing.

Taken-from: OpenBSD

dhclient - Only warn on unknown options when appropiate.

- By default we ignore unknown dhcp server options, so don't bother
  warning unless we ask dhclient to reject leases with unknown options.

Taken-from: OpenBSD

dhclient - Properly handle zero-length option hints.

- There was a possible division by zero if a server
  sends us a broken option hints for the proper fix.

Taken-from: OpenBSD

dhclient - Remove wrong processing of option 33 (static routes).

- We are incorrectly processing option 33 (static route), treating
  is as a host route rather than a classful network route. Too much
  trouble to fix such an obsolete feature, so ignore option 33 info.

Taken-from: OpenBSD

dhclient-script(8) - Align man page with current reality.

Taken-from: OpenBSD

dhclient - Stray '$medium' missed in last commit.

Taken-from: OpenBSD

dhclient - Drop medium/alias useless utilization.

- Dump some useless calls to dhclient-script. i.e. MEDIUM, PREINIT,
  ARPSEND, ARPCHECK. Drop support for 'media', 'medium' and 'alias'
  specifications in dhclient.conf.
- Old leases still parse but these options now have no effect.
- Be more polite and decline all offers we don't accept.
- Fix a IMSG length check.
- Many expressions of support at various bars.

Taken-from: OpenBSD

dhclient - Fix interval handling.

- Start at initial_interval instead of exponentially backed
  off initial_interval.
- Don't hallucinate that we can send ARP packets without waiting.
- Don't claim to be waiting for ARP packets when not doing so.
- Correctly detect expiry of selecting period.
- Speeds up negotiations.

Taken-from: OpenBSD

dhclient.conf(5) - New sentence, new line.

Taken-from: OpenBSD

dhclient.conf(5) - Few fixes. Reword a sentence.

Taken-from: OpenBSD

dhclient - Make sure an interface is registered before we start using it.

Taken-from: OpenBSD

dhclient - Add and ignore DHCP option 66/0x42 TFTP server name.

Taken-from: OpenBSD

dhclient(8) - Remove NOTES section.

Taken from: OpenBSD

dhclient - Add 'egress' command-line option.

- It can be used to refetch a lease without remembering
which interface dhclient was actually active on.

Taken-from: OpenBSD

dhclient - Remove unused function.

Taken-from: OpenBSD

dhclient - Use strdup() instead of malloc/strlcpy.

Taken-from: OpenBSD

dhclient - Be more strict in check_option().

ISC dhclient had a buffer overflow: http://www.kb.cert.org/vuls/id/410676 and
while our dhclient is not vulnerable to that, it got us looking at how the
subnet mask option is handled.
This limits specific ip address options to length 4 in conformance with RFC 2132.

Taken-from: OpenBSD

dhclient - Silence dhclient by immediately exiting if the interface doesn't exist.

Taken-from: OpenBSD

dhclient - Make room for trailing \0 on prepend/append for dhcp options.

Taken-from: OpenBSD

dhclient - Use addr_eq() when possible.

Taken-from: OpenBSD

dhclient - Lets state_panic() check the rest of valid leases.

Taken-from: OpenBSD

dhclient - Print out debug messages only when DEBUG is defined.

Taken-from: OpenBSD

dhclient - Remove unneeded ARGSUSED

Taken-from: OpenBSD

dhclient - Fix old bug that could cause lease mangling.

Taken-from: OpenBSD

dhclient - Error out if _dhcp user is missing.

Taken-from: OpenBSD

dhclient - Add 6-byte MAC address to the log entries for DHCP ACK/NAK/OFFER.

- Log the packets before checking the client state. Makes it easy to find
  MACs for 'surprise' DHCP servers.
- Swap ifi status check logic to be the first one.

dhclient - Improve comment about resolv.conf creation.

Taken-from: OpenBSD

dhclient - Term consistency about the config script.

- Also fix manpage section for dhclient-scripts.

Taken-from: OpenBSD

dhclient - Fix typo.

Taken-from: OpenBSD

dhclient - Clarify discussion of option modifiers.

They only affect values passed to dhclient-script. Our default script
only uses a few options so others are unaffected by option modifiers.

Taken-from: OpenBSD

dhclient - Fix spurious 'got link'

Taken-from: OpenBSD

dhclient - Fix OpenBSD CVS ids to match current version.

Also remove DFly ones.

posix_memalign.3: Uncomment conformance sentence for aligned_alloc().

jme: Don't immediately recycle the TX descriptor even if it is owned by us.

This chip will always update the TX descriptor's 32bits fields in order,
so even if the status field has been updated, i.e. OWN is cleared, it still
does not mean that the buflen field has been updated.  To avoid this race
we don't immediately recycle the currently checking TX descriptor.  Instead,
next TX descriptor's OWN bit is checked, if it is cleared, then the updating
of the currently checked TX descrptor is really done.

This is intended to fix the seldom watchdog timeout that was observed on this
chip.

Thank devinchiu@jmicron.com very much for providing necessary information.

unlock_return.cocci: Add vm_object_{hold,drop}().

Add running 'mandoc -Tlint' to the manlint target.

Also ignore the exit status here.

Suggested-by: nant

Suppress printing of the commands for the manlint target.

libc: Comment out documentation of svc_control() which we don't have.

bce: Dispatch callouts to interrupt's target CPU

bce: Rework MSI checkout for 5706 and 5708

bge: Use MPSAFE callout

bge: Always configure MII mode register

bnx: Enable 500Khz MII management interface frequency

This stablizes MII read/write, thus avoid MII probing failure

Reported-by: jaydg on #dragonflybsd
Tested-by: jaydg on #dragonflybsd

kernel - Fix condvar races

* Interlocked sleep was not using the PINTERLOCKED flag.

* Misc other adjustments.

puffs - Comment out namecache purge for now

* Comment out a namecache purge that deadlocks for now.

pci: Enable PCIe memory mapped configuration again

bd7ad9e91e71693907a00c74ab8dfc457cd655c9 should have fixed the
system hanging seen by y0netan1@

pci: Disable memory address decoding before writing 0xffffffff to BAR

This makes PCIe memory mapped configuration works.

Submitted-by: Romick Romick
Tested-by: y0netan1@

newfs_hammer.8: Mdoc fix

ixgbe: remove unneeded lockuninit call

kernel - Adjust UFS and HAMMER to use uiomovebp()

* Add uiomovebp(), a version of uiomove() which is aware of a locked bp
  representing the to or from buffer and can work-around issues related
  to VM faults causing recursions and deadlocks on the user buffer.

  uiomovebp() does not yet detect or handle deadlocks.  Implementing
  deadlock handling will require a certain degree of finess related to
  the vnode and bp locks and we don't want to have to do it unless we
  actually deadlock.  TODO.

* Adjust UFS, HAMMER, TMPFS, MSDOSFS, NFS, NTFS to use uiomovebp().

kernel - Change lockmgr LK_SHARED behavior to fix improper recursion return

* When obtaining a LK_SHARED lock in a situation where you already own the
  lock LK_EXCLUSIVE, lockmgr would downgrade the lock to shared.

  This creates a very serious problem when large procedural recursions get
  a lock that is already being held exclusively but request a shared lock.
  When these recursions return the original top level will find its lock is
  no longer exclusive.

* This problem occured with vnode locks when a VOP_WRITE operation on a mmap'd
  space causes a VM fault which then turns around and issues a read().
  When the fault returns the vnode wound up locked shared instead of
  exclusive.

* Fix the problem by NOT downgrading an exclusive lock to shared when
  recursing on LK_SHARED.  Simply add another count to the exclusive
  lock.

kernel - Fix incorrect dirty/reprotect code in pageout

* vm_object_page_collect_flush() was trying to re-protect VM pages that
  were still marked dirty after pageout I/O was initiated without owning
  the BUSY bit on the page.  This operation could race whatever I/O was
  going on and multiple issues.  Remove the re-protect.

  Just don't do it.  It's an unnecessary operation.  We still re-set
  PG_CLEANCHK on the page and that should be fine insofar as the pageout
  daemon goes.

* Note that the pageout_flush code protects the VM pages properly (to
  read-only) prior to initiating I/O .

* Should fix bug #2350

* Might be related to the wire-count bug considering that we were messing
  with the page's pmap without owning the BUSY bit.  Small chance.

kernel - Fix long-standing vm_map token panic

* Bug turned out to be an error path in vm_map_find().

* This bug ate a lot of hours from several people, but Antonio was able
  to instrument the token path in a way that allowed us to narrow down
  and locate the problem.

Submitted-by: tuxillo, vsrinivas
Debugging-by: tuxillo

kernel - Stop KTR logging during panic

* Stop all KTR logging when a panic occurs so the KTR buffer doesn't
  get wiped out by events during the panic & core dump.  This gives
  us a KTR buf snapshot as of the panic entry.

kernel/linprocfs: Add a missing header for spin_{,un}lock().

kernel/linprocfs: Remove useless .PATH in the Makefile.

tcp: Stringent TSO segment length assertion.

kernel - Fix numerous procfs/ptrace issues (3)

* Add a safety spin-lock around adjustments to p_stops so it hopefully
  interacts better with the event processing side of things.

kernel - Fix two UFS+softupdates bugs

* The softdep sema_*() functions (the ones in ffs_softdep.c, not the sysv
  functions) were not MPSAFE for the case where the passed interlock is
  NULL.  Use a spinlock for that case.

* getdirtybuf()'s semantics were broken and could return success even
  after having released &lk with the bp still unlocked.

  Fixing this should fix most of the reported softdep panics.

kernel - Fix exit races which can lead to a corrupt p_children list

* There are a few races when getting multiple tokens where a threaded
  process is wait*()ing for exiting children from multiple threads
  at once.

  Fix the problem by serializing the operation on a per-child basis,
  and by using PHOLD/PRELE prior to acquiring the child's p_token.
  Then re-check the conditions before accepting the child.

* There is a small chance this will also reduce or fix VM on-exit races
  in i386, as this bug could result in an already-destroyed process
  being pulled off by the racing wait*().  Maybe 25% chance.

Kernel - Fix numerous procfs/ptrace issues (2)

* The last fix wasn't quite right.  Fix it for real.