Sync zoneinfo database with tzdata2012i from ftp://ftp.iana.org/tz/releases

* asia: Comment typo fix.

* northamerica: Cuba switched back to standard time on 2012-11-04, 01:00.

sis: Switch from device_polling to ifpoll

xl: Switch from device_polling to ifpoll

stge: Switch from device_polling to ifpoll

nfe: Switch from device_polling to ifpoll

re: Swicth from device_polling to ifpoll

bce: Switch from device_polling to ifpoll

ifpoll: Also check sysctl_tree in compat code setup

elf_common.h: Add EM_AMD64 as alias to EM_X86_64

libutil: Implement hexdump(3)

Similar to hexdump(9) but available to userland.

Taken-from:
FreeBSD SVN 180161 (01 JUL 2008)
FreeBSD SVN 185729 (06 DEC 2008)

libutil: Implement group file utilities

Taken from FreeBSD's libutil

bge: Switch from device_polling to ifpoll

Also fix a bug in the polling code when status tag is used:
status tag always needs to be written even if interrupt is not enabled.

Revert "bge: Always configure MII mode register"

This reverts commit dda43ff2bc5975a3cbd91838e7a46332039962f4.

Forcefully configure seems to break at least BCM5761 NIC auto-negotiation

Bring in recent mktemp(1) changes from FreeBSD

Support the Sun/GNU/FreeBSD extension of mktemp
returning a file1 in /tmp when called without a path.

This also minimizes the difference between the DragonflyBSD
and FreeBSD version of the man page.

kernel: Simplify simq releasing in some RAID drivers.

kernel: Fix some wrong cam_simq_release() calls.

Our (refcounted) simq can be released right after allocating the sim.
These drivers were not doing it correctly.

Remove duplicate word.

Contributed-by: "eadler" <lists@eitanadler.com>

kernel - Force word-writes in syscons code (Intel hw character mode emulation)

* Observed on the Intel D2500HN.  The system console in character map mode
  fails utterly when a normal bcopy() is used to move stuff around.  Employ
  a specialized bcopy that uses 16-bit writes to work around the problem.

* Just do this generally, we don't care about syscons performance.

* This is possibly due to a hardware/text-mode emulation in the Intel D2500HN
  and it will probably show up in the future as well.  This could be related
  to complaints about UEFI BIOSs (which the D2500HN mobo from Intel supports)
  not handling text mode, but it handles it just fine if we only use 16-bit
  writes.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

libfetch: Implement HTTP digest authentication, HTTP 305, and HTTP 308

Implement HTTP status 305: Use proxy
Implement HTTP status 308: Permanent redirect
Implement HTTP Digest Authentication

Taken-from:
FreeBSD SVN 202613 (19 JAN 2010)
FreeBSD SVN 202623 (19 JAN 2010)
FreeBSD SVN 203028 (26 JAN 2010)
FreeBSD SVN 209632 (01 JUL 2010)
FreeBSD SVN 210563 (28 JUL 2010)
FreeBSD SVN 221820 (12 MAY 2011)
FreeBSD SVN 221821 (12 MAY 2011)
FreeBSD SVN 221822 (12 MAY 2011)
FreeBSD SVN 221823 (12 MAY 2011)
FreeBSD SVN 234838 (30 APR 2012)
FreeBSD SVN 240496 (14 SEP 2012)
FreeBSD SVN 241840 (21 OCT 2012)
FreeBSD SVN 241841 (21 OCT 2012)

libfetch: Use select(2) as a consequence of switching to non-blocking

Since the socket is non-blocking, it is necessary to use select(2) even
when there is no timeout, because read(2) will return immediately if there
is no data waiting in the TCP buffer, causing fetch_read() to busy-loop on
slow connections.

Taken-from: FreeBSD SVN 234837 (30 APR 2012)

libfetch: Change FTP default to passive mode

1. The caller can select active mode using "P" flag.
2. If the "p" passive flag is also present, it takes precedence over "P"
   so the connection will be attempted in passive mode.

Taken-from: FreeBSD SVN 225810 (27 SEP 2011)
Taken-from: FreeBSD SVN 225812 (27 SEP 2011)

libfetch: what happened to ftp-cached commit?

I thought I committed this fix last night.  I don't know how it
disappeared.  It's the fix documented in FreeBSD PR Kern/153748
where a ftp-cached connection will close the connection too early
when sending a request.

usb4bsd - Change M_NOWAIT to M_WAITOK

* M_NOWAIT really needs to be M_WAITOK in these places.  It is unclear
  why FreeBSD invites random device failures by using M_NOWAIT all over
  the place.

libfetch: Avoid SIGPIPE on network connections

To avoid unexpected process termination from SIGPIPE when writing to a
closed network connection, enable SO_NOSIGPIPE on all network connections.

The POSIX standard MSG_NOSIGNAL is not used since it requires modifying all
send calls to add this flag. This is particularly nasty for SSL connections.

Taken-from: FreeBSD SVN 236193 (28 May 2012)

Implement SO_NOSIGPIPE

The SO_NOSIGPIPE socket option allows a user process to mark a socket so
that the socket does not generate SIGPIPE, only EPIPE, when a write is
attempted after socket shutdown.

Regression test added: tools/regression/sockets/sigpipe

fetch: Fix infinite loop on display progress

As reported by FreeBSD PR bin/153240, fetch can loop forever if it is
interrupted by a signal at just the right time.

Verbatim from FreeBSD SVN 230307 (18 JAN 2012):
Fix two issues related to the use of SIGINFO in fetch(1) to display
progress information.  The first is that fetch_read() (used in the HTTP
code but not the FTP code) can enter an infinite loop if it has previously
been interrupted by a signal.  The second is that when it is interrupted,
fetch_read() will discard any data it may have read up to that point.
Luckily, both bugs are extremely timing-sensitive and therefore difficult

to trigger.

libfetch: Change maximum redirect from 5 to 20

Libfetch gives up a little too soon.  Chrome and Firefox allow 20
redirects with IE stops after 8.

Taken-from: FreeBSD SVN 241839 (21 OCT 2012)

libfetch: Support percent-encoded user and password

RFC 1738 specifies that any ":", "@", or "/" within a user name or
password in a URL is percent-encoded, to avoid ambiguity with the use
of those characters as URL component separators.

Taken-From: FreeBSD SVN 234138 (12 APR 2012)

libfetch: Fix failure to return to caller on error

As described in FreeBSD PR kern/171187, several error conditions were
missing return statements.

Taken-from: FreeBSD SVN 240595

libfetch: Mark all socket and file descriptors close-on-exec

This allows libfetch to close cached sockets.
Also add cast that helped FreeBSD move warns to 6

Taken-from: FreeBSD SVN 221822 (12 May 2011)
Taken-from: FreeBSD SVN 221830 (13 May 2011)

libfetch: Fix hang due to SSL server closing before read completes

If the server sends a close notification before before a SSL read
operation is complete, fetch will hang.  Fix this by reworking
fetch_read() to use non-blocking sockets.

Taken-From: FreeBSD SVN 210568 (28 JUL 2010)
Taken-From: FreeBSD SVN 214256 (23 OCT 2010)

libfetch: Fix PROXY_HOST bug, socket leak, cache-crash

As described in FreeBSD PR kern/139751, NO_PROXY=localhost doesn't work
due to bad for loop count.

As described in FreeBSD PR kern/153748, an ftp-cached connection will
close the connection too early when trying to send a request.

There is a socket leak in ftp_request that occurs after a connection is
established.  Make sure socket is disconnected before exiting.

Taken-From: FreeBSD SVN 198339 (21 OCT 2009)
Taken-From: FreeBSD SVN 199801 (25 NOV 2009)
Taken-From: FreeBSD SVN 217505 (17 JAN 2011)

ioapic/i386: Allow GSI > 191

Unignore some files already present in repository

build - Fix handling of MACHINE_PLATFORM

* Generate MACHINE_PLATFORM from sysctl -n hw.platform, bmake does not
  generate a default for this (it's DragonFly-specific).

* Fixes manual module builds e.g. building from the source dir instead of
  as part of a kernel build.

Implement eaccess

It's just like access, but uses AT_EACCESS to check effective user ID
instead of the real user ID.

bug #2442: Fix bmake regression of kernel build

Kernel modules such as acpi.ko didn't load due to missing symbols after
bmake replaced legacy make.  The cause was traced back to a badly
generated header which in turn was caused by the file kern.fwd.mk.  That
file contained ":U" modifiers that should have been converted to ":tu"
modifiers.

The actual cause of the missing symbols were due to atomic.h not getting
included into atomic.c twice.  Case sensitivity prevented a macro from
being properly unset.  The modifiers in question turn everything to
upper case.

A full kernel build is required to fix the module loading.

ioapic/x86_64: Allow GSI > 191

Some BIOSes seem to assume that all 256 IDT vectors could be used,
while we limit the available IDT vectors percpu to 192.   Find an
unused IRQ for these GSIs, if this ever happens.

Reported-by: thowe on EFnet #dragonflybsd

Fix cross-build

The introduction of BTOOLMAKE and BTOOLCONFIG did not work when
cross-building.  The value of BTOOLSDEST and CTOOLSDEST change when
starting stage 2 of the crossworld.  This was never detected before
because these variables were only used in stage 1.

However, the absolute path to these tools aren't needed.  The PATH
is defined in the environment to ensure the bootstrap tools are
used when appropriate.  Previous errors leading me to think the host
tool was being used may have been caused by other things.

At the same time, all the "${MAKE}" variables were replaced with "make".
The make program defines "MAKE" as whatever was used to invoke it,
including paths.  Since we are controlling the path, we don't want any
surprises.  In any cases, we want "${MAKE}" to equal "make", so just
hardcode it that way.

Tested on cross-build, bmake-equipped system, and legacy make equipped
system.

Update files for OpenSSH-6.1p1 import.

Merge branch 'vendor/OPENSSH'

Import OpenSSH-6.1p1.

Features:

 * ssh-keygen(1): Add optional checkpoints for moduli screening
 * ssh-add(1): new -k option to load plain keys (skipping certificates)
 * sshd(8): Add wildcard support to PermitOpen, allowing things like
   "PermitOpen localhost:*".  bz #1857
 * ssh(1): support for cancelling local and remote port forwards via the
   multiplex socket. Use ssh -O cancel -L xx:xx:xx -R yy:yy:yy user@host"
   to request the cancellation of the specified forwardings
 * support cancellation of local/dynamic forwardings from ~C commandline
 * sshd(8): This release turns on pre-auth sandboxing sshd by default for
   new installs, by setting UsePrivilegeSeparation=sandbox in sshd_config.
 * ssh-keygen(1): Add options to specify starting line number and number of
   lines to process when screening moduli candidates, allowing processing
   of different parts of a candidate moduli file in parallel
 * sshd(8): The Match directive now supports matching on the local (listen)
   address and port upon which the incoming connection was received via
   LocalAddress and LocalPort clauses.
 * sshd(8): Extend sshd_config Match directive to allow setting AcceptEnv
   and {Allow,Deny}{Users,Groups}
 * Add support for RFC6594 SSHFP DNS records for ECDSA key types. bz#1978
 * ssh-keygen(1): Allow conversion of RSA1 keys to public PEM and PKCS8
 * sshd(8): Allow the sshd_config PermitOpen directive to accept "none" as
   an argument to refuse all port-forwarding requests.
 * sshd(8): Support "none" as an argument for AuthorizedPrincipalsFile
 * ssh-keyscan(1): Look for ECDSA keys by default. bz#1971
 * sshd(8): Add "VersionAddendum" to sshd_config to allow server operators
   to append some arbitrary text to the server SSH protocol banner.

Bugfixes:

 * ssh(1): ensure that $DISPLAY contains only valid characters before
   using it to extract xauth data so that it can't be used to play local
   shell metacharacter games.
 * ssh(1): unbreak remote portforwarding with dynamic allocated listen ports
 * scp(1): uppress adding '--' to remote commandlines when the first
   argument does not start with '-'. saves breakage on some
   difficult-to-upgrade embedded/router platforms
 * ssh(1)/sshd(8): fix typo in IPQoS parsing: there is no "AF14" class,
   but there is an "AF21" class
 * ssh(1)/sshd(8): do not permit SSH2_MSG_SERVICE_REQUEST/ACCEPT during
   rekeying
 * ssh(1): skip attempting to create ~/.ssh when -F is passed
 * sshd(8): unbreak stdio forwarding when ControlPersist is in use; bz#1943
 * sshd(1): send tty break to pty master instead of (probably already
   closed) slave side; bz#1859
 * sftp(1): silence error spam for "ls */foo" in directory with files;
   bz#1683
 * Fixed a number of memory and file descriptor leaks
 * ssh(1)/sshd(8): Don't spin in accept() in situations of file
   descriptor exhaustion. Instead back off for a while.
 * ssh(1)/sshd(8): Remove hmac-sha2-256-96 and hmac-sha2-512-96 MACs as
   they were removed from the specification. bz#2023,
 * sshd(8): Handle long comments in config files better. bz#2025
 * ssh(1): Delay setting tty_flag so RequestTTY options are correctly
   picked up. bz#1995
 * sshd(8): Fix handling of /etc/nologin incorrectly being applied to root
   on platforms that use login_cap.

usr.bin/make: Remove legacy make files

usr.bin/make has been replaced with usr.bin/bmake, retaining the program
name "make".  usr.bin/make was previously disconnected from the build,
so these files were not longer used.

Replace legacy make with bmake

The proper way to detect which make is building the makefile is to check
for .PARSEDIR.  If present, bmake is processing the makefile.  For the
time being, both make will be supported for bootstrapping purposes, but
in time the check can be removed, say for the DragonFly 3.6 release.

The abundance of .ORDER commands in bsd.dep.mk caused a breakage when
building world in parallel with bmake.  Likely some order constraints
were impossible to achieve, and bmake just stopped while legacy did the
best it could.  In any case, the majority of the .ORDER commands were
replaced by a single .ORDER command which solved the problem.

The legacy make is disconnected in this commit set, but the source files
will be removed soon.

Random makefile cleanup prior to bmake import

Bmake does not like to encounter "exit 0" or "exit 1".  It fails using the
exec command.  Replace instances of "exit 1" with /usr/bin/false.  There
was one instance of "exit 0" but it was at the end the target and thus
unnecessary.

The groff/tmac makefile was improved by providing a cd command for
every installed file.

Finally, one of the test makefiles was missing a single quote in one of
the targets.

ifpoll: Factor out code for devices which does not support multiple queues

Mainly avoid code duplication.

While I'm here, fix a typo in em(4) which always enable interrupt during
interface initialization.

em: Clear status polling count during interrupt disable handling

em: Switch from device_polling to ifpoll

kernel/linprocfs: Add dependency on the linux module.

Restore build parallelism

The build parallelism was accidently disabled with recent commits.
First, relocate libobjc headers for gcc44 to /usr/libdata/gcc44/objc
and then remove all the strict ordering to maximize build parallelism.

Exception: the gcc47 library set requires libsupc++ to be built after
libstdc++ because they share object files built by libstdc++.

ndiscvt(8): Check an fread()

Found-by: gcc47

sort(1): Remove an unused variable.

Found-by: gcc47

installer: Remove some unused variables.

Found-by: gcc47

btconfig(8): Move some unused code into the #if 0.

bmake: rethink default mk search path again

Talking with swildner, we don't want the magic token to come before
/usr/share/mk because that would case the host make (after bootstrapping) to
seek files /usr/src/share/mk rather than the world mk files.

Also, it appears that the magic token won't even help with pkgsrc support
the mk files are in another branch (e.g. /usr/pkg/share/mk when the token
would look in /usr/pkgsrc/share/mk).  We really don't have a use for
.../share/mk, but putting it after /usr/share/mk won't hurt anything.

Leave .../share/mk in place just in case it becomes a useful capability later.

gcc4X: rework some makefiles

These are various tweaks to improve compatibility between legacy make and
bmake.  The biggest change was moving gnu/usr.bin dependencies outside to
Makefile.inc1 as part of _startup_lib* rather than fudge it with .PHONY
targets.  This kludge was causing some issues, as well as the double .USE
trick.

bsd.dep.mk: Remove AINC knob

The AINC knob was removed from FreeBSD before DragonFly 1.0 was released.
It's not needed, so remove it to simplify bsd.dep.mk dependency makefile.
While here, convert SRCS and CLEANFILES to the new += method of augmenting
variables.

gcc41 removal: Part 3 of 2: library makefiles

I forgot there were GCC 4.1 files in the gnu/lib/gcc41 directory.  These
should have been removed last night with the other makefiles.

natd(8): Add exit_delay (daemon exit delay after signal), from FreeBSD.

Tweak some makefiles to prepare for bmake

These makefiles build fine with legacy make but contain (or lack)
information that causes the build to fail when used with bmake.  Make
small tweaks to makefiles to ensure they are compatible with both make
programs.

bmake: Update mk directory search path

Rather than hardcoding /usr/share/mk as the only source for bsd.*.mk files,
use the .../ magic token to cause bmake to search above it for a share/mk
in its tree as suggest by Simon Gerraty.

Also set up the bootstrap tool version of bmake to exclusively use
the src version of share/mk.

Sync zoneinfo database with tzdata2012h from ftp://ftp.iana.org/tz/releases

* asia:
    Israel has new DST rules next year (thanks to Ephraim Silverberg).
    Jordan stays on DST this winter (thanks to Steffen Thorsen).

* southamerica:
    Bahia no longer has DST (thanks to Kelley Cook).
    Tocantins has DST (thanks to Rodrigo Severo).

Change pkgsrc make targets to use pkgsrc -head

mdoc: Fix .Os version.

mdoc: Add DragonFly 3.3.

gcc41 removal: Part 2 of 2: contrib files

Complete the removal of GCC 4.1 by removing the contrib directory.

gcc41 removal: Part 1 of 2: makefiles

GCC 4.1 had been disconnected from the base build after GCC 4.7 was
brought in.  The transition as gone relatively smoothly, so it's safe
to remove the rest of GCC 4.1 now, starting with the makefiles.

libssp47, libobjc47: install headers

Headers for both libssp and libobjc were not getting installed for the
gcc47 library set.  As an aside, the gcc44 libobjc is also missing these
headers.  There installation required an mtree change, but it can be
built with quickworld.

Additionally, CFLAGS were moved to above an include for libobjc which
should ensure the local config.h is included before a different version
and this in turn likely improves libobjc functionality.

libgomp47: Install libgomp.spec and omp.h

It was reported these files are needed by libgomp, so generate and
install them.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

build - Use _KERNEL_STRUCTURES for struct disk

* Use _KERNEL and _KERNEL_STRUCTURES around struct disk as well
  for correctness.

ps.1: Adjust info regarding SMP systems.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

<sys/dmsg.h>: Fix buildworld, ccdconfig(8) needs this (via <sys/disk.h>).

Reported-by: Siju George <sgeorge.ml2@gmail.com>

hammer2 - dmsg blockdev work (cleanup)

* Cleanup

mptable.1: Small SMP related adjustment.

vkernel.7: Remove SMP related info.

hammer2 - dmsg blockdev work

* Adjust the LNK_CONN and LNK_SPAN messages to provide a cluster label
  and a filesystem label instead of just a filesystem label.

* Change the cluster controller to index clusters based on the
  peer_type, pfs_clid, and cl_label instead of just the pfs_clid.

  HAMMER2 PFS's are primarily identified by pfs_clid and unique nodes
  are identified by pfs_fsid.  fs_label holds the HAMMER2 super-root
  name.

  BLOCK devices are primarily identified by cl_label and unique nodes
  are identified by pfs_fsid.  pfs_clid and fs_label are empty.

* Adjust the cluster controller's matching filters such that, e.g.
  BLOCK device clients only have visibility to the BLOCK device server
  for the cl_label in question, and do not have visibility to other
  BLOCK device clients.

* Flesh out the hammer2 service daemons disk monitoring, have it attach
  a pipe to the in-kernel disk via an ioctl().

* Continued work on the skeleton network disk exporter (kern/subr_disk*) and
  network disk importer (dev/disk/xdisk/*).  xdisk has not been added to the
  build yet.

* Move a few more definitions from HAMMER2 to DMSG.

vkernel.7: Add back some info I accidentally removed.

Adjust some manual pages for the recent SMP changes.

hammer2 - Add server-side disk advertisements

* The hammer2 service demon now tracks disks and connects the cluster
  controller to each one.

* Add a new ioctl to the subr_disk subsystem and add subr_diskiocom.c
  to implement it, associating a cluster controller messaging descriptor
  with a disk device.

* disk device initiates LNK_CONN and LNK_SPAN.  Disk block devices now
  advertised through the spanning tree.  Nothing else implemented yet.

kernel - cleanup subr_disk.c

* Formatting cleanup pass.

hammer2 - Messaging layer separation work part 5

* Fix debug shell callback issue

hammer2 - Messaging layer separation work part 4

* Cleanup, bug fixes, operations tests successful now.

hammer2 - Messaging layer separation work part 3

* Move more hammer2 vfs message code into kern_dmsg.c, renaming and
  implementing callbacks as needed.

* Move hammer2_icrc.c (the iscsi crc support) to libkern/icrc32.c

hammer2 - Messaging layer separation work part 2

* Move most of the low-level message handling from the hammer2 utility
  to a new library called libdmsg.

* Move additional message headers from the hammer2 vfs code to libdmsg,
  cleanup.

* Rename and reorganize a ton of stuff.

hammer2 - Messaging layer separation work part 1

This work is to separate the network messaging format and various
lower layers out from hammer2 and into their own 'dmsg*' files.

* Factor low level messaging structures into sys/dmsg.h

* Rename HAMMER2 -> DMSG.

kernel - header file includes adjustment

* sys/udev.h ensures that libprop/proplib.h is included.

kernel - Implement UDEVWAIT ioctl for /dev/udev

* Implement an ioctl which interacts with a sequence number and waits for
  a new event, so callers can avoid polling for events.

kernel - Auto-initiate message stream for udev on read()

* Ensure the device is initiated when read() is issued for /dev/udev,
  otherwise no events will be queued.

  This allows a simple cat /dev/udev to return the XML stream without
  having to issue any ioctls.

* Reorder the devfs scan and initiation to close a race where an event could
  be lost.

kernel - Allow multiple opens on /dev/udev

* Implement as an auto-clone device

* Refactor most of the code to use a new queueing mechanic.  There is a single
  queue and multiple markers pointing into the queue (one for each initiated
  open'd device).

* Events broadcast to all initiated readers.  We use a single-queue /
  multiple-marker model.  The event structure is only deleted once all markers
  have iterated past it.

devattr - Add monitoring mode (-M).

* Add a new option, -M, which will monitor for events after doing the
  initial iteration.

test - Adjust vnodeinfo

* Adjust vnodeinfo to provide more information about the
  buffer cache.

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

UPDATING: Mention SMP is a no-op for now.

kernel: Add back 'options SMP' as a no-op.

This is to prevent people working with both 3.2 and master from needing
different kernel configs.

Pointed-out-by: dillon

Merge branches 'hammer2' and 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly into hammer2

ixgbe/netrate: Remove -DSMP from the Makefiles (no longer needed).

kernel: Make SMP support default (and non-optional).

The 'SMP' kernel option gets removed with this commit, so it has to
be removed from everybody's configs.

Reviewed-by: sjg
Approved-by: many