Merge branch 'vendor/GREP'

Upgrade grep from 2.12 to 2.14 on the vendor branch

libexpat: remove local modification

This was a modification added to implement CVE-2009-3720.
That CVE is included in 2.1.0, and this change was left over.
Remove the modification; there are now no differences from the
vendor branch.

libexpat (libbsdxml): Upgrade from version 2.0.1 to 2.1.0

This is a security update.  Bug fixes since Release 2.0.1:
  #1742315: Harmful XML_ParserCreateNS suggestion.
  #2895533: CVE-2012-1147 - Resource leak in readfilemap.c.
  #1785430: Expat build fails on linux-amd64 with gcc version>=4.1 -O3.
  #1983953, 2517952, 2517962, 2649838:
            Build modifications using autoreconf instead of buildconf.sh.
  #2815947, #2884086: OBJEXT and EXEEXT support while building.
  #1990430: CVE-2009-3720 - Parser crash with special UTF-8 sequences.
  #2517938: xmlwf should return non-zero exit status if not well-formed.
  #2517946: Wrong statement about XMLDecl in xmlwf.1 and xmlwf.sgml.
  #2855609: Dangling positionPtr after error.
  #2894085: CVE-2009-3560 - Buffer over-read and crash in big2_toUtf8().
  #2958794: CVE-2012-1148 - Memory leak in poolGrow.
  #2990652: CMake support.
  #3010819: UNEXPECTED_STATE with a trailing "%" in entity value.
  #3206497: Unitialized memory returned from XML_Parse.
  #3287849: make check fails on mingw-w64.
  #3496608: CVE-2012-0876 - Hash DOS attack.

New Features / API changes:
  Added new API member XML_SetHashSalt() that allows setting an intial
    value (salt) for hash calculations. This is part of the fix for
    bug #3496608 to randomize hash parameters.
  When compiled with XML_ATTR_INFO defined, adds new API member
    XML_GetAttributeInfo() that allows retrieving the byte
    offsets for attribute names and values (patch #3446384).
  Added CMake build system.
    See bug #2990652 and patch #3312568.
  Added run-benchmark target to Makefile.in - relies on testdata module
    present in the same relative location as in the repository.

Merge branch 'vendor/EXPAT'

Upgrade Expat from 2.0.1 to 2.1.0 on the vendor branch

buildworld - Reorder libcrypto to before libradius

* Reorder libcrypto to build it before libradius.  A future libradius
  may wind up depending on it, so get this out of the way now.

Sync zoneinfo database with tzdata2013c from ftp://ftp.iana.org/tz/releases

* antarctica/australasia/zone.tab: Fix times of habitation for Macquarie
    to agree with the Tasmania Parks & Wildlife Service history, which
    indicates that permanent habitation was 1899-1919 and 1948 on. It is
    politically part of Australia, not Antarctica. (Thanks to Tobias
    Conradi.) Also, sort Macquarie more consistently with other parts of
    Australia. (Thanks to Tim Parenti.)

* asia: Palestine observed DST starting March 29, 2013. (Thanks to
    Steffen Thorsen.)  From 2013 on, Gaza and Hebron both observe DST,
    with the predicted rules being the last Thursday in March at 24:00
    to the first Friday on or after September 21 at 01:00. Also, fix
    some historical data for Palestine to agree with that of
    timeanddate.com.

* southamerica: Assume that the recent change to Paraguay's DST rules is
    permanent, by moving the end of DST to the 4th Sunday in March every
    year. (Thanks to Carlos Raul Perasso.)

nrelease: Handle dports' /usr/distfiles better and remove /usr/dports.

nrelease: Add pkg(8) to our images and ISOs.

'make release' now requires an additional directory with the dports tree.

This commit adds some more steps (such as running 'pkg autoremove').

In-discussion-with: marino

nrelease: Remove an unused variable.

Update the pciconf(8) database.

April 4, 2013 snapshot from http://pciids.sourceforge.net/

nrelease: Don't install the git meta-pkg (it will pull in gitk).

powerd - Fix load factor calculation bug for niced processes

* A type-o in the load calculation code was not counting niced
  processes at all, so if you have a lot of niced processes
  (like ffmpeg's which nice themselves down), powerd can wind
  up restricting them all to a single cpu.  Doh!

installer: Make it possible to start the installer from a running system.

Also clean up a little and add a small manual page.

Note that the installer isn't hooked into the normal build/install per
this commit. These changes are mainly to help with testing and debugging.

Makefile.inc: Rework automatic backup (bug 2527)

There were three main problems with the recently added backup feature:
1. It didn't work over NFS
2. It didn't work when a non-root built world the second time
3. It didn't use DESTDIR which had potential to conflict backups

It also previously featured "NO_BACKUP" which turned off the automatic
backup feature.  To fix the #2 problem, the install timestamp has been
removed, so to avoid unwanted backups for multiple installworlds after
one buildworld, the user needs to pass NO_BACKUP in the command line.

This patch was contributed by Thomas Nikolajsen with minor modifications
added by John Marino.

http://bugs.dragonflybsd.org/issues/2527

kernel/checkpoint: Fix wrong sizeof (p_sigacts is a pointer).

kernel/isa: Remove redundant check. Already depends on isa per 'files'.

kernel: Use NULL for pointers in DRIVER_MODULE()s.

kernel/ndis: Fix typo in DRIVER_MODULE().

libc: Fix some warnings.

mandoc.3: Some small fixes.

mandoc(1): Adjust Makefile for 1.12.1.

Add libmandoc.

Merge branch 'vendor/MDOCML'

rm(1): Add -x option to prevent recursive rm crossing mount points.

Submitted-by: Joris Giovannangeli <joris@giovannangeli.fr>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2546>

bnx: Save inetrrupt mailbox register in bnx_intr_data

bnx: There is no non-oneshot MSI interrupt handler now

bnx: Chips supported by this driver always support "one shot" MSI

bnx: Move status block related fields into bnx_intr_data

For MSI-X support, each MSI-X vector needs one status block.

bnx: Properly setup RX return ring cons index position

bnx: Use pre-configured array to setup TX ring's mailbox register

bnx: Create dedicated thread for RX standard ring refilling

The RX standard ring descriptors and RX standard producer index register
are updated only in the dedicated thread.  The RX standard ring software
ring data are shared between RX return rings' processing threads and the
dedicated thread.  The RX standard ring software ring data are updated in
lockless fashion, since only one RX return ring could be the owner of the
entry of RX standard ring software ring data.

The RX standard ring refilling thread scheduling is optimized that only
when certain amount of packets are received by the RX return ring, the
RX standard ring refiling thread will be scheduled.

This prepares for the multiple RX rings support.

touch(1): Constify where appropriate

Reported-by: emaste@FreeBSD.org

Import mdocml-1.12.1

pathconf.2: Mention lpathconf() in the ERRORS section.

kernel/rmdir: Return EBUSY if the dir is a mount point for a mounted fs.

See: http://pubs.opengroup.org/onlinepubs/009695399/functions/rmdir.html

It was already documented like that in the manual page.

While here, also document that we return EINVAL if the last component of
the path is "." or ".." (taken from FreeBSD).

Reported-by: Joris Giovannangeli <joris@giovannangeli.fr>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2543>

kernel: Add lpathconf(2) syscall.

It's like pathconf(2) but doesn't follow symlinks.

Manual page changes taken from FreeBSD.

touch(1): Move ids back to the comments (as per 1de703daf6).

bnx: Fix up CPUID for tick callout

bnx: Reimplement polling in non-compat mode

Take advantage of the independent TX/RX serializers.

Additionally, save the status tag's location in RX return ring struct.

touch(1): Reintroduce local changes

Major changes introduced by the update from FreeBSD:

* Add the 'h' flag to operate on symlinks rather than what they point to.

* Add -A flag to adjust existing time stamps.

* Add the -d option from POSIX.1-2008.
  This is much like -t but with a different format which is ISO8601-like
  and allows fractions of a second.

* Remove the advertising clause from UCB copyrighted files. This
  is in accordance with the information provided at
  ftp://ftp.cs.berkeley.edu/pub/4bsd/README.Impt.License.Change

* Remove useless and potentially dangerous rw() function which tries to
update access and modification times by reading and writing the file.

touch(1): Sync with FreeBSD

bnx: Add read-only sysctl node for RX/TX queue count

bnx: Switch to IFQ subqueue functions and use per-TX queue watchdog

bnx: Split RX/TX serializers

Add EXIT STATUS messages in some manual pages.

rmdir.1: Add EXIT STATUS section and fix a typo.

Makefile_upgrade.inc: Fix typo.

bnx: Group interrupt related fields together

ioapic: Relocate IRQ if it hits SYSCALL entry

The system hitting the "unused IRQ assertion" has 5x24 pin IOAPICs

Reported-by: ruse39

bnx: Save RX return ring and TX ring status block indices' location

bnx: Field renaming; no functional changes

bnx: Factor out bnx_{alloc,setup,free}_intr()

bce: BCM5716's MSI does not have bug either

bnx: Don't commit coalesce param changes in interrupt/polling handler

This is only intended for old chips.  Just commit the coalesce param
changes in sysctl handlers.

bnx: Regroup RX std and return rings into their own structs

ip/udp: Fix IP source address setting for multicast address bound socket

It is a common practice to bind UDP socket to multicast address to enjoy
kernel level destination multicast address and port filtering.  However,
if data are sent on this kind of socket, source address of the IP packet
will be the bound multicast address?!

Two fixes are added to address this bug:

1) Don't set IP source address in udp_output(), if the inpcb's laddr is
   multicast address.  Instead the IP source address is set to INADDR_ANY,
   so ip_output() could pick up a proper IP source address.

2) With 1) in place, it is possible that IP source address is INADDR_ANY
   before the ifnet.if_output() using following steps:
   - If the IP_MULTICAST_IF socket option is set to iface0
   - The iface0's last IP address is unset, before the ip_output()

   This condition could easily be reproduced by using test/mcast:
   mcast -m 224.2.2.2 -p 3000 -i iface0_ip -D 10
   During the 10sec delay, wipe out all IP addresses from iface0

   Well, even without 1), raw IP still could generate IP packet using
   INADDR_ANY as source address.

   Two checks on the source IP address are added to ip_output() before
   ifnet.if_output()
   - IP source address should not be INADDR_ANY
   - IP source address should not be multicast address

   And for multicast IP packets, if the IP source address could be
   determined, they will not be looped back and forwarded.

Reported-by: zeroxia

test/mcast: Add test for send(2) on multicast address bound socket

ip_output: Record the "src was INADDR_ANY" for multicast packets

While I'm here, fix the comment on the unicast packet output path.

mined(1): Fix alignment issue on strict alignment architectures.

Reported-by: Eitan Adler <eadler@freebsd.org>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2541>

mined.1: Move some info from CAVEATS to DESCRIPTION.

mandoc(1) warns about CAVEATS not being in conventional order and
silencing it by moving the section would have caused it to be behind
HISTORY even.

However, the info is more important than the editor's history, so
instead add it to the DESCRIPTION, which is short in this case, anyway.

Reported-by: Eitan Adler <eadler@freebsd.org>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2540>

ftp: Update files for tnftp-20121224 import.

Merge branch 'vendor/TNFTP'

de: Reset chip after calling ether_ifattach()

Else the ifnet is not completely initialized

Reported-by: swildner@

Import tnftp-20121224.

* Add https support.
* When using the response to SYST to decide whether to default to
  'binary' be a lot less specific.

Obtained-from:   NetBSD

kernel/if_ndis: Grab the serializer around if_devstart().

Submitted-by: sephe

development.7: Mention dragonfly.vim.

kernel: Fix build without DDB.

<sys/param.h>: Adjust comment indent.

re: Don't enable MSI by default even for PCI-e chips

It causes more troubles than the benefits it brings for us; it causes
watchdog, due to loosing interrupt, on certain PCI-e chips.

DragonFly-bug: http://bugs.dragonflybsd.org/issues/2533

Change to DragonFly 3.5.

kernel: Fix buildkernel without INVARIANTS.

Reported-by: Filippo Moretti <filippomore@yahoo.com>

mfi(4)/mfiutil(8): Add support for foreign configurations and drives.

For this, the following commands are added to mfiutil(8):

foreign scan - lists the number of foreign configs
foreign drives - lists the drives which are flagged as foreign
foreign display - displays the specified foreign configuration
foreign preview - previews the specified foreign configuration after import
foreign clear - clears the foreign configuration
foreign import - imports the foreign configuration

Foreign drive support has been added to 'show drives' too.

Tested-by: ftigeot
Taken-from: http://www.freebsd.org/cgi/query-pr.cgi?pr=172091

kernel/mfi: Add a tunable/sysctl to modify the command timeout.

kernel: Make tty_compat.c optional in 'files' instead of in the source.

bsd.sys.mk: Add -Wmissing-include-dirs to WARNS >= 1.

It ensures that all directories passed with -I<dir> actually exist.

libc: Fix -Wmissing-include-dirs.

bnx: Pack TX mbuf and dmamap together; improve cache utilization

Merge remote-tracking branch 'hofmann/wlan_serialize'

ciss(4): Fix build with CISS_DEBUG.

bnx: Properly setup TX ring prod index position

bge: Limit STD RX ring prod index increment to 8 for 5750, 5752 and 5755

This works around hardware errata.

NOTE:
For 5750, 5752 and 5755, the STD RX ring replesh threshold has already
been set to 8.

Obtained-from: tg3

lock(1): Use %jd for printing intmax_t.

libc: Fix -Wunused-parameter.

libc: Fix -Wpointer-arith.

libc: Fix -Wmissing-field-initializers.

libc: Fix -Wempty-body.

libc: Fix -Wreturn-type.

libc: Fix -Wunused-label.

libc: Fix -Wformat.

libc: Fix -Wunused-variable.

libc: Fix -Wold-style-definition.

libc: Bring back warnings to libc.

To disable warnings for the gdtoa sources only, the tweaking of the
CWARNFLAGS has to come _after_ <bsd.lib.mk> is included.

Therefore, it has to be done in libc's Makefile instead of its
Makefile.inc.

Before this commit warnings were completely disabled for libc due
to '-w' passed to every command line.

Also reset WARNS back to 0 since right now, libc doesn't even pass
WARNS=1.

libc/libc_r: Remove some obsolete comments.

kernel: Remove 'options COMPAT_SUNOS'.

It was supposed to provide binary compatibility with SunOS 4.x for the
sparc32 port of 4.4BSD.

kernel: Unbreak building kernels that have 'options BNX_TSO_DEBUG'.

lock(1): Do not require 'options COMPAT_43' in the kernel config.

We commented out COMPAT_43 in our configs some time ago, which broke
lock(1) that needed TIOCGETP and TIOCSETP ioctls which are only
available with COMPAT_43.

This commit converts lock(1) to use tcgetattr(3) and tcsetattr(3),
along with some minor cleanups.

Reported-by: noway on #dragonflybsd
Submitted-by: Joris Giovannangeli <joris@giovannangeli.fr>
Taken-from:   FreeBSD

bnx: Make sure that all of the TX rings receive tx_wreg update

bnx: Make "force defrag" as TX ring flag