libmagic: fix file identification

Removes local modifications from contrib code and
fixes at least the following identification issue.

Before:

    # file /usr/src/bin/test/test.c
    /usr/src/bin/test/test.c: ASCII text

After:

    # file /usr/src/bin/test/test.c
    /usr/src/bin/test/test.c: C source, ASCII text

jscan(8): Remove dupdata() (no longer used since 36d6bdee113b682f2).

kernel - Fix rare ucred race

* In a threaded program if one thread is modifying the ucred, e.g.
  changing the uid or gid or something like that, and another thread
  enters a system call at the same time, the second thread can wind
  up trying to hold a stale ucred kfree()'d by the first thread.

* Very rare race on top of a ~2-instruction window.

* Fix the problem by obtaining proc->p_spin when updating the per-thread
  ucred cache (td->td_ucred) from p->p_ucred, as well as when replacing
  p_ucred.

  These fixes do NOT impose any critical-path overhead.  For the case where
  a thread already has the current p_ucred cached on entry to a system call,
  absolutely nothing needs to be done.

Reported-by: joris (Joris Giovannangeli)

socket: so_pru_abort_oncpu -> so_pru_abort_direct

No functional change.  It is consistent w/ other so_pru functions name.

socket: {soabort,so_pru_abort}a -> {soabort,so_pru_abort}_async

No functional change.  They are consistent w/ other so and so_pru
function names.

uipc: Fix comment

uipc: Nuke unnecessary void cast

tcp: White space cleanup; no functional changes.

ip/demux: Remove no longer applied comment

udp: Fix "unconnect" and cleanup connect

Put udp inpcb into wildcard hash in pru_disconnect method.  This restores
the old behaviour of traditional BSD "unconnect".

Clean up pru_connect after fixing the "unconnect" support; in preparation
for distributing udp inpcb across netisrs.

systat/ip,tcp: Initialize curstate to avoid overflow/underflow

net: Add initport protosw method to init socket's default protocol port

Currently only tcp implements this method to distribute pru_attach and
pru_connect workload.

Nuke no longer necessary protosw flag PR_RAND_INITPORT and sysctl
kern.ipc.rand_initport.

tcp: Avoid unnecessary calling of in_pcbladdr() in tcp_connect()

If in_pcbladdr() was called and inp_laddr was saved, there would be
no need to call in_pcbladdr() again, after the inp was forwarded to
its owner netisr.

libmagic: link against libz

Linking a program against the library without explicitly
stating `-lz' produced this output:

    /usr/lib/libmagic.so: undefined reference to `inflate'
    /usr/lib/libmagic.so: undefined reference to `inflateInit2_'
    /usr/lib/libmagic.so: undefined reference to `inflateEnd'

inpcb: Remove inp_cpcbinfo, which serves no purpose now

It is always same as inp_pcbinfo.

inpcb: Cache align inpcbinfo

inet: in_pcbsetlport_remote -> in_pcbbind_remote

This function may change inp_laddr, so 'bind' is is better than
'setlport'.

net: Remove unnecessary sosetport() in various pru_attachs

The so_port is set before the pru_attach is called; there is no need
to do it again.

udp: No data will be carried along w/ connect

Pull the assertion into earlier place.

ctags(1): Fix use after free().

netstat(8): Remove upHex(), which is unused since we dropped NS.

Update the pciconf(8) database.

June 14, 2014 snapshot from http://pciids.sourceforge.net/

Remove some unneeded continue statements.

Sync zoneinfo database with tzdata2014e from ftp://ftp.iana.org/tz/releases

* africa: Egypt's 2014 Ramadan-based transitions are June 26 and July 31
    at 24:00. (Thanks to Imed Chihi.) Similarly, Morocco's are June 28
    at 03:00 and August 2 at 02:00.  (Thanks to Milamber Space Network.)

* europe: The abbreviation "MSM" (Moscow Midsummer Time) is now used
    instead of "MSD" for Moscow's double daylight time in summer 1921.
    Also, a typo "VLASST" has been repaired to be "VLAST" for
    Vladivostok summer time in 1991.  (Thanks to Hank W. for reporting
    the problems.)

* Some minor adjustments/rearrangement.

kernel: Add the mrsas(4) RAID driver for LSI Thunderbolt and newer series.

Specifically, it adds support for Thunderbolt (6 Gb/s), Invader (12 Gb/s)
and Fury (12 Gb/s) series.

Note that Thunderbolt controllers are supported by mfi(4) too. When both
drivers are loaded, the default is to attach via mfi(4). This can be
changed by either not loading or compiling in the mfi(4) driver at all
or by setting hw.mfi.mrsas_enable=1 in /boot/loader.conf. It might be
that we change this default to giving precedence to mrsas(4) before the
next release, but for now, until it gets some more testing, we take
FreeBSD's default (giving mfi(4) precedence).

That said, the driver works without any issues here with an
Intel RS25DB080 card (which is really an LSI MegaRAID SAS 9265).

mrsas(4) should (at least) support the following adapters:

Thunderbolt:

LSI MegaRAID SAS 9265
LSI MegaRAID SAS 9266
LSI MegaRAID SAS 9267
LSI MegaRAID SAS 9270
LSI MegaRAID SAS 9271
LSI MegaRAID SAS 9272
LSI MegaRAID SAS 9285
LSI MegaRAID SAS 9286
DELL PERC H810
DELL PERC H710/P

Invader/Fury:

LSI MegaRAID SAS 9380
LSI MegaRAID SAS 9361
LSI MegaRAID SAS 9341
DELL PERC H830
DELL PERC H730/P
DELL PERC H330

Taken-from: FreeBSD

drm/i915: Sync drm_irq.c with Linux 3.8.13

Most significant change: an interrupt handler called when parity errors
are detected in the GPU L3 cache of Ivy Bridge+ CPUs.

drm: Add linux/io.h

drm/i915: Update ivybridge_init_clock_gating()

* Synchronize it with Linux 3.8.13

* This commit fixes a flickering issue with some laptop screens

Reported-by: luxh

kernel/sound: Take the correct variable for a tunable.

inet: Migrate to CPU0 to perform in_pcblist_global() for rawip and divert

It is safe to access their pcb list on CPU0, but not on other CPUs.

fetch(1): Fix library order (helps static building).

drill(1): Fix library order (helps static building).

sftp(1): Link libtermcap instead of libcurses.

kernel: Add a few more missing crit_exit()s.

kernel - Update existing csprng

* Bring the current csprng up-to-date as per the author.  However, note
  that we will likely be making additional commits to add other csprng
  algorithms to the system.

  - Change stateIndex to a static instead of starting at 0 each time
    to improve security.

  - Move the L_SCHEDULE(keyLen) to the end.

  - Warm-up the IBAA in the entropy interrupt.  Author suggested warming
    it up before each read_random() but that creates a non-deterministic
    performance problem.

* Change read_random_unlimited() from L15_Byte() to IBAA_Byte().
  read_random() already uses IBAA_Byte().  That is, go with the
  heavier-weight csprng for everything (sysctl, /dev/urandom, /dev/random).
  Before only /dev/random was using the heavier-weight csprng.

usb - Fix mouse stall issue in X

* Some code I had added to fix abort/reissue issues in ums could lose
  track of whether the read was operational or not if the FIFO became
  full.

* Correct the lost state.

* Should hopefully fix mouse-stall issues related to temporary X stalls
  while moving the mouse that could result in the FIFO temporarily becoming
  full.

kernel/npx: Enable printing of npx mask on bootverbose on i386

kernel/vkernel: port mxcsr mask probing to i386.

kernel: GC never true CPU_DISABLE_SSE checks from x86_64/vkernel64.

It is only an option in i386.

No functional changes.

Reported-by: profmakx

vkernel64: support mxcsr mask on vkernel64 too

vkernel64: fix compilation after npx mask work

kernel/acpi: Tabify

tcp: Number of netisrs for tcp is ncpus2

While I'm here, simplify tcp_pcblist() cpu migration logic.

udp: Cleanup ctlinput related code

In preparation for udp inpcb distribution.

udp: Reduce rcvbuf token cover range

udp: Don't ref/free socket to call in_pcbdisconnect()

in_pcbdisconnect() no longer calls in_pcbdetach() now.

sendmail - Apply CVE-2014-3956

* Apply CVE-2014-3956, close high numbered file descriptors that were not
  intended to be passed on.

kernel/npx: Add detection code for default MXCSR mask

As per Intel/AMD manuals the default MXCSR mask can be probed
by executing fxstor (if supported) and reading the mask from the
stored state. This patch adds detection of the mask when it is
supported. Otherwise a default mask of 0xFFBF is used as before.

kernel/ath: Remove wlan_serialize_enter/exit() in ath_led_blink()

Revert "mountd: Stop refusing requests from "unprivileged ports""

This reverts commit ce14e737211ad2bf1592b922fb90392abe96d94f.

Due to popular request.

mountd: Stop refusing requests from "unprivileged ports"

* Security by "privileged ports" is a joke. We don't live in the 1980s
  anymore and everybody can be root on her/his own machine.

* Some mount requests made by super-users on client DragonFly machines
  were done on "unprivileged ports" anyway, possibly due to ephemeral
  port exhaustion.

* Disabling this mechanism by default thus makes DragonFly NFS servers
  more reliable.

inpcb: Remove the weird in_pcbdetach() in in_pcbdisconnect()

This in_pcbdetach() actually serves no purpose there.

netmap: reconstruct vm_page_getfake/vm_page_updatefake

Taken from: FreeBSD

kernel/oce: Remove some redundant code.

df(1): Fix field widths for iused and ifree when df -hi is used.

Submitted-by: Robin Hahling <robin.hahling@gw-computing.net>

ips: initialize local variables

found-with: clang

kernel: fix an invalid self assignment in linker

found-with: clang

kernel: Add some more missing crit_exit(), rel_mplock(), etc.

unlock_return.cocci: Add a nlookup_init()/done() test (which we pass).

kernel/hammer2: Add two missing lockmgr(..., LK_RELEASE).

kernel/bwn: Improve error handling in bwn_attach().

* Making sure to call wlan_serialize_exit() when bus_setup_intr() fails.

* Return the proper error values when bwn_attach() fails.

unlock_return.cocci: Add vn_unlock() and wlan_serialize_exit() tests.

kernel/iwn: Add a missing wlan_serialize_exit().

kernel: Add a missing vn_unlock().

hammer - Fix wild free() in 'hammer info' path

* Fix a wild free that could cause the program to assert.

Reported-by: shamaz

drm/i915: More initialization code from Linux

drm/i915: drm_i915_private_t changed

drm/i915: Fix unresponsive X server issues

* In some circumstances, the drm/i915 driver slept on irq_lock with no
  timeout and never woke up, causing the X server to become unresponsive

* It turns the absence of timeout came from the original FreeBSD version
  of this driver; Linux uses a 1 second timeout by default

* Add the same 1-second timeout to the culprit function calls, hopefully
  fixing this issue for good

drm/i915: Partial sync of the ring handling code...

... with Linux 3.8.13

A few parts obtained from OpenBSD

drm/i915: Reduce differences with Linux 3.8.13

kernel disk/vn: fix locking in vnstrategy

ipv6: Silence src xxx is not link-local messages

They pollute logs in situations where users have no control
over traffic being transmitted on the local network.

Improve our unlock_return.cocci (now finds much more candidates).

Unfortunately, the number of false positives goes up proportionally,
so careful review and re-review of the results is advised.

kernel: Add a number of missing crit_exit, lwkt_reltoken, rel_mplock, etc.

kernel: Build modules with -Werror too.

Move ed(4), sr(4), and ng_sync_{ar,sr} to being i386 only.

If someone needs them on x86_64, they will first have to fix the various
int <-> pointer conversions which they warn about.

initrd: Create a bin/scp link

Convert files to UTF-8

Taken-from: FreeBSD

patch: use size_t for line len.

 * allow file with lines longer than sizeof(short)

Submitted-by: tautolog

kern/dsched: remove leftover code

 * The found variable has been replaced in 12cdc371fb859682eda7d1c26c5059920a7cf118
   and leftover assertion lead to a panic.

kernel/dsched: add a missing LK_RELEASE

Merge branch 'vendor/TNFTP'

Sync ftp with NetBSD.

* Fix timeout on http fetches.
* Let progressmeter deal with a timeout.

Obtained-from:   NetBSD

udp: Dispatch UDP datagrams to the correct netisr to perform ip_output()

Redispatch UDP datagrams to the netisr, whose owner CPU matches the
UDP datagrams hash, to do the ip_output().  As measured bt KTR, the
udp_send() spends most of its time in ip_output().

To properly support this, following stuffs are added/changed:
- Add a network private lwkt message flag to indicate the so_port of
  the netmsg should not be matched against the current netisr's msgport.
  This flag is set when we redispatch the UDP datagrams to other netisrs.
- Don't use priority messages for netisr barrier, so at UDP socket close
  time, UDP datagrams pending on other netisr msgport could be properly
  sync'ed.

The UDP datagrams redispatch itself:
- If IP options are ever configured (supposely none), a copy of it will
  be carried along w/ the UDP datagram to the target netisr.  The copy
  is made mainly because it is not safe to access the IP options of the
  inpcb in netisr which does not own the inpcb.
  (*) On the other hand accessing inpcb's multicast options is safe since
  multicast UDP datagrams output and multicast options configuration all
  happen in netisr0.
- Add nm_priv into netmsg_pru_send, which saves flags to be passed to
  ip_output() for the UDP datagram.  This does not changes the size of
  netmsg_pru_send on x86_64 due to the implicit 4bytes padding.
- udp_addrcpu_pkt() is added to calculate the "real" CPU for the UDP
  datagrams.
- Don't use inpcb route cache for redispatched UDP datagrams.  Since:
  o  The cached route is usually not for the UDP datagrams' destination.
  o  Accessing inpcb route cache in the netisr, which is not the owner
     of the inpcb is not safe.

On i7-3770 w/ 82599ES, this increases 18bytes UDP request/response
performance by ~19% (1.12M trasactions/s  ---> 1.34M transactions/s)

This commit also makes lockless firewall state table doable, since input
and output of UDP datagrams, which have same hash, are running in the
same netisr now!

tools/udpecho: Tool to test UDP request/response rate

locking.9: more editing

locking.9: more updates

locking.9 updates

man: Add locking(9) manpage about locking and synchronisation

openssl: Adjust manual pages for 1.0.1h.

Merge branch 'vendor/OPENSSL'

Import OpenSSL-1.0.1h.

* Fixes for CVE-2014-0224, CVE-2014-0221, CVE-2014-0195, CVE-2014-3470
* Harmonize version and its documentation
* Fix eckey_priv_encode so it immediately returns an error upon a
    failure in i2d_ECPrivateKey
* Fix some double frees. These are not thought to be exploitable.

See also http://www.openssl.org/news/secadv_20140605.txt

Submitted-by: Robin Hahling <robin.hahling@gw-computing.net>

pktgen: Allow switching dst and src addresses configuration

So it could simulate multiple clients and one target server use case.

bsd-family-tree: Sync with FreeBSD (for OpenBSD 5.5 and DragonFly 3.8.0).

libfetch: sync with freebsd

hostapd.conf.5: Add back Mt for email addresses.

libthread_xu: add support for named POSIX semaphores.

 * this implementation uses files as rendezvous and simply map files
   into the process address space. It means one page per semaphore.

 * by default, semaphores are created in /tmp/sem. If the
   LIBTHREAD_SEM_PREFIX environment variable is defined, its value is
   used as prefix.

PER FREEBSD-SA-14:13  Incorrect error handling in PAM policy parser

This is the original patch submitted to FreeBSD
by as far as I can tell Peter Wemm, and Dag-Erling Smorgrav

Testing: Robert Garrett

udp: Wait for address memory

It's better than wait for the current message to be done, since there
could be piles of messages on the target msgport.  This Improves UDP
sending performance a little bit.

wpa_supplicant/hostapd: Fix a number of manual page issues.

* If there were no content related change on a manual page, leave .Dd
  as it is. If there were content related change, change it to the date
  when it was changed in our tree, not when it was changed in FreeBSD
  or elsewhere.

* Comment out a number of references to manual pages which we don't
  have because the drivers have not yet been ported.

* Add .Mt back to email addresses.

* .Fx -> .Dx

* Typo fix.