gcc44: Instruct linkers to create GNU hash tables

The real-time linker has just been taught how to use GNU hash tables
to speed up symbol lookup.  However, the linkers only generate SysV
hashes by default, so the specs file is being altered to generate
both types of hashes for every shared library and dynamic executable
for a while.  Maybe after a release or two we can consider only
generating the superior GNU hash, which will break forward compatibility
with older releases.

rtld: Support DT_GNU_HASH (startup performance increase)

This is another "First BSD to get" feature that Linux and Solaris
had years ago.  Essentially DT_GNU_HASH is a GNU extension to the ELF
format that allows symbol searches much faster than the System V ABI
standard hash does.  Both versions of our binutils have the capability
of generating GNU hashes alongside of (or instead of) the SysV hash.

The benefit comes at the real-time link stage when the rtld is
searching the libraries for symbols.  For very large programs
written in languages such as c++ that tend to link in many libraries
with many symbols, the reduction in start-time can be dramatic.

According to benchmarks done by binutils team in 2006, more than 90% of
the symbol queries of OpenOffice Writer are rejected by the Bloom filter
before the string comparison takes place:

http://sources.redhat.com/ml/libc-alpha/2006-07/msg00034.html

Merge branch 'master' of git://git.dragonflybsd.org/dragonfly

pkill(1): add '-j jid' flag to restrict matches to jailed processes.

Add a '-j' option to pgrep(1)/pkill(1).
Update manual page to reflect usage.

As DragonFlyBSD did not have this option previously, the 'COMPATIBILITY'
notes outlined in FreeBSD's '-j' options do not apply - namely,
the '-j 0' option defaults to non-jailed processes, and '-1' is used
to indicate all jailed processes should be matched. Also, the 'any'/'none'
string options were not ported as they require more invasive changes.

Inspired-by: FreeBSD

Remove the old (and broken) kzip(8) utility.

kgzip(8) is i386 only, so stop building/installing on x86_64.

svc_vc_create(3): Initialize xprt with NULL.

In the (corner-)case of being out of memory, this prevents free() to be
called on an uninitialized xprt below the cleanup_svc_vc_create: label.

kernel: fixup accidental whitespace shift in vm_fault_copy_entry commit

was resulting in cherry-pick conflicts in MFC branch

kernel: reorganize new holds in vm_fault_copy_entry

Move holds outside of the pagecopy loop to reduce locking overhead.

Suggested-by: dillon

kernel: add missing holds/drops to vm_fault_copy_entry

Add missing holds/drops to vm_fault_copy_entry that were triggering
assertions in vm_page_alloc/vm_page_lookup when when a process
holding locked memory is forked.

Fixes: https://bugs.dragonflybsd.org/issues/2320
Reviewed-by: vsrinavas
X-Nahmean-Status: word

setnetpath(3): Fix a double free().

np_sessionp is free()'d after the failed: label.

Update the pciconf(8) database.

Feb 27, 2012 snapshot from http://pciids.sourceforge.net/

libalias(3): Bring in some fixes from FreeBSD.

It fixes the "dereferencing pointer 'sptr' does break strict-aliasing
rules" warnings which -O2 was generating.

Submitted-by: Aycan iRiCAN <iricanaycan@gmail.com>

HAMMER VFS: Conditionalize debug message

* Conditionalize an annoying debug kprintf on hammer_debug_inode.

rtld: fix debug statement

This bug showed only when rtld is built with -DENABLE_DEBUG.

kernel: Add a few forgotten crit_exit()s and fix a wrong crit_enter().

Installer: one more place where inform() called without a format string

Noticed-by: swildner@

Installer: fix a (possible) crash in show_ifconfig()

inform() expects a printf-like format string as the second argument,
so you should always supply one instead of a random string by itself.

DragonFly-bug: <http://bugs.dragonflybsd.org/issues/1596>

Add a coccinelle patch to find 0 (instead of NULL) used with pointers.

Sweep-fix comparing pointers with 0 (and assigning 0 to pointers).

For better readability, don't compare pointers with 0 or assign 0
to them. Use NULL instead.

The change was done with coccinelle.

vfs_conf - remove old debug message tryroot()

dump_conf - delay extra 2s before looking for dumpdev

 * This is the same hack used for the root mount. Some disk devices will
   not be probed by CAM's initial probes.

 * We give these devices some extra time to settle and hopefully be
   ready for when we look them up.

 * This fixes the use of some CAM disk devices set via the loader dumpdev
   variable.

vfsops - add two new ops, ncpgen_set, ncpgen_test

 * ncpgen_set takes care of setting the namecache generation in an ncp,
   while ncpgen_test can force zapping a resolved negative cache hit.

 * Make use of the functions in devfs to keep the functionality we had
   before.

 * Also pass the calls through in nullfs - this should fix a problem
   with posix_openpt when /dev is a nullfs mount of devfs.

Reported-by: Markus Pfeiffer (profmakx)

sin.3: Sort SEE ALSO alphabetically.

ncurses: Fix an almost 7 year old typo in the profiling libtinfo's name.

It was introduced in c4c23d9061b6eb2a3456620a48b84583b00fe0ce.

gcc44: Remove a wrong define for the profiled math library's name.

This caused compiling with -pg to fail for C++:

zoot# c++ -pg -o t t.c
/usr/libexec/binutils222/elf/ld.bfd: cannot find -lm_p

Our libraries for profiling don't have different names than the normal
ones. They just are in a different directory (/usr/lib/profile), which
is already cared for.

Reported-by: Pierre Abbat <phma@phma.optus.nu>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issues/2325>

Update 'rcrun' with a 'onestart' action to use the rc.subr 'one' functionality

For reference - the 'one' functionality differs from 'force'
as it still allows various rc.subr sanity checks to be run.

Suggested-by: swildner

Add 'one' behavior to rc.subr, update rc.subr.8 .

This permits configuring / running services without
requiring *_enable in rc.conf which is handy for non-automatic
services.

Obtained-from: NetBSD

Oops, it's kiconv and not kiconf.

Fix a number of incomplete/missing DPADDs.

vi(1): Remove some old tk stuff from the Makefile.

smp.4: Use .Dv for a tunable.

Sync zoneinfo database with tzdata2012b from munnari.oz.au

northamerica:   8.52 -> 8.53

* northamerica: Summer time in Cuba has been delayed 3 weeks (now
    starts April 1 rather than March 11). Since Mar 11 (the old
    start date, as listed in 2012a) is just a little over a week
    away, this change is urgent.

Also bump zone.tab's version for a fix that was not in 2012a but
which I already added.

rtld: Add a special case in do_dlsym() for TLS stored symbols.

Submitted-by: Markus Pfeiffer <markus.pfeiffer@morphism.de>

Sync zoneinfo database with tzdata2012a from munnari.oz.au

antarctica:     8.9  -> 8.10
asia:           8.69 -> 8.70
australasia:    8.29 -> 8.30
europe:         8.40 -> 8.41
leapseconds:    8.11 -> 8.13
northamerica:   8.51 -> 8.52
README:         8.3  -> 8.4
southamerica:   8.52 -> 8.53
zone.tab:       8.52 -> 8.54

* antarctica: Current best known timezone info for various Antarctic
    bases for the winter of 2012.

* asia: Armenia has abolished summer time.

* australasia: Tokelau copied Samoa and swapped sides of the
    International Date Line last December (affects current timestams).

* europe: Updated URL for UK timezone history.

* leapseconds: Bulletin C43 incorporated (a leap Second will occur
    2012-06-30 at 23:59:60 UTC). Bulletin C42 was also incorporated
    (but never released) - it said nothing very interesting (no leap
    second 2011-12-31).

* northamerica: New zone America/Creston created for an area in
    British Columbia that was previously (and apparently incorrectly)
    considered identical to Dawson Creek. Also, some corrections to
    1918 summer time end dates in several Canadian zones.

* README: Updated to reflect the current home of the mailing list and
    files.

* southamerica: Chile has extended Summer time in the 2011/2 summer.
    Future years (2013->) are assumed revert to "normal" for now. The
    Falkland Islands now have it permanently (continuing the 2011
    experiment). This "permanently" is a guess, it apparently is
    certain for 2012 (as certain as these things ever are) and
    considered likely into the future.

* zone.tab: New America/Creston zone added, and a typo in the entry
    for Europe/Samara corrected.

scsi_cd - don't lock tray on cdcheckmedia()

 * Move the tray locking explicitly to cdopen(), so that it matches the
   unlocking in cdclose().

 * Before disk probing existed this wasn't a problem as every device was
   first opened, then operated on, then closed.

 * The disk probing code operates directly on the device, which caused
   it to be locked via cdcheckmedia() but never unlocked since no
   close() was ever called.

Reported-by: Sascha Wildner <swildner@>

boot/loader - test if CPU supports long mode

 * Test if the CPU supports long mode (64 bits) before trying to load an
   x86_64 kernel.

Obtained-from: FreeBSD
Dragonfly-bug: http://bugs.dragonflybsd.org/issue1624

bsd-family-tree: Sync with FreeBSD.

libthread_xu/libc_r: Improve the check for EINVAL in sem_* functions.

Before referencing *sem->... in the check, do not just test if sem is
NULL but also if *sem is NULL.

Reported-by: Max Herrgard <herrgard@gmail.com>

arp: Don't send gratuitous ARP in arp_ifinit

- Move the CARP's ifaddr_event handler to the first of the
  registered ifaddr_event handlers.
- Register ifaddr_event handler for gratuituous ARP; it won't
  send gratuitous ARP for CARP interface or CARP interface's
  parent.  The event handler is registered as the last
  ifaddr_event handler, so it is called after CARP's ifaddr_event
  handler.  It is mainly used to fix following problem before
  this commit:

      ifconfig emx0 up
      ifconfig carp0 create
      ifconfig carp0 vhid 1
      ifconfig carp0 inet 192.168.3.2
      ifconfig emx0 inet 192.168.3.2

  Originally, you always saw gratuitous ARP from emx0 first,
  then gratuitous ARP from carp0, which is quite confusing.
  After this change, only gratuitous ARP from carp0.
- arp_ifinit() now only set ifa_rtrequest and CLONING flags
- Rename arp_iainit() to arp_gratuitous(); call it when CARP
  wants to send gratuitous ARP and when link layer address
  is changed.

kernel: Remove opt_ipfw.h from a few files which don't need it.

kernel: Remove the IPFIREWALL_FORWARD option which does nothing.

In FreeBSD it is needed for ipfw's 'forward' action. In DragonFly,
this needs no special option.

In-discussion-with: sephe

vn - use DSO_RAWPSIZE flag

 * Use the DSO_RAWPSIZE flag so that the disk subsystem uses vn's own
   psize when the top level fails.

 * This allows the use of vn disks as swap.

Reported-by: Antonio Huete (tuxillo@)

disk - add flag to use underlying psize

 * If the top (disk subsystem) psize fails, try again with the
   underlying raw device psize if the DSO_RAWPSIZE flag is set for the
   disk.

 * This allows for disk devices and slices without a proper disklabel to
   return a correct psize, which in turn allows the device to be used
   for swap.

 * Previously that behaviour was integrated with the DSO_DEVICEMAPPER
   flag.

uguru(4): Fix a panic when detaching (e.g., on kldunload).

Reported-by: Max Herrgard <herrgard@gmail.com>

vnconfig - use correct device if using autoclone

 * if autoclone device (/dev/vn) is used in vnconfig, the wrong device
   is later passed to, e.g., swapon().

 * Fix it by changing the device name the rest of vnconfig
   operates on to the actual device name as per fdevname.

Reported-by: tuxillo

subr_disk - clear out old labels

 * Whenever a label is blown out and we reprobe, make sure we also clean
   the in-memory disklabel inside the diskslice - otherwise dscheck()
   will think that there's still an old disklabel around.

 * This fixes changing the disklabel from disklabel64 to disklabel32 and
   vice versa without rebooting.

Dragonfly-bug: http://bugs.dragonflybsd.org/issue1667
Reported-by: Thomas Nikolajsen

disklabel - add new freedisklabel op

 * The freedisklabel op is simply used to free the disklabel stored in a
   disklabel_t (in a diskslice).

 * It deallocates the memory and sets the pointer to NULL.

kernel: Regenerate pcidevs.h and pcidevs_data.h.

kernel/pcidevs: Shrink it down to what we actually need from it.

kernel: Move a de(4) specific header file where it belongs.

netif: Use ether_ioctl() to handle SIOCSIFADDR

DragonFly's SIOCSIFADDR handling in ether_ioctl() already has unnecessary
if_init avoidance processing; no need to reinvent the wheel

e1000: Remove em specific files, which are not and will not be used

kernel/pci: Fix indent.

kernel/pci: Fix the securelevel check in pci_open() for write access.

While here, clean up some unused code and definitions.

dm_target_crypt.4: Remove trailing whitespace.

puffs - fix possible null pointer dereference

Found-by: clang static analyzer

puffs: Install some headers and remove now unnecessary -I's in Makefiles.

kernel/i386: Remove the empty CPU_HAS_FXSR kernel option.

vlan: Add comment about how MPSAFE works out for vlan

vlan: Fix the incorrect logic

It should speak that parent interface is gone or parent interface
was changed.

rdrand.4 - add warning about being untested

rdrand.4 - add man page

LINT{,64} - add rdrand

rdrand - An RNG driver for the RdRand insn

 * The driver is as of yet untested as the hardware is not yet
   available!

build: Add WORLD_LDVER (similar to WORLD_CCVER)

This enables building world and kernel with the gold linker, and the
result is finally fully bootable and functional.

objformat: Recognize LDVER instead of LINKERVER

An informal discussion on IRC revealed that the environment variable
LDVER is preferred over LINKERVER to select the gold linker.

boot2: Add linker scripts for gold v2.22

The precursors for boot2 and boot2_64 also require linker scripts
when built with gold.  The boot2 program was tested using disklabel
for both linkers after introducing the attached linker script.

loader: Add linker scripts for gold v2.22

The program header handling defaults for the gold linker that comes with
binutils 2.22 changed from the 2.21 version.  As a result, DragonFly's
loader broke when linked with gold, rendering it unbootable.

The solution is to provide dedicated linker scripts for btx, btxldr, and
the loader itself.  These scripts specify how to handle the program
headers.  In these cases, we don't want to embed the headers in the first
LOAD segment which is what gold was doing, so the PDHRS section of the
scripts prevents that from happening.

The gnu ld-built loader still builds just fine with these linker scripts.

loader: use _end symbol instead of end

A long time ago, the "_end" symbol replaced the "end" symbol.  The "end"
symbol was never present on the x86_64 DragonFly platform, but it was
erroneously carried inside the i386 libc for a few years (removed with
commit 8f73bea34efe21334e560a312017af168f3d1991).

The main.c file of the loader has been carrying the old version of the
symbol, but this was masked with the standard linker script which defined
"end: as an alias of "_end" and put both symbols in the binary.

This is the only instance of "end" found in the DragonFly code base, and
now it is gone.

identcpu - add bits about RdRand (RDRND)

kthread_create - fix varargs bug

 * varargs in _kthread_create were handed the formatter but not the
   va_list, leading to all sorts of unexpected behaviour.

 * Set up the va_list in the callers of _kthread_create and pass it in
   when calling.

Points-finger-at: tuxillo
Reported-by: Markus Pfeiffer, Sascha Wildner, Myself

crypttab.5 - Mention loading dm_target_crypt

Dragonfly-bug: http://bugs.dragonflybsd.org/issue2281

dm - Add manpages for target crypt and striped

agp - fix potential panic

 * Fix a potential panic when close() is called on an agp device that
   hasn't been opened.

 * Check whether it's open (and has been busied) before trying to unbusy
   it.

Reported-by: Pierre Abbat
DragonFly-bug: http://bugs.dragonflybsd.org/issue2310

psshfs - implement hard links

 * implement hard links using the OpenSSH SFTP extension for it, since
   OpenSSH doesn't understand FXP_LINK as per sftp version 6.

libc -- stdlib: Implement aligned_alloc from C11.

libc -- stdlib: Implement quick_exit and at_quick_exit from C11.

puffs - check whether the FS has the given op

 * Previously calls to some of the vnops that are unimplemented in the
   actual puffs filesystem were succeeding.

 * We now check whether the op exists before trying to pass it to
   the userland FS. If it doesn't exist, fail (or return ok if no real
   action needs to be taken).

puffs - fix panic on hardlink

 * puffs was trying to lock the vp in nlink again, but kern_link does
   that already via vget.

Reported-by: Sascha Wildner (swildner@)

kern - Do not expose _kthread_create()

Pointed-out-by: aggelos

kern build: Tweak ldscripts for gold linker

The gold linker v2.21 was able to link a working kernel although its
modules were unloadable.  The gold linker v2.22 could build loadable
modules, but the kernel wouldn't boot!  It's not clear why the modules
started to work -- my guess is that the ancient ldscripts used during
the 2.21 trial were the culprit.

The gold linker changed its ELF program header handling defaults for
version 2.22, and this resulted in an extra LOAD segment reserved only
for the program headers.  The DragonFly loader wasn't expecting that
and instantly rebooted when trying to load a gold kernel.

The solution was to add a PHDRS section to the ldscripts to specify
exactly the section to segment mapping, and prevent gold from putting
the elf headers in their own load segment.  Now gold matches gnu ld
linker in having only two LOAD segments, text and data.

As a curiousity, gold sets the LOAD segment alignment value at 0x1000
for both i386 and x86_64, where gnu ld sets the segment alignment at
0x1000 for i386 and 0x200000 for x86_64.  This seems to have no impact
on the loading of the kernel.

loaded: Remove obsolete -elf cflags

The gnu ld ignores -elf, but gold linker interprets this flag as
entry=lf.  It's a dinosaur from the FreeBSD aout days.

LINT: Add CPU_HAS_SSE2.

build - Add git gc --aggressive to src and pkgsrc git repo creation

* Issue a git gc --aggressive after pulling the git repo for src
  and/or pkgsrc.  This will garbage collect and recompress the
  repo, significantly reducing the disk space required.

* Primarily intended to reduce the size of the usb and dvd gui nrelease
  images.

* The gc pass takes a few minutes to run but seems worth it.

Remove the KTR_MSGPORT kernel option which was never used.

kern - Merge two functions to avoid duplicated code.

- Merged kthread_create() and kthread_create_cpu() into
  _kthread_create() thus avoiding some duplicated code.
- Set TDF_VERBOSE on threads only under bootverbose.

Makefile.inc1: Remove a no longer used variable.

Remove the old <sys/ata.h> header and make it a link of <sys/nata.h>.

chkey, chpass, enigma, lock, newgrp, pw - Handle NULL return from crypt(3)

Fix some typos.

dsched(4): Some miscellaneous cleanup.

* Rename the bfq manpage to dsched_bfq(4), so that we don't run into
  name conflicts in the future. If someone wrote a manpage for
  dsched_as, it would have resulted in an as(4) manpage.

* Add options DSCHED_AS and DSCHED_BFQ to LINT*.

* Also, remove an unneeded check in dsched_as.

kern build: Update ldscripts

All for ldscripts (includes two virtual kernel scripts) have been
synchronized with binutils 2.22.  The previous sync was with FreeBSD
which is still using binutils 2.17.50.

A notable update is the usage of "-z max-page-size".  This is required
because the gold linker has a standard maximum page size of 0x1000 bytes
compared to 0x200000 bytes for the gnu ld linker.  It's an option to
change the default, but the gold default of 4KB has advantages.  Or in
other words, using a default maximum page size of 2MB has impacts to
library size and available memory that can be avoided.

Another thing to note is the vkernel64 has now been changed to load at
0x200000 like it's pc64 counterpart.

x86_64 getmemsize: Recover 0x100000 bytes

When binutils 2.20 was brought in, the x86_64 kernel built with it loaded
at 0x200000 instead of 0x100000 as it was previously.  The getmemsize()
function was never updated with the new address so the physical memory
between 0x100000 and 0x200000 has been lost since then.

The hardcoded value has been updated.  In the future, it may be a good
idea to replace with a variable as FreeBSD has done.

Merge remote-tracking branch 'crater/master'

tmpfs.5: Add note that DragonFly NFS client needs to disable ReaddirPlus

VFS accounting: optimize vop_write() performance

* Avoid a mount list scan if accounting is globally disabled

VFS accounting: check if nullfs mp* really exist

* Nullfs are a clever hack, they forget their mp after mount and let the
  non-nullfs underlying mount point do all the work

* Nevertheless, we need to get the real struct mount associated to a mount
  point to count the space used by PFSes. We cache it in the vnode.

* But since the vnode we use really belongs to the lowest underlying
  mount point, the upper-level mp may already have been freed.

* We need to first check if it still valid; a new function,
  mountlist_exists() now exists for that purpose.

* Should fix issue #2266

rtld: add carriage return to die()

Add missing EOL character to the die() message.  This was lost when rtld_fdputstr() was
brought into rtld.

origin:
FreeBSD PR bin/165075
FreeBSD SVN 231582 (13 Feb 2012)

hier.7: Add back a .Bl that was removed with the binutils 2.20 removal.