kernel - Fix kqueue and SIGIO operation on pipes

* pipe reads and writes were not notifying kqueue and SIGIO consumers
  due to an incorrect conditional which only tested for select/poll
  consumers.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Kernel - Fix NOTE_EXIT.

* NOTE_EXIT could crash the machine due to a knote being left on a
  process list and then zfree()'d.

Loosely-taken-from: FreeBSD

amd64: sync cpu/stdint.h with i386

amd64: install intrinsic headers

dma: defer delivery if STARTTLS fails

dma: treat connect status messages properly

dma: rework config parsing

disk - Also probe NetBSD slices for labels

* Also probe NetBSD slice types (169 / 0xa9) for disklabels, as we also
  support them.

Reported-by: trevorjk

md - when setdiskinfo, also set no of blocks

* Before calling disk_setdiskinfo, make sure that the number of blocks
  is also set or no probing will be triggered at that point.

* Also disable setdiskinfo on open, as it shouldn't be needed.

* Fix nomenclature md0c -> md0s0.

* This also fixes root mount from md disk image.

Reported By: Alexander Polakov
Dragonfly-bug: http://bugs.dragonflybsd.org/issue1522

dma: perform MX lookups

dma: allow empty sender in queue files

Empty senders happen when a bounce gets queued, so we need to accept
such queue files.

dma: create spool files mode 660

dma runs setgid mail, so we need to create files which are group
readable, otherwise we won't be able to read them later.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER - Add rebalancing to automatic cleanup sequence

* The hammer cleanup directive now also rebalances the B-Tree.

sh(1): Raise WARNS to 6 and fix warnings.

lex(1): Raise WARNS to 2.

top(1): Raise WARNS to 6 and fix warnings.

wall(1)/syslogd(8): Raise WARNS to 6 and fix warnings.

Sync vipw(8) with FreeBSD.

Mainly, use libutil for passwd manipulation.

bthcid(8): Raise WARNS to 6 and fix warnings.

iscontrol.8: fix date

kiconv.3: We have no iconv(9) manual page.

ancontrol(8): silence gcc44 warnings

gcc44 warns: Put input() under YY_NO_INPUT and set that if it isn't used.

Restrict visibility of lwkt_schedule_remote() to SMP.

bsd.sys.mk: Remove the i386 restriction for using -Werror with WARNS.

Silence the remaining amd64 warnings for stuff that has WARNS set.

Lower some WARNS in binutils to silence amd64 warnings.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

AMD64 - Unbreak the acpi kld, which also seems to fix USB umass detection.

* Misc minor fixups (mainly empty routines) taken from FreeBSD.
* ACPI module now loads for amd64.
* And this also seems to get usb mass storage devices working properly.

Add libkiconv to the list of libraries which can be referenced with .Lb

Taken-from: FreeBSD

getdevpath.3: Fix reference and sort.

kgdb(1): _KERNEL_STRUCTURES is defined globally, so don't redefine it here.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

boot - Bring in real-mode fixes for BIOS calls

* Make BIOS calls in real mode now (I think), and no longer use the
  pmap hacks.

  Improves BIOS compatibility, particularly when booting from a USB
  mass storage device.

Taken-from: FreeBSD
Submitted-by: Jordan Gordeev <smtms@crater.dragonflybsd.org>

Remove /usr/pkg/xorg from paths.

pkgsrc no longer installs anything there

gcc44 warnings: irr_raf_mask_onlink is 1 bit.

gcc44 warnings: Remove unused functions.

gcc44 warnings: Remove deprecated #ident.

amd64: Fix for Xorg.
Xorg can now access the video card.
Adapted from i386.

nrelease - Fix beastie bug w/ gui dvd HAMMER install

* Remove /boot prefix so direct /boot partitions (BOOT+HAMMER) can properly
  locate the include files.

  This fixes a HD boot loader issue after installing a BOOT+HAMMER system
  from the gui dvd, and works around a loader malloc panic related to
  not being able to find said include files.

Fix some 'unused variable' warnings.

pkg_radd/pkg_search: add support for BINPKG_BASE

BINPKG_BASE allows the user to set the base of a package mirror
hierarchy, instead of having to select a specific set of packages which
might get stale.

Hook mount_hpfs into the build. It builds and even works.

However, comment out all code related to the (undocumented) -W option.
It would be painful to convert it to libiconv and the current code
depends on /usr/libdata/msdosfs which is gone.

Tested-with-OS/2: polachok

devfs: Remove some unneeded variables.

iscsi_initiator(4): Remove an unneeded variable.

devfsctl(8): Some style cleanup.

mergemaster.sh - Fix check for devfs

* mergemaster.sh was checking for sysctl node vfs.devfs.generation,
  which does not exist on DragonFly. Change this check to vfs.devfs.

rc.d/diskless - Fix check for devfs

* rc.d/diskless was checking for sysctl node vfs.devfs.generation, which
  does not exist on DragonFly. Change this check to vfs.devfs.

Some -Werror related cleanup.

Instead of enabling WARNS_WERROR by default, enable -Werror by default
in bsd.sys.mk and if the platform is i386. Get rid of WARNS_WERROR
completely.

enable WARNS_WERROR by default

This is to catch new warnings sneaking into buildworld.  WARNS_WERROR
means that -Werror is added to sources iff compiled with WARNS >= 1.
All these sources have been fixed to currently compile without warnings.
Setting WARNS_WERROR helps us to maintain this status.

If your build should fail with a warning treated as error, you either
have introduced a new warning - in which case you will have to fix it
before committing - or you are using CFLAGS that exhibit warnings which
have not been fixed yet - in that case you should try and fix the
warning nevertheless.

*Only* if you are using compile flags which produce excess warnings, you
should disable WARNS_WERROR by setting NO_WERROR in make.conf.  If you
do, make *absolutely* sure that you don't introduce new warnings into
the build, since it will break the build for everybody else who does not
set NO_WERROR!

Discussed-with: swildner@

atc(6): Include <stdlib.h> to silence some warnings.

Reported-by: corecode
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1514>

sysperf - call tests - fix stale compilation errors.

kernel - fix bug when issuing synchronous pageouts via contigmalloc.

* There are multiple mis-checks in this code but the only path that
  causes the bug is if contigmalloc is forced to page data out, and
  that generally only occurs due to the USB subsystem.

* The bug causes relpbuf() to be called with the wrong argument,
  ultimately causing the swap pbuf availability counter to hit 0 and
  stay there.

* Fixes a umass insertion failure (the usb thread was locking up).

installer: Small fix for the /dev/serno changes.

Protect against the case where a /dev/serno/ directory exists but
the disk we want to install to doesn't have a node in it.

AHCI - Note on previous commit, power management support.

The power management in commit f17a0cedb31c48322a90d0e6b2ef8df19e4d142d
was authored by Johannes Hofmann <johannes.hofmann@gmx.de>.  It got mixed
in with another commit and was not properly annotated.

RELEASE 2.4 - Release Engineering on master adjust to 2.5

nrelease - USB image - use a noatime mount.

* Mount the root for a USB disk key boot noatime to avoid unnecessary writes
  to the USB disk key.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

fdisk - Use heads = 255 on file images

When operating on a file image use max values for sectors and heads in
order to match the case where the file might exceed the CHS limit.  By
convention the CHS fields are set to all 1's in this case.

If our sectors and heads are not set at max values then the all 1's case
will result in a geometry that overflows the originally specified sectors
and heads which can brick the BIOS.

amd64: sync AMD64_GENERIC and platform/files with i386

Pull up most devices from GENERIC into AMD64_GENERIC.  I left out those
that don't compile, which are basically only isa-only network drivers.

Temporarilty use the generic crypto functions until assembler versions
are imported.

buildkernel, nrelease: use AMD64_GENERIC as kernel default config

buildkernel and nrelease both defaulted to GENERIC as kernel.  This does
not work for amd64 builds, since GENERIC is i386.

Add a makeshift hack by selecting AMD64_GENERIC if we're buildin for/on
amd64.  This needs to go away and be solved in a more sensible way.

Ok: dillon@

installer: More /dev/serno work.

Take back the devtab(5) support in the installer.

mountroot didn't work for the UFS with serial numbers case since the
data for '/' is taken from fstab and that would have a devtab label
in it and we're not setting vfs.root.mountfrom explicitly for UFS.
We don't want to, either.

So just use /dev/serno/* nodes (which will work everywhere) always.

Suggested-by: dillon

games - mille - remove #ifdef madness

Submitted-by: Ulrich Spoerlein <uqs@spoerlein.net>

games - misc - clean up compiler warnings

Submitted-by: Ulrich Spoerlein <uqs@spoerlein.net>

games - hunt - minor include fix for portability.

Submitted-by: Ulrich Spoerlein <uqs@spoerlein.net>

games - backgammon - use defined names instead of magic numbers.

Submitted-by: Ulrich Spoerlein <uqs@spoerlein.net>

games - bs - remove redundant libmytinfo

Submitted-by: Ulrich Spoerlein <uqs@spoerlein.net>

games - atc - replace sgtty with termios, remove #ifdef madness, fix warnings.

Submitted-by: Ulrich Spoerlein <uqs@spoerlein.net>

installer: Add serial number and /etc/devtab support.

If a disk has a corresponding entry in /dev/serno with identical
major/minor, use that for all further references of the disk in the
installation process.

In the installed system, set up a /etc/devtab entry (with the labels
named disk0, disk1 etc. using the order of the disks appearing in
'sysctl kern.disks' output) and use this label for the system's
/etc/fstab entries.

/boot/loader.conf still has to use /dev/serno for its vfs.root.mountfrom
entry.

The dumpdev entry in /etc/rc.conf could use the devtab label but (as
of this commit) doesn't do so yet. This will be fixed at a later point.

If no /dev/serno is found, or if no corresponding entry in /dev/serno
is found for a specific disk, we use the traditional scheme.

While I'm here, perform some cleanup, namely remove some duplicate
functions.

Requested-by-and-in-discussion-with: dillon

Kernel - change sync_on_panic default to 0

No longer attempt to sync the buffer cache when a panic occurs.  This
has always been problematic, HAMMER will ignore the attempt anyway,
and now we are formalizing that we no longer try.

This also improves the chances of the system dumping and rebooting
after a panic vs freezing up.

Revert "Increase the default TCP maximum segment size from 512 to 1460."

This reverts commit d190343e53819e25316a2a890724404f8e48c78d.

It seems that there are systems (probably firewalls) in action which
enforce an MSS of 536.

Specifically, at research.microsoft.com, port 80, packets seem to be
simply dropped if they exceed a MSS of 536 bytes, and no ICMP
destinatino unreachable, need to fragment message is generated.

While this behavior might be questionable as well, we should not diverge
from established standards.

This default MSS value can be changed using the sysctl node
net.inet.tcp.mssdflt.

Mandated by RFC 879, RFC 1122.

ext2fs - A few bug fixes and syntax adjustments.

* Primarily fix a brelse that needs to be placed before a vx_put instead
  of after.  And use bqrelse() instead of brelse() when retrieving an inode.

* Syntax adjustments.

* NOTE: Only part of the FreeBSD patch was applied.

Submitted-by: "Pedro F. Giffuni" <pfgshield-freebsd@yahoo.com> (GSOC project)

AHCI - zero-pad ATAPI commands

* ATAPI commands sent via the SCSI layer which are less then 16 bytes
  are now zero-padded to 16 bytes.  The SATA protocol itself just sends
  the whole FIS, so no more or less data is being sent.  But extra bytes
  will not be sent as zero.

Discussed-with: "Alex Hornung" <ahornung@gmail.com>

AHCI - No longer cycle the port during port initialization

* Do not try to start the port during port initialization.  ST is not
  supposed to be set unless we detect a device on the port(?).

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

DEVFS - Fixed missed unlock when attempting to list a hidden directory

Reported-by: Sascha Wildner <swildner@crater.dragonflybsd.org>

Makefile.inc1: don't build aicasm

aicasm is built by the kernel Makefile, so there is no need to do this
from Makefile.inc1.

make upgrade: Remove a file that was existing with a dir name for a while.

mtree couldn't create the directory because of that.

This can't be fixed with Makefile_upgrade.inc so we need a bit of
additional code for such cases.

Sync LiveDVD kernel configs with GENERIC.

mtree: No longer create /usr/libdata/msdosfs.

make upgrade: Take back destroy_dev(9), it still exists.

Switch pkg_radd and pkg_search to appropriate CPU type path, i386 or amd64.

DEVFS - Wait an extra 2 seconds before looking for the root mount

* Some drivers pickup devices asynchronously in a manner which the
  intitial CAM probe does not cover.  Try to give these drivers a little
  extra time to pickup devices before mounting root.  This is a hack.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

DEVFS - Fix unprintables in serial numbers reported by the device

* Some device serial numbers contain weird punctuation and unprintable
  characters.  Replace unprintables and other weird characters with
  underscores.

Testing-by: Sascha Wildner <swildner@crater.dragonflybsd.org>

/etc/devtab: Fix wording in comments.

Adjust/cleanup fstab.5 a bit.

Add a tentative devtab(5) manual page.

GENERIC - add device kbdmux

* kbdmux should be part of the GENERIC kernel, as it solves a lot of
  multi-keyboard issues, if not all.

kbdmux - Add missing opt_kbd.h include

* Add missing opt_kbd.h include so that whenever KBD_INSTALL_CDEV is set
  in the kernel config, kbdmux also gets it kbdX installed.

Reported-by: Sascha Wildner

nrelease - generate git repos for pkgsrc and (if a gui build) src

* Ship a git repo for /usr/pkgsrc and (for the gui build) /usr/src.
  Installations from the ISO can then do an incremental update using
  the git repo as a base right off the bat, saving users a lot of
  time and effort.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

nrelease - Redo /usr/Makefile to use only git repos.

* Make and make help are now context sensitive based on what files
  already exist in /usr/pkgsrc and /usr/src (if any).

* Use git for the pkgsrc repo.

* Use a remote setup instead of git-clone to make it easier to add
  additional remotes.

libiconv: change mount_ntfs to use libkiconv.

Drop -W, add -C.

libiconv: convert NTFS to libiconv.

Partly-taken-from: FreeBSD

mount_msdos: Remove some /usr/libdata/msdosfs remains.

mount_cd9660.8: Reduce differences to FreeBSD a bit.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly