busdma(9): Add bus_dmamap_load_mbuf_segment()

See the comment in sys/bus_dma.h for detailed information
about this function.

Let bus_dmamap_load_mbuf() call this function with busdma tag's
segments and nsegments.

Inspired-by: FreeBSD's bus_dmamap_load_mbuf_sg()

nfe(4): busdma(9) fixes

On RX path:
- Unload busdma map iff the map has already been loaded
- Add missing bus_dmamap_sync()

On TX path:
- Reduce log verbosity
- Move buffer content's bus_dmamap_sync() to the proper place

Misc:
- Nuke unnecessary bus_dmamap_sync()

busdma(9): More bounce page bug fixing

Turn on BUS_DMA_MIN_ALLOC_COMP, iff we do allocate bounce pages for
the busdma tag.

busdma(9): Add tunable and read-only sysctl node for max # of bounce
pages per bounce zone.

nfe(4): Always set high part of the address if the NIC supports
40bits address space accessing.

nfe(4): busdma(9) correction

- Use bus_dmamem_coherent()
- Fix busdma(9) parameters

re(4): add missing BUS_DMA_WAITOK

bfe(4): Add missing BUS_DMA_WAITOK

bfe(4): use bus_dmamem_coherent()

Factor out bus_dmamem_coherent() to allocate busdma memory.
Mainly to avoid code duplication in various drivers.

Change bfe(4) according to recent busdma(9) bounce page fixes

Bounce page work

For NICs which support jumbo frame but need to allocate one TX
descriptor per segment, it does not make sense to allocate more
than one bounce page for a single TX mbuf busdma map.  Add
BUS_DMA_ONEPAGE, so callers of busdma(9) functions could give
hint that only one bounce page is needed for a busdma map.

Bounce page fix

- In bus_dma_tag_create(), make sure that:
  o  Alignment is power of 2
  o  Boundary is power of 2
  o  Max segment size is less than boundary
     Obtained-from: FreeBSD
- When counting the pages needed by maxsize, round up the maxsize to
  multiple page size first.
- For bounce zones, always round up its alignment and boundary to
  page size.
- Pass 'flags' to alloc_bounce_pages(), so we could assign 'mflags'
  to contigmalloc().

Bounce page fixes

- Free accumulated bounce pages in the bus dma map if we could not
  reserved enough bounce pages.
- In bus_dmamap_load_mbuf(), if _bus_dmamap_load_buffer() returns
  ENOMEM on non-first mbuf fragment, we adjust the error to EFBIG:
  o  There is at least one bounce page available, so we could expect
     that after mbuf defragmentation, enough bounce pages (normally
     one bounce page for non-jumbo frame) may be available.
  o  Most callers defragment the mbuf chain only if error is EFBIG.

Increase RE_TXDESC_SPARE to cooperate 9K jumbo frame.

Allocate at least one bounce page if the dma tag indicates bouncing
is needed.  Bug was found by forcing re(4) to bounce mbufs to lower
physical memory (re(4)'s TX and RX buffers use different bounce zones).

Split RX/TX bus dma tag.   RX buffers should to be aligned on 8 bytes.

Correct busdma(9) parameters

There should be no 2 bytes alignment requirement

Add assertion to make sure that the segment index is in valid range.

Add assertion to make sure that bounce zone is in sane state.

Free the bounce pages allocated and reserved by the busdma map,
if _bus_dmamap_load_buffer() fails because of too many segments.

- Use spinlock to protect bounce zone itself.
- Get MPLOCK and critical section for callback_waitinglist.

Use lwkt_token to protect bounce_zone_list

Move bounce_map_waitinglist into bounce page zone

_bus_dmamap_load_buffer2() -> _bus_dmamap_load_buffer()

Use _bus_dmamap_load_buffer2() in bus_dmamap_load_uio()

Count # of boune page reservation failure

Update if_oerrors if bfe_encap() failed and the mbuf was freed

Add bounce page zone.

It is used to group bounce pages with similar properties, i.e.
lowaddr, boundry and alignment.  A bounce page zone will be
reused, if a newly created dma tag has less strict requirements.

Obtained-from: FreeBSD

Rework bfe_encap()

Rework bfe_newbuf()

bfe_list_newbuf() -> bfe_newbuf()

Remove unused bfe_softc fields

- Split RX/TX mbuf dma tag.
- Create a tmp dma map for RX mbuf, which will be used when rework
  RX path.

Fix parameters passed to bus_dma_tag_create()

Fix warning about uninitialized variable (should be an error)

Use _bus_dmamap_load_buffer2() in bus_dmamap_load_mbuf()

Add BUS_DMA_NOWAIT support to _bus_dmamap_load_buffer2()

Obtained-from: FreeBSD

Factor out _bus_dmamap_load_buffer2() from bus_dmamap_load().
This is the first step toward replacing _bus_dmamap_load_buffer() with
_bus_dmamap_load_buffer2(), which has bounce page handling code.

Fix the number of needed bounce pages' calculation

Obtained-from: FreeBSD

- Make sure that alignment constraint is at least 1 (no alignment constraint).
- Add commented out code, which inherits alignment constraint from parent
  dma tag. (need to fix some drivers, e.g. bfe(4), before uncomment it)

Fix dma tag boundry calculation.

Obtained-from: FreeBSD

Bring in BUS_DMA_COULD_BOUNCE flag from FreeBSD.
Currently it only means that the dma tag's low address is less than max
phisical memory.  However, this flag will be used when alignment constraint
is obeyed.

Adjust some perl & tcl related things in various scripts & utilities.

* Change path in scripts to /usr/pkg/bin/perl.

* vi(1) is built with neither perl nor tcl support. Clean up the Makefile
  and remove dirs from /usr/share/vi.

Unbreak kernel build and fix some warnings.

uio.h: Move definition of struct iovec to <sys/_iovec.h>.

* Make iov_base a void * and fix a resulting warning in lpr(1).

* Include <sys/_iovec.h> in <sys/socket.h>.

Taken-from: FreeBSD

_null.h: If g++ 4.1 or any later version is used, use __null for NULL.

This change makes the sentinel attribute work correctly in C++.

It's similar to a recent FreeBSD change:
http://lists.freebsd.org/pipermail/svn-src-all/2009-January/004266.html

We don't check __GNUG__ since it is __cplusplus && __GNUC__ and we check
__cplusplus already.

Approved-by: hasso

zic(8) & libc/stdtime: Reduce #ifdefs a bit.

libstand.3: add HAMMER and MS-DOS filesystems and improve mark-up

nrelease: kernel moved to boot, make kernel.BOOTP there

Relase Engineering - Update loader-bootp.conf for new "boot/" prefixed paths

Update the default loader-bootp.conf and related manual pages to use
modern "boot/" prefixed paths.

telnetd: filter potentially dangerous env vars passed from telnet client

This is the same as f813782276c9c93ba7fdca9011c120626dce86e4, just for
the other copy of telnetd, which is actually used per default.

pxe/tftpboot work - Allow multiple responses to broadcast query

The PXE boot loader may use a broadcast address to query for files via
TFTP, resulting in multiple responses.  Accept the first DATA response
and keep track of the last ERROR response if no DATA response is received.

The first DATA packet locks the server IP for the tftp transfer.

Bring in some structure options (__packed, etc) from FreeBSD plus a fix
to an address increment in the code.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Boot loader fixes - fix recursive malloc()/free() errors, NULL freed fields

* Fix reported loader panics related to corrupt malloc areas.  The zip/gzip
  modules were using a static variable to hold malloc()ed space.  The
  field was getting tromped by recursion.

* Fix numerous cases where file structure fields are not NULL'd out upon
  release.

* Fix numerous cases where a double close might result in a double free.

* Fix a benign bug in libstand's realloc().

Fix libstand's filesystem close callback.  The passed file pointer's
f_fsdata field must be NULLed out.

telnetd: filter potentially dangerous env vars passed from telnet client

Obtained-from:  NetBSD revision 1.6 date: 1995-10-18 06:44:26 +0100
Reported-by: Trevor Kendall <trevorjkendall@gmail.com>

Change handbook links

Handbook is now on ikiwiki and no longer on the moinmoin wiki.
Remove to entries from the index.html which does not exists.

Silence some -Wold-style-definition warnings.

Fix hang in dntpd startup when network down.

Reported-By: Hasso Tepper <hasso@estpak.ee>
Dragonfly-Bug: <http://bugs.dragonflybsd.org/issue1243>
Fix-Suggested-By: Matthew Dillon <dillon@apollo.backplane.com>

ficl: unbreak testmain build

Makefile.usr: add path to pkgsrc-all tar file

nrelease: clean up Makefile and sync man pages & Makefile.usr

 * nrelease/Makefile: fix a few typos,
   change name of `syssrcs` target to `srcs`, to reflect current use and
   remove traces of old installer_* targets.
 * etc/Makefile: update name of src-sys tar file from nrelease and
   add targets for newly added src-all and pkgsrc-all tar files.
 * release.7: update to current method: only binary package downloaded is cvsup
   and add description of a few more variables.
 * development.7: add short description of /usr/Makefile.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Change pkg_radd to postfix DragonFly-x.x.x onto the path.  This will work in
conjunction with the new pkgbox redirect CGI which no longer post-pends
the OS path, and softlinks in the packages/ sub-directory to point to the
correct quarterly release.

vnconfig: Print better msg when neither regular file nor -S is specified.

If no regular file is specified, vn(4) by default will use swap for backing
store. If swap size is missing also, print a smart warning instead of the
cryptic: "Numerical argument out of domain".

Submitted-by: Stathis Kamperis <ekamperi@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1279>

hammer boot2: reset file offset each time we're looking up a new inode

The boot2/ufs code used the implicit assumption that the file offset
gets reset each time a new inode is looked up.  We have to follow this
behavior, or else reads will always start from the last offset of the
last file.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix long-standing bug in boot1 code - can read junk from fake partition table

boot1 reads the MBR to locate the BSD partition type (0xA5).  However, to
reduce the size of the boot1 code the 32 bit LBA for the MBR was being
loaded via the fake partition table at label 'part4', which was assumed to
contain a LBA of 0.  Unfortunately this portion of the boot1 code is not
usually written by the disklabel program and may contain garbage.

For the last few years we have worked around the issue by zeroing out
the label area before installing a new label.  We still have to do this
to avoid disklabel32/disklabel64 confusion, but with this fix forgetting
to zero the area should not cause a properly installed disklabel to fail
to boot properly.

To fix the problem, add the necessary instructions to generate a 32 bit
LBA of 0 directly for reading the MBR.  They barely fit.

Mention the variables added by 3b25fbd435d9ee6d47af7128014528e2fadfb5e5
which affects the name and the location of the kernel/modules.

Sync several manpages in section 9 with reality and clean up a bit.

DEV_MODULE(9):
    - adjust example

devtoname(9):
    - dev_t is cdev_t now

make_dev(9):
    - dev_t is cdev_t now
    - make_dev() takes dev_ops as its first argument
    - obtain a reference to cdev_t, so we can destroy it later
    - don't forget to call dev_ops_remove() during shutdown

vcount(9):

    - document count_udev(9)

Submitted-by: Stathis Kamperis <ekamperi@gmail.com>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1269>

Set the default DESTDIR to /var/vkernel when the platform is vkernel.

This saves some keystrokes as long as you use the standard installation
location for vkernel(as shown in vkernel(7)).

Add two variables to adjust where to install kernel and modules.

DESTLABEL common suffix added to kernel and modules directory.  for
example, `make DESTLABEL=test installkernel' installs them
as /boot/kernel.test and /boot/modules.test, respectively.

DESTKERNDIR where to install kernel and modules, /boot by default.

Add /sys/conf/kern.path.mk to define default paths for kernel and modules.
Also move KMOD* definitions to /sys/conf/kmod.mk where it really belongs.

Submitted-by: Stefan Johannesdal <stefan.johannesdal@gmail.com>
with a slight modification by me.

nrelease: Exclude distfiles as well when we tar pkgsrc.

Release Engineering: Enhance gui PFI to auto-detect xorg or curses

Add an "auto" feature for pfi_frontend and change the default to "auto".
Adjust the gui/usr/local/bin/installer script to accept "auto" and set
pfi_frontend to "xorg" or "curses" based on the existance of the DISPLAY
variable.

zoneinfo & zic(8): Sync with tzcode2009b & tzdata2009b from elsie.

* zic.c: Fix fencepost error.

* leapseconds: Updated to reflect no mid-2009 leap second.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

HAMMER VFS: Correct a ref count leak in the recent I/O invalidation work

Correct a ref count leak in the recent I/O invalidation work.  This could
lead to permanently referenced hammer_buffers and prevent reservations
from terminating.

Reported-by: Michael Neumann <mneumann@ntecs.de>

installer: Correct typo in a comment.

Release Engineering: nrelease work, more didbootstrap, include pkgsrcs, and more

* Include full sources on the DVD release (tar cz'd) - 90M

* Include the full pkgsrc tree on both the CD and DVD release (tar cz'd) - 26M

* More cleanups

* Hack fixed for .didbootstrap.  clean target combinations were not resolving
  the .if tests in the expected way.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Release Engineering: nrelease and GUI build adjustments

* Add a 'restartpkgs' target to the nrelease Makefile

* If /usr/src is not owned by root properly chown cpdup'd files to root.

* Quiet superfluous errors during certain tests

* Gui build: Do not automatically start X.  Provide instructions instead.
  Otherwise the DVD can take forever to boot.  Remove related hacks.

* Gui build: Change the default shell to csh.

Release Engineering: nrelease build fixes - adjust MFS sizes and .zshrc

* Increase the MFS size for /var in the gui build from 16M to 128M.
  The package db doesn't fit in 16M.

* Remove the '*' in the 'du' alias in the gui .zshrc

ubsa(4): Move HARDWARE section below DESCRIPTION.

rc.d/nfsclient: delete obsolete flag for rpc.umntall(8)

installer: change `atacontrol' to `natacontrol'

`atacontrol' doesn't work with default kernel, GENERIC,
as it uses `device nata'.

Adjust the ${ISODIR}/.didbootstrap logic a little, add needed licenses.

Adjust the bootstrap logic a bit and add the following licenses to
the release build's mk.conf so the gui packages all build:  The
openmotif-license and the vim-license.

Add new option to pkg_search

-d will download the pkg_summary(5) file for you.  If it is already installed,
it get's overwritten.  This is useful for users using only binary packages.
After a release -d will give you the new list of packages available for that
release.

Shift link for 2.2

We already have packages for 2.2 on pkgbox and the mirrors.

nrelease: Restrict swap size to 8GB for now.

Merge commit 'chlamydia/master'

vnconfig: Fix printing of inode

uuids.5: Fix error and improve wording

 * UUID is 128 bit; not 64 bit

jscan: Fix SYNOPSIS and sync usage()

diskinfo: Add description of flags, fix SYNOPSIS and sync usage()

ccdconfig: Improve markup & sync usage()

 * Fix SYNOPSIS: problems in `...' use
 * Sync usage() to SYNOPSIS
 * Add reference to disklabel64(8)
 * Add markup
 * Break long command lines in examples
 * Start sentence on new line

strfile.8: Add missing `C' flag to SYNOPSIS.

nrelease: Add /tmp to the list of nohistory directories.

sh.1: Fix markup.

A few ``...'' wasn't marked as arguments.