Decrease the number of reported stray interrupts from 100 to 10. Problems
with stray interrupt 7 seem to be common nowadays when many computers don't
have parallel ports at all.

Clean it up a little bit

Remove old time zone files.

* Update to Ficl 3.03:

  - Newly implemented CORE EXT words: CASE, OF, ENDOF, and ENDCASE. Also
    added FALLTHROUGH, which works like ENDOF but jumps to the instruction
    just after the next OF.
  - Bugfix: John-Hopkins locals syntax now accepts | and -- in the comment
    (between the first -- and the }.)
  - Bugfix: Changed vmGetWord0() to make Purify happier. The resulting
    code is no slower, no larger, and slightly more robust.

* Instead of just not defining a bunch of words when TESTMAIN is set,
  provide stubs that at least handle the stack correctly.  This makes it
  much easier to experiment with loader scripts from userland.

Taken-from: FreeBSD

HAMMER 36/many: Stabilization pass.

* Assert that no cursor linkages remain when releasing the last ref on
  an inode.

* Rewrite the node lock upgrade and downgrade code and fix a bug where
  a no-error (0) from locking the cursors parent was overriding a
  possible error from locking the cursors current node, which could
  result in B-Tree node corruption or an assertion later on.

Add configuration to generate packets with different [sd]port and/or [sd]addr
in round-robin fashion.

Add tunable for polling burst max, which is a significant tuning parameter
in addition to polling hz for polling(4) operation

Add two tunables to run netisr and udp_thread without mplock, so experiment
could be conducted under controlled environment.
Default values of these two tunables are to run netisr/udp_thread with mplock.

ifaddr threads does not need MP lock

Add MPSAFE version of netmsg_service_loop()

Pull back part of rev1.7

Fix layout.

Submitted-by: Andreas Burghardt <a-burghardt@gmx.de>

Install into /usr/sbin

Make sure there is no possibility of a cothread trying to access the
per-cpu globaldata space.  cothreads operate like coprocessors and run
outside the cpu abstraction, and thus have no per-cpu abstraction.

Remove debug prints

Fix bugs concerning cached route entry in UDP inpcb.

For an unconnected and unbound UDP socket, first sending calls in_pcbladdr()
to fix the local port, which may change the target CPU of the next sending.
in_pcbladdr() has a side effect to allocate the route entry cached in inpcb.
If the target CPU after in_pcbladdr() is no longer the current CPU, then
the route entry will be accessed/freed on non-owner CPU during later sending.
Similarly, connect/disconnect a UDP socket may change the target CPU too; the
target CPU may no longer the owner of the cached route entry.

So, for the first sending happens on an unconnected and unbound UDP socket,
the target CPU of next sending is compared with the current CPU.  If they
are different, then cached route entry will be freed, so next time a packet
sent on this socket, a new route entry owned by the correct CPU will be
cached.  Same target CPU check is applied to UDP socket connect/disconnect.

Originally UDP PRU_CONNECT always happens on CPU0, which will cause problem if
following conditions are met:
- Dst of the cached route entry is different from the dst to be connected
- Cached route entry is not allocated on CPU0
This could happen if two datagram are sent on an unbounded and unconnected UDP
socket, then later connectting this UDP socket will cause cached route entry
being freed on different CPU.  To solve this problem, PRU_CONNECT is dispatched
according to existing [lf]{addr,port} pairs.

If in_pcbladdr() fails after altering the cached route entry, the cached route
entry is freed to make sure that freeing this cached route entry happens on
its owner CPU.

Reported-by: y0netan1@
Tested-by: y0netan1@

Add kernel module and a simple configure tool to generate packets at full speed

Sending host:
  Athlon64 X2 3600+
  em(4) (1000PT), hw.em0.int_throttle_ceil set to 4000
  Result of a 10 seconds test:
  cnt 14475256, err 0, time 9.990372

Receiving host:
  Turion64 X2 TL-58
  msk(4) (Yukon EU), hw.mskc0.intr_rate set to 4000
  Output of 'netstat -w 1 -I msk0':
            input         (msk0)           output
   packets  errs      bytes    packets  errs      bytes colls
         0     0          0          0     0          0     0
         0     0          0          0     0          0     0
    103556     0    6213360          0     0          0     0
   1465259     0   87915540          0     0          0     0
   1461728     0   87703680          0     0          0     0
   1463788     0   87827280          0     0          0     0
   1456630     0   87397800          0     0          0     0
   1459206     0   87552360          0     0          0     0
   1464240     0   87854400          0     0          0     0
   1468240     0   88094400          0     0          0     0
   1464305     0   87858300          0     0          0     0
   1468011     0   88080660          0     0          0     0
   1200293     0   72017580          0     0          0     0
         0     0          0          0     0          0     0

HAMMER 35C/many: Stabilization pass.

* The reblock code was only adjusting the data offset for B-Tree elements
  when moving records containing in-line data.  Also adjust the offset in
  the record itself.

* Allow nrelease/Makefile to build the local installer in usr.sbin
  onto a LiveCD for installation.

* Tweak the installer shell scriptage to use the correct installer.

* Create a share/installer directory for installer data
  (e.g. cmdnames.conf, fred.txt)

* Patch the installer so it does not coredump, and identifies itself
  as the local installer.

* Tweak usr.sbin/installer/Makefiles to allow patches to the
  installer to be automatically included in the build.

Please test the new local installer! Thanks. :)

HAMMER 35B/many: Stabilization pass, cleanups.

* Fix a B-Tree node load race which could result in an assertion.  A
  B-Tree node load is backed by a hammer_buffer and can race a buffer
  teardown.  Interlock the two and properly deal with a loading
  B-Tree node whos buffer gets ripped out from under it.

* Fix an ordering issue with the volume->io.loading field, plus some
  cleanups.

HAMMER utilities: Add -lm for double arithmatic.

HAMMER utilities: automatic sync/sleep

* Add 64 bit versions of the 'now' and 'stamp' commands, called
  'now64' and 'stamp64'.

* The 'now' and 'now64' commands now automatically sync.

* The 'now' command also sleeps until the second hand turns over.

* Add a new option, -x, which may be used to disable the automatic sync &
  sleep.  The stamp and stamp64 commands do not sync or sleep.

Suggested-by: "Thomas E. Spanjaard" <tgen@netphreax.net>

HAMMER 35/many: Stabilization pass, cleanups

* Fix a buffer load race which could result in an assertion or panic
  related to a referenced HAMMER buffer with a NULL bp.  The problem was
  that the loading flag must be used when releasing the buffer as well
  as when acquiring the buffer.  Change the loading flag to a loading
  count.

* Do not lose flush requests.  The flush request now stays flagged until
  the buffer is able to be flushed.

* Fix stale blockmap offsets cached in hammer_buffer.  Clear the cached
  offset when freeing a big block from the blockmap.  NOTE: We do not yet
  try to index buffers based on the blockmap offset but we should.

* Remove the old write ordering code in preparation for redoing the algorithm.

* General code cleanups.

gx(4) and ray(4) are gone

Bring in some fixes from FreeBSD.

Rename PCIP_STORAGE_SATA_AHCI to PCIP_STORAGE_SATA_AHCI_1_0

Sync zoneinfo database with tzdata2008b from elsie.

asia:           8.14 -> 8.18
backward:       8.4  -> 8.6
northamerica:   8.20 -> 8.23
southamerica:   8.18 -> 8.19
zone.tab:       8.13 -> 8.16

From Arthur David Olson's comments:

* Iraq abandons DST.

* Syria switched (from 2008 forward) to start DST at the start of the first
  Friday in April and end DST at the start of October 1.

* Change Cuba (from 2008 forward) to start DST the third Sunday in March.

* Add America/Argentina/San_Luis information.

* "Saigon" zone renamed "Ho_Chi_Minh".

* "Calcutta" zone renamed to "Kolkata".

Synchronize various changes from FreeBSD.  This is not exhaustive but gets
the most important patches.

* Better AHCI detection and reporting.
* More robust AHCI chipinit.
* Fixes for additional chipsets which do not support 64K DMA transfers
* VIA8237S support
* Hitachi detection logic.
* Vendor identification for otherwise unidentified chipsets.
* keep ivars intact on atapi-cd reinit.

Remove ipw(4) remains.

Nuke debug prints.

Noticed-by: swildner@

Add Broadcom 4402 in bfe(4)

Obtained-from: Linux b44

regen

Add PCI id for Broadcom 4402 10/100 ethernet controller

HAMMER 34B/many: Stabilization pass.

Lookups on non-data in-memory records (aka symlinks) were failing, causing
readlink() to fail prior to the record being synchronized to disk.  Fix
the memory record search code to properly handle ASOF.

buildworld now completes with a HAMMER /usr/obj.

Add mount_hammer, newfs_hammer, and the hammer utility to the build.

Bump .Dd for -V.

Fix collision in conf/files, add hammer_signal.c.

Add a FS_HAMMER id for disklabel.

Bump cpdup's version to 1.08.

Miscellanious features and adjustments to cpdup.

* Add the -V option to cpdup.  If specified cpdup will verify the contents
  of regular files which otherwise appear to be the same.

* Only MD5 regular files.

* Separate out target bytes read from source bytes read, and do not count
  the stat structure as bytes read.

* Track the number of hard-links created and report in -I output.

Remove ipw(4) module and manpage during upgrading

Remove ipw(4) manpage

GC ipw(4)

Remove ipw(4) from LINT building and module building

- Set number of TX descriptors to 512.
- Add interrupt moderation support in msk(4).
- Add a sysctl node for interrupt rate, which is disabled by default. (*)

Obtained-from: Marvell's myk(4)

#
# Set interrupt rate to 4000(/sec) on Yukon EC(rev2):
# - If the other side sends at 200Kpps, interrupt time will be reduced from
#   50%-70% to 30%-50%
# - If msk(4) is used to blast packets, interrupt time will be reduced from
#   35%-40% to 25%-%35 and packet rate will be increased by 10Kpps-15Kpps
#

# (*) Marvell's myk(4) uses different clock for EC_U/FE/XL than the value set
#     in mskc_attach(), due to lack of document, it is unclear which clock is
#     correct, so disabling interrupt moderation timer by default is the safest
#     choice.

HAMMER 34/many: Stabilization pass

* Fix a node reference count leak in hammer_btree_lock_children().  This
  was resulting in a panic at umount time.

* Fix a misordered lock in hammer_cursor_up() which could result in
  an assertion in the B-Tree iteration code.  The cursor-up code was
  resolving the parent index prior to acquiring a shared lock on the
  parent node.  An insertion by another thread could do a split and
  change the parent index.  The shared lock must be acquired first.

* Add additional debugging output and add additional assertions.  HAMMER
  now has 205 assert lines in the code.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx> (umount panic)

We must hold the lwp we are trying to kill to prevent it from being
ripped out from under our loop due to lwpsignal() potentially blocking.

This fixes a crash which can occur when killing a multi-threaded program.

Remove old function (no longer used since r1.25).

Remove unused variables.

- Nuke last parameter of ether_ipfw_chk(), which is always FALSE
- Remove trailing white spaces

Change ether_demux() interface to accept mbuf containing ether header.

Typo

HAMMER 33C/many: features and bug fixes.

* Add a signal test for long-running ioctl's which allows them to be
  interrupted.

* Assert that a record update's delete_tid does not match it's create_tid
  and fix a case in the rename code and another case in the inode update
  code where this could occur.

* Add a feature to the pruning ioctl that the new snapshot softlink
  option for 'hammer prune' needs.

* Fix a minor overflow assertion in the transaction code.

Remove calls to pmap_clear_modify() in the swap_pager, fixing a kernel panic.
The modify bit is cleared by the pageout code's call to vm_page_protect()
and does not need to be cleared again.

The pmap code cannot safely access non-kernel pmaps from the interrupt
service routine it uses to process the asynchronous I/O completion.  These
non-kernel pmaps are present because the pageout code protects the page
with VM_PROT_READ (which is desireable) rather then VM_PROT_NONE.

HAMMER utilities: feature add.

* Add an option to hammer prune which creates softlinks to available
  snapshots based on the pruning regimen.

A threaded process going into SZOMB may still have active threads which are
in the midst of exiting.  Wait for those threads to exit before trying to
reap the master thread.

This fixes a crash where kern_wait() improperly reaps threads other then the
master thread.

Improve vkernel support.

* Add a new cothread API for vkernel drivers.  This creates real threads
  to act as DMA engines for I/O.  These threads operate OUTSIDE the
  vkernel's cpu abstraction and thus work with UP builds or SMP builds with
  -n 1.

* Asynchronize the virtual disk (vkd).   VKD now queues I/O to a cothread
  which runs it and then generates a signal to the vkernel's cpu 0 to run
  the virtual device's 'interrupt' function.

* The new cothread code works better then the kqueue code because it allows
  I/O's to be ganged together for bulk operation without causing a signal
  for each one.  The kqueue code is still used by VKE but should
  be considered obsolete.

Update our README for the 1.0.5 import.

Merge from vendor branch BZIP:
Import bzip-1.0.5 which fixes CVE-2008-1372.

Import bzip-1.0.5 which fixes CVE-2008-1372.

HAMMER 33B/many: Further B-Tree fix.

* The last commit didn't get all the cases.  This one should.

HAMMER 33/many: Expand transaction processing, fix bug in B-Tree

* Expand transaction processing to cover more of the code space for
  upcoming undo code.

* Fix a bug in the btree_split_leaf(), the separator would sometimes not
  properly be to the left of the split point, resulting in a panic.
  Temporarily add many more assertions to btree_split_leaf().

* Improve the critical path for blockmap lookups, the (newly) passed trans
  already contains a referenced root volume so the blockmap code does not
  have to acquire one.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx> (B-Tree bug)

Tiny step to keep ether header in mbuf on ethernet input path:
- ng_ether_input_p does not need interface to release its serializer.
- Instead of letting ng_ether_input_p glue back ether header, we simply
  pass mbuf with ether header to it.  Change ng_ether_input_p interface
  accordingly.

- Factor out ether_restore_header() from ether_ipfw_chk() and
  ether_output_frame()
- Add statistics to count number of ether header restoration and number of
  ether header restoration which needs mbuf prepending

HAMMER 32B/many: Reblocking work.

* Fix a bug in the record reblocking code.  data_offset's representing
  data embedded in the record itself must be shifted when the record
  is shifted.

Nuke stack variable which is only used by INVARIANTS

Reminded-by: swildner@

Sync Bluetooth stack with NetBSD.

Obtained-from: NetBSD via OpenBSD

Remove unneeded argument.

Protect macros with "do { } while(0)" where needed.

HAMMER utilities:  Add the reblock command, adjust newfs_hammer.

* Implement 'hammer reblock'.  This calls the reblock ioctl to force
  a HAMMER filesystem to scan its B-Tree and reblock partially empty
  big blocks.

* newfs_hammer must create the undo FIFO blockmap.

HAMMER 32/many: Record holes, initial undo API, initial reblocking code

* Add code to record recent 'holes' created by the blockmap allocator
  due to the requirement that data blocks not cross a 16K hammer buffer
  boundary, in order to try to fill in the gaps with smaller chunks of data
  when possible.

  Currently a hole is not added for blockmap frees.  It is questionable
  whether it is a good idea to do it for frees or not, because it can
  interfere with the reblock code's attempt to completely free a big block.

* Add a reblocking ioctl which scans the B-Tree and reblocks leaf nodes,
  records, and data in partially empty big blocks to try to free up
  the entire big block.  Incomplete (needs to reblock internal B-Tree nodes
  and doesn't yet, needs a low-free-space mode which focuses on freeing
  a single large block).

* Add the API infrastructure required to implement the undo records,
  and implement the initial undo code (sans ordering requirements for
  writes).  Incomplete.

Mention recent added ioctls in bpf man page.

Reminded-by: swildner@

xref nfe(4) <-> vlan(4) (MCP55 supports hw vlan tagging)

Add a bus_space(9) manual page.

Taken-from: FreeBSD (with minor modification)

Regenerate miidevs.h.

10Base-TX -> 10Base-T and 1000Base-TX -> 1000Base-T. Although 1000Base-TX
standard itself even exists, there is no commercial products AFAIK.

Rework vlan configuration processing:
- vlan config, unconfig and multicast filter programming is now serialized
  by netisr0, so that no one could sneak in when a vlan interface's
  serializer is released during configuration.
- vlan's serializer is released before reprogramming parent interface's
  multicast filter to avoid possible dead lock.
- Factor out vlan_clrmulti() from vlan_unconfig() and vlan_setmulti().
- Register vlan module for the ifnet_detach_event
- Create per-cpu vlan trunk on parent interface.  Creating and destroying
  of these trunks is serialized by netisr0.  Add a "staw man" vlan trunk
  implementation using linked list. (*)
- Turn on vlan's IFF_RUNNING only if we are asked to do so.
- White space and minor style changes.

# (*) is not used on input path yet

Add ASSERT_NOT_SERIALIZED

Add some lines on how to MFC to specific branches.

Suggested-by: aggelos

The i386/amd64 abi specifies that the direction flag must be clear
on function entry. Newer versions of gcc (>=4.3) depend on this
behavior (and reportedly so does icc), so make sure the flag is
clear when running a signal handler.

Make sure lo0 is brought up before any other interfaces to avoid problems
if network startup script is interrupted by user.

Introduce two new ioctl(2) commands, BIOCLOCK and BIOCSETWF. These commands
enhance the security of bpf(4) by further relinquishing the privilege of
the bpf(4) consumer (assuming the ioctl commands are being implemented).

This change is needed to properly support some programs from OpenBSD, such
as pflogd and dhclient.

Reviewed-by: sephe@
Obtained-from: OpenBSD via FreeBSD

Nuke unneded include.

Submitted-by: Robert Gauthier <321.robert@gmail.com>

Merge from vendor branch BSDINSTALLER:
Installer import into contrib (real import this time)

Installer import into contrib (real import this time)

Add some substitutions to groff/Makefile.inc and fix pdfroff's Makefile
so that it's actually run through sed.

This makes pdfroff work as advertised.

Installer import

Fix buffer overflow in ppp command prompt parsing (OpenBSD errata 2008-009).

Obtained-from: OpenBSD

Add ETHER_BPF_MTAP() which will call vlan_ether_ptap() for packets whose vlan
tagging is offloaded to NIC.

Obtained-from: FreeBSD

Remove #ifndef __cplusplus around wchar related stuff in include/wchar.h
and sys/sys/stdint.h headers. It allows to build libstdc++ with std::w*
(wstring, wint_t etc) support.

Amongst others fixes building boost libraries with g++41.

Approved-by: corecode@

Factor out vlan_ether_ptap() from vlan_input_tag()

- Embed ether vlan tag in mbuf packet header.  Add an mbuf flag to mark that
  this field is valid.
- Hide ifvlan after the above change; drivers support hardware vlan tagging
  only need to check ether_vlantag in mbuf packet header.
- Convert all drivers that support hardware vlan tagging to use vlan tag field
  in mbug packet header.

Obtained-from: FreeBSD

Change the vlan/parent serializer releasing/holding sequences into mbuf
dispatching.  There are several reasons to do so:
- Avoid excessive vlan interface serializer releasing/holding
- Touching parent interface if_snd without holding parent's serializer is
  unsafe
- vlan's parent may disappear or be changed after vlan's serializer is released

# This dispatching could be further optimized by packing all mbufs into one
# netmsg using m_nextpkt to:
# - Amortize netmsg sending cost
# - Reduce the time that parent interface spends on serializer releasing/holding

Add 'volatile' qualifier

Set framelen to 0; it might be used without being initialized

Better handle restarting a previously aborted build by adding a protective
umount (ignoring the exit code).

This goes into the clean target because otherwise clean would choke on
${ISOROOT}/tmp/packages being read only.

Requested-by: dillon

Move new sentence on a new line.

Forgot one.

Add an initial iwl(4) manual page.

Add iwl

- Nuke no longer needed .PATH
- Rearrange SRCS a bit