kernel -- Prevent POSIX MQ from overflowing malloc zones.

UPDATING: Use '-' instead of '=' for underlining to avoid git confusion.

<float.h>: Use compiler builtins for some constants, if they are available.

I've left the original values in as fallbacks, should any compiler have
no builtins. But they are no longer used for the GCCs with this commit.

groff: Fix a gcc44 warning.

csh(1): Remove redundant check (silences gcc44 warning).

Fix buildworld (netstat(1)).

Taken-from: FreeBSD

mptable: Assign index for each IOAPIC

IOAPIC information is saved into list ordered by ascending order
of IOAPIC's APIC ID and each IOAPIC is assigned an index according
to the order.

In this way we could use IOAPIC information extracted from ACPI
MADT and MPTABLE in the same fashion when routing PCI interrupts,
i.e. using index instead of APIC ID.  It has been observed that on
some machines, the APIC ID of IOAPIC in ACPI MADT is different from
the one in MPTABLE, but the order (index) is same.

PCI interrupt routing information now saves IOAPIC's index instead
of IOAPIC's APIC ID.

growfs(8): Silence a gcc44 warning.

mptable: Simplify bus id duplication check logic

Update queue(3) for the REMOVE_NEXT -> REMOVE_AFTER rename.

While I'm here, sync with FreeBSD:
-Remove extra note about O(n) removal.

Obtained-from: FreeBSD

Fix forgotten _REMOVE_NEXT -> _REMOVE_AFTER rename.

atmarpd(8) & scspd(8): Silence some gcc44 warnings.

ppp(8): Silence some gcc44 warnings.

spppcontrol(8): Silence some gcc44 warnings.

window(1): Fix a gcc44 warning.

While here, remove an unused file which I missed when I upgraded it to
NetBSD's.

<sys/queue.h>: Sync with FreeBSD

-Add _SWAP macros.
-Avoid corrupting the list or queue if _REMOVE is invoked with a
reference to the head and QUEUE_MACRO_DEBUG is defined.
-Rename _REMOVE_NEXT to _REMOVE_AFTER since the name matches the _INSERT
macros.

Obtained-from: FreeBSD

Remove insque()/remque() from kernel code.

This transitions everything over to using the appropriate macros from
<sys/queue.h>.

IPX/SPX:  Remove unused code.

kernel: Fix the remaining gcc44 warnings for the kernel.

aicasm: Add two YY_NO_INPUTs (silences gcc44 warnings).

gcc44: Don't emit warning about inline failure due to optimization

gcc44 tries to guess the hotness of the code path and refuses to inline
functions on cold code path even if the function has __inline attribute.
The warning caused by this kind of inline failure is extremely annoying
and it actually has nothing to do with possible software bugs.

kernel - Refactor dsched ref/unref routines

* Refactor the dsched ref/unref routines to handle 1->0 transitions
  atomically and to properly deal with 1->0 races related to any
  re-referencing of the structure which can occur concurrently.

  Such races can occur because the structure must acquire other locks
  while removing itself from the various lists it is on and thus can
  be accessed via those lists in the mean time.

  Instead of using -0x400 as a separate atomic op after a 1->0 transition
  we directly transition from 1 to 0x80000000, removing a race condition.

  This also allows temporary references to be made during destruction.

* Get a temporary ref and re-check flag state after acquiring a lock to
  determine if the structure in question is still on the list we are trying
  to remove it from.

kernel - Use do/while sequences to protect multi-line dsched macros

* Use do/while sequences to protect multi-line dsched macros in case
  they are used in statement sequences without braces, as in
  'if (fubar) dsched_macro;', or similar circumstances.

libstand/printf.c: Oops, fix a braino.

libstand: Sync libstand's printf() with FreeBSD.

The main change is to add various missing conversions, such as %ll, %j, %q,
%z, %X, %h, %hh etc.

kern.mk: Prevent gcc4.4 from generating SSSE3, SSE4 and AVX instructions

kernel: Don't store FPU status into the reserved area of fxsave

Since each time before the old sv_ex_sw is accessed, fnstsw() is
always called, it no longer makes any sense to save the temporary
in the reserved area for fxsave.  And more important: saving the
FPU status into fxsave area overwrites saved xmm register value.

ps(1): Use alias syntax for the 'comm' alias.

kernel - Major bridging functionality added (bug fixes)

* The root bridge was not taking into account the peer's weightings when
  calculating path costs.

  In order to do this the root bridge must use available peer info.  The
  peer info should already include both the local and remote's path costs
  since 'we' are the root, so our path cost will already be directly
  incorporated in the path cost the peer reports to us.

* Fixes issue where not-weighted path costs on root bridge were not
  synchronized with the weighted path costs of one or more of its peers.

Use g++ 4.4 from base for CCVER=gcc46.

Add 'pcc' as a CCVER value (using /usr/pkgsrc/lang/pcc-current).

It doesn't compile a full world or kernel yet but is quite fast and
a lot of our stuff builds with it (bin/, games/, secure/, most of
sbin/ and usr.bin/ and probably more).

If anyone wants to look at the remaining issues, be our guest.

kernel: Use the system's offsetof() macro instead of cooking our own.

While here, #undef ROUNDUP again after usage.

gnu/lib/csu: Add -fno-asynchronous-unwind-tables to the CFLAGS.

Quoth FreeBSD's commit msg:

Often reported issue with newer ld is:
error in /usr/lib/crtendS.o(.eh_frame); no .eh_frame_hdr table will
be created.

The issue is that crtend is compiled with unwind table, and also it
places the special CIE into the .eh_frame indicating the end of
section, that is located before generated unwind table. New ld has
assertion that verifies that closing CIE is indeed the last CIE,
causing the crypting message to be issued, and refusing to generate
dwarf unwind.

Add -fno-asynchronous-unwind-tables to disable unwind table generation
for crtbegin/crtend.

Taken-from: FreeBSD

kernel: Remove some variables that are set but not used.

lib/csu: Fix typo

lib/csu: Remove a redundant -Wall in the Makefile.

kernel: Comment out some unused functions.

mly(4): Put mly_timeout() under MLY_DEBUG where it belongs.

kernel - Fix incorrect inode wait code in HAMMER

* Fix incorrect code t wait for an inode flush to finish.  This should also
  fix the reported assertion.

  Any bugs in this new code would likely result in process stalls instead
  of panics, so watch for that possibility.

Reported-by: Venkatesh Srinivas <vsrinivas@dragonflybsd.org>,
     Peter Avalos <peter@theshell.com>

librt: Fix buildworld by putting some unused variables in #if 0.

While here, use #if 0 for #ifdef notyet in the committed part, too.

ifconfig(8): Change constructor priorities from 100 to 101.

This silences some gcc44 warnings.

Constructor priorities are bounded between 101 and 65535 inclusive.
0 to 100 are reserved for the implementation.

See also:

http://gcc.gnu.org/onlinedocs/gcc/Function-Attributes.html
http://gcc.gnu.org/onlinedocs/gcc/C_002b_002b-Attributes.html

Add YY_NO_INPUT to a number of lex(1) input files (silences gcc44 warnings).

librt -- AIO: Implement SIGEV_THREAD for AIO completion notification.

SIGEV_THREAD launches a libthread thread in response to I/O completion.
We link librt against libthread to allow access to the pthread_*
routines.

libevtr: Add YY_NO_INPUT to ktrfmt.l and regenerate (silences gcc44 warning).

Add 'gcc46' as a CCVER value (using /usr/pkgsrc/lang/gnat-aux).

So far I've tested building and running our kernel (which both works).

World hasn't been tested and would fail using default values, since
gnat-aux so far only supports C and Ada.

Many thanks to John Marino <john@marino.st> who did and maintains the
lang/gnat-aux package.

gcc44: Make i486 the default arch

mk: Rearrange bsd.cpu.gcc44.mk

- Don't always set -march=xxx
- Support CPUTYPE=native
- Support several new -march argument, e.g. barcelona
- Split CPUTYPE adjustment into compat CPUTYPE adjustment and
  CPUTYPE alias adjustment

mk: Add FORCE_CPUTYPE which overrides user's CPUTYPE or forcefully sets CPUTYPE

Remove an old header via 'make upgrade'.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Major bridging functionality added (bonding)

* Add channel bonding support to if_bridge.  This utilizes the link2 flag
  on the bridge interface.  Participating member interfaces must be
  programmed to the same MAC address.  Multiple bonding groups can be
  created.

  Note that both sides of participating member interfaces must implement
  the link2 feature.  If the other side does not it will likely be blocking
  (due to the spanning tree protocol) some of the member interfaces and
  you will get packet loss.

* Document all the link flags and new features.

Remove the meteor(4) driver.

It stopped building when -msoft-float was added to the options for building
the kernel.

FreeBSD removed it over 7 years ago, and so far I've heard of no one using
DragonFly because he had one of those old cards and we still had a driver,
so I guess it's safe to follow suit.

However, the <dev/video/meteor/ioctl_meteor.h> header is used by other,
working drivers (bktr(4) and cxm(4)) so we keep it. We also keep the
/usr/share/examples/meteor directory because the bktr(4) driver is based
on meteor(4) and bktr(4)'s manual page references these examples as being
mostly valid for bktr(4), too.

procfs - Fix open() for procfs.

* PFIND() macro has been replaced with function pfs_pfind()
  which will hold a reference to the found proc via pfind()
  or on proc0 in the case no process is found.
* Fix a case where there was no PRELE() after a pfind()

kernel - Major bridging functionality completed

* Rewrite the spanning tree algorithm.  Not well tested but both sides
  properly calculate the blocking pairs for the ports whereas before
  they did not.

  Document the code as needed.  The poor documentation created a lot of
  unnecessary headaches.

  Separate out the peer state from the aggregated state.

* Greatly enhance the 'ifconfig [-v] bridgeN' status output so one
  can see exactly what the state of the sub-interfaces is.

* The bridge interface's ether address can now be modified.  It is also
  possible to add IP addresses to the bridge interface but this has
  not been tested well and might not work.

* Nearly all traffic sourced from interfaces attached to the bridge
  now use the bridge's MAC address.  This includes ARP.  Theoretically
  this means that ganged links between bridges (bonding is NOT yet
  supported! Strictly master/backup)... should be able to failover
  without destroying the ARP tables on various systems.

* Add an experimental LINK2 option to the bridge.  This will eventually
  be channel bonding but doesn't work so hot right now.  At the moment
  it just round-robins output on sub-interfaces with the same MAC (usually
  TAP interfaces).  Ill gets aggregated using the bridge's MAC but the
  comparison is used to create bonding groups.

  This one needs considerably more work on properly adjusting its state
  to DESIGNATED instead of hacking packets over members in the BLOCKING
  state.

* Clean up some of the state transitions used by the LINK1 failover
  feature.

* Change the bridge interface to IFT_ETHER to allow IP and MAC assignments
  and for it to be properly handled in the rest of the stack.

* Aggregate input from all member interfaces into the bridge proper and
  re-output/forward/route as appropriate using the stateful information
  available in the bif lists to handle failover and other features.

* ARP handles MAC snafus due to bridging a little better.

* Changeover to TAILQs from LISTs for bifs.

* Move bif_flags to the bif_info structure so we can use it to hold
  active state.

* Implement SIOCGIFMEDIA in IF_TAP (still needs some work).  This
  is required by the bridge code to properly be able to use TAP
  interfaces as members.

LINT: Comment out meteor(4) for now (it doesn't build with -msoft-float).

kernel - Fix serious bug w/non-blocking commit

* NDELAY isn't supposed to make HAMMER do non-block disk I/O,
  NRDELAY is the only one that does that.

* Fixes tons and tons of confusion (named, vi, tons of other
  programs that open regular files O_NONBLOCK).

Requested-by: Venkatesh Srinivas <me@endeavour.zapto.org>

Fix typo in last commit.

Requested-by: Venkatesh Srinivas <me@endeavour.zapto.org>

kernel -- Add O_FRNONBLOCKING, to allow reads which do not block on disk accesses.

Using extpread() or extpreadv() with O_FRNONBLOCKING on HAMMER file systems now allows
reads to return EWOULDBLOCK when the requested data is not in the buffer cache.

my(4): Add a missing '=' (although in an #if 0'd section).

kernel - Greatly enhance if_bridge

* Document the link0 feature, which enables transparent bridging.

* Implement the link1 feature, automatic failover using a slight mangling
  of the 802.11d protocol.  Both ends must implement the feature for this
  to work.  Essentially this causes CFG 802.11d messages to be generated
  on the hello interval even if a bridge is not the root bridge.

  The bridge also monitors for this traffic and places the link in a special
  L1BLOCKING state if it fails to receive any frames in (10 x hello) (around
  20 seconds usually).  This will automatically cause the bridge to failover
  to other links.

  This only operates on links participating in the STP protocol (see man
  ifconfig), when link1 is set on the bridge interface.  For ethernet
  bridging the link interfaces are typically multiple TAP interfaces.

* Allow all link interfaces participating in a bridge to have the same
  MAC address (used with TAP interfaces typically).  This is mandatory
  if you also intend to use the link1 feature and want your failover to
  be reasonably smooth.  The feature can be useful regardless.

* The ifconfig bridge output now shows additional information about
  link state and who it thinks the root node is.

rtld(1), headers, manual pages: Bring in some whitespace, comment etc. fixes.

These are all non-functional changes that reduce diffs to FreeBSD.

Submitted-by: John Marino <john@marino.st>
Taken-from:   FreeBSD

<sys/link_elf.h>: Fix include guard.

Submitted-by: John Marino <john@marino.st>
Taken-from:   FreeBSD

kernel - Unconditionally clear BRIDGE_MBUF_TAGGED in two cases

* First unconditionally clear BRIDGE_MBUF_TAGGED if the target MAC
  in the link header points to us, regardless of what we do with the
  packet.

* Second, unconditionally clear BRIDGE_MBUF_TAGGED if IPFW2 redirects
  the packet destination, bad things will happen if the original source
  MAC is kept in the link header.  i.e. the packet becomes routed at
  that point.

kernel/i386: Add -msoft-float to CFLAGS

libstand: Make sure that -march=i386 is specified

This unbreaks the loader compiled by gcc44

dloader: Make sure that -march=i386 is specified

Merge branch 'master' of /repository/git/dragonfly

mptable: Implement stub I/O APIC enumerator

kernel - More if_bridge work + misc fixes

* When bridging packets sent from one of our own MACs we always override
  the ether_shost in the output packet so it comes from the actual
  interface the packet is being sent out on.

* LINK0 will still nominally keep the ether_shost intact when forwarding
  across a bridge, except in the above case.  That is, any foreign MAC
  set as the source coming in on one interface will be retained as the
  source when being thrown out on another interface.  But any local MAC
  will be replaced with the MAC of the outgoing interface.

* When receiving a unicast frame on one interface which is targetted to
  another interface, retain the original rcvif for any vlan or arp
  processing.  Otherwise (for example) if this were an ARP reply the ARP
  code would associate the reply with the wrong interface.  We would want
  the ARP entry to be associated with the first interface, not the second,
  because the first interface is the one the reply actually came in on.

* Adjust the ARP code in if_ether.c to use rcvif and not ifp, and don't
  log if non-matching interfaces are part of the same bridge (unless
  log_arp_wrong_iface is set to 2).

* Augment the ether_reinput_cpu() API to pass additional flags in,
  allowing the caller to specify that m->m_pkthdr.rcvif not be
  overwritten.  Used to support the above features.

* Clear M_HASH in a few more cases in pf.c

Add definitions for SIGEV_THREAD.

rtld.1: Staticize the variable in the _rtld_functrace example.

Pointed-out-by: corecode

rtld.1: Add an example on how to set up _rtld_functrace.

While here, put the function's prototype into the SYNOPSIS and add a
_rtld_functrace(3) MLINK.

tcp: Allow listen(2) to be called on the same socket for any number of times

DragonFly-bug: http://bugs.dragonflybsd.org/issue1993

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Fix extra rel_mplock() in if_tap

* Fix crash/panic when running openvpn w/if_tap due to dangling
  rel_mplock().

inpcb: Exclusive the usage of wildcard hash and connect hash

DragonFly-bug: http://bugs.dragonflybsd.org/issue1993

HAMMER - Fix long stalls when writing out core files

* Fix a long-stall case (hmrwww) due to a broken pipelining algorithm when
  using large write()s to write out large files.

newsyslog: Sync with FreeBSD.

-Don't consider non-existence of a PID file an error.
-Add -P flag which prevents further action if the pidfile is empty or
doesn't exist.
-Add a -S switch to override the default syslog pid file.
-Add support for creating the archived log filenames using a time-stamp
instead of the traditional simple counter.
-Add xz(1) support.
-Rewrite and simplify logfile compression code.
-Convert newsyslog to using queue(3) macros.
-Add file include processing.

Obtained-from: FreeBSD

Sync /bin/sh regression tests with FreeBSD.

-Add some tests for omitting whitespace.
-Split off some special behaviour into separate tests.
-Do not use "local" in the test runner.
-Make execution/fork1.0 work even if the basename of ${SH} is not "sh".
-Test that the read builtin passes through all byte values except NUL,
newline and backslash.
-Unset some locale vars in two tests that may cause them to break.

Obtained-from: FreeBSD

<sys/elf_generic.h>: Fix typo in a #warning.

Remove some kref(9) related files via 'make upgrade'.

LINT: Fix wording and remove a duplicate option from the comments.

kernel - Clear BRIDGE_MBUF_TAGGED for NAT translations

* Clear the new BRIDGE_MBUF_TAGGED flag when a NAT or other translation
  changes the source IP for a packet, otherwise packets traversing a bridged
  interface may wind up with a source MAC that has nothing to do with
  the translated source IP.

kernel - Add a transparent MAC bridging feature to if_bridge

* Defaults to non-transparent (historical) operation, which is safer.
  Set link0 to use in transparent MAC mode.

* Transparent MAC mode will attempt to retain the MAC source in the
  link address header when retransmitting a packet on a different
  interface.

  Only IP/IPV6 packets will retain the MAC.  ARP and other ether types
  will get the outgoing interface's MAC address, which is usually
  desireable.

* Note that transparent MAC mode is a bit dangerous, which is why it
  isn't turned on by default.  If a packet with the originating MAC
  winds up being sent out the same interface it came in on with the
  MAC intact, any switches between the two boxes will suddenly think
  the originating machine is somewhere else and will get confused.

  The code tries to avoid this situation.

  Bridging loops can also cause this sort of behavior even with the spanning
  tree protocol.  link0 is not recommended if you have loops.

* Coded because I needed this for braindead at&t uverse routers which
  do MAC-based security and only allow one IP association for each MAC,
  and whos firewalls cannot be completely disabled, and which cannot deal
  with IPs on routed networks (it expects everything to be directly connected
  on a switched network. sigh).

kernel - Fix minor mistake corrupting an allocation in recent MPTable work

* Fix an allocation which was too small (sizeof pointer vs structure),
  which fixes an early-boot panic.

Reported-by: Peter Avalos <peter@theshell.com>

kernel - Fix fairq, PF table hash was not being initialized

* fairq depends on the PF table entry hash, which was not being
  initialized.

* Fixes problems with fairq not queueing fairly.

kernel - Allow rn_inithead() to be called early

* Allow rn_inithead() to be called earlier than rn_init().  rn_init() is
  called very late and was responsible for creating the all-ones and
  all-zeros keys.  It also required the proto domains to be initialized(?).

* A PF module preload was calling rn_inithead() before the all-ones and
  all-zeros keys could be allocated, resulting in a crash.

vkernel64 - Enable function name resolution in DDB.

mptable: Save PCI interrupt pin to I/O APIC pin maps

ps: Update man page for adding comm as an alias for ucomm.

ps: Add the comm keyword which is an alias for ucomm.

While I'm here, don't pad the output of ucomm if it's the last column.

librt: Initial userland implementation of POSIX AIO functionality.

Issues synchronous IO requests in response to AIO calls; does not
support SIGEV_THREAD or SIGEV_SIGNAL; the former because our
infrastructure doesn't have SIGEV_THREAD already; the latter
because we do not support sigqueue() or sending signals w/ a
sigval payload.

kernel - Add batch heuristic to scheduler and refactor some of the code 1/2

* Split the dynamic priority mechanism into two stages:

* Stage 1 is the normal dynamic priority mechanism which reacts very quickly
  to cpu hogging vs idle / not hogging.

* Stage 2 is a long-term (30-second) batch operations detector which de-tunes
  the estcpu calculation based on how long the process has been acting
  batch-like or non-batch-like.  estcpu is detuned up to 50% for processes
  considered to be fully interactive.

* Newly forked processes are placed two queue slots higher (less desireable)
  than their parent in stage 1.  If they aren't batch they will quickly
  recover.

* Newly forked processes are given a batch heuristic value that is mid-range
  for stage 2 and must prove themselves one way or the other.

* 'ps -o batch -axl' can be used to see the batch heuristic.  ps will display
  it as a value between 0 and 11 for the moment.

  The idea here is for something like firefox and the X server to remain
  interactive even if they use a lot of cpu, while something like a parallel
  buildworld winds up remaining batch-like because the core processes are
  cpu-bound.

kernel - Fix seg-fault in clock interrupt due to race

* Fix a seg-fault which can occur due to races against a newly created
  process whos lwp has not been completely initialized.

x86_64: 64-bit index register should be used.

Looks like qemu does not accept 32-bit index register, while the
real boxs and virtualbox accept 32-bit index regiter.

However, according to AMD <<24593--Rev. 3.17--June 2010>> Page 25,
64-bit index register should be used to create effective address.

DragonFly-bug: http://bugs.dragonflybsd.org/issue1991

ps - Fix sorting mistake in recent commits

* qsort passes a pointer to the element, so its a KINFO** instead of
  a KINFO*.  Fix the indirection.

* Fixes weird default output sorting that was all wrong.

kernel - Fix MP refcount race in struct sigacts (2)

* Fix buildworld failure by changing u_int to unsigned int in
  header file.

kernel - Fix MP refcount race in struct sigacts

* Code wasn't MPSAFE.

* Use the refcount API to manage refs for struct sigacts

kernel - knote_alloc() must always succeed

* We cannot use M_NOWAIT here, knote_alloc() must always succeed.

kernel - Fix MP refcount race in struct pargs (2)

* Fix additional case in kern_exit.c