kernel - make POLLHUP conform better to OpenGroup

* The poll() backend now only evaluates EV_EOF for EVFILT_WRITE, and
  generates a POLLHUP which is properly mutually exclusive with
  POLLWRNORM and POLLOUT.

  We do this even for a half-closed (write-side-closed) socket.

* We no longer set POLLHUP for POLLRD* or POLLIN, instead relying on
  the userland doing the read() and checking the 0 result (which
  userland has always done historically).

  EV_EOF for EVFILT_READ cannot be used to set POLLHUP for POLLRD* or
  POLLIN because it could indicate a half-closed connection
  (read-side-closed) where writing is still allowed, which is a more
  common situation on sockets.

  We would have to add another EV_ flag to set POLLHUP for POLLRD* or
  POLLIN to detect the fully disconnected state.  The OpenGroup standard
  does allow POLLHUP to be mixed with POLLRD* or POLLIN but for now we
  just don't set it at all in that case.

  Only a POLLOUT/POLLWRNORM flag request can cause POLLHUP to be set
  for now.

kernel - More kqueue work

* Only set EV_EOF in the read filter after all pending data has
  been exhausted.

* This also fixes a bug where the read filter was not setting data
  ready on EOF when data was pending in the buffer.

* Fix bugs in the poll copyout handler.  An EOF condition does not
  prevent other flags from getting set.

kernel - Some minor swap allocator / blist work

* Fix a bug in the 'r' option for the userland compile of the blist code

* Finish converting daddr_t's to swblk_t's in the swap code.

* Move SWAPBLK_* out of vm/vm_page.h (taken from FreeBSD) to reduce
  the number of #includes needed.  Move them to sys/blist.h

Reported-by: Ilya Dryomov <idryomov@gmail.com>

stress2 - Use statvfs to fix calculations for large filesystems

* Use statvfs to avoid available space overflow in calculation.

libdevattr - Minimal error checking in devattr_test

libevent - Remove from tree

* There are no longer any in-tree consumers

* Maintenance burden is moved to pkgsrc

ftp-proxy - Port from libevent to kqueue(2)/kevent(2)

* Was using libevent's bufferevent* API, we let the socket buffers do
  most of the work.

bthcid - Port from libevent to kqueue(2)/kevent(2)

kernel - Fix reboot races

* Fix a pty revoke race null pointer indirection during reboot

* Fix a deadlock with devfs (introduced by a recent commit) by
  not having devfs_config() do anything if it is called from
  the message core itself.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - devfs - Fix deadlocks

* Fix a deadlocks when the core thread attempts to free a node.  The
  devfs lock must be released when obtaining the vnode lock.  Fixes
  issues with ls -la /dev/pts when running stress2{pts}.

* Adjust devfs_config() to not attempt to message the devfs core thread
  if the core thread has terminated (fixes issues with reboot).

kernel - Add sysref assertions

* Add more checks in the sysref code to detect use-after-free situations.

Adjust the docs for the renaming of devfs_clone_bitmap_rst() to _put().

kernel - Add sysref assertions

* Add checks in the sysref code to detect use-after-free situations.

kernel - More tty and devfs race fixes

* Refactor the unix98 pty code to consolidate termination handling and
  add flags to deal with close() races.

* Rename devfs_clone_bitmap_rst() to devfs_clone_bitmap_put()

* devfs_clone_bitmap_put() now syncs devfs messages before clearing
  the bitmap bit, to ensure that related destroy_dev()s complete
  before the unit number becomes available for a new allocation
  again.

Reported-by: swildner

HAMMER VFS - Adjust signedness of a media field for future de-dup

* Make bytes_free in hammer_blockmap_layer2 a signed field and remove
  KKASSERT() that disallowed a negative value.

  This field can go negative in a future data de-dup implementation.

kernel - Fix pty registration, memory leak

* Properly unregister the pt_ioctl before freeing it.

* Free the pt_ioctl structure after destroying the device, fixing
  a memory leak.

* Fix races in the sysctl_proc which iterates the tty list by using
  a marker.

kernel - Fix pty clone vnode leak

* Any cloned devfs device (vn, tap, ptmx primarily) was leaving an extra
  vref on the related vnode, preventing the vnode from being recycled.

  This was due to devfs called vop_stdopen() but forgetting that
  vop_stdopen() will load the file pointer (fp), which devfs was also
  loading.  All devfs really needs to do is to replace fp->f_ops.

Reported-by: swildner

Add DSCHED_FQ to GENERIC.

kernel - Adjust krate infrastructure

* Move struct krate from sys/time.h to sys/resourcevar.h

* Remove krate from struct uidinfo, it created too much breakage
  in the buildworld.  Declare it as a static instead.

buildworld - Fix breakage

* More cases where sys/user.h is not included early enough.

Reported-by: swildner

buildworld - Fix breakage

* Fix some _KERNEL_STRUCTURES breakage.  This isn't a fantastic solution
  but it works.

Reported-by: swildner

objcache.9: Oops, .Vt actually.

objcache.9: Use .Ft for a type.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

kernel - Add per-user file descriptor limit

* Add kern.maxfilesperuser and kern.minfilesperproc to complement the
  kern.maxfilesperproc which already exists.  Print a warning on the
  console if a user hits the limit (rate limited).

* Track per-user files via the uidinfo structure.  Each file pointer counts
  as one file.  dup()'d and fork()'d file descriptors do not count.

* Adjust the default user limits to approximately 1/4 the system maximums
  instead of 9/10 the system maximums.  This reduces the maximum descriptors
  per process and the maximum processes per uid.  They can be raised again
  via sysctl.

* Set minfilesperproc to 8 by default.  This is a safety which guarantees
  that a process can always have at least that many open descriptors
  without tripping over kern.maxfilesperuser.

Reported-by: swildner

libthread_xu: Convert 0 to NULL for pointer assignment.

kernel - Fix lockf panic

* Fix a case where the F_UNLCK call made by closef()/fdrop() could fail
  on a resource limit, preventing the locks from being properly cleared.
  This resulted in an assertion panic at exit1().

* Minor cleanups.

Reported-by: swildner

Some cleanup in the pf manual pages.

kqueue - Fix junk kfree() in doselect()

* Fix uninitialized fields which could cause kfree() to be called on
  junk data when a copyin error occurs.

* Minor cleanups.

Reported-by: swildner

Remove old ftp-proxy per 'make upgrade'.

pf(4): Remove a ', 1' that had no effect (OpenBSD dev too tired, I guess).

aicasm: Correct logic bug in the undefined register bit access detection code.

Quoting FreeBSD's commit msg:

The code in question verifies that all register write operations only change
bits that are defined (in the register definition file) for that effected
register.  The bug effectively disabled this checking.

o Fix the check by testing the opcode against all supported read ("and" based)
  operands.

o Add missing bit definitions to the aic7xxx and aic79xx register definition
  files so that the warning (treated as a fatal error) does not spuriously
  fire.

Taken-from: FreeBSD

[While I'm here, also add a missing free() and raise WARNS to 6.]

Eliminate XIG server workaround in fp_mmap; just an artifact of copying from kern_mmap.

Document sysctls vm.fast_fault, vm.dreadful_invltlb, lwkt.preempt_hit/_miss,
vm.swap_idle_threshold1/2.

VM - Enable idlezero by default.

pf.conf.5: Minor adjustments

 * delete duplicate/extra lines
 * interface group not supperted on our ifconfig(8)
 * syntax adjustments

Undo part of the last change until I understand why it broke buildkernel.

Fix some mis-usage of && and || in the kernel.

sound(4): Fix typos: illeagal -> illegal

wlan(4): Replace GNU old-style field designators with proper C.

This GCC extension has been considered obsolete since 1993.

kernel - Move KNOTE() out of interrupt path

pf: Fix if_pfsync to compile

if_pfsync has to be enabled in the
kernel config file.
It passed the last update unattended.
This patch let's it compile, but function
is untested, also tdb functioniality
has been removed.

pf(4): Add missing file to sys/conf/files for building pf into the kernel.

pfctl(8): Fix some little printf() issues on x86_64 (fixes buildworld).

.gitignore: Add *.bak, *.core, *.old and .depend.

.gitignore: Sort alphabetically.

ftp-proxy(8): Remove leftover .depend.

ftp-proxy: Update to OpenBSD 4.1

ftp-proxy has been moved from libexec/ to usr.sbin/

pflogd: Update to OpenBSD 4.1

kernel - Fix kqueue panic on signal event knote

* sig_filtops filters on a process, not a file descriptor.  Remove
  the FILTEROP_ISFD flag.

  This should fix a panic when the kqueue is closed while the signal
  event is still active.

Reported-by: Jan Lentfer <Jan.Lentfer@web.de>

Merge branch 'master' of git://island.quantumachine.net/dragonfly

Fix a panic in the varsym_get(2) syscall.

In varsymfind(), release the lock only if vss != NULL. This could be
the case if garbage was passed in the mask.

loader - Use PTOV() to convert physical addresses to virtual addresses.

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1683>
Submitted-by: Sascha Wildner <swildner@>
Obtained-from: FreeBSD

Fix a panic in the __getcwd(2) syscall.

buflen has to be unsigned so that large values do not become negative
and sneak past the MAXPATHLEN check.

Fix panics in two syscalls, caps_sys_get(2) and caps_sys_wait(2).

Only call caps_drop() if caps != NULL.

pf: Update packet filter to the version that comes with OpenBSD 4.1

    The original OpenBSD 4.1 defaults to "keep state flags S/SA" for
    all pass rules. In contrast to that we default to "no state". As
    in earlier verions of pf in DragonFly the default keep-state
    policy can still be set with the keep-policy option (e.g. "set
    keep-policy keep state (pickups)").

    DragonFly additions to pf have been kept: fairq support,
    pickups.

Detailed Info on changes/additions:
* ALTQ: Fix altq to work with pf_mtag
Patch by Matthew Dillon
* libkern: Revert commit e104539
strchr was added to libkern.h together with strrch
* net/if.h: add interface groups
Imported from FreeBSD.
* netinet6/in6.h: add macros
IN6_IS_ADDR_MC_INTFACELOCAL
IN6_IS_SCOPE_EMBED
PV6_ADDR_SCOPE_INTFACELOCAL
* sys/libkern.h: Add strchr and strrchr as inline functions
Brought in from FreeBSD
* sys/net/if_var.h: Import interface groups
Import interface groups and event handlers from FreeBSD
* sys/net/if_var.h: add if_pf_kif, if_groups to struct ifnet
obtained from: Open/FreeBSD
* net/if_types.h: add IFT_ENC to non-IATA-assignments
obtained from Open/FreeBSD
* net/bpf.c: add bpf_mtap_hdr from OpenBSD
Con up a minimal dummy header to pacify bpf.  Allocate
(only) a struct m_hdr on the stack.

re(4): fix re_setmulti(): PCIe mcast hash registers were swapped

Dragonfly-bug: <http://bugs.dragonflybsd.org/issue1799>
Submitted-by: "Mitja Horvat <pinkfluid@>"
Obtained-from: FreeBSD

daemon(8): add missing break

DragonFly-bug: <http://bugs.dragonflybsd.org/issue1800>
Submitted-by: "Mitja Horvat <pinkfluid@>"

iwn.4: Miscellaneous adjustments.

* Add some words about iwn6050fw.

* Comment out information about building the firmwares separately into
  the kernel. We don't support that (yet).

iwn(4): Add Makefile for building iwn6050fw.ko.

Add iwn(4) and iwnfw(4) to LINT.

config - Fix typo in iwn6050 clean target.

Unbreak buildworld.

wlan_token shall be visible to the kernel only.

iwn - Fix warning related to token work.

iwn - Cleanup sysctl tree on detach.

iwn - Clean up memory freeing.

* Mark variables with NULL after freeing.
* Properly free dma memory.

iwn - Convert to use the new wlan layer's global token.

wlan - Convert lockmgr locking to a global token.

Use the lwkt_token API to synchronize the wlan layer entry points.

Discussed-With: dillon

iwn - Bring in recent changes from FreeBSD.

Taken-From: FreeBSD

iwn - Lock callout iwn_timer_timeout().

iwn - Update firmware for 6000 chipset.

iwnfw - Update 6000 firmware and add 6050 firmware

Add some more *at() system calls.

mkdirat(2), mkfifoat(2), mknodat(2), readlinkat(2), symlinkat(2)

Missing still (at least): linkat(2)

Documentation-changes-from: FreeBSD

Remove <sys/selinfo.h> per 'make upgrade'.

kernel - Clean up pipe filters (fixes last)

* Remove extra pipe space calculation

* Move disconnected pipe check before token acquisition

kern - Clean up pipe filters

* Do not check ki_note, just issue the KNOTE and let kq sort it out.

* Remove an unmatched rel_mplock().

* Take the r and w tokens for the pipe in question before poking around for
  states and sizes.

* Reverse the pipe end that the write filter assumes it will receive, this
  matches the semantics of the previous .fo_poll implementation.

kernel - Silently swallow EOPNOTSUPP filter errors for select(2) in all cases

* This fixes hald

Reported-by: Rumko

kernel - make poll return only explicitly asked for events

* Previously we were returning all events that were analogous to each other,
  now we return only what was explicitly asked for.

* This fixes pulseaudio

Reported-by: Rumko

Fix some typos in various places.

Fix LINT build.

Bring in FreeBSD's stress2 stress testing suite.

Great for crashing the system.

See test/stress/stress2/README for instructions.

Thanks to Peter Holm <pho@FreeBSD.org> for writing it.

Thanks to Damian Lubosch <dl@xiqit.de> for helping with testing
on DragonFly.

This might need further adjustment in the future.

buildworld - Fix header file

* struct kqinfo must be exposed for _KERNEL_STRUCTURES too.
  Fixes buildworld.

* Attempt to limit the inclusion of sys/queue.h to builds
  with _KERNEL or _KERNEL_STRUCTURES.

Reported-by: swildner

kernel - Add ALTQ to GENERIC and X86_64_GENERIC

* Add ALTQ to these guys, as no altq module is currently
  available.

kernel - Make filters able to be marked MPSAFE

* Change struct filterops f_isfd field to f_flags, taking FILTEROP_ISFD and/or
  FILTEROP_MPSAFE.

* Convert all existing filter definitions to use new flags.

* Create filter_attach/detach/event wrapper functions for calling through the
  struct filterops vector that grab the MPLOCK as necessary.

* kern_event() uses kq->kq_count to determine whether or not to sleep,
  kqueue_scan() removes events from the TAILQ and can possibly sleep, releasing
  the global kq token, before updating kq->kq_count.

kernel - Remove kevent subsystem from under mplock

* Create a global token for the kevent subsystem to operate under

* Push klist insertion and removal into knote_insert()/knote_remove()

* Rename struct selinfo to struct kqinfo

iwn{,fw}.4: Remove trailing whitespace and an unneeded .Pp

twa(4): Sync with FreeBSD's current code.

This adds support for more and newer cards (see the hardware list in
the manual page).

Big thanks to Damian Lubosch <dl@xiqit.de> for testing it on a 9650SE.

kernel - Silently swallow EOPNOTSUPP filter errors for poll(2) in all cases

* This fixes firefox/gconfd/others

Reported-by: tuxillo

Fix buildkernel with 'options CPU_GEODE' but without 'device gpio'.

Fix x86_64 build by casting some {u,}intmax_t's for printing.

{fetch,store}.9: Move casuword() from fetch(9) to store(9).

kernel - Filter out unknown errors for select(2) and poll(2)

* select/poll have very limited error management, silently ignore anything they
  cannot handle (this brings us closer in line with the previous
  implementation).

* Add a couple of kern.nseldebug kprintf's

* Increment the kqueue serial by the number of descriptors for both select
  and poll.

kernel - Unset TS_ZOMBIE when pty is re-opened

Reported-by: tuxillo

Fix the VKERNEL build with KLD_DEBUG set.

Reported-by: lentferj

bce(4): Remove some carriage returns.

iwn(4): Hook the manual pages into the build as well.

dsched - minor fixes, cleanup

* Clean up old dsched dev stuff, since dschedctl was the only consumer
  of it.

* Add a sysctl to change the default dsched policy
  (dsched.policy.default).

Suggested-by: Sascha Wildner

Mark the *at(2) system calls' prototypes as being new in IEEE 1003.1-2008.

This is to prevent them from being exposed if an earlier version is
explicitly requested.

Mark them with __BSD_VISIBLE too so they are still exposed in our default
programming environment.

kernel - Make pt's throw EOF on disconnect.

* Set TS_ZOMBIE when pts is closed (already set for ptc).

* Add TS_ZOMBIE filter checks which throw EOF.

* This fixes a problem with screen introduced with screen commit 33b7c9ca

Reported-by: YONETANI Tomokazu