Merge branch 'master' into netmp

teach libkvm about vkernels

Add support for accessing a running vkernel's memory by
reading its /proc/$pid/mem file.

Add tunable to _not_ register i8254 interrupt if lapic timer is used.

Make dev.cpu.X.cx_usage sysctl also report current average of sleep time.

Rework a CPU C-state selection logic a bit.

Avoid comparing negative signed to positive unsignad values. It was
leading to a bug, when C-state does not decrease on sleep shorter then
declared transition latency. Fixing this deprecates workaround for broken
C-states on some hardware.

By the way, change state selecting logic a bit. Instead of last sleep
time use short-time average of it. Global interrupts rate in system is a
quite random value, to corellate subsequent sleeps so directly.

Obtained-from: FreeBSD

Move the code to update cpu_cx_count out of acpi_cpu_generic_cx_probe().

Put it into acpi_cpu_startup() which is where all the other code to update
this global variable lives.  This fixes a bug where cpu_cx_count was not
updated correctly if acpi_cpu_generic_cx_probe() returned early.

Obtained-from: FreeBSD

acpi_cpu: fixup for PIIX4E PCI config related to C2.

If you have seen
cpu0: too many short sleeps, backing off to C1
with this chipset before you may want to try cx_lowest of C2 again.

Obtained-from: FreeBSD

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

The kernel permissions check code was not checking deletability for
the rename source or the directory sticky bit for rename targets which
existed.

This only effected HAMMER which assumes the kernel is responsible for
permissions checks.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

nanosleep: don't overwrite error with copyout success status

When nanosleep gets interrupted, it returns EINTR.  In the case of a
non-zero error status, sys_nanosleep will copyout() the remaining sleep
time.  However it would overwrite the nanosleep error status with the
error status of copyout() -- which is 0 (success) most of the time.  This
means the important error status of nanosleep (EINTR) would be overwritten
by 0.  Follow FreeBSD and NetBSD and only return the copyout status if it
failed.

Reported-by: walt

installer: Sync ASCII Fred with loader menu pic.

installer: Move the installer from contrib/ to usr.sbin/.

Fix trailing whitespace while I'm doing it.

acpi: Select proper one shot timer based on CPUs' C3 state.

Allow one shot timer to be switched on a running system between i8254 and
lapic timer:

- Always register "clk" interrupt.
- Add cputimer_intr_switch(), which could switch one shot timer between
  i8254 and lapic timer on a running system.  It could be used to select
  a proper one shot timer duing ACPI C3 transition:
  e.g. ->C3 use i8254, C3-> use lapic timer
- Add sysctl node hw.cputimer_intr_type to test cputimer_intr_switch().

hpet: Veto Sx state transition, if hpet is the sys_cputimer, since
hpet is not required to function under S1-S5.  Add comment about
the reference to the related hpet standard items.

lapic timer: Improve lapic timer vector code

- Check for a non-zero td->td_nest_count before allowing the processing
  to occur.  Mainly to allow interrupt thread preemption to work for
  slow interrupts
- Increment V_INTR statistic, so vm.stats.sys.v_intr shows correct value,
  i.e. 'Int' field in systat -vm

Submitted-by: dillon@

installer: Deactivate "Install extra software packages" option.

Our installation unconditionally cpdups the CD/DVD's /usr/pkg to the
disk so this option doesn't make sense and only confused people in the
past.

Leave "Remove software packages" in, though, since it actually seems to
work.

installer: Fix various issues related to MFS backed partitions.

* The size of the MFS should be what the user specified, and not be
  based on slice size.

* On the fstab line, specify block and fragment size too. Softupdates
  is ignored as it doesn't seem to play nice with MFS.

* MFS backed partitions don't need to be mounted at installation time
  but the mount points have to be created anyway.

* While here, perform some minor cleanup.

installer: Fix typo that prevented the creation of MFS backed partitions.

A bit late, but it was hard to spot. :)

Reported-by: Alec Berryman <alec@thened.net>
Dragonfly-bug: <http://bugs.dragonflybsd.org/issue34>

installer: Remove some OpenBSD specific code.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

posix_memalign.3: Add implementation notes from malloc.3

Reviewed-by: swildner@

posix_memalign.3: Import manual page from FreeBSD.

Reviewed-by: swildner@

Fix sticky bit directory handling for deletions.

Properly check the sticky bit and disallow deletions if set on a directory
and the user doing the deletion does not own the directory or the file.

This check is now being done by the kernel layer, VFSs do not need to do
this check any more.

Reported-by: YONETANI Tomokazu <qhwt+dfly@les.ath.cx>

Unbreak VKERNEL compile: Add missing symbol

lapic timer: Correct AMD C1E handling

It turns out that AMD C1E only happens after ACPI-CA module is
running, so we will have to broadcast IPI at the end of the ACPI-CA
attach to clear the C1E related bits and kick start the possible
stalled lapic timer.

Tested-with: TL-58

lapic timer: Finish the lapic timer support

- Add lapic_timer_process_oncpu(), which fires per-cpu systimer queue.
- Add lapic_timer_intr_reload(), which restart/start lapic timer.
- Change cputimer_intr_reload to function pointer, so it could be
  overridden when needed.  It is original cputimer_intr_reload function
  on amd64 and vkernel.  On i386, APIC initialization will set it to
  lapic_timer_intr_reload if lapic_timer_enable tunable is set to 1,
  else i8254_intr_reload (origial cputimer_intr_reload) will be used.
- If lapic_timer_enable is 1, then don't try to register "clk" interrupt
  handler at all.

As of this commit, lapic timer support is done.  It is not enabled by
default, set 'hw.lapci_timer_enable' to enable it.

lapic timer: Improve lapic timer testing

- Add lapic_timer_oneshot_intr_enable(), which set lapic timer into
  one shot mode and enable lapic timer interrupt.  It is called
  during per-cpu systimers initialization.
- Add lapic_timer_oneshot_quick(), which only set lapic timer's ICR

systimer/cputimer: Add {systimer,cputimer}_intr_enable()

lapic timer: Add lapic timer interrupt delivery testing

lapic timer: Add necessary bits for lapic timer interrupt delivery

The implementation in ipl.s and apic_vector.s is based on our ipiq
processing.

lapic timer: Setup AP lapic timer's divisor

Move sysbeepstop_ch initialization to the beginning of cpu_initclocks()

i8254: Adjust cpu_initclocks() a little bit.

- Factor out i8254_intr_reload(), and use it in cpu_initclocks()
- In i8254 interrupt delivery testing, add assertion to make sure
  that the current sys_cputimer is i8254

clocks.7: Mention HPET cpu timer.

Based on the commit message of bea6e27816f976132ff7ad7446c0e90406378f9b.
Also, replace .Sy macros with .Va when refering to sysctl variables.

Discussed-with: sephe@
Reviewed-by: swildner@

Raise some WARNS in usr.bin.

doscmd(1): Raise WARNS to 6 and silence all warnings.

clocks(7): tsc frequency is found with hw.tsc_frequency now

Also mention hw.tsc_present sysctl for determining its presence.

lapic timer: Reimplement set_apic_timer using lapic_timer_oneshot

Remove dead apic timer code.

lapic timer: Disable C1 Enhanced mode on AMD K8 Family Revision F
and above to keep local APIC timer alive.

Obtained-from: FreeBSD (ariff@freebsd.org)
See-also: FreeBSD PR i386/104678

lapic timer: Save lapic timer frequency

lapic timer: Add lapic timer calibration code.

The calibrated information is not used yet.

Obtained-from: FreeBSD (jhb@freebsd.org)

hpet: Bark loud if 1024B hpet register space couldn't be mapped

Prepare lapic timer: Patch the hardware bug in nForce2 chipset,
which could hang the lapic timer.

"Workaround a hang on some nForce2 systems that can happen if the
 CPU goes into and out of the halt state very quickly."

Obtained-from: FreeBSD rev158881
See-also: FreeBSD PR i386/97785

acpi_timer: Timer name change.

ACPI-safe   -- 32bit counter
ACPI-safe24 -- 24bit counter

Fix comment

acpi.4: Add debug.acpi.enabled; mention hpet there

ktrdump: ignore ts=0 when searching for earliest_ts()

When merge-printing multiple cpu buffers, we already treat ts=0 as
a condition to prefer a more recent entry.  However when searching for
the first entry, ts=0 (empty) will be treated regularly.  This can lead
to a situation that ktrdump would only print entries from the last CPU:

Assume you had 4 CPUs, and the buffer for CPU #2 and #3 started out with
empty entries (which would not be ignored by earliest_ts()).  When
searching for the next entry, the empty (ts=0) entry of CPU #2 would
always be selected as the first entry.  However a ts=0 entry of CPU #3
would override this.  In this case only the index of CPU #3 would
advance until full entries would be printed.  Once in this situation,
processing the ts of CPU #2 would always reset ts to 0, and this would
be treated as "not found" when processing CPU #3's entries, leading to
an output that only contains CPU #3 entries.

malloc(3) manual page: Adjust to our new malloc() implementation.

The "IMPLEMENTATION NOTES" section was submitted by Matt Dillon.

nmalloc - Further optimize posix_memalign()

Align the requested size to the nearest alignment to improve our chances
of coming up with a power-of-2.

Greatly improve the fitting algorithm for oddly sized requests, e.g.

(1) 32 byte alignment on a 1026 size.  In this case the zone for 1026
    already has a chunking (128) that exceeds the requested alignment,
    so we just do a _slaballoc().

(2) A 256 byte alignment on a 513 byte size.  In this case the zone
    for 513 has a chunking of 64, which is not sufficient, so we
    find the nearest power-of-2 >= 513 and allocate that.  In our
    case we would find 1024.  Since _slaballoc() guarantees that
    power-of-2 allocations within the zone limit will be on the
    same-sized boundary, we then just allocate the nearest power of 2.

HAMMER Utility: Update mirror-dump, mirror-read to reflect protocol changes.

The mirror-dump command now ignores PFSD records instead of complaining
and aborting.

The mirror-read command now includes handling for CRC-errored records.

HAMMER VFS - Better CRC handling, bad-file handling.

Data CRC errors should now generate EIO instead of panic()ing the system.
B-Tree CRC errors might still panic() and freemap CRC errors WILL still
panic().

Continuing from DDB on a B-Tree node CRC error when debugging is enabled
now no longer marks the B-Tree node as good.

The mirror-read command will now transfer data records with bad CRCs
instead of aborting the transfer, identifying them with a new type field.
The mirror-write ioctl currently ignores such records.

If a directory entry is encountered and the related inode cannot be
looked up, generate a dummy in-memory inode of type FIFO to placemark
the bad directory entry, allowing it to be removed.  Currently it is
possible for a directory entry to be synced to the media in a different
transaction then the related inode (a bug which needs to be fixed).
If a crash occurs at the wrong time the recovery code can leave the media
in a state where the directory entry exists but the inode does not.  This
change allows the bad directory entry to be removed.

Reported-by: Antonio Huete Jimenez

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

As per POSIX, unconstify if_name in <net/if.h>.

Add HPET cputimer.

HPET - High Precision Event Timers.  Only main counter is used
currently.  This cputimer should be faster than ACPI-fast24 and
ACPI-safe, so give it highest priority.

HPET is not enabled by default.  You could add "hpet" to
debug.acpi.enabled to enable it.

Obtained-from: FreeBSD
Submitted-by: Dmitry Komissaroff <aunoor@gmail.com> w/ mod from me
Local change:
Try mapping 0x100 bytes HPET register space, if broken ACPI tables
are encountered (like one of my testing box); 0x100 is large enough
to cover the main counter.

Split out core kern_clock_*() calls for the clock_*() system calls.

Submitted-by: Mohd Farid Kamarudin <mokamaru@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix short allocation in libc RTLD for static-compiled programs.

libc's __libc_allocate_tls() (weakly bound to _rtld_allocate_tls()) was not
allocating enough space for the TLS segments in statically-compiled
threaded applications.

The old malloc allocated lots of extra space and masked the bug.  The new
slab malloc doesn't and revealed the bug.

Reproduced-by: Sepherosa Ziehau <sepherosa@gmail.com>

ktrdump: remove debug output

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Add posix_memalign(), fix minor bug in nmalloc.

Add the posix_memalign() function in all of its glory.  Our new slab
allocator already does most of the job perfectly, particularly when
alignment < size (for things like cache-line aligned allocations).

Correct a bug in _vmem_alloc() for the case where (size) is much larger
then (alignment).  The hack to get mmap() to return an aligned address
was not properly unmapping temporarily-mapped space.

Reformulate how errno is set to support posix_memalign(), which is defined
by the standard to return the error rather then set errno.

Requested-by: Hasso Tepper <hasso@estpak.ee>

emx(4): __cachealign struct emx_rxdata

serializer: Revoke PROFILE_SERIALIZER kernel option

This kernel is added by me to do preliminary serializer contention
profiling.  It is kinda invasive and expands struct lwkt_serialize
considerably.  Need to find a better way...

Remove unneeded .Pp before .Rs in various manual pages.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix type-o, the file $syscompatdcldf12 file was not being properly touched.

Submitted-by: Mohd Farid Kamarudin <mokamaru@gmail.com>

Sync zoneinfo database with tzdata2009g from elsie.

africa:         8.18 -> 8.19

Due to Ramadan shifting through the Gregorian calendar it will end before
the fourth Thursday in September in 2009 and the next couple of years, so
Egypt is expected to end DST on the last Thursday in September.

ifpoll: Unbreak UP LINT building

Add IFPOLL_ENABLE to LINT

emx(4): If error happens, we must hold all of the serializers instead
of trying to hold them, since the register content changes upon next
call.

ifpoll: Fix comment

ifpoll: Reorganize TX/RX polling sysctl tree

ifpoll: Use rdtsc() whenever possible to calculate time related states.

ifpoll: Expose kernel time fraction; currenly for debugging only.

ifpoll: Put pollmore under crit section

ifpoll: crit_{enter,exit}() -> crit_{enter,exit}_gd()

ifpoll: Let callers of sched_* enter/exit crit section

ifpoll: Put iteration of polling handlers under crit section.

Add ifpoll, which support hardware TX/RX queues based polling.
The implementation is mainly based on the polling(4) code.

Difference to the polling(4):
- Instead of registering one polling handler for both TX/RX and status,
  drivers could register multiple polling handlers for TX/RX polling
  handler on different CPU based on its own needs.  And drivers could
  register one status check handler, which is always polled on CPU0.
- TX could be polled at lower frequency than RX; normally we don't
  need high frequency polling for TX, but for RX, we may need relative
  higher polling frequency.
- Better serializer integration.

ifnet changes:
- ifnet.if_qpoll is added, which should be implemented by driver which
  supports ifpoll.
- IFF_NPOLLING is added to indicate that the driver is using ifpoll.

ifconfig(8):
- Add 'npolling' and '-npolling'; they are used to turn on/off ifpoll
  on the specified interface.

Drivers:
- emx(4) is converted to use the ifpoll.  Coexistance of ifpoll and
  polling(4) in one driver requires extra effort in driver itself;
  drop polling(4) support in emx(4) for now.

IFPOLL_ENABLE kernel option is added, which is not enabled by default.

Use STDERR_FILENO for stderr messages.

Fix recursive lock in detached close of /dev/tty.

A recursive lock and vp-held-after-release issue when close()ing a /dev/tty
descriptor was resulting in a panic.

Reported-by: Hasso Tepper <hasso@estpak.ee>

Use MAP_TRYFIXED instead of MAP_FIXED when mapping the red zone.

We want to fail if the user program already faulted through the zone,
though in reality the red zone init occurs before main() is even run so
there is no practical difference.

Add cpdup feature - allow uid/gid/flags changes to fail if running as user

If running as a user instead of root uid, gid, and flags changes are allowed
to fail and also, if running as a user, no longer force a copy if they
differ but the mtime and size are the same.  Generate a single warning
instead.

Reorder the call to setutimes to occur after chown/chmod instead of before,
and to occur after a chflags call if IMMUTABLE is not set.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix an installworld failure due to kernel fixes and a libthread_xu issue.

Build the bootstrap version of cpdup without threading to work around a
bug in libthread_xu.  Libthread_xu was trying to map the original user
stack's red zone without using MAP_FIXED or MAP_TRYFIXED or MAP_STACK,
a behavior which the kernel now prohibits.

This fixes running installworld after rebooting with a new kernel.

Sepherosa Ziehau <sepherosa@gmail.com>

pktgenctl: Update according to recent libc changes

Add a dummy offset to the arrays generated by genassym to avoid ary[0]

The dummy offset avoids the generation of dummy arrays of size zero.
This whole code path is a hack, but after a lot of messing around
Alex and I determined that it was easier to hack it then to try to
redo the code due to complications introduced by cross-compiled
environments.

Submitted-by: Alex Hornung <ahornung@gmail.com>

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix the backslashes in a __asm line's interference with an #ifdef

Reported-by: Hasso Tepper

No barriers and spinlocks.

We don't support barriers and spinlocks yet.

Fixes a lot of problems with thirdparty software.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Fix various clang compile issues

1) remove uses of __label__, which is not supported by llvm/clang
2) remove uses of register type var __asm("ecx") and other variable
register-binding as it is not supported by llvm/clang and is superfluous
3) add an ugly hack, conditionalized on __clang__, to allow correct
compilation of atomic_intr_cond_try()

Submitted-by: Alex Hornung
Cherry-Picked-From: Alex Hornung's leaf repo

unvis(3) manual page: s/RFCxxxx/RFC xxxx/

ypclient(3) manual page: .Pp not needed here.

Don't call vm_map_findspace() when MAP_TRYFIXED is specified.

MAP_TRYFIXED is intended to return the requested address or an error.

Fix logic when using the umtx_*_err() functions.  With these functions
a positive error value is returned, not -1.

Merge branch 'master' of ssh://crater.dragonflybsd.org/repository/git/dragonfly

Make adjustments to how MAP_STACK works to prevent improper mmap()s.

Record that a vm_map_entry is a stack mapping.  When locating free space
do not allow non-MAP_STACK mappings to use space reserved by MAP_STACK
mappings, unless MAP_FIXED is used of course.

Previously MAP_STACK mappings implied MAP_FIXED, which is not how they are
supposed to work.  Implement proper hinting without MAP_FIXED.

Do not allow a normal mmap() call to use space reserved by a MAP_STACK
mapping (unless MAP_FIXED is used of course).

The proper method of making a MAP_STACK mapping inside another MAP_STACK
mapping is to use MAP_STACK | MAP_TRYFIXED.  For now, though, we silently
imply MAP_TRYFIXED when MAP_STACK is specified and it will work without it.

Document MAP_TRYFIXED and make it also relax additional requirements imposed
by MAP_STACK mappings inside of MAP_STACK mappings.

Adjust libthread_xu to use MAP_STACK | MAP_TRYFIXED.