sh: Add do-nothing -h option.

POSIX requires a -h option to sh and set, to locate and remember
utilities invoked by functions as they are defined. Given that this
locate-and-remember process is optional elsewhere, it seems safe enough
to make this option do nothing.

POSIX does not specify a long name for this option. Follow ksh in
calling it "trackall".

Obtained-from:   FreeBSD 223281

sh: Add case statement fallthrough (with ';&' instead of ';;').

Replacing ;; with the new control operator ;& will cause the next list
to be executed as well without checking its pattern, continuing until
a list ends with ;; or until the end of the case statement. This is
like omitting "break" in a C "switch" statement.

The sequence ;& was formerly invalid.

This feature is proposed for the next POSIX issue in Austin Group
issue #449.

Obtained-from:   FreeBSD 223186

sh: Skip vars with invalid names in "set", "export -p", "readonly -p".

This ensures the output of these commands is valid shell input.

Obtained-from:   FreeBSD 223183

sh: Reduce unnecessary forks with eval.

The eval special builtin now runs the code with EV_EXIT if it was run
with EV_EXIT itself.

In particular, this eliminates one fork when a command substitution
contains an eval command that ends with an external program or a
subshell.

Obtained-from:   FreeBSD 223163

sh: Add support for named character classes in bracket expressions.

Example:
  case x in [[:alpha:]]) echo yes ;; esac

Obtained-from:   FreeBSD 223120

sh: Fix duplicate prototypes for builtins.

Have mkbuiltins write the prototypes for the *cmd functions to
builtins.h instead of builtins.c and include builtins.h in more
.c files instead of duplicating prototypes for *cmd functions in
other headers.

Obtained-from:   FreeBSD 223060

sh: Save/restore changed variables in optimized command substitution.

In optimized command substitution, save and restore any variables
changed by expansions (${var=value} and $((var=assigned))), instead of
trying to determine if an expansion may cause such changes.

If $! is referenced in optimized command substitution, do not cause jobs
to be remembered longer.

This fixes $(jobs $!) again, simplifies the man page and shortens the
code.

Obtained-from:   FreeBSD 223024

sh: Read .profile from the home directory (or / if HOME is not set).

In most cases, login shells are started from the home directory, but not
in all, such as xterm -ls.

Obtained-from:   FreeBSD 223005

sh: Do parameter expansion on ENV before using it.

This is required by POSIX, and allows things like ENV=\$HOME/.shrc.

Obtained-from:   FreeBSD 222957

sh: Do parameter expansion before printing PS4 (set -x).

Obtained-from:   FreeBSD 222907

sh: Fix $? in heredocs on simple commands.

Obtained-from:   FreeBSD 222716

sh: Improve error message if the script cannot be opened.

Avoid "<nosuchfile>: cannot open <nosuchfile>: ...".

Obtained-from:   FreeBSD 222699

sh: Reduce more needless differences between error messages.

Obtained-from:   FreeBSD 222684

sh: Honor -n while processing -c string.

Obtained-from:   FreeBSD 222676

sh: Remove the "exp" builtin.

The "exp" builtin is undocumented, non-standard and not very useful.

Obtained-from:   FreeBSD 222386

sh: Correct criterion for using CDPATH in cd.

CDPATH should be ignored not only for pathnames starting with '/' but
also for pathnames whose first component is '.' or '..'.

Obtained-from:   FreeBSD 222381

sh: Various updates to the TOUR document.

Obtained-From:   FreeBSD 222362

sh: Fix unquoted $@/$* if IFS=''.

If IFS is null, unquoted $@/$* should still expand to separate words.
This differs from quoted $@ (which does not depend on IFS) in that
pathname generation is performed and empty words are removed.

Obtained-from:   FreeBSD 222361

sh: Show errno messages in cd.

Obtained-from:   FreeBSD 222292

sh: Remove obsolete token type TENDBQUOTE.

Obtained-from:   FreeBSD 222182

sh: Fix typo in comment.

Obtained-from:   FreeBSD 222178

sh: Fix bss-based buffer overflow in . builtin.

If the length of a directory in PATH together with the given filename
exceeded FILENAME_MAX (which may happen even for pathnames that work), a
static buffer was overflown.

The static buffer is unnecessary, we can use the stalloc() stack.

Obtained-from:     FreeBSD 222173

sh: Expand aliases after assignments and redirections.

Obtained-from:     FreeBSD 222165

sh: Implement the cd -e flag proposed for the next POSIX issue.

This reflects failure to determine the pathname of the new directory in
the exit status (1). Normally, cd returns successfully if it did
chdir() and the call was successful.

In POSIX, -e only has meaning with -P; because our -L is not entirely
compliant and may fall back to -P mode, -e has some effect with -L as
well.

Obtained-from:   FreeBSD SVN rev 222154

sh: Allow terminating a heredoc with a terminator at EOF w/o newline.

Obtained-from:   FreeBSD SVN rev 222134

sh: Minor optimization to output from ulimit/export/readonly.

Obtained-from:   FreeBSD SVN rev 221975

sh: Avoid close(-1) when evaluating a multi-command pipeline.

Obtained-from:   FreeBSD SVN rev 221970

sh: Add \u/\U support (in $'...') for UTF-8.

Note that \u/\U are processed using the locale that was active when the
shell started. This is necessary to avoid behaviour that depends on the
parse/execute split (for example when placing braces around an entire
script). Therefore, UTF-8 encoding is implemented manually.

Obtained-from:   FreeBSD SVN rev 221669

sh:  Fix typos in comments.

sh: Optimize variable code by storing the length of the name.

Obtained-from:   FreeBSD SVN rev 221668

sh(1): Update BUGS section for UTF-8 support.

Obtained-from:   FreeBSD SVN rev 221660

sh: Add UTF-8 support to pattern matching.

?, [...] patterns match codepoints instead of bytes. They do not match
invalid sequences. [...] patterns must not contain invalid sequences
otherwise they will not match anything. This is so that ${var#?} removes
the first codepoint, not the first byte, without putting UTF-8 knowledge
into the ${var#pattern} code. However, * continues to match any string
and an invalid sequence matches an identical invalid sequence. (This
differs from fnmatch(3).)

Obtained-from:   FreeBSD SVN rev 221646 & 223010

sh: Add UTF-8 support to ${#var}.

If the current locale uses UTF-8, ${#var} counts codepoints (more
precisely, bytes b with (b & 0xc0) != 0x80).

Obtained-from:   FreeBSD SVN rev 221602

sh: Track if the current locale's charset is UTF-8 or not.

Obtained-from:   FreeBSD SVN rev 221559

sh: Change the CTL* bytes to ones invalid in UTF-8.

This ensures that mbrtowc(3) can be used directly once it has been
verified that there is no CTL* byte. Dealing with a CTLESC byte
within a multibyte character would be complicated.

Obtained-from:   FreeBSD SVN rev 221551

sh: Add $'quoting' (C-style escape sequences).

A string between $' and ' may contain backslash escape sequences similar
to the ones in a C string constant (except that a single-quote must be
escaped and a double-quote need not be). Details are in the sh(1) man
page.

This construct is useful to include unprintable characters, tabs and
newlines in strings; while this can be done with a command substitution
containing a printf command, that needs ugly workarounds if the result
is to end with a newline as command substitution removes all trailing
newlines.

The construct may also be useful in future to describe unprintable
characters without needing to write those characters themselves in 'set
-x', 'export -p' and the like.

The implementation attempts to comply to the proposal for the next issue
of the POSIX specification. Because this construct is not in
POSIX.1-2008, using it in scripts intended to be portable is unwise.

Matching the minimal locale support in the rest of sh, the \u and \U
sequences are currently not useful.

Obtained-from:   FreeBSD SVN rev 221513

sh: Apply set -u to variables in arithmetic.

Note that this only applies to variables that are actually used.
Things like (0 && unsetvar) do not cause an error.

Obtained-from:   FreeBSD SVN rev 221463

sh: Detect an error for ${#var<GARBAGE>}.

In particular, this makes things like ${#foo[0]} and ${#foo[@]} errors
rather than silent equivalents of ${#foo}.

Obtained-from:   FreeBSD SVN rev 221461

sh: Set $? to 0 for background commands.

For backgrounded pipelines and subshells, the previous value of $? was
being preserved, which is incorrect.

For backgrounded simple commands containing a command substitution, the
status of the last command substitution was returned instead of 0.

If fork() fails, this is an error.

Obtained-from:   FreeBSD SVN rev 221027

sh: Remove duplicate code resetting uid/gid for set +p/+o privileged.

sh: Check setuid()/setgid() return values.

If the -p option is turned off, privileges from a setuid or setgid
binary are dropped. Make sure to check if this succeeds. If it
fails, this is an error which will cause the shell to abort except
in interactive mode or if 'command' was used to make 'set' or an
outer 'eval' or '.' non-special.

Obtained-from:   FreeBSD SVN rev 221011 & 221012

sh: Allow EV_EXIT through function calls.

make {...} <redir more consistent.

If EV_EXIT causes an exit, use the exception mechanism to unwind
redirections and local variables. This way, if the final command is a
redirected command, an EXIT trap now executes without the redirections.

Because of these changes, EV_EXIT can now be inherited by the body of a
function, so do so. This means that a function no longer prevents a fork
before an exec being skipped, such as in
  f() { head -1 /etc/passwd; }; echo $(f)

Wrapping a single builtin in a function may still cause an otherwise
unnecessary fork with command substitution, however.

An exit command or -e failure still invokes the EXIT trap with the
original redirections and local variables in place.

Note: this depends on SHELLPROC being gone. A SHELLPROC depended on
keeping the redirections and local variables and only cleaning up the
state to restore them.

Obtained-from:   FreeBSD SVN rev 220978

sh: Do not word split "${#parameter}".

This is only a problem if IFS contains digits, which is unusual but
valid.

Obtained-from:   FreeBSD SVN rev 221522

hptiop(4): Sync with FreeBSD (adds IDs for two more cards).

intr/i386: Define IDT_HWI_VECTORS

This macro defines how many IDT vectors that could be setup as hardware
interrupts.  Use this macro instead of MAX_HARDINTS and APIC_INTMAPSIZE.

icu/i386: Remove unnecessary header inclusion

add more information to a failing assertion's panic message

Signed-off-by: Venkatesh Srinivas <me@endeavour.zapto.org>

kernel - Fix vm_object leak which could exhaust swap space

* Fix a recently introduced vm_object leak.  When deallocating a vm_object
  ref_count must be decremented prior to calling vm_object_collapse() or
  we can wind up leaving an object sitting around with 0 refs on it.

Reported-by: ftigeot, others

tcp: Enable tcp_lport_extension by default

inpcb: Don't choose lport which could render same addr/port pair

A TCP connect to 127.0.0.1:PORT_A could be successful even if there is
no process listening on PORT_A:
127.0.0.1:PORT_A <---> 127.0.0.1:PORT_A

The problem here is that PORT_A is chosen as the lport for the socket
to be connected to PORT_A, and this actually creates simultaneous connect
on 127.0.0.1 but with only one inpcb.  Socket connected in this way is
useless and could break connect retry for the service listens on the
loopback interface.  Therefore, we skip the lport if the result will be:
(lport == fport && laddr == faddr)

NOTE: This still does not guard against explicit local port and address
chosen using bind(2) and then calling connect(2)

brgphy: Recognize more Broadcom PHYs

Obtained-from: OpenBSD, FreeBSD

miidevs.h: regen

miidevs: Add more Broadcom PHY IDs

Obtained-from: OpenBSD, FreeBSD

kernel: Fix alignment problem for sendmsg ancillary message data.

Closes bug 2116; sending file descriptors is broken on amd64.

From: Darwin xnu-123.5, NetBSD socket.h 1.50

installer: Tone down the comments around the installer's rc.conf settings.

dumpdev is the only thing that is written by default and it tended to
get lost among the rather verbose comments.

LINT/LINT64: Add KTR_TSLEEP.

brgphy: Bring in changes from OpenBSD

- Link status is now detected using BMSR
- Extra link status detection based on AUXSTS is used for 5906
- Shuffle 5906 EPHY setting around
- brgphy_loop() is not necessary to start auto-negotiation

Fix crossbuilding x86_64 on i386.

Brings back two things from cdefb602 and a262c465.

msk(4): Add support for Yukon Supreme

Obtained-from: FreeBSD 222230

msk(4): Disable ASF on the chips that have it

Obtained-from: FreeBSD 222227

msk(4): Make sure to enable all clocks before accessing registers.

Obtained-from: FreeBSD 222226

VFS_START() uses only two arguments

Fix crossbuilding i386 on x86_64.

bfd_elf64_archive_slurp_armap() is needed for building an i386
libbfd on x86_64.

msk(4): Only Yukon FE, XL and EC have RAM registers

Obtained-from: FreeBSD 222223

msk(4): Enable store and forward mode except for jumbo frame on Yukon Ultra.

Obtained-from: 222221

msk(4): Do not blindly clear entire GPHY control register.

It seems some bits of the register is used for other purposes such
that clearing these bits resulted in unexpected results such as
corrupted RX frames or missing LE status updates.

Obtained-from: FreeBSD 222219

msk(4): Don't process incoming packets if the interface is down

Obtained-from: FreeBSD 207623

msk(4): Don't unnecessarily clear interrupt masks

Obtained-from: FreeBSD 207623

mdoc.local: We must indent using spaces here.

Synchronize the description of struct statfs with its real
definition on DragonFly 2.11

ktr(4): Allow to configure KTR_TSLEEP alone.

Merge branch 'vendor/AWK'

Import awk-20110810.

* /pat/, \n /pat/ {...} is now legal, though bad style to use.
* added checks to new -v code that permits -vnospace
* removed fixed limit on number of open files
* fixed day 1 bug that resurrected deleted elements of ARGV when
  used as filenames (in lib.c).
* minor type fiddles to make gcc -Wall -pedantic happier (but not
  totally so)
* split(s, a, //) now behaves the same as split(s, a, "")
* another fix to avoid core dump with delete(ARGV)

kernel/x86_64: Remove bogus and unused file.

kernel - Fix deadlock w/recent vm_map work

* Fix a deadlock where a vm_page is being held PG_BUSY throgh a vm_map
  relocking operation.  This can deadlock against the attempt to busy
  a vm_page while holding a vm_map lock.

* The solution is a bit of a hack.  Currently allow the relock attempt to
  timeout and force a retry of the VM fault, which unlocks and relocks
  everything.  This is not the best solution but the problem occurs
  fairly rarely so for now it should be an acceptable workaround.

Reported-by: ftigeot, Studbolt

mfi(4): Merge LSI's latest driver changes (updates us to version 3.981).

This adds support for a number of cards (according to LSI's README):

* LSI MegaRAID SAS 9240-4i
* LSI MegaRAID SAS 9240-8i
* LSI MegaRAID SAS 9260-4i
* LSI MegaRAID SAS 9260-8i
* LSI MegaRAID SAS 9260DE-8i
* LSI MegaRAID SAS 9260-16i
* LSI MegaRAID SAS 9261-8i
* LSI MegaRAID SAS 9280-4i4e
* LSI MegaRAID SAS 9280-8e
* LSI MegaRAID SAS 9280DE-8e
* LSI MegaRAID SAS 9280-16i4e
* LSI MegaRAID SAS 9280-24i4e

It was tested by Tomi Juvonen <tomi.juvonen@kenou.biz> on an
IBM ServeRAID M1015 controller using LSI's 9240-8i IR firmware.

condvar.9: Mention that cv_broadcastpri()'s pri parameter is discarded.

<sys/condvar.h>: The cv_broadcastpri() macro needs to take a pri argument.

Mark the arcmsr driver MPSAFE

Implement a new vfs function, vfs_account()

It will be used to implement user and group disk space accounting
with possible filesystem-specific integration

acpi(4): Remove bogus line from the Makefile.

msk(4): Add support for 88E8059

Obtained-from: FreeBSD 207445

msk(4): Disable non-ASF packet flushing on Yukon Extreme.

This prevents Yukon Extreme from generating pause frame storm.

Obtained-from: FreeBSD 207442

msk(4): RX_GMF_{LP,UP}_THR are 16bits registers

Obtained-from: FreeBSD 207409

msk(4): PCI_OUR_REG_* and PCI_CFG_REG_* should be accessed indirectly

Obtained-from: FreeBSD 205161 w/ mod

msk(4): Enable flow-control only if link is full-duplex

Obtained-from: FreeBSD 204540

msk(4): Don't hardcod register offset to set PCIe max read request size.

This should fix 88E8072 support

Obtained-from: FreeBSD 204365

pci: Add function to get PCIe max read request size

msk(4): Add support for 88E8057

Obtained-from: FreeBSD 199012 202827

msk(4): Force link state detection, if link is not up.

It seems generation of link state change of e1000phy(4) is not reliable
on some Marvell PHYs, so we force a link state change if the link is
still not up.

Obtained-from: FreeBSD 199413

vkernel(7) - Describe diskless operation.

- Add a section describing needed tunables for diskless operation.
- Add an example on how to boot it.
- Add VKERNEL64 config file to FILES section.

kernel: Staticize naccess().

mfi(4) & mfiutil(8): Sync with FreeBSD

vkernel(7) - Permit multiple -e options to pass environment variables
             to the virtual kernel environment.

* kern_envp is a zero-separated string which ends with two zero chars.
  Now every -e option is added to kern_envp so that when the kenv_init
  parses the static envirorment it can process it properly.

kernel/x86_64: Convert asm accessing segment descriptors to use 16bit ops.

This also fixes -O0 compilation of the x86_64 kernel.

Reported-by: alexh
Taken-from:  FreeBSD

kernel/i386: Use 16 bit types for functions that access segment descriptors.

This is a followup commit to e96f55de.

Taken-from: FreeBSD

mk - Add two missing files to the README file

Move static & inline to the beginnings of declarations.

getsockopt: Add SO_SNDSPACE

This SOL_SOCKET get-only option is used to get the approximate free space
of send buffer.

e1000phy: Add support for more Marvell PHYs

Obtained-from: FreeBSD @211046 +223688

miidevs.h: regen