Add a SUBDIR_PARALLEL option to bsd.subdir.mk, to allow make to process
authordim <dim@FreeBSD.org>
Wed, 26 Mar 2014 22:30:38 +0000 (22:30 +0000)
committerdim <dim@FreeBSD.org>
Wed, 26 Mar 2014 22:30:38 +0000 (22:30 +0000)
commit905ed8bc7562473f1fbb0f4b4ae416d1819c2a6c
tree5be3730536450327733d775b82c832d3f363398c
parent270892ce0aa34981474cedfa90e120b5971c6e13
Add a SUBDIR_PARALLEL option to bsd.subdir.mk, to allow make to process
all the SUBDIR entries in parallel, instead of serially.  Apply this
option to a selected number of Makefiles, which can greatly speed up the
build on multi-core machines, when using make -j.

This can be extended to more Makefiles later on, whenever they are
verified to work correctly with parallel building.

I tested this on a 24-core machine, with make -j48 buildworld (N = 6):

                before    stddev       after    stddev
                =======   ======       =======  ======
real time        1741.1     16.5         959.8     2.7
user time       12468.7     16.4       14393.0    16.8
sys  time        1825.0     54.8        2110.6    22.8

(user+sys)/real     8.2                   17.1

E.g. the build was approximately 45% faster in real time.  On machines
with less cores, or with lower -j settings, the speedup will not be as
impressive.  But at least you can now almost max out a machine with
buildworld!

Submitted by: jilles
MFC after: 2 weeks
bin/Makefile
lib/Makefile
lib/clang/Makefile
sbin/Makefile
share/mk/bsd.subdir.mk
usr.bin/Makefile
usr.sbin/Makefile