kernel/rcu/Kconfig

   1 # SPDX-License-Identifier: GPL-2.0-only
   2 #
   3 # RCU-related configuration options
   4 #
   5
   6 menu "RCU Subsystem"
   7
   8 config TREE_RCU
   9         bool
  10         default y if SMP
  11         # Dynticks-idle tracking
  12         select CONTEXT_TRACKING_IDLE
  13         help
  14           This option selects the RCU implementation that is
  15           designed for very large SMP system with hundreds or
  16           thousands of CPUs.  It also scales down nicely to
  17           smaller systems.
  18
  19 config PREEMPT_RCU
  20         bool
  21         default y if PREEMPTION
  22         select TREE_RCU
  23         help
  24           This option selects the RCU implementation that is
  25           designed for very large SMP systems with hundreds or
  26           thousands of CPUs, but for which real-time response
  27           is also required.  It also scales down nicely to
  28           smaller systems.
  29
  30           Select this option if you are unsure.
  31
  32 config TINY_RCU
  33         bool
  34         default y if !PREEMPT_RCU && !SMP
  35         help
  36           This option selects the RCU implementation that is
  37           designed for UP systems from which real-time response
  38           is not required.  This option greatly reduces the
  39           memory footprint of RCU.
  40
  41 config RCU_EXPERT
  42         bool "Make expert-level adjustments to RCU configuration"
  43         default n
  44         help
  45           This option needs to be enabled if you wish to make
  46           expert-level adjustments to RCU configuration.  By default,
  47           no such adjustments can be made, which has the often-beneficial
  48           side-effect of preventing "make oldconfig" from asking you all
  49           sorts of detailed questions about how you would like numerous
  50           obscure RCU options to be set up.
  51
  52           Say Y if you need to make expert-level adjustments to RCU.
  53
  54           Say N if you are unsure.
  55
  56 config TINY_SRCU
  57         bool
  58         default y if TINY_RCU
  59         help
  60           This option selects the single-CPU non-preemptible version of SRCU.
  61
  62 config TREE_SRCU
  63         bool
  64         default y if !TINY_RCU
  65         help
  66           This option selects the full-fledged version of SRCU.
  67
  68 config NEED_SRCU_NMI_SAFE
  69         def_bool HAVE_NMI && !ARCH_HAS_NMI_SAFE_THIS_CPU_OPS && !TINY_SRCU
  70
  71 config TASKS_RCU_GENERIC
  72         def_bool TASKS_RCU || TASKS_RUDE_RCU || TASKS_TRACE_RCU
  73         help
  74           This option enables generic infrastructure code supporting
  75           task-based RCU implementations.  Not for manual selection.
  76
  77 config FORCE_TASKS_RCU
  78         bool "Force selection of TASKS_RCU"
  79         depends on RCU_EXPERT
  80         select TASKS_RCU
  81         default n
  82         help
  83           This option force-enables a task-based RCU implementation
  84           that uses only voluntary context switch (not preemption!),
  85           idle, and user-mode execution as quiescent states.  Not for
  86           manual selection in most cases.
  87
  88 config NEED_TASKS_RCU
  89         bool
  90         default n
  91
  92 config TASKS_RCU
  93         bool
  94         default NEED_TASKS_RCU && (PREEMPTION || PREEMPT_AUTO)
  95         select IRQ_WORK
  96
  97 config FORCE_TASKS_RUDE_RCU
  98         bool "Force selection of Tasks Rude RCU"
  99         depends on RCU_EXPERT
 100         select TASKS_RUDE_RCU
 101         default n
 102         help
 103           This option force-enables a task-based RCU implementation
 104           that uses only context switch (including preemption) and
 105           user-mode execution as quiescent states.  It forces IPIs and
 106           context switches on all online CPUs, including idle ones,
 107           so use with caution.  Not for manual selection in most cases.
 108
 109 config TASKS_RUDE_RCU
 110         bool
 111         default n
 112         select IRQ_WORK
 113
 114 config FORCE_TASKS_TRACE_RCU
 115         bool "Force selection of Tasks Trace RCU"
 116         depends on RCU_EXPERT
 117         select TASKS_TRACE_RCU
 118         default n
 119         help
 120           This option enables a task-based RCU implementation that uses
 121           explicit rcu_read_lock_trace() read-side markers, and allows
 122           these readers to appear in the idle loop as well as on the
 123           CPU hotplug code paths.  It can force IPIs on online CPUs,
 124           including idle ones, so use with caution.  Not for manual
 125           selection in most cases.
 126
 127 config TASKS_TRACE_RCU
 128         bool
 129         default n
 130         select IRQ_WORK
 131
 132 config RCU_STALL_COMMON
 133         def_bool TREE_RCU
 134         help
 135           This option enables RCU CPU stall code that is common between
 136           the TINY and TREE variants of RCU.  The purpose is to allow
 137           the tiny variants to disable RCU CPU stall warnings, while
 138           making these warnings mandatory for the tree variants.
 139
 140 config RCU_NEED_SEGCBLIST
 141         def_bool ( TREE_RCU || TREE_SRCU || TASKS_RCU_GENERIC )
 142
 143 config RCU_FANOUT
 144         int "Tree-based hierarchical RCU fanout value"
 145         range 2 64 if 64BIT
 146         range 2 32 if !64BIT
 147         depends on TREE_RCU && RCU_EXPERT
 148         default 64 if 64BIT
 149         default 32 if !64BIT
 150         help
 151           This option controls the fanout of hierarchical implementations
 152           of RCU, allowing RCU to work efficiently on machines with
 153           large numbers of CPUs.  This value must be at least the fourth
 154           root of NR_CPUS, which allows NR_CPUS to be insanely large.
 155           The default value of RCU_FANOUT should be used for production
 156           systems, but if you are stress-testing the RCU implementation
 157           itself, small RCU_FANOUT values allow you to test large-system
 158           code paths on small(er) systems.
 159
 160           Select a specific number if testing RCU itself.
 161           Take the default if unsure.
 162
 163 config RCU_FANOUT_LEAF
 164         int "Tree-based hierarchical RCU leaf-level fanout value"
 165         range 2 64 if 64BIT && !RCU_STRICT_GRACE_PERIOD
 166         range 2 32 if !64BIT && !RCU_STRICT_GRACE_PERIOD
 167         range 2 3 if RCU_STRICT_GRACE_PERIOD
 168         depends on TREE_RCU && RCU_EXPERT
 169         default 16 if !RCU_STRICT_GRACE_PERIOD
 170         default 2 if RCU_STRICT_GRACE_PERIOD
 171         help
 172           This option controls the leaf-level fanout of hierarchical
 173           implementations of RCU, and allows trading off cache misses
 174           against lock contention.  Systems that synchronize their
 175           scheduling-clock interrupts for energy-efficiency reasons will
 176           want the default because the smaller leaf-level fanout keeps
 177           lock contention levels acceptably low.  Very large systems
 178           (hundreds or thousands of CPUs) will instead want to set this
 179           value to the maximum value possible in order to reduce the
 180           number of cache misses incurred during RCU's grace-period
 181           initialization.  These systems tend to run CPU-bound, and thus
 182           are not helped by synchronized interrupts, and thus tend to
 183           skew them, which reduces lock contention enough that large
 184           leaf-level fanouts work well.  That said, setting leaf-level
 185           fanout to a large number will likely cause problematic
 186           lock contention on the leaf-level rcu_node structures unless
 187           you boot with the skew_tick kernel parameter.
 188
 189           Select a specific number if testing RCU itself.
 190
 191           Select the maximum permissible value for large systems, but
 192           please understand that you may also need to set the skew_tick
 193           kernel boot parameter to avoid contention on the rcu_node
 194           structure's locks.
 195
 196           Take the default if unsure.
 197
 198 config RCU_BOOST
 199         bool "Enable RCU priority boosting"
 200         depends on (RT_MUTEXES && PREEMPT_RCU && RCU_EXPERT) || PREEMPT_RT
 201         default y if PREEMPT_RT
 202         help
 203           This option boosts the priority of preempted RCU readers that
 204           block the current preemptible RCU grace period for too long.
 205           This option also prevents heavy loads from blocking RCU
 206           callback invocation.
 207
 208           Say Y here if you are working with real-time apps or heavy loads
 209           Say N here if you are unsure.
 210
 211 config RCU_BOOST_DELAY
 212         int "Milliseconds to delay boosting after RCU grace-period start"
 213         range 0 3000
 214         depends on RCU_BOOST
 215         default 500
 216         help
 217           This option specifies the time to wait after the beginning of
 218           a given grace period before priority-boosting preempted RCU
 219           readers blocking that grace period.  Note that any RCU reader
 220           blocking an expedited RCU grace period is boosted immediately.
 221
 222           Accept the default if unsure.
 223
 224 config RCU_EXP_KTHREAD
 225         bool "Perform RCU expedited work in a real-time kthread"
 226         depends on RCU_BOOST && RCU_EXPERT
 227         default !PREEMPT_RT && NR_CPUS <= 32
 228         help
 229           Use this option to further reduce the latencies of expedited
 230           grace periods at the expense of being more disruptive.
 231
 232           This option is disabled by default on PREEMPT_RT=y kernels which
 233           disable expedited grace periods after boot by unconditionally
 234           setting rcupdate.rcu_normal_after_boot=1.
 235
 236           Accept the default if unsure.
 237
 238 config RCU_NOCB_CPU
 239         bool "Offload RCU callback processing from boot-selected CPUs"
 240         depends on TREE_RCU
 241         depends on RCU_EXPERT || NO_HZ_FULL
 242         default n
 243         help
 244           Use this option to reduce OS jitter for aggressive HPC or
 245           real-time workloads.  It can also be used to offload RCU
 246           callback invocation to energy-efficient CPUs in battery-powered
 247           asymmetric multiprocessors.  The price of this reduced jitter
 248           is that the overhead of call_rcu() increases and that some
 249           workloads will incur significant increases in context-switch
 250           rates.
 251
 252           This option offloads callback invocation from the set of CPUs
 253           specified at boot time by the rcu_nocbs parameter.  For each
 254           such CPU, a kthread ("rcuox/N") will be created to invoke
 255           callbacks, where the "N" is the CPU being offloaded, and where
 256           the "x" is "p" for RCU-preempt (PREEMPTION kernels) and "s" for
 257           RCU-sched (!PREEMPTION kernels).  Nothing prevents this kthread
 258           from running on the specified CPUs, but (1) the kthreads may be
 259           preempted between each callback, and (2) affinity or cgroups can
 260           be used to force the kthreads to run on whatever set of CPUs is
 261           desired.
 262
 263           Say Y here if you need reduced OS jitter, despite added overhead.
 264           Say N here if you are unsure.
 265
 266 config RCU_NOCB_CPU_DEFAULT_ALL
 267         bool "Offload RCU callback processing from all CPUs by default"
 268         depends on RCU_NOCB_CPU
 269         default n
 270         help
 271           Use this option to offload callback processing from all CPUs
 272           by default, in the absence of the rcu_nocbs or nohz_full boot
 273           parameter. This also avoids the need to use any boot parameters
 274           to achieve the effect of offloading all CPUs on boot.
 275
 276           Say Y here if you want offload all CPUs by default on boot.
 277           Say N here if you are unsure.
 278
 279 config RCU_NOCB_CPU_CB_BOOST
 280         bool "Offload RCU callback from real-time kthread"
 281         depends on RCU_NOCB_CPU && RCU_BOOST
 282         default y if PREEMPT_RT
 283         help
 284           Use this option to invoke offloaded callbacks as SCHED_FIFO
 285           to avoid starvation by heavy SCHED_OTHER background load.
 286           Of course, running as SCHED_FIFO during callback floods will
 287           cause the rcuo[ps] kthreads to monopolize the CPU for hundreds
 288           of milliseconds or more.  Therefore, when enabling this option,
 289           it is your responsibility to ensure that latency-sensitive
 290           tasks either run with higher priority or run on some other CPU.
 291
 292           Say Y here if you want to set RT priority for offloading kthreads.
 293           Say N here if you are building a !PREEMPT_RT kernel and are unsure.
 294
 295 config TASKS_TRACE_RCU_READ_MB
 296         bool "Tasks Trace RCU readers use memory barriers in user and idle"
 297         depends on RCU_EXPERT && TASKS_TRACE_RCU
 298         default PREEMPT_RT || NR_CPUS < 8
 299         help
 300           Use this option to further reduce the number of IPIs sent
 301           to CPUs executing in userspace or idle during tasks trace
 302           RCU grace periods.  Given that a reasonable setting of
 303           the rcupdate.rcu_task_ipi_delay kernel boot parameter
 304           eliminates such IPIs for many workloads, proper setting
 305           of this Kconfig option is important mostly for aggressive
 306           real-time installations and for battery-powered devices,
 307           hence the default chosen above.
 308
 309           Say Y here if you hate IPIs.
 310           Say N here if you hate read-side memory barriers.
 311           Take the default if you are unsure.
 312
 313 config RCU_LAZY
 314         bool "RCU callback lazy invocation functionality"
 315         depends on RCU_NOCB_CPU
 316         default n
 317         help
 318           To save power, batch RCU callbacks and flush after delay, memory
 319           pressure, or callback list growing too big.
 320
 321           Requires rcu_nocbs=all to be set.
 322
 323           Use rcutree.enable_rcu_lazy=0 to turn it off at boot time.
 324
 325 config RCU_LAZY_DEFAULT_OFF
 326         bool "Turn RCU lazy invocation off by default"
 327         depends on RCU_LAZY
 328         default n
 329         help
 330           Allows building the kernel with CONFIG_RCU_LAZY=y yet keep it default
 331           off. Boot time param rcutree.enable_rcu_lazy=1 can be used to switch
 332           it back on.
 333
 334 config RCU_DOUBLE_CHECK_CB_TIME
 335         bool "RCU callback-batch backup time check"
 336         depends on RCU_EXPERT
 337         default n
 338         help
 339           Use this option to provide more precise enforcement of the
 340           rcutree.rcu_resched_ns module parameter in situations where
 341           a single RCU callback might run for hundreds of microseconds,
 342           thus defeating the 32-callback batching used to amortize the
 343           cost of the fine-grained but expensive local_clock() function.
 344
 345           This option rounds rcutree.rcu_resched_ns up to the next
 346           jiffy, and overrides the 32-callback batching if this limit
 347           is exceeded.
 348
 349           Say Y here if you need tighter callback-limit enforcement.
 350           Say N here if you are unsure.
 351
 352 endmenu # "RCU Subsystem"