Upgrade GCC from 4.4.6-RELEASE to 4.4.7 snapshot 2011-10-25
[dragonfly.git] / contrib / gcc-4.4 / gcc / reload1.c
1 /* Reload pseudo regs into hard regs for insns that require hard regs.
2    Copyright (C) 1987, 1988, 1989, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
3    1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009
4    Free Software Foundation, Inc.
5
6 This file is part of GCC.
7
8 GCC is free software; you can redistribute it and/or modify it under
9 the terms of the GNU General Public License as published by the Free
10 Software Foundation; either version 3, or (at your option) any later
11 version.
12
13 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
14 WARRANTY; without even the implied warranty of MERCHANTABILITY or
15 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
16 for more details.
17
18 You should have received a copy of the GNU General Public License
19 along with GCC; see the file COPYING3.  If not see
20 <http://www.gnu.org/licenses/>.  */
21
22 #include "config.h"
23 #include "system.h"
24 #include "coretypes.h"
25 #include "tm.h"
26
27 #include "machmode.h"
28 #include "hard-reg-set.h"
29 #include "rtl.h"
30 #include "tm_p.h"
31 #include "obstack.h"
32 #include "insn-config.h"
33 #include "flags.h"
34 #include "function.h"
35 #include "expr.h"
36 #include "optabs.h"
37 #include "regs.h"
38 #include "addresses.h"
39 #include "basic-block.h"
40 #include "reload.h"
41 #include "recog.h"
42 #include "output.h"
43 #include "real.h"
44 #include "toplev.h"
45 #include "except.h"
46 #include "tree.h"
47 #include "ira.h"
48 #include "df.h"
49 #include "target.h"
50 #include "emit-rtl.h"
51
52 /* This file contains the reload pass of the compiler, which is
53    run after register allocation has been done.  It checks that
54    each insn is valid (operands required to be in registers really
55    are in registers of the proper class) and fixes up invalid ones
56    by copying values temporarily into registers for the insns
57    that need them.
58
59    The results of register allocation are described by the vector
60    reg_renumber; the insns still contain pseudo regs, but reg_renumber
61    can be used to find which hard reg, if any, a pseudo reg is in.
62
63    The technique we always use is to free up a few hard regs that are
64    called ``reload regs'', and for each place where a pseudo reg
65    must be in a hard reg, copy it temporarily into one of the reload regs.
66
67    Reload regs are allocated locally for every instruction that needs
68    reloads.  When there are pseudos which are allocated to a register that
69    has been chosen as a reload reg, such pseudos must be ``spilled''.
70    This means that they go to other hard regs, or to stack slots if no other
71    available hard regs can be found.  Spilling can invalidate more
72    insns, requiring additional need for reloads, so we must keep checking
73    until the process stabilizes.
74
75    For machines with different classes of registers, we must keep track
76    of the register class needed for each reload, and make sure that
77    we allocate enough reload registers of each class.
78
79    The file reload.c contains the code that checks one insn for
80    validity and reports the reloads that it needs.  This file
81    is in charge of scanning the entire rtl code, accumulating the
82    reload needs, spilling, assigning reload registers to use for
83    fixing up each insn, and generating the new insns to copy values
84    into the reload registers.  */
85 \f
86 /* During reload_as_needed, element N contains a REG rtx for the hard reg
87    into which reg N has been reloaded (perhaps for a previous insn).  */
88 static rtx *reg_last_reload_reg;
89
90 /* Elt N nonzero if reg_last_reload_reg[N] has been set in this insn
91    for an output reload that stores into reg N.  */
92 static regset_head reg_has_output_reload;
93
94 /* Indicates which hard regs are reload-registers for an output reload
95    in the current insn.  */
96 static HARD_REG_SET reg_is_output_reload;
97
98 /* Element N is the constant value to which pseudo reg N is equivalent,
99    or zero if pseudo reg N is not equivalent to a constant.
100    find_reloads looks at this in order to replace pseudo reg N
101    with the constant it stands for.  */
102 rtx *reg_equiv_constant;
103
104 /* Element N is an invariant value to which pseudo reg N is equivalent.
105    eliminate_regs_in_insn uses this to replace pseudos in particular
106    contexts.  */
107 rtx *reg_equiv_invariant;
108
109 /* Element N is a memory location to which pseudo reg N is equivalent,
110    prior to any register elimination (such as frame pointer to stack
111    pointer).  Depending on whether or not it is a valid address, this value
112    is transferred to either reg_equiv_address or reg_equiv_mem.  */
113 rtx *reg_equiv_memory_loc;
114
115 /* We allocate reg_equiv_memory_loc inside a varray so that the garbage
116    collector can keep track of what is inside.  */
117 VEC(rtx,gc) *reg_equiv_memory_loc_vec;
118
119 /* Element N is the address of stack slot to which pseudo reg N is equivalent.
120    This is used when the address is not valid as a memory address
121    (because its displacement is too big for the machine.)  */
122 rtx *reg_equiv_address;
123
124 /* Element N is the memory slot to which pseudo reg N is equivalent,
125    or zero if pseudo reg N is not equivalent to a memory slot.  */
126 rtx *reg_equiv_mem;
127
128 /* Element N is an EXPR_LIST of REG_EQUIVs containing MEMs with
129    alternate representations of the location of pseudo reg N.  */
130 rtx *reg_equiv_alt_mem_list;
131
132 /* Widest width in which each pseudo reg is referred to (via subreg).  */
133 static unsigned int *reg_max_ref_width;
134
135 /* Element N is the list of insns that initialized reg N from its equivalent
136    constant or memory slot.  */
137 rtx *reg_equiv_init;
138 int reg_equiv_init_size;
139
140 /* Vector to remember old contents of reg_renumber before spilling.  */
141 static short *reg_old_renumber;
142
143 /* During reload_as_needed, element N contains the last pseudo regno reloaded
144    into hard register N.  If that pseudo reg occupied more than one register,
145    reg_reloaded_contents points to that pseudo for each spill register in
146    use; all of these must remain set for an inheritance to occur.  */
147 static int reg_reloaded_contents[FIRST_PSEUDO_REGISTER];
148
149 /* During reload_as_needed, element N contains the insn for which
150    hard register N was last used.   Its contents are significant only
151    when reg_reloaded_valid is set for this register.  */
152 static rtx reg_reloaded_insn[FIRST_PSEUDO_REGISTER];
153
154 /* Indicate if reg_reloaded_insn / reg_reloaded_contents is valid.  */
155 static HARD_REG_SET reg_reloaded_valid;
156 /* Indicate if the register was dead at the end of the reload.
157    This is only valid if reg_reloaded_contents is set and valid.  */
158 static HARD_REG_SET reg_reloaded_dead;
159
160 /* Indicate whether the register's current value is one that is not
161    safe to retain across a call, even for registers that are normally
162    call-saved.  This is only meaningful for members of reg_reloaded_valid.  */
163 static HARD_REG_SET reg_reloaded_call_part_clobbered;
164
165 /* Number of spill-regs so far; number of valid elements of spill_regs.  */
166 static int n_spills;
167
168 /* In parallel with spill_regs, contains REG rtx's for those regs.
169    Holds the last rtx used for any given reg, or 0 if it has never
170    been used for spilling yet.  This rtx is reused, provided it has
171    the proper mode.  */
172 static rtx spill_reg_rtx[FIRST_PSEUDO_REGISTER];
173
174 /* In parallel with spill_regs, contains nonzero for a spill reg
175    that was stored after the last time it was used.
176    The precise value is the insn generated to do the store.  */
177 static rtx spill_reg_store[FIRST_PSEUDO_REGISTER];
178
179 /* This is the register that was stored with spill_reg_store.  This is a
180    copy of reload_out / reload_out_reg when the value was stored; if
181    reload_out is a MEM, spill_reg_stored_to will be set to reload_out_reg.  */
182 static rtx spill_reg_stored_to[FIRST_PSEUDO_REGISTER];
183
184 /* This table is the inverse mapping of spill_regs:
185    indexed by hard reg number,
186    it contains the position of that reg in spill_regs,
187    or -1 for something that is not in spill_regs.
188
189    ?!?  This is no longer accurate.  */
190 static short spill_reg_order[FIRST_PSEUDO_REGISTER];
191
192 /* This reg set indicates registers that can't be used as spill registers for
193    the currently processed insn.  These are the hard registers which are live
194    during the insn, but not allocated to pseudos, as well as fixed
195    registers.  */
196 static HARD_REG_SET bad_spill_regs;
197
198 /* These are the hard registers that can't be used as spill register for any
199    insn.  This includes registers used for user variables and registers that
200    we can't eliminate.  A register that appears in this set also can't be used
201    to retry register allocation.  */
202 static HARD_REG_SET bad_spill_regs_global;
203
204 /* Describes order of use of registers for reloading
205    of spilled pseudo-registers.  `n_spills' is the number of
206    elements that are actually valid; new ones are added at the end.
207
208    Both spill_regs and spill_reg_order are used on two occasions:
209    once during find_reload_regs, where they keep track of the spill registers
210    for a single insn, but also during reload_as_needed where they show all
211    the registers ever used by reload.  For the latter case, the information
212    is calculated during finish_spills.  */
213 static short spill_regs[FIRST_PSEUDO_REGISTER];
214
215 /* This vector of reg sets indicates, for each pseudo, which hard registers
216    may not be used for retrying global allocation because the register was
217    formerly spilled from one of them.  If we allowed reallocating a pseudo to
218    a register that it was already allocated to, reload might not
219    terminate.  */
220 static HARD_REG_SET *pseudo_previous_regs;
221
222 /* This vector of reg sets indicates, for each pseudo, which hard
223    registers may not be used for retrying global allocation because they
224    are used as spill registers during one of the insns in which the
225    pseudo is live.  */
226 static HARD_REG_SET *pseudo_forbidden_regs;
227
228 /* All hard regs that have been used as spill registers for any insn are
229    marked in this set.  */
230 static HARD_REG_SET used_spill_regs;
231
232 /* Index of last register assigned as a spill register.  We allocate in
233    a round-robin fashion.  */
234 static int last_spill_reg;
235
236 /* Nonzero if indirect addressing is supported on the machine; this means
237    that spilling (REG n) does not require reloading it into a register in
238    order to do (MEM (REG n)) or (MEM (PLUS (REG n) (CONST_INT c))).  The
239    value indicates the level of indirect addressing supported, e.g., two
240    means that (MEM (MEM (REG n))) is also valid if (REG n) does not get
241    a hard register.  */
242 static char spill_indirect_levels;
243
244 /* Nonzero if indirect addressing is supported when the innermost MEM is
245    of the form (MEM (SYMBOL_REF sym)).  It is assumed that the level to
246    which these are valid is the same as spill_indirect_levels, above.  */
247 char indirect_symref_ok;
248
249 /* Nonzero if an address (plus (reg frame_pointer) (reg ...)) is valid.  */
250 char double_reg_address_ok;
251
252 /* Record the stack slot for each spilled hard register.  */
253 static rtx spill_stack_slot[FIRST_PSEUDO_REGISTER];
254
255 /* Width allocated so far for that stack slot.  */
256 static unsigned int spill_stack_slot_width[FIRST_PSEUDO_REGISTER];
257
258 /* Record which pseudos needed to be spilled.  */
259 static regset_head spilled_pseudos;
260
261 /* Record which pseudos changed their allocation in finish_spills.  */
262 static regset_head changed_allocation_pseudos;
263
264 /* Used for communication between order_regs_for_reload and count_pseudo.
265    Used to avoid counting one pseudo twice.  */
266 static regset_head pseudos_counted;
267
268 /* First uid used by insns created by reload in this function.
269    Used in find_equiv_reg.  */
270 int reload_first_uid;
271
272 /* Flag set by local-alloc or global-alloc if anything is live in
273    a call-clobbered reg across calls.  */
274 int caller_save_needed;
275
276 /* Set to 1 while reload_as_needed is operating.
277    Required by some machines to handle any generated moves differently.  */
278 int reload_in_progress = 0;
279
280 /* These arrays record the insn_code of insns that may be needed to
281    perform input and output reloads of special objects.  They provide a
282    place to pass a scratch register.  */
283 enum insn_code reload_in_optab[NUM_MACHINE_MODES];
284 enum insn_code reload_out_optab[NUM_MACHINE_MODES];
285
286 /* This obstack is used for allocation of rtl during register elimination.
287    The allocated storage can be freed once find_reloads has processed the
288    insn.  */
289 static struct obstack reload_obstack;
290
291 /* Points to the beginning of the reload_obstack.  All insn_chain structures
292    are allocated first.  */
293 static char *reload_startobj;
294
295 /* The point after all insn_chain structures.  Used to quickly deallocate
296    memory allocated in copy_reloads during calculate_needs_all_insns.  */
297 static char *reload_firstobj;
298
299 /* This points before all local rtl generated by register elimination.
300    Used to quickly free all memory after processing one insn.  */
301 static char *reload_insn_firstobj;
302
303 /* List of insn_chain instructions, one for every insn that reload needs to
304    examine.  */
305 struct insn_chain *reload_insn_chain;
306
307 /* List of all insns needing reloads.  */
308 static struct insn_chain *insns_need_reload;
309 \f
310 /* This structure is used to record information about register eliminations.
311    Each array entry describes one possible way of eliminating a register
312    in favor of another.   If there is more than one way of eliminating a
313    particular register, the most preferred should be specified first.  */
314
315 struct elim_table
316 {
317   int from;                     /* Register number to be eliminated.  */
318   int to;                       /* Register number used as replacement.  */
319   HOST_WIDE_INT initial_offset; /* Initial difference between values.  */
320   int can_eliminate;            /* Nonzero if this elimination can be done.  */
321   int can_eliminate_previous;   /* Value of CAN_ELIMINATE in previous scan over
322                                    insns made by reload.  */
323   HOST_WIDE_INT offset;         /* Current offset between the two regs.  */
324   HOST_WIDE_INT previous_offset;/* Offset at end of previous insn.  */
325   int ref_outside_mem;          /* "to" has been referenced outside a MEM.  */
326   rtx from_rtx;                 /* REG rtx for the register to be eliminated.
327                                    We cannot simply compare the number since
328                                    we might then spuriously replace a hard
329                                    register corresponding to a pseudo
330                                    assigned to the reg to be eliminated.  */
331   rtx to_rtx;                   /* REG rtx for the replacement.  */
332 };
333
334 static struct elim_table *reg_eliminate = 0;
335
336 /* This is an intermediate structure to initialize the table.  It has
337    exactly the members provided by ELIMINABLE_REGS.  */
338 static const struct elim_table_1
339 {
340   const int from;
341   const int to;
342 } reg_eliminate_1[] =
343
344 /* If a set of eliminable registers was specified, define the table from it.
345    Otherwise, default to the normal case of the frame pointer being
346    replaced by the stack pointer.  */
347
348 #ifdef ELIMINABLE_REGS
349   ELIMINABLE_REGS;
350 #else
351   {{ FRAME_POINTER_REGNUM, STACK_POINTER_REGNUM}};
352 #endif
353
354 #define NUM_ELIMINABLE_REGS ARRAY_SIZE (reg_eliminate_1)
355
356 /* Record the number of pending eliminations that have an offset not equal
357    to their initial offset.  If nonzero, we use a new copy of each
358    replacement result in any insns encountered.  */
359 int num_not_at_initial_offset;
360
361 /* Count the number of registers that we may be able to eliminate.  */
362 static int num_eliminable;
363 /* And the number of registers that are equivalent to a constant that
364    can be eliminated to frame_pointer / arg_pointer + constant.  */
365 static int num_eliminable_invariants;
366
367 /* For each label, we record the offset of each elimination.  If we reach
368    a label by more than one path and an offset differs, we cannot do the
369    elimination.  This information is indexed by the difference of the
370    number of the label and the first label number.  We can't offset the
371    pointer itself as this can cause problems on machines with segmented
372    memory.  The first table is an array of flags that records whether we
373    have yet encountered a label and the second table is an array of arrays,
374    one entry in the latter array for each elimination.  */
375
376 static int first_label_num;
377 static char *offsets_known_at;
378 static HOST_WIDE_INT (*offsets_at)[NUM_ELIMINABLE_REGS];
379
380 /* Number of labels in the current function.  */
381
382 static int num_labels;
383 \f
384 static void replace_pseudos_in (rtx *, enum machine_mode, rtx);
385 static void maybe_fix_stack_asms (void);
386 static void copy_reloads (struct insn_chain *);
387 static void calculate_needs_all_insns (int);
388 static int find_reg (struct insn_chain *, int);
389 static void find_reload_regs (struct insn_chain *);
390 static void select_reload_regs (void);
391 static void delete_caller_save_insns (void);
392
393 static void spill_failure (rtx, enum reg_class);
394 static void count_spilled_pseudo (int, int, int);
395 static void delete_dead_insn (rtx);
396 static void alter_reg (int, int, bool);
397 static void set_label_offsets (rtx, rtx, int);
398 static void check_eliminable_occurrences (rtx);
399 static void elimination_effects (rtx, enum machine_mode);
400 static int eliminate_regs_in_insn (rtx, int);
401 static void update_eliminable_offsets (void);
402 static void mark_not_eliminable (rtx, const_rtx, void *);
403 static void set_initial_elim_offsets (void);
404 static bool verify_initial_elim_offsets (void);
405 static void set_initial_label_offsets (void);
406 static void set_offsets_for_label (rtx);
407 static void init_elim_table (void);
408 static void update_eliminables (HARD_REG_SET *);
409 static void spill_hard_reg (unsigned int, int);
410 static int finish_spills (int);
411 static void scan_paradoxical_subregs (rtx);
412 static void count_pseudo (int);
413 static void order_regs_for_reload (struct insn_chain *);
414 static void reload_as_needed (int);
415 static void forget_old_reloads_1 (rtx, const_rtx, void *);
416 static void forget_marked_reloads (regset);
417 static int reload_reg_class_lower (const void *, const void *);
418 static void mark_reload_reg_in_use (unsigned int, int, enum reload_type,
419                                     enum machine_mode);
420 static void clear_reload_reg_in_use (unsigned int, int, enum reload_type,
421                                      enum machine_mode);
422 static int reload_reg_free_p (unsigned int, int, enum reload_type);
423 static int reload_reg_free_for_value_p (int, int, int, enum reload_type,
424                                         rtx, rtx, int, int);
425 static int free_for_value_p (int, enum machine_mode, int, enum reload_type,
426                              rtx, rtx, int, int);
427 static int reload_reg_reaches_end_p (unsigned int, int, enum reload_type);
428 static int allocate_reload_reg (struct insn_chain *, int, int);
429 static int conflicts_with_override (rtx);
430 static void failed_reload (rtx, int);
431 static int set_reload_reg (int, int);
432 static void choose_reload_regs_init (struct insn_chain *, rtx *);
433 static void choose_reload_regs (struct insn_chain *);
434 static void emit_input_reload_insns (struct insn_chain *, struct reload *,
435                                      rtx, int);
436 static void emit_output_reload_insns (struct insn_chain *, struct reload *,
437                                       int);
438 static void do_input_reload (struct insn_chain *, struct reload *, int);
439 static void do_output_reload (struct insn_chain *, struct reload *, int);
440 static void emit_reload_insns (struct insn_chain *);
441 static void delete_output_reload (rtx, int, int, rtx);
442 static void delete_address_reloads (rtx, rtx);
443 static void delete_address_reloads_1 (rtx, rtx, rtx);
444 static rtx inc_for_reload (rtx, rtx, rtx, int);
445 #ifdef AUTO_INC_DEC
446 static void add_auto_inc_notes (rtx, rtx);
447 #endif
448 static void copy_eh_notes (rtx, rtx);
449 static void substitute (rtx *, const_rtx, rtx);
450 static bool gen_reload_chain_without_interm_reg_p (int, int);
451 static int reloads_conflict (int, int);
452 static rtx gen_reload (rtx, rtx, int, enum reload_type);
453 static rtx emit_insn_if_valid_for_reload (rtx);
454 \f
455 /* Initialize the reload pass.  This is called at the beginning of compilation
456    and may be called again if the target is reinitialized.  */
457
458 void
459 init_reload (void)
460 {
461   int i;
462
463   /* Often (MEM (REG n)) is still valid even if (REG n) is put on the stack.
464      Set spill_indirect_levels to the number of levels such addressing is
465      permitted, zero if it is not permitted at all.  */
466
467   rtx tem
468     = gen_rtx_MEM (Pmode,
469                    gen_rtx_PLUS (Pmode,
470                                  gen_rtx_REG (Pmode,
471                                               LAST_VIRTUAL_REGISTER + 1),
472                                  GEN_INT (4)));
473   spill_indirect_levels = 0;
474
475   while (memory_address_p (QImode, tem))
476     {
477       spill_indirect_levels++;
478       tem = gen_rtx_MEM (Pmode, tem);
479     }
480
481   /* See if indirect addressing is valid for (MEM (SYMBOL_REF ...)).  */
482
483   tem = gen_rtx_MEM (Pmode, gen_rtx_SYMBOL_REF (Pmode, "foo"));
484   indirect_symref_ok = memory_address_p (QImode, tem);
485
486   /* See if reg+reg is a valid (and offsettable) address.  */
487
488   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
489     {
490       tem = gen_rtx_PLUS (Pmode,
491                           gen_rtx_REG (Pmode, HARD_FRAME_POINTER_REGNUM),
492                           gen_rtx_REG (Pmode, i));
493
494       /* This way, we make sure that reg+reg is an offsettable address.  */
495       tem = plus_constant (tem, 4);
496
497       if (memory_address_p (QImode, tem))
498         {
499           double_reg_address_ok = 1;
500           break;
501         }
502     }
503
504   /* Initialize obstack for our rtl allocation.  */
505   gcc_obstack_init (&reload_obstack);
506   reload_startobj = XOBNEWVAR (&reload_obstack, char, 0);
507
508   INIT_REG_SET (&spilled_pseudos);
509   INIT_REG_SET (&changed_allocation_pseudos);
510   INIT_REG_SET (&pseudos_counted);
511 }
512
513 /* List of insn chains that are currently unused.  */
514 static struct insn_chain *unused_insn_chains = 0;
515
516 /* Allocate an empty insn_chain structure.  */
517 struct insn_chain *
518 new_insn_chain (void)
519 {
520   struct insn_chain *c;
521
522   if (unused_insn_chains == 0)
523     {
524       c = XOBNEW (&reload_obstack, struct insn_chain);
525       INIT_REG_SET (&c->live_throughout);
526       INIT_REG_SET (&c->dead_or_set);
527     }
528   else
529     {
530       c = unused_insn_chains;
531       unused_insn_chains = c->next;
532     }
533   c->is_caller_save_insn = 0;
534   c->need_operand_change = 0;
535   c->need_reload = 0;
536   c->need_elim = 0;
537   return c;
538 }
539
540 /* Small utility function to set all regs in hard reg set TO which are
541    allocated to pseudos in regset FROM.  */
542
543 void
544 compute_use_by_pseudos (HARD_REG_SET *to, regset from)
545 {
546   unsigned int regno;
547   reg_set_iterator rsi;
548
549   EXECUTE_IF_SET_IN_REG_SET (from, FIRST_PSEUDO_REGISTER, regno, rsi)
550     {
551       int r = reg_renumber[regno];
552
553       if (r < 0)
554         {
555           /* reload_combine uses the information from DF_LIVE_IN,
556              which might still contain registers that have not
557              actually been allocated since they have an
558              equivalence.  */
559           gcc_assert (ira_conflicts_p || reload_completed);
560         }
561       else
562         add_to_hard_reg_set (to, PSEUDO_REGNO_MODE (regno), r);
563     }
564 }
565
566 /* Replace all pseudos found in LOC with their corresponding
567    equivalences.  */
568
569 static void
570 replace_pseudos_in (rtx *loc, enum machine_mode mem_mode, rtx usage)
571 {
572   rtx x = *loc;
573   enum rtx_code code;
574   const char *fmt;
575   int i, j;
576
577   if (! x)
578     return;
579
580   code = GET_CODE (x);
581   if (code == REG)
582     {
583       unsigned int regno = REGNO (x);
584
585       if (regno < FIRST_PSEUDO_REGISTER)
586         return;
587
588       x = eliminate_regs (x, mem_mode, usage);
589       if (x != *loc)
590         {
591           *loc = x;
592           replace_pseudos_in (loc, mem_mode, usage);
593           return;
594         }
595
596       if (reg_equiv_constant[regno])
597         *loc = reg_equiv_constant[regno];
598       else if (reg_equiv_mem[regno])
599         *loc = reg_equiv_mem[regno];
600       else if (reg_equiv_address[regno])
601         *loc = gen_rtx_MEM (GET_MODE (x), reg_equiv_address[regno]);
602       else
603         {
604           gcc_assert (!REG_P (regno_reg_rtx[regno])
605                       || REGNO (regno_reg_rtx[regno]) != regno);
606           *loc = regno_reg_rtx[regno];
607         }
608
609       return;
610     }
611   else if (code == MEM)
612     {
613       replace_pseudos_in (& XEXP (x, 0), GET_MODE (x), usage);
614       return;
615     }
616
617   /* Process each of our operands recursively.  */
618   fmt = GET_RTX_FORMAT (code);
619   for (i = 0; i < GET_RTX_LENGTH (code); i++, fmt++)
620     if (*fmt == 'e')
621       replace_pseudos_in (&XEXP (x, i), mem_mode, usage);
622     else if (*fmt == 'E')
623       for (j = 0; j < XVECLEN (x, i); j++)
624         replace_pseudos_in (& XVECEXP (x, i, j), mem_mode, usage);
625 }
626
627 /* Determine if the current function has an exception receiver block
628    that reaches the exit block via non-exceptional edges  */
629
630 static bool
631 has_nonexceptional_receiver (void)
632 {
633   edge e;
634   edge_iterator ei;
635   basic_block *tos, *worklist, bb;
636
637   /* If we're not optimizing, then just err on the safe side.  */
638   if (!optimize)
639     return true;
640   
641   /* First determine which blocks can reach exit via normal paths.  */
642   tos = worklist = XNEWVEC (basic_block, n_basic_blocks + 1);
643
644   FOR_EACH_BB (bb)
645     bb->flags &= ~BB_REACHABLE;
646
647   /* Place the exit block on our worklist.  */
648   EXIT_BLOCK_PTR->flags |= BB_REACHABLE;
649   *tos++ = EXIT_BLOCK_PTR;
650   
651   /* Iterate: find everything reachable from what we've already seen.  */
652   while (tos != worklist)
653     {
654       bb = *--tos;
655
656       FOR_EACH_EDGE (e, ei, bb->preds)
657         if (!(e->flags & EDGE_ABNORMAL))
658           {
659             basic_block src = e->src;
660
661             if (!(src->flags & BB_REACHABLE))
662               {
663                 src->flags |= BB_REACHABLE;
664                 *tos++ = src;
665               }
666           }
667     }
668   free (worklist);
669
670   /* Now see if there's a reachable block with an exceptional incoming
671      edge.  */
672   FOR_EACH_BB (bb)
673     if (bb->flags & BB_REACHABLE)
674       FOR_EACH_EDGE (e, ei, bb->preds)
675         if (e->flags & EDGE_ABNORMAL)
676           return true;
677
678   /* No exceptional block reached exit unexceptionally.  */
679   return false;
680 }
681
682 \f
683 /* Global variables used by reload and its subroutines.  */
684
685 /* Set during calculate_needs if an insn needs register elimination.  */
686 static int something_needs_elimination;
687 /* Set during calculate_needs if an insn needs an operand changed.  */
688 static int something_needs_operands_changed;
689
690 /* Nonzero means we couldn't get enough spill regs.  */
691 static int failure;
692
693 /* Temporary array of pseudo-register number.  */
694 static int *temp_pseudo_reg_arr;
695
696 /* Main entry point for the reload pass.
697
698    FIRST is the first insn of the function being compiled.
699
700    GLOBAL nonzero means we were called from global_alloc
701    and should attempt to reallocate any pseudoregs that we
702    displace from hard regs we will use for reloads.
703    If GLOBAL is zero, we do not have enough information to do that,
704    so any pseudo reg that is spilled must go to the stack.
705
706    Return value is nonzero if reload failed
707    and we must not do any more for this function.  */
708
709 int
710 reload (rtx first, int global)
711 {
712   int i, n;
713   rtx insn;
714   struct elim_table *ep;
715   basic_block bb;
716
717   /* Make sure even insns with volatile mem refs are recognizable.  */
718   init_recog ();
719
720   failure = 0;
721
722   reload_firstobj = XOBNEWVAR (&reload_obstack, char, 0);
723
724   /* Make sure that the last insn in the chain
725      is not something that needs reloading.  */
726   emit_note (NOTE_INSN_DELETED);
727
728   /* Enable find_equiv_reg to distinguish insns made by reload.  */
729   reload_first_uid = get_max_uid ();
730
731 #ifdef SECONDARY_MEMORY_NEEDED
732   /* Initialize the secondary memory table.  */
733   clear_secondary_mem ();
734 #endif
735
736   /* We don't have a stack slot for any spill reg yet.  */
737   memset (spill_stack_slot, 0, sizeof spill_stack_slot);
738   memset (spill_stack_slot_width, 0, sizeof spill_stack_slot_width);
739
740   /* Initialize the save area information for caller-save, in case some
741      are needed.  */
742   init_save_areas ();
743
744   /* Compute which hard registers are now in use
745      as homes for pseudo registers.
746      This is done here rather than (eg) in global_alloc
747      because this point is reached even if not optimizing.  */
748   for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
749     mark_home_live (i);
750
751   /* A function that has a nonlocal label that can reach the exit
752      block via non-exceptional paths must save all call-saved
753      registers.  */
754   if (cfun->has_nonlocal_label
755       && has_nonexceptional_receiver ())
756     crtl->saves_all_registers = 1;
757
758   if (crtl->saves_all_registers)
759     for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
760       if (! call_used_regs[i] && ! fixed_regs[i] && ! LOCAL_REGNO (i))
761         df_set_regs_ever_live (i, true);
762
763   /* Find all the pseudo registers that didn't get hard regs
764      but do have known equivalent constants or memory slots.
765      These include parameters (known equivalent to parameter slots)
766      and cse'd or loop-moved constant memory addresses.
767
768      Record constant equivalents in reg_equiv_constant
769      so they will be substituted by find_reloads.
770      Record memory equivalents in reg_mem_equiv so they can
771      be substituted eventually by altering the REG-rtx's.  */
772
773   reg_equiv_constant = XCNEWVEC (rtx, max_regno);
774   reg_equiv_invariant = XCNEWVEC (rtx, max_regno);
775   reg_equiv_mem = XCNEWVEC (rtx, max_regno);
776   reg_equiv_alt_mem_list = XCNEWVEC (rtx, max_regno);
777   reg_equiv_address = XCNEWVEC (rtx, max_regno);
778   reg_max_ref_width = XCNEWVEC (unsigned int, max_regno);
779   reg_old_renumber = XCNEWVEC (short, max_regno);
780   memcpy (reg_old_renumber, reg_renumber, max_regno * sizeof (short));
781   pseudo_forbidden_regs = XNEWVEC (HARD_REG_SET, max_regno);
782   pseudo_previous_regs = XCNEWVEC (HARD_REG_SET, max_regno);
783
784   CLEAR_HARD_REG_SET (bad_spill_regs_global);
785
786   /* Look for REG_EQUIV notes; record what each pseudo is equivalent
787      to.  Also find all paradoxical subregs and find largest such for
788      each pseudo.  */
789
790   num_eliminable_invariants = 0;
791   for (insn = first; insn; insn = NEXT_INSN (insn))
792     {
793       rtx set = single_set (insn);
794
795       /* We may introduce USEs that we want to remove at the end, so
796          we'll mark them with QImode.  Make sure there are no
797          previously-marked insns left by say regmove.  */
798       if (INSN_P (insn) && GET_CODE (PATTERN (insn)) == USE
799           && GET_MODE (insn) != VOIDmode)
800         PUT_MODE (insn, VOIDmode);
801
802       if (INSN_P (insn))
803         scan_paradoxical_subregs (PATTERN (insn));
804
805       if (set != 0 && REG_P (SET_DEST (set)))
806         {
807           rtx note = find_reg_note (insn, REG_EQUIV, NULL_RTX);
808           rtx x;
809
810           if (! note)
811             continue;
812
813           i = REGNO (SET_DEST (set));
814           x = XEXP (note, 0);
815
816           if (i <= LAST_VIRTUAL_REGISTER)
817             continue;
818
819           if (! function_invariant_p (x)
820               || ! flag_pic
821               /* A function invariant is often CONSTANT_P but may
822                  include a register.  We promise to only pass
823                  CONSTANT_P objects to LEGITIMATE_PIC_OPERAND_P.  */
824               || (CONSTANT_P (x)
825                   && LEGITIMATE_PIC_OPERAND_P (x)))
826             {
827               /* It can happen that a REG_EQUIV note contains a MEM
828                  that is not a legitimate memory operand.  As later
829                  stages of reload assume that all addresses found
830                  in the reg_equiv_* arrays were originally legitimate,
831                  we ignore such REG_EQUIV notes.  */
832               if (memory_operand (x, VOIDmode))
833                 {
834                   /* Always unshare the equivalence, so we can
835                      substitute into this insn without touching the
836                        equivalence.  */
837                   reg_equiv_memory_loc[i] = copy_rtx (x);
838                 }
839               else if (function_invariant_p (x))
840                 {
841                   if (GET_CODE (x) == PLUS)
842                     {
843                       /* This is PLUS of frame pointer and a constant,
844                          and might be shared.  Unshare it.  */
845                       reg_equiv_invariant[i] = copy_rtx (x);
846                       num_eliminable_invariants++;
847                     }
848                   else if (x == frame_pointer_rtx || x == arg_pointer_rtx)
849                     {
850                       reg_equiv_invariant[i] = x;
851                       num_eliminable_invariants++;
852                     }
853                   else if (LEGITIMATE_CONSTANT_P (x))
854                     reg_equiv_constant[i] = x;
855                   else
856                     {
857                       reg_equiv_memory_loc[i]
858                         = force_const_mem (GET_MODE (SET_DEST (set)), x);
859                       if (! reg_equiv_memory_loc[i])
860                         reg_equiv_init[i] = NULL_RTX;
861                     }
862                 }
863               else
864                 {
865                   reg_equiv_init[i] = NULL_RTX;
866                   continue;
867                 }
868             }
869           else
870             reg_equiv_init[i] = NULL_RTX;
871         }
872     }
873
874   if (dump_file)
875     for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
876       if (reg_equiv_init[i])
877         {
878           fprintf (dump_file, "init_insns for %u: ", i);
879           print_inline_rtx (dump_file, reg_equiv_init[i], 20);
880           fprintf (dump_file, "\n");
881         }
882
883   init_elim_table ();
884
885   first_label_num = get_first_label_num ();
886   num_labels = max_label_num () - first_label_num;
887
888   /* Allocate the tables used to store offset information at labels.  */
889   /* We used to use alloca here, but the size of what it would try to
890      allocate would occasionally cause it to exceed the stack limit and
891      cause a core dump.  */
892   offsets_known_at = XNEWVEC (char, num_labels);
893   offsets_at = (HOST_WIDE_INT (*)[NUM_ELIMINABLE_REGS]) xmalloc (num_labels * NUM_ELIMINABLE_REGS * sizeof (HOST_WIDE_INT));
894
895   /* Alter each pseudo-reg rtx to contain its hard reg number.  Assign
896      stack slots to the pseudos that lack hard regs or equivalents.
897      Do not touch virtual registers.  */
898
899   temp_pseudo_reg_arr = XNEWVEC (int, max_regno - LAST_VIRTUAL_REGISTER - 1);
900   for (n = 0, i = LAST_VIRTUAL_REGISTER + 1; i < max_regno; i++)
901     temp_pseudo_reg_arr[n++] = i;
902   
903   if (ira_conflicts_p)
904     /* Ask IRA to order pseudo-registers for better stack slot
905        sharing.  */
906     ira_sort_regnos_for_alter_reg (temp_pseudo_reg_arr, n, reg_max_ref_width);
907
908   for (i = 0; i < n; i++)
909     alter_reg (temp_pseudo_reg_arr[i], -1, false);
910
911   /* If we have some registers we think can be eliminated, scan all insns to
912      see if there is an insn that sets one of these registers to something
913      other than itself plus a constant.  If so, the register cannot be
914      eliminated.  Doing this scan here eliminates an extra pass through the
915      main reload loop in the most common case where register elimination
916      cannot be done.  */
917   for (insn = first; insn && num_eliminable; insn = NEXT_INSN (insn))
918     if (INSN_P (insn))
919       note_stores (PATTERN (insn), mark_not_eliminable, NULL);
920
921   maybe_fix_stack_asms ();
922
923   insns_need_reload = 0;
924   something_needs_elimination = 0;
925
926   /* Initialize to -1, which means take the first spill register.  */
927   last_spill_reg = -1;
928
929   /* Spill any hard regs that we know we can't eliminate.  */
930   CLEAR_HARD_REG_SET (used_spill_regs);
931   /* There can be multiple ways to eliminate a register;
932      they should be listed adjacently.
933      Elimination for any register fails only if all possible ways fail.  */
934   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; )
935     {
936       int from = ep->from;
937       int can_eliminate = 0;
938       do
939         {
940           can_eliminate |= ep->can_eliminate;
941           ep++;
942         }
943       while (ep < &reg_eliminate[NUM_ELIMINABLE_REGS] && ep->from == from);
944       if (! can_eliminate)
945         spill_hard_reg (from, 1);
946     }
947
948 #if HARD_FRAME_POINTER_REGNUM != FRAME_POINTER_REGNUM
949   if (frame_pointer_needed)
950     spill_hard_reg (HARD_FRAME_POINTER_REGNUM, 1);
951 #endif
952   finish_spills (global);
953
954   /* From now on, we may need to generate moves differently.  We may also
955      allow modifications of insns which cause them to not be recognized.
956      Any such modifications will be cleaned up during reload itself.  */
957   reload_in_progress = 1;
958
959   /* This loop scans the entire function each go-round
960      and repeats until one repetition spills no additional hard regs.  */
961   for (;;)
962     {
963       int something_changed;
964       int did_spill;
965       HOST_WIDE_INT starting_frame_size;
966
967       starting_frame_size = get_frame_size ();
968
969       set_initial_elim_offsets ();
970       set_initial_label_offsets ();
971
972       /* For each pseudo register that has an equivalent location defined,
973          try to eliminate any eliminable registers (such as the frame pointer)
974          assuming initial offsets for the replacement register, which
975          is the normal case.
976
977          If the resulting location is directly addressable, substitute
978          the MEM we just got directly for the old REG.
979
980          If it is not addressable but is a constant or the sum of a hard reg
981          and constant, it is probably not addressable because the constant is
982          out of range, in that case record the address; we will generate
983          hairy code to compute the address in a register each time it is
984          needed.  Similarly if it is a hard register, but one that is not
985          valid as an address register.
986
987          If the location is not addressable, but does not have one of the
988          above forms, assign a stack slot.  We have to do this to avoid the
989          potential of producing lots of reloads if, e.g., a location involves
990          a pseudo that didn't get a hard register and has an equivalent memory
991          location that also involves a pseudo that didn't get a hard register.
992
993          Perhaps at some point we will improve reload_when_needed handling
994          so this problem goes away.  But that's very hairy.  */
995
996       for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
997         if (reg_renumber[i] < 0 && reg_equiv_memory_loc[i])
998           {
999             rtx x = eliminate_regs (reg_equiv_memory_loc[i], 0, NULL_RTX);
1000
1001             if (strict_memory_address_p (GET_MODE (regno_reg_rtx[i]),
1002                                          XEXP (x, 0)))
1003               reg_equiv_mem[i] = x, reg_equiv_address[i] = 0;
1004             else if (CONSTANT_P (XEXP (x, 0))
1005                      || (REG_P (XEXP (x, 0))
1006                          && REGNO (XEXP (x, 0)) < FIRST_PSEUDO_REGISTER)
1007                      || (GET_CODE (XEXP (x, 0)) == PLUS
1008                          && REG_P (XEXP (XEXP (x, 0), 0))
1009                          && (REGNO (XEXP (XEXP (x, 0), 0))
1010                              < FIRST_PSEUDO_REGISTER)
1011                          && CONSTANT_P (XEXP (XEXP (x, 0), 1))))
1012               reg_equiv_address[i] = XEXP (x, 0), reg_equiv_mem[i] = 0;
1013             else
1014               {
1015                 /* Make a new stack slot.  Then indicate that something
1016                    changed so we go back and recompute offsets for
1017                    eliminable registers because the allocation of memory
1018                    below might change some offset.  reg_equiv_{mem,address}
1019                    will be set up for this pseudo on the next pass around
1020                    the loop.  */
1021                 reg_equiv_memory_loc[i] = 0;
1022                 reg_equiv_init[i] = 0;
1023                 alter_reg (i, -1, true);
1024               }
1025           }
1026
1027       if (caller_save_needed)
1028         setup_save_areas ();
1029
1030       /* If we allocated another stack slot, redo elimination bookkeeping.  */
1031       if (starting_frame_size != get_frame_size ())
1032         continue;
1033       if (starting_frame_size && crtl->stack_alignment_needed)
1034         {
1035           /* If we have a stack frame, we must align it now.  The
1036              stack size may be a part of the offset computation for
1037              register elimination.  So if this changes the stack size,
1038              then repeat the elimination bookkeeping.  We don't
1039              realign when there is no stack, as that will cause a
1040              stack frame when none is needed should
1041              STARTING_FRAME_OFFSET not be already aligned to
1042              STACK_BOUNDARY.  */
1043           assign_stack_local (BLKmode, 0, crtl->stack_alignment_needed);
1044           if (starting_frame_size != get_frame_size ())
1045             continue;
1046         }
1047
1048       if (caller_save_needed)
1049         {
1050           save_call_clobbered_regs ();
1051           /* That might have allocated new insn_chain structures.  */
1052           reload_firstobj = XOBNEWVAR (&reload_obstack, char, 0);
1053         }
1054
1055       calculate_needs_all_insns (global);
1056
1057       if (! ira_conflicts_p)
1058         /* Don't do it for IRA.  We need this info because we don't
1059            change live_throughout and dead_or_set for chains when IRA
1060            is used.  */
1061         CLEAR_REG_SET (&spilled_pseudos);
1062
1063       did_spill = 0;
1064
1065       something_changed = 0;
1066
1067       /* If we allocated any new memory locations, make another pass
1068          since it might have changed elimination offsets.  */
1069       if (starting_frame_size != get_frame_size ())
1070         something_changed = 1;
1071
1072       /* Even if the frame size remained the same, we might still have
1073          changed elimination offsets, e.g. if find_reloads called 
1074          force_const_mem requiring the back end to allocate a constant
1075          pool base register that needs to be saved on the stack.  */
1076       else if (!verify_initial_elim_offsets ())
1077         something_changed = 1;
1078
1079       {
1080         HARD_REG_SET to_spill;
1081         CLEAR_HARD_REG_SET (to_spill);
1082         update_eliminables (&to_spill);
1083         AND_COMPL_HARD_REG_SET (used_spill_regs, to_spill);
1084
1085         for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1086           if (TEST_HARD_REG_BIT (to_spill, i))
1087             {
1088               spill_hard_reg (i, 1);
1089               did_spill = 1;
1090
1091               /* Regardless of the state of spills, if we previously had
1092                  a register that we thought we could eliminate, but now can
1093                  not eliminate, we must run another pass.
1094
1095                  Consider pseudos which have an entry in reg_equiv_* which
1096                  reference an eliminable register.  We must make another pass
1097                  to update reg_equiv_* so that we do not substitute in the
1098                  old value from when we thought the elimination could be
1099                  performed.  */
1100               something_changed = 1;
1101             }
1102       }
1103
1104       select_reload_regs ();
1105       if (failure)
1106         goto failed;
1107
1108       if (insns_need_reload != 0 || did_spill)
1109         something_changed |= finish_spills (global);
1110
1111       if (! something_changed)
1112         break;
1113
1114       if (caller_save_needed)
1115         delete_caller_save_insns ();
1116
1117       obstack_free (&reload_obstack, reload_firstobj);
1118     }
1119
1120   /* If global-alloc was run, notify it of any register eliminations we have
1121      done.  */
1122   if (global)
1123     for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
1124       if (ep->can_eliminate)
1125         mark_elimination (ep->from, ep->to);
1126
1127   /* If a pseudo has no hard reg, delete the insns that made the equivalence.
1128      If that insn didn't set the register (i.e., it copied the register to
1129      memory), just delete that insn instead of the equivalencing insn plus
1130      anything now dead.  If we call delete_dead_insn on that insn, we may
1131      delete the insn that actually sets the register if the register dies
1132      there and that is incorrect.  */
1133
1134   for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
1135     {
1136       if (reg_renumber[i] < 0 && reg_equiv_init[i] != 0)
1137         {
1138           rtx list;
1139           for (list = reg_equiv_init[i]; list; list = XEXP (list, 1))
1140             {
1141               rtx equiv_insn = XEXP (list, 0);
1142
1143               /* If we already deleted the insn or if it may trap, we can't
1144                  delete it.  The latter case shouldn't happen, but can
1145                  if an insn has a variable address, gets a REG_EH_REGION
1146                  note added to it, and then gets converted into a load
1147                  from a constant address.  */
1148               if (NOTE_P (equiv_insn)
1149                   || can_throw_internal (equiv_insn))
1150                 ;
1151               else if (reg_set_p (regno_reg_rtx[i], PATTERN (equiv_insn)))
1152                 delete_dead_insn (equiv_insn);
1153               else
1154                 SET_INSN_DELETED (equiv_insn);
1155             }
1156         }
1157     }
1158
1159   /* Use the reload registers where necessary
1160      by generating move instructions to move the must-be-register
1161      values into or out of the reload registers.  */
1162
1163   if (insns_need_reload != 0 || something_needs_elimination
1164       || something_needs_operands_changed)
1165     {
1166       HOST_WIDE_INT old_frame_size = get_frame_size ();
1167
1168       reload_as_needed (global);
1169
1170       gcc_assert (old_frame_size == get_frame_size ());
1171
1172       gcc_assert (verify_initial_elim_offsets ());
1173     }
1174
1175   /* If we were able to eliminate the frame pointer, show that it is no
1176      longer live at the start of any basic block.  If it ls live by
1177      virtue of being in a pseudo, that pseudo will be marked live
1178      and hence the frame pointer will be known to be live via that
1179      pseudo.  */
1180
1181   if (! frame_pointer_needed)
1182     FOR_EACH_BB (bb)
1183       bitmap_clear_bit (df_get_live_in (bb), HARD_FRAME_POINTER_REGNUM);
1184         
1185   /* Come here (with failure set nonzero) if we can't get enough spill
1186      regs.  */
1187  failed:
1188
1189   CLEAR_REG_SET (&changed_allocation_pseudos);
1190   CLEAR_REG_SET (&spilled_pseudos);
1191   reload_in_progress = 0;
1192
1193   /* Now eliminate all pseudo regs by modifying them into
1194      their equivalent memory references.
1195      The REG-rtx's for the pseudos are modified in place,
1196      so all insns that used to refer to them now refer to memory.
1197
1198      For a reg that has a reg_equiv_address, all those insns
1199      were changed by reloading so that no insns refer to it any longer;
1200      but the DECL_RTL of a variable decl may refer to it,
1201      and if so this causes the debugging info to mention the variable.  */
1202
1203   for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
1204     {
1205       rtx addr = 0;
1206
1207       if (reg_equiv_mem[i])
1208         addr = XEXP (reg_equiv_mem[i], 0);
1209
1210       if (reg_equiv_address[i])
1211         addr = reg_equiv_address[i];
1212
1213       if (addr)
1214         {
1215           if (reg_renumber[i] < 0)
1216             {
1217               rtx reg = regno_reg_rtx[i];
1218
1219               REG_USERVAR_P (reg) = 0;
1220               PUT_CODE (reg, MEM);
1221               XEXP (reg, 0) = addr;
1222               if (reg_equiv_memory_loc[i])
1223                 MEM_COPY_ATTRIBUTES (reg, reg_equiv_memory_loc[i]);
1224               else
1225                 {
1226                   MEM_IN_STRUCT_P (reg) = MEM_SCALAR_P (reg) = 0;
1227                   MEM_ATTRS (reg) = 0;
1228                 }
1229               MEM_NOTRAP_P (reg) = 1;
1230             }
1231           else if (reg_equiv_mem[i])
1232             XEXP (reg_equiv_mem[i], 0) = addr;
1233         }
1234     }
1235
1236   /* We must set reload_completed now since the cleanup_subreg_operands call
1237      below will re-recognize each insn and reload may have generated insns
1238      which are only valid during and after reload.  */
1239   reload_completed = 1;
1240
1241   /* Make a pass over all the insns and delete all USEs which we inserted
1242      only to tag a REG_EQUAL note on them.  Remove all REG_DEAD and REG_UNUSED
1243      notes.  Delete all CLOBBER insns, except those that refer to the return
1244      value and the special mem:BLK CLOBBERs added to prevent the scheduler
1245      from misarranging variable-array code, and simplify (subreg (reg))
1246      operands.  Strip and regenerate REG_INC notes that may have been moved
1247      around.  */
1248
1249   for (insn = first; insn; insn = NEXT_INSN (insn))
1250     if (INSN_P (insn))
1251       {
1252         rtx *pnote;
1253
1254         if (CALL_P (insn))
1255           replace_pseudos_in (& CALL_INSN_FUNCTION_USAGE (insn),
1256                               VOIDmode, CALL_INSN_FUNCTION_USAGE (insn));
1257
1258         if ((GET_CODE (PATTERN (insn)) == USE
1259              /* We mark with QImode USEs introduced by reload itself.  */
1260              && (GET_MODE (insn) == QImode
1261                  || find_reg_note (insn, REG_EQUAL, NULL_RTX)))
1262             || (GET_CODE (PATTERN (insn)) == CLOBBER
1263                 && (!MEM_P (XEXP (PATTERN (insn), 0))
1264                     || GET_MODE (XEXP (PATTERN (insn), 0)) != BLKmode
1265                     || (GET_CODE (XEXP (XEXP (PATTERN (insn), 0), 0)) != SCRATCH
1266                         && XEXP (XEXP (PATTERN (insn), 0), 0)
1267                                 != stack_pointer_rtx))
1268                 && (!REG_P (XEXP (PATTERN (insn), 0))
1269                     || ! REG_FUNCTION_VALUE_P (XEXP (PATTERN (insn), 0)))))
1270           {
1271             delete_insn (insn);
1272             continue;
1273           }
1274
1275         /* Some CLOBBERs may survive until here and still reference unassigned
1276            pseudos with const equivalent, which may in turn cause ICE in later
1277            passes if the reference remains in place.  */
1278         if (GET_CODE (PATTERN (insn)) == CLOBBER)
1279           replace_pseudos_in (& XEXP (PATTERN (insn), 0),
1280                               VOIDmode, PATTERN (insn));
1281
1282         /* Discard obvious no-ops, even without -O.  This optimization
1283            is fast and doesn't interfere with debugging.  */
1284         if (NONJUMP_INSN_P (insn)
1285             && GET_CODE (PATTERN (insn)) == SET
1286             && REG_P (SET_SRC (PATTERN (insn)))
1287             && REG_P (SET_DEST (PATTERN (insn)))
1288             && (REGNO (SET_SRC (PATTERN (insn)))
1289                 == REGNO (SET_DEST (PATTERN (insn)))))
1290           {
1291             delete_insn (insn);
1292             continue;
1293           }
1294
1295         pnote = &REG_NOTES (insn);
1296         while (*pnote != 0)
1297           {
1298             if (REG_NOTE_KIND (*pnote) == REG_DEAD
1299                 || REG_NOTE_KIND (*pnote) == REG_UNUSED
1300                 || REG_NOTE_KIND (*pnote) == REG_INC)
1301               *pnote = XEXP (*pnote, 1);
1302             else
1303               pnote = &XEXP (*pnote, 1);
1304           }
1305
1306 #ifdef AUTO_INC_DEC
1307         add_auto_inc_notes (insn, PATTERN (insn));
1308 #endif
1309
1310         /* Simplify (subreg (reg)) if it appears as an operand.  */
1311         cleanup_subreg_operands (insn);
1312
1313         /* Clean up invalid ASMs so that they don't confuse later passes.
1314            See PR 21299.  */
1315         if (asm_noperands (PATTERN (insn)) >= 0)
1316           {
1317             extract_insn (insn);
1318             if (!constrain_operands (1))
1319               {
1320                 error_for_asm (insn,
1321                                "%<asm%> operand has impossible constraints");
1322                 delete_insn (insn);
1323                 continue;
1324               }
1325           }
1326       }
1327
1328   /* If we are doing generic stack checking, give a warning if this
1329      function's frame size is larger than we expect.  */
1330   if (flag_stack_check == GENERIC_STACK_CHECK)
1331     {
1332       HOST_WIDE_INT size = get_frame_size () + STACK_CHECK_FIXED_FRAME_SIZE;
1333       static int verbose_warned = 0;
1334
1335       for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1336         if (df_regs_ever_live_p (i) && ! fixed_regs[i] && call_used_regs[i])
1337           size += UNITS_PER_WORD;
1338
1339       if (size > STACK_CHECK_MAX_FRAME_SIZE)
1340         {
1341           warning (0, "frame size too large for reliable stack checking");
1342           if (! verbose_warned)
1343             {
1344               warning (0, "try reducing the number of local variables");
1345               verbose_warned = 1;
1346             }
1347         }
1348     }
1349
1350   /* Indicate that we no longer have known memory locations or constants.  */
1351   if (reg_equiv_constant)
1352     free (reg_equiv_constant);
1353   if (reg_equiv_invariant)
1354     free (reg_equiv_invariant);
1355   reg_equiv_constant = 0;
1356   reg_equiv_invariant = 0;
1357   VEC_free (rtx, gc, reg_equiv_memory_loc_vec);
1358   reg_equiv_memory_loc = 0;
1359
1360   free (temp_pseudo_reg_arr);
1361
1362   if (offsets_known_at)
1363     free (offsets_known_at);
1364   if (offsets_at)
1365     free (offsets_at);
1366
1367   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1368     if (reg_equiv_alt_mem_list[i])
1369       free_EXPR_LIST_list (&reg_equiv_alt_mem_list[i]);
1370   free (reg_equiv_alt_mem_list);
1371
1372   free (reg_equiv_mem);
1373   reg_equiv_init = 0;
1374   free (reg_equiv_address);
1375   free (reg_max_ref_width);
1376   free (reg_old_renumber);
1377   free (pseudo_previous_regs);
1378   free (pseudo_forbidden_regs);
1379
1380   CLEAR_HARD_REG_SET (used_spill_regs);
1381   for (i = 0; i < n_spills; i++)
1382     SET_HARD_REG_BIT (used_spill_regs, spill_regs[i]);
1383
1384   /* Free all the insn_chain structures at once.  */
1385   obstack_free (&reload_obstack, reload_startobj);
1386   unused_insn_chains = 0;
1387   fixup_abnormal_edges ();
1388
1389   /* Replacing pseudos with their memory equivalents might have
1390      created shared rtx.  Subsequent passes would get confused
1391      by this, so unshare everything here.  */
1392   unshare_all_rtl_again (first);
1393
1394 #ifdef STACK_BOUNDARY
1395   /* init_emit has set the alignment of the hard frame pointer
1396      to STACK_BOUNDARY.  It is very likely no longer valid if
1397      the hard frame pointer was used for register allocation.  */
1398   if (!frame_pointer_needed)
1399     REGNO_POINTER_ALIGN (HARD_FRAME_POINTER_REGNUM) = BITS_PER_UNIT;
1400 #endif
1401
1402   return failure;
1403 }
1404
1405 /* Yet another special case.  Unfortunately, reg-stack forces people to
1406    write incorrect clobbers in asm statements.  These clobbers must not
1407    cause the register to appear in bad_spill_regs, otherwise we'll call
1408    fatal_insn later.  We clear the corresponding regnos in the live
1409    register sets to avoid this.
1410    The whole thing is rather sick, I'm afraid.  */
1411
1412 static void
1413 maybe_fix_stack_asms (void)
1414 {
1415 #ifdef STACK_REGS
1416   const char *constraints[MAX_RECOG_OPERANDS];
1417   enum machine_mode operand_mode[MAX_RECOG_OPERANDS];
1418   struct insn_chain *chain;
1419
1420   for (chain = reload_insn_chain; chain != 0; chain = chain->next)
1421     {
1422       int i, noperands;
1423       HARD_REG_SET clobbered, allowed;
1424       rtx pat;
1425
1426       if (! INSN_P (chain->insn)
1427           || (noperands = asm_noperands (PATTERN (chain->insn))) < 0)
1428         continue;
1429       pat = PATTERN (chain->insn);
1430       if (GET_CODE (pat) != PARALLEL)
1431         continue;
1432
1433       CLEAR_HARD_REG_SET (clobbered);
1434       CLEAR_HARD_REG_SET (allowed);
1435
1436       /* First, make a mask of all stack regs that are clobbered.  */
1437       for (i = 0; i < XVECLEN (pat, 0); i++)
1438         {
1439           rtx t = XVECEXP (pat, 0, i);
1440           if (GET_CODE (t) == CLOBBER && STACK_REG_P (XEXP (t, 0)))
1441             SET_HARD_REG_BIT (clobbered, REGNO (XEXP (t, 0)));
1442         }
1443
1444       /* Get the operand values and constraints out of the insn.  */
1445       decode_asm_operands (pat, recog_data.operand, recog_data.operand_loc,
1446                            constraints, operand_mode, NULL);
1447
1448       /* For every operand, see what registers are allowed.  */
1449       for (i = 0; i < noperands; i++)
1450         {
1451           const char *p = constraints[i];
1452           /* For every alternative, we compute the class of registers allowed
1453              for reloading in CLS, and merge its contents into the reg set
1454              ALLOWED.  */
1455           int cls = (int) NO_REGS;
1456
1457           for (;;)
1458             {
1459               char c = *p;
1460
1461               if (c == '\0' || c == ',' || c == '#')
1462                 {
1463                   /* End of one alternative - mark the regs in the current
1464                      class, and reset the class.  */
1465                   IOR_HARD_REG_SET (allowed, reg_class_contents[cls]);
1466                   cls = NO_REGS;
1467                   p++;
1468                   if (c == '#')
1469                     do {
1470                       c = *p++;
1471                     } while (c != '\0' && c != ',');
1472                   if (c == '\0')
1473                     break;
1474                   continue;
1475                 }
1476
1477               switch (c)
1478                 {
1479                 case '=': case '+': case '*': case '%': case '?': case '!':
1480                 case '0': case '1': case '2': case '3': case '4': case '<':
1481                 case '>': case 'V': case 'o': case '&': case 'E': case 'F':
1482                 case 's': case 'i': case 'n': case 'X': case 'I': case 'J':
1483                 case 'K': case 'L': case 'M': case 'N': case 'O': case 'P':
1484                 case TARGET_MEM_CONSTRAINT:
1485                   break;
1486
1487                 case 'p':
1488                   cls = (int) reg_class_subunion[cls]
1489                       [(int) base_reg_class (VOIDmode, ADDRESS, SCRATCH)];
1490                   break;
1491
1492                 case 'g':
1493                 case 'r':
1494                   cls = (int) reg_class_subunion[cls][(int) GENERAL_REGS];
1495                   break;
1496
1497                 default:
1498                   if (EXTRA_ADDRESS_CONSTRAINT (c, p))
1499                     cls = (int) reg_class_subunion[cls]
1500                       [(int) base_reg_class (VOIDmode, ADDRESS, SCRATCH)];
1501                   else
1502                     cls = (int) reg_class_subunion[cls]
1503                       [(int) REG_CLASS_FROM_CONSTRAINT (c, p)];
1504                 }
1505               p += CONSTRAINT_LEN (c, p);
1506             }
1507         }
1508       /* Those of the registers which are clobbered, but allowed by the
1509          constraints, must be usable as reload registers.  So clear them
1510          out of the life information.  */
1511       AND_HARD_REG_SET (allowed, clobbered);
1512       for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1513         if (TEST_HARD_REG_BIT (allowed, i))
1514           {
1515             CLEAR_REGNO_REG_SET (&chain->live_throughout, i);
1516             CLEAR_REGNO_REG_SET (&chain->dead_or_set, i);
1517           }
1518     }
1519
1520 #endif
1521 }
1522 \f
1523 /* Copy the global variables n_reloads and rld into the corresponding elts
1524    of CHAIN.  */
1525 static void
1526 copy_reloads (struct insn_chain *chain)
1527 {
1528   chain->n_reloads = n_reloads;
1529   chain->rld = XOBNEWVEC (&reload_obstack, struct reload, n_reloads);
1530   memcpy (chain->rld, rld, n_reloads * sizeof (struct reload));
1531   reload_insn_firstobj = XOBNEWVAR (&reload_obstack, char, 0);
1532 }
1533
1534 /* Walk the chain of insns, and determine for each whether it needs reloads
1535    and/or eliminations.  Build the corresponding insns_need_reload list, and
1536    set something_needs_elimination as appropriate.  */
1537 static void
1538 calculate_needs_all_insns (int global)
1539 {
1540   struct insn_chain **pprev_reload = &insns_need_reload;
1541   struct insn_chain *chain, *next = 0;
1542
1543   something_needs_elimination = 0;
1544
1545   reload_insn_firstobj = XOBNEWVAR (&reload_obstack, char, 0);
1546   for (chain = reload_insn_chain; chain != 0; chain = next)
1547     {
1548       rtx insn = chain->insn;
1549
1550       next = chain->next;
1551
1552       /* Clear out the shortcuts.  */
1553       chain->n_reloads = 0;
1554       chain->need_elim = 0;
1555       chain->need_reload = 0;
1556       chain->need_operand_change = 0;
1557
1558       /* If this is a label, a JUMP_INSN, or has REG_NOTES (which might
1559          include REG_LABEL_OPERAND and REG_LABEL_TARGET), we need to see
1560          what effects this has on the known offsets at labels.  */
1561
1562       if (LABEL_P (insn) || JUMP_P (insn)
1563           || (INSN_P (insn) && REG_NOTES (insn) != 0))
1564         set_label_offsets (insn, insn, 0);
1565
1566       if (INSN_P (insn))
1567         {
1568           rtx old_body = PATTERN (insn);
1569           int old_code = INSN_CODE (insn);
1570           rtx old_notes = REG_NOTES (insn);
1571           int did_elimination = 0;
1572           int operands_changed = 0;
1573           rtx set = single_set (insn);
1574
1575           /* Skip insns that only set an equivalence.  */
1576           if (set && REG_P (SET_DEST (set))
1577               && reg_renumber[REGNO (SET_DEST (set))] < 0
1578               && (reg_equiv_constant[REGNO (SET_DEST (set))]
1579                   || (reg_equiv_invariant[REGNO (SET_DEST (set))]))
1580                       && reg_equiv_init[REGNO (SET_DEST (set))])
1581             continue;
1582
1583           /* If needed, eliminate any eliminable registers.  */
1584           if (num_eliminable || num_eliminable_invariants)
1585             did_elimination = eliminate_regs_in_insn (insn, 0);
1586
1587           /* Analyze the instruction.  */
1588           operands_changed = find_reloads (insn, 0, spill_indirect_levels,
1589                                            global, spill_reg_order);
1590
1591           /* If a no-op set needs more than one reload, this is likely
1592              to be something that needs input address reloads.  We
1593              can't get rid of this cleanly later, and it is of no use
1594              anyway, so discard it now.
1595              We only do this when expensive_optimizations is enabled,
1596              since this complements reload inheritance / output
1597              reload deletion, and it can make debugging harder.  */
1598           if (flag_expensive_optimizations && n_reloads > 1)
1599             {
1600               rtx set = single_set (insn);
1601               if (set
1602                   &&
1603                   ((SET_SRC (set) == SET_DEST (set)
1604                     && REG_P (SET_SRC (set))
1605                     && REGNO (SET_SRC (set)) >= FIRST_PSEUDO_REGISTER)
1606                    || (REG_P (SET_SRC (set)) && REG_P (SET_DEST (set))
1607                        && reg_renumber[REGNO (SET_SRC (set))] < 0
1608                        && reg_renumber[REGNO (SET_DEST (set))] < 0
1609                        && reg_equiv_memory_loc[REGNO (SET_SRC (set))] != NULL
1610                        && reg_equiv_memory_loc[REGNO (SET_DEST (set))] != NULL
1611                        && rtx_equal_p (reg_equiv_memory_loc
1612                                        [REGNO (SET_SRC (set))],
1613                                        reg_equiv_memory_loc
1614                                        [REGNO (SET_DEST (set))]))))
1615                 {
1616                   if (ira_conflicts_p)
1617                     /* Inform IRA about the insn deletion.  */
1618                     ira_mark_memory_move_deletion (REGNO (SET_DEST (set)),
1619                                                    REGNO (SET_SRC (set)));
1620                   delete_insn (insn);
1621                   /* Delete it from the reload chain.  */
1622                   if (chain->prev)
1623                     chain->prev->next = next;
1624                   else
1625                     reload_insn_chain = next;
1626                   if (next)
1627                     next->prev = chain->prev;
1628                   chain->next = unused_insn_chains;
1629                   unused_insn_chains = chain;
1630                   continue;
1631                 }
1632             }
1633           if (num_eliminable)
1634             update_eliminable_offsets ();
1635
1636           /* Remember for later shortcuts which insns had any reloads or
1637              register eliminations.  */
1638           chain->need_elim = did_elimination;
1639           chain->need_reload = n_reloads > 0;
1640           chain->need_operand_change = operands_changed;
1641
1642           /* Discard any register replacements done.  */
1643           if (did_elimination)
1644             {
1645               obstack_free (&reload_obstack, reload_insn_firstobj);
1646               PATTERN (insn) = old_body;
1647               INSN_CODE (insn) = old_code;
1648               REG_NOTES (insn) = old_notes;
1649               something_needs_elimination = 1;
1650             }
1651
1652           something_needs_operands_changed |= operands_changed;
1653
1654           if (n_reloads != 0)
1655             {
1656               copy_reloads (chain);
1657               *pprev_reload = chain;
1658               pprev_reload = &chain->next_need_reload;
1659             }
1660         }
1661     }
1662   *pprev_reload = 0;
1663 }
1664 \f
1665 /* Comparison function for qsort to decide which of two reloads
1666    should be handled first.  *P1 and *P2 are the reload numbers.  */
1667
1668 static int
1669 reload_reg_class_lower (const void *r1p, const void *r2p)
1670 {
1671   int r1 = *(const short *) r1p, r2 = *(const short *) r2p;
1672   int t;
1673
1674   /* Consider required reloads before optional ones.  */
1675   t = rld[r1].optional - rld[r2].optional;
1676   if (t != 0)
1677     return t;
1678
1679   /* Count all solitary classes before non-solitary ones.  */
1680   t = ((reg_class_size[(int) rld[r2].rclass] == 1)
1681        - (reg_class_size[(int) rld[r1].rclass] == 1));
1682   if (t != 0)
1683     return t;
1684
1685   /* Aside from solitaires, consider all multi-reg groups first.  */
1686   t = rld[r2].nregs - rld[r1].nregs;
1687   if (t != 0)
1688     return t;
1689
1690   /* Consider reloads in order of increasing reg-class number.  */
1691   t = (int) rld[r1].rclass - (int) rld[r2].rclass;
1692   if (t != 0)
1693     return t;
1694
1695   /* If reloads are equally urgent, sort by reload number,
1696      so that the results of qsort leave nothing to chance.  */
1697   return r1 - r2;
1698 }
1699 \f
1700 /* The cost of spilling each hard reg.  */
1701 static int spill_cost[FIRST_PSEUDO_REGISTER];
1702
1703 /* When spilling multiple hard registers, we use SPILL_COST for the first
1704    spilled hard reg and SPILL_ADD_COST for subsequent regs.  SPILL_ADD_COST
1705    only the first hard reg for a multi-reg pseudo.  */
1706 static int spill_add_cost[FIRST_PSEUDO_REGISTER];
1707
1708 /* Map of hard regno to pseudo regno currently occupying the hard
1709    reg.  */
1710 static int hard_regno_to_pseudo_regno[FIRST_PSEUDO_REGISTER];
1711
1712 /* Update the spill cost arrays, considering that pseudo REG is live.  */
1713
1714 static void
1715 count_pseudo (int reg)
1716 {
1717   int freq = REG_FREQ (reg);
1718   int r = reg_renumber[reg];
1719   int nregs;
1720
1721   if (REGNO_REG_SET_P (&pseudos_counted, reg)
1722       || REGNO_REG_SET_P (&spilled_pseudos, reg)
1723       /* Ignore spilled pseudo-registers which can be here only if IRA
1724          is used.  */
1725       || (ira_conflicts_p && r < 0))
1726     return;
1727
1728   SET_REGNO_REG_SET (&pseudos_counted, reg);
1729
1730   gcc_assert (r >= 0);
1731
1732   spill_add_cost[r] += freq;
1733   nregs = hard_regno_nregs[r][PSEUDO_REGNO_MODE (reg)];
1734   while (nregs-- > 0)
1735     {
1736       hard_regno_to_pseudo_regno[r + nregs] = reg;
1737       spill_cost[r + nregs] += freq;
1738     }
1739 }
1740
1741 /* Calculate the SPILL_COST and SPILL_ADD_COST arrays and determine the
1742    contents of BAD_SPILL_REGS for the insn described by CHAIN.  */
1743
1744 static void
1745 order_regs_for_reload (struct insn_chain *chain)
1746 {
1747   unsigned i;
1748   HARD_REG_SET used_by_pseudos;
1749   HARD_REG_SET used_by_pseudos2;
1750   reg_set_iterator rsi;
1751
1752   COPY_HARD_REG_SET (bad_spill_regs, fixed_reg_set);
1753
1754   memset (spill_cost, 0, sizeof spill_cost);
1755   memset (spill_add_cost, 0, sizeof spill_add_cost);
1756   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1757     hard_regno_to_pseudo_regno[i] = -1;
1758
1759   /* Count number of uses of each hard reg by pseudo regs allocated to it
1760      and then order them by decreasing use.  First exclude hard registers
1761      that are live in or across this insn.  */
1762
1763   REG_SET_TO_HARD_REG_SET (used_by_pseudos, &chain->live_throughout);
1764   REG_SET_TO_HARD_REG_SET (used_by_pseudos2, &chain->dead_or_set);
1765   IOR_HARD_REG_SET (bad_spill_regs, used_by_pseudos);
1766   IOR_HARD_REG_SET (bad_spill_regs, used_by_pseudos2);
1767
1768   /* Now find out which pseudos are allocated to it, and update
1769      hard_reg_n_uses.  */
1770   CLEAR_REG_SET (&pseudos_counted);
1771
1772   EXECUTE_IF_SET_IN_REG_SET
1773     (&chain->live_throughout, FIRST_PSEUDO_REGISTER, i, rsi)
1774     {
1775       count_pseudo (i);
1776     }
1777   EXECUTE_IF_SET_IN_REG_SET
1778     (&chain->dead_or_set, FIRST_PSEUDO_REGISTER, i, rsi)
1779     {
1780       count_pseudo (i);
1781     }
1782   CLEAR_REG_SET (&pseudos_counted);
1783 }
1784 \f
1785 /* Vector of reload-numbers showing the order in which the reloads should
1786    be processed.  */
1787 static short reload_order[MAX_RELOADS];
1788
1789 /* This is used to keep track of the spill regs used in one insn.  */
1790 static HARD_REG_SET used_spill_regs_local;
1791
1792 /* We decided to spill hard register SPILLED, which has a size of
1793    SPILLED_NREGS.  Determine how pseudo REG, which is live during the insn,
1794    is affected.  We will add it to SPILLED_PSEUDOS if necessary, and we will
1795    update SPILL_COST/SPILL_ADD_COST.  */
1796
1797 static void
1798 count_spilled_pseudo (int spilled, int spilled_nregs, int reg)
1799 {
1800   int freq = REG_FREQ (reg);
1801   int r = reg_renumber[reg];
1802   int nregs = hard_regno_nregs[r][PSEUDO_REGNO_MODE (reg)];
1803
1804   /* Ignore spilled pseudo-registers which can be here only if IRA is
1805      used.  */
1806   if ((ira_conflicts_p && r < 0)
1807       || REGNO_REG_SET_P (&spilled_pseudos, reg)
1808       || spilled + spilled_nregs <= r || r + nregs <= spilled)
1809     return;
1810
1811   SET_REGNO_REG_SET (&spilled_pseudos, reg);
1812
1813   spill_add_cost[r] -= freq;
1814   while (nregs-- > 0)
1815     {
1816       hard_regno_to_pseudo_regno[r + nregs] = -1;
1817       spill_cost[r + nregs] -= freq;
1818     }
1819 }
1820
1821 /* Find reload register to use for reload number ORDER.  */
1822
1823 static int
1824 find_reg (struct insn_chain *chain, int order)
1825 {
1826   int rnum = reload_order[order];
1827   struct reload *rl = rld + rnum;
1828   int best_cost = INT_MAX;
1829   int best_reg = -1;
1830   unsigned int i, j, n;
1831   int k;
1832   HARD_REG_SET not_usable;
1833   HARD_REG_SET used_by_other_reload;
1834   reg_set_iterator rsi;
1835   static int regno_pseudo_regs[FIRST_PSEUDO_REGISTER];
1836   static int best_regno_pseudo_regs[FIRST_PSEUDO_REGISTER];
1837
1838   COPY_HARD_REG_SET (not_usable, bad_spill_regs);
1839   IOR_HARD_REG_SET (not_usable, bad_spill_regs_global);
1840   IOR_COMPL_HARD_REG_SET (not_usable, reg_class_contents[rl->rclass]);
1841
1842   CLEAR_HARD_REG_SET (used_by_other_reload);
1843   for (k = 0; k < order; k++)
1844     {
1845       int other = reload_order[k];
1846
1847       if (rld[other].regno >= 0 && reloads_conflict (other, rnum))
1848         for (j = 0; j < rld[other].nregs; j++)
1849           SET_HARD_REG_BIT (used_by_other_reload, rld[other].regno + j);
1850     }
1851
1852   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1853     {
1854 #ifdef REG_ALLOC_ORDER
1855       unsigned int regno = reg_alloc_order[i];
1856 #else
1857       unsigned int regno = i;
1858 #endif
1859
1860       if (! TEST_HARD_REG_BIT (not_usable, regno)
1861           && ! TEST_HARD_REG_BIT (used_by_other_reload, regno)
1862           && HARD_REGNO_MODE_OK (regno, rl->mode))
1863         {
1864           int this_cost = spill_cost[regno];
1865           int ok = 1;
1866           unsigned int this_nregs = hard_regno_nregs[regno][rl->mode];
1867
1868           for (j = 1; j < this_nregs; j++)
1869             {
1870               this_cost += spill_add_cost[regno + j];
1871               if ((TEST_HARD_REG_BIT (not_usable, regno + j))
1872                   || TEST_HARD_REG_BIT (used_by_other_reload, regno + j))
1873                 ok = 0;
1874             }
1875           if (! ok)
1876             continue;
1877
1878           if (ira_conflicts_p)
1879             {
1880               /* Ask IRA to find a better pseudo-register for
1881                  spilling.  */
1882               for (n = j = 0; j < this_nregs; j++)
1883                 {
1884                   int r = hard_regno_to_pseudo_regno[regno + j];
1885
1886                   if (r < 0)
1887                     continue;
1888                   if (n == 0 || regno_pseudo_regs[n - 1] != r)
1889                     regno_pseudo_regs[n++] = r;
1890                 }
1891               regno_pseudo_regs[n++] = -1;
1892               if (best_reg < 0
1893                   || ira_better_spill_reload_regno_p (regno_pseudo_regs,
1894                                                       best_regno_pseudo_regs,
1895                                                       rl->in, rl->out,
1896                                                       chain->insn))
1897                 {
1898                   best_reg = regno;
1899                   for (j = 0;; j++)
1900                     {
1901                       best_regno_pseudo_regs[j] = regno_pseudo_regs[j];
1902                       if (regno_pseudo_regs[j] < 0)
1903                         break;
1904                     }
1905                 }
1906               continue;
1907             }
1908
1909           if (rl->in && REG_P (rl->in) && REGNO (rl->in) == regno)
1910             this_cost--;
1911           if (rl->out && REG_P (rl->out) && REGNO (rl->out) == regno)
1912             this_cost--;
1913           if (this_cost < best_cost
1914               /* Among registers with equal cost, prefer caller-saved ones, or
1915                  use REG_ALLOC_ORDER if it is defined.  */
1916               || (this_cost == best_cost
1917 #ifdef REG_ALLOC_ORDER
1918                   && (inv_reg_alloc_order[regno]
1919                       < inv_reg_alloc_order[best_reg])
1920 #else
1921                   && call_used_regs[regno]
1922                   && ! call_used_regs[best_reg]
1923 #endif
1924                   ))
1925             {
1926               best_reg = regno;
1927               best_cost = this_cost;
1928             }
1929         }
1930     }
1931   if (best_reg == -1)
1932     return 0;
1933
1934   if (dump_file)
1935     fprintf (dump_file, "Using reg %d for reload %d\n", best_reg, rnum);
1936
1937   rl->nregs = hard_regno_nregs[best_reg][rl->mode];
1938   rl->regno = best_reg;
1939
1940   EXECUTE_IF_SET_IN_REG_SET
1941     (&chain->live_throughout, FIRST_PSEUDO_REGISTER, j, rsi)
1942     {
1943       count_spilled_pseudo (best_reg, rl->nregs, j);
1944     }
1945
1946   EXECUTE_IF_SET_IN_REG_SET
1947     (&chain->dead_or_set, FIRST_PSEUDO_REGISTER, j, rsi)
1948     {
1949       count_spilled_pseudo (best_reg, rl->nregs, j);
1950     }
1951
1952   for (i = 0; i < rl->nregs; i++)
1953     {
1954       gcc_assert (spill_cost[best_reg + i] == 0);
1955       gcc_assert (spill_add_cost[best_reg + i] == 0);
1956       gcc_assert (hard_regno_to_pseudo_regno[best_reg + i] == -1);
1957       SET_HARD_REG_BIT (used_spill_regs_local, best_reg + i);
1958     }
1959   return 1;
1960 }
1961
1962 /* Find more reload regs to satisfy the remaining need of an insn, which
1963    is given by CHAIN.
1964    Do it by ascending class number, since otherwise a reg
1965    might be spilled for a big class and might fail to count
1966    for a smaller class even though it belongs to that class.  */
1967
1968 static void
1969 find_reload_regs (struct insn_chain *chain)
1970 {
1971   int i;
1972
1973   /* In order to be certain of getting the registers we need,
1974      we must sort the reloads into order of increasing register class.
1975      Then our grabbing of reload registers will parallel the process
1976      that provided the reload registers.  */
1977   for (i = 0; i < chain->n_reloads; i++)
1978     {
1979       /* Show whether this reload already has a hard reg.  */
1980       if (chain->rld[i].reg_rtx)
1981         {
1982           int regno = REGNO (chain->rld[i].reg_rtx);
1983           chain->rld[i].regno = regno;
1984           chain->rld[i].nregs
1985             = hard_regno_nregs[regno][GET_MODE (chain->rld[i].reg_rtx)];
1986         }
1987       else
1988         chain->rld[i].regno = -1;
1989       reload_order[i] = i;
1990     }
1991
1992   n_reloads = chain->n_reloads;
1993   memcpy (rld, chain->rld, n_reloads * sizeof (struct reload));
1994
1995   CLEAR_HARD_REG_SET (used_spill_regs_local);
1996
1997   if (dump_file)
1998     fprintf (dump_file, "Spilling for insn %d.\n", INSN_UID (chain->insn));
1999
2000   qsort (reload_order, n_reloads, sizeof (short), reload_reg_class_lower);
2001
2002   /* Compute the order of preference for hard registers to spill.  */
2003
2004   order_regs_for_reload (chain);
2005
2006   for (i = 0; i < n_reloads; i++)
2007     {
2008       int r = reload_order[i];
2009
2010       /* Ignore reloads that got marked inoperative.  */
2011       if ((rld[r].out != 0 || rld[r].in != 0 || rld[r].secondary_p)
2012           && ! rld[r].optional
2013           && rld[r].regno == -1)
2014         if (! find_reg (chain, i))
2015           {
2016             if (dump_file)
2017               fprintf (dump_file, "reload failure for reload %d\n", r);
2018             spill_failure (chain->insn, rld[r].rclass);
2019             failure = 1;
2020             return;
2021           }
2022     }
2023
2024   COPY_HARD_REG_SET (chain->used_spill_regs, used_spill_regs_local);
2025   IOR_HARD_REG_SET (used_spill_regs, used_spill_regs_local);
2026
2027   memcpy (chain->rld, rld, n_reloads * sizeof (struct reload));
2028 }
2029
2030 static void
2031 select_reload_regs (void)
2032 {
2033   struct insn_chain *chain;
2034
2035   /* Try to satisfy the needs for each insn.  */
2036   for (chain = insns_need_reload; chain != 0;
2037        chain = chain->next_need_reload)
2038     find_reload_regs (chain);
2039 }
2040 \f
2041 /* Delete all insns that were inserted by emit_caller_save_insns during
2042    this iteration.  */
2043 static void
2044 delete_caller_save_insns (void)
2045 {
2046   struct insn_chain *c = reload_insn_chain;
2047
2048   while (c != 0)
2049     {
2050       while (c != 0 && c->is_caller_save_insn)
2051         {
2052           struct insn_chain *next = c->next;
2053           rtx insn = c->insn;
2054
2055           if (c == reload_insn_chain)
2056             reload_insn_chain = next;
2057           delete_insn (insn);
2058
2059           if (next)
2060             next->prev = c->prev;
2061           if (c->prev)
2062             c->prev->next = next;
2063           c->next = unused_insn_chains;
2064           unused_insn_chains = c;
2065           c = next;
2066         }
2067       if (c != 0)
2068         c = c->next;
2069     }
2070 }
2071 \f
2072 /* Handle the failure to find a register to spill.
2073    INSN should be one of the insns which needed this particular spill reg.  */
2074
2075 static void
2076 spill_failure (rtx insn, enum reg_class rclass)
2077 {
2078   if (asm_noperands (PATTERN (insn)) >= 0)
2079     error_for_asm (insn, "can't find a register in class %qs while "
2080                    "reloading %<asm%>",
2081                    reg_class_names[rclass]);
2082   else
2083     {
2084       error ("unable to find a register to spill in class %qs",
2085              reg_class_names[rclass]);
2086
2087       if (dump_file)
2088         {
2089           fprintf (dump_file, "\nReloads for insn # %d\n", INSN_UID (insn));
2090           debug_reload_to_stream (dump_file);
2091         }
2092       fatal_insn ("this is the insn:", insn);
2093     }
2094 }
2095 \f
2096 /* Delete an unneeded INSN and any previous insns who sole purpose is loading
2097    data that is dead in INSN.  */
2098
2099 static void
2100 delete_dead_insn (rtx insn)
2101 {
2102   rtx prev = prev_real_insn (insn);
2103   rtx prev_dest;
2104
2105   /* If the previous insn sets a register that dies in our insn, delete it
2106      too.  */
2107   if (prev && GET_CODE (PATTERN (prev)) == SET
2108       && (prev_dest = SET_DEST (PATTERN (prev)), REG_P (prev_dest))
2109       && reg_mentioned_p (prev_dest, PATTERN (insn))
2110       && find_regno_note (insn, REG_DEAD, REGNO (prev_dest))
2111       && ! side_effects_p (SET_SRC (PATTERN (prev))))
2112     delete_dead_insn (prev);
2113
2114   SET_INSN_DELETED (insn);
2115 }
2116
2117 /* Modify the home of pseudo-reg I.
2118    The new home is present in reg_renumber[I].
2119
2120    FROM_REG may be the hard reg that the pseudo-reg is being spilled from;
2121    or it may be -1, meaning there is none or it is not relevant.
2122    This is used so that all pseudos spilled from a given hard reg
2123    can share one stack slot.  */
2124
2125 static void
2126 alter_reg (int i, int from_reg, bool dont_share_p)
2127 {
2128   /* When outputting an inline function, this can happen
2129      for a reg that isn't actually used.  */
2130   if (regno_reg_rtx[i] == 0)
2131     return;
2132
2133   /* If the reg got changed to a MEM at rtl-generation time,
2134      ignore it.  */
2135   if (!REG_P (regno_reg_rtx[i]))
2136     return;
2137
2138   /* Modify the reg-rtx to contain the new hard reg
2139      number or else to contain its pseudo reg number.  */
2140   SET_REGNO (regno_reg_rtx[i],
2141              reg_renumber[i] >= 0 ? reg_renumber[i] : i);
2142
2143   /* If we have a pseudo that is needed but has no hard reg or equivalent,
2144      allocate a stack slot for it.  */
2145
2146   if (reg_renumber[i] < 0
2147       && REG_N_REFS (i) > 0
2148       && reg_equiv_constant[i] == 0
2149       && (reg_equiv_invariant[i] == 0 || reg_equiv_init[i] == 0)
2150       && reg_equiv_memory_loc[i] == 0)
2151     {
2152       rtx x = NULL_RTX;
2153       enum machine_mode mode = GET_MODE (regno_reg_rtx[i]);
2154       unsigned int inherent_size = PSEUDO_REGNO_BYTES (i);
2155       unsigned int inherent_align = GET_MODE_ALIGNMENT (mode);
2156       unsigned int total_size = MAX (inherent_size, reg_max_ref_width[i]);
2157       unsigned int min_align = reg_max_ref_width[i] * BITS_PER_UNIT;
2158       int adjust = 0;
2159
2160       if (ira_conflicts_p)
2161         {
2162           /* Mark the spill for IRA.  */
2163           SET_REGNO_REG_SET (&spilled_pseudos, i);
2164           if (!dont_share_p)
2165             x = ira_reuse_stack_slot (i, inherent_size, total_size);
2166         }
2167
2168       if (x)
2169         ;
2170
2171       /* Each pseudo reg has an inherent size which comes from its own mode,
2172          and a total size which provides room for paradoxical subregs
2173          which refer to the pseudo reg in wider modes.
2174
2175          We can use a slot already allocated if it provides both
2176          enough inherent space and enough total space.
2177          Otherwise, we allocate a new slot, making sure that it has no less
2178          inherent space, and no less total space, then the previous slot.  */
2179       else if (from_reg == -1 || (!dont_share_p && ira_conflicts_p))
2180         {
2181           rtx stack_slot;
2182
2183           /* No known place to spill from => no slot to reuse.  */
2184           x = assign_stack_local (mode, total_size,
2185                                   min_align > inherent_align
2186                                   || total_size > inherent_size ? -1 : 0);
2187
2188           stack_slot = x;
2189
2190           /* Cancel the big-endian correction done in assign_stack_local.
2191              Get the address of the beginning of the slot.  This is so we
2192              can do a big-endian correction unconditionally below.  */
2193           if (BYTES_BIG_ENDIAN)
2194             {
2195               adjust = inherent_size - total_size;
2196               if (adjust)
2197                 stack_slot
2198                   = adjust_address_nv (x, mode_for_size (total_size
2199                                                          * BITS_PER_UNIT,
2200                                                          MODE_INT, 1),
2201                                        adjust);
2202             }
2203
2204           if (! dont_share_p && ira_conflicts_p)
2205             /* Inform IRA about allocation a new stack slot.  */
2206             ira_mark_new_stack_slot (stack_slot, i, total_size);
2207         }
2208
2209       /* Reuse a stack slot if possible.  */
2210       else if (spill_stack_slot[from_reg] != 0
2211                && spill_stack_slot_width[from_reg] >= total_size
2212                && (GET_MODE_SIZE (GET_MODE (spill_stack_slot[from_reg]))
2213                    >= inherent_size)
2214                && MEM_ALIGN (spill_stack_slot[from_reg]) >= min_align)
2215         x = spill_stack_slot[from_reg];
2216
2217       /* Allocate a bigger slot.  */
2218       else
2219         {
2220           /* Compute maximum size needed, both for inherent size
2221              and for total size.  */
2222           rtx stack_slot;
2223
2224           if (spill_stack_slot[from_reg])
2225             {
2226               if (GET_MODE_SIZE (GET_MODE (spill_stack_slot[from_reg]))
2227                   > inherent_size)
2228                 mode = GET_MODE (spill_stack_slot[from_reg]);
2229               if (spill_stack_slot_width[from_reg] > total_size)
2230                 total_size = spill_stack_slot_width[from_reg];
2231               if (MEM_ALIGN (spill_stack_slot[from_reg]) > min_align)
2232                 min_align = MEM_ALIGN (spill_stack_slot[from_reg]);
2233             }
2234
2235           /* Make a slot with that size.  */
2236           x = assign_stack_local (mode, total_size,
2237                                   min_align > inherent_align
2238                                   || total_size > inherent_size ? -1 : 0);
2239           stack_slot = x;
2240
2241           /* Cancel the  big-endian correction done in assign_stack_local.
2242              Get the address of the beginning of the slot.  This is so we
2243              can do a big-endian correction unconditionally below.  */
2244           if (BYTES_BIG_ENDIAN)
2245             {
2246               adjust = GET_MODE_SIZE (mode) - total_size;
2247               if (adjust)
2248                 stack_slot
2249                   = adjust_address_nv (x, mode_for_size (total_size
2250                                                          * BITS_PER_UNIT,
2251                                                          MODE_INT, 1),
2252                                        adjust);
2253             }
2254
2255           spill_stack_slot[from_reg] = stack_slot;
2256           spill_stack_slot_width[from_reg] = total_size;
2257         }
2258
2259       /* On a big endian machine, the "address" of the slot
2260          is the address of the low part that fits its inherent mode.  */
2261       if (BYTES_BIG_ENDIAN && inherent_size < total_size)
2262         adjust += (total_size - inherent_size);
2263
2264       /* If we have any adjustment to make, or if the stack slot is the
2265          wrong mode, make a new stack slot.  */
2266       x = adjust_address_nv (x, GET_MODE (regno_reg_rtx[i]), adjust);
2267
2268       /* Set all of the memory attributes as appropriate for a spill.  */
2269       set_mem_attrs_for_spill (x);
2270
2271       /* Save the stack slot for later.  */
2272       reg_equiv_memory_loc[i] = x;
2273     }
2274 }
2275
2276 /* Mark the slots in regs_ever_live for the hard regs used by
2277    pseudo-reg number REGNO, accessed in MODE.  */
2278
2279 static void
2280 mark_home_live_1 (int regno, enum machine_mode mode)
2281 {
2282   int i, lim;
2283
2284   i = reg_renumber[regno];
2285   if (i < 0)
2286     return;
2287   lim = end_hard_regno (mode, i);
2288   while (i < lim)
2289     df_set_regs_ever_live(i++, true);
2290 }
2291
2292 /* Mark the slots in regs_ever_live for the hard regs
2293    used by pseudo-reg number REGNO.  */
2294
2295 void
2296 mark_home_live (int regno)
2297 {
2298   if (reg_renumber[regno] >= 0)
2299     mark_home_live_1 (regno, PSEUDO_REGNO_MODE (regno));
2300 }
2301 \f
2302 /* This function handles the tracking of elimination offsets around branches.
2303
2304    X is a piece of RTL being scanned.
2305
2306    INSN is the insn that it came from, if any.
2307
2308    INITIAL_P is nonzero if we are to set the offset to be the initial
2309    offset and zero if we are setting the offset of the label to be the
2310    current offset.  */
2311
2312 static void
2313 set_label_offsets (rtx x, rtx insn, int initial_p)
2314 {
2315   enum rtx_code code = GET_CODE (x);
2316   rtx tem;
2317   unsigned int i;
2318   struct elim_table *p;
2319
2320   switch (code)
2321     {
2322     case LABEL_REF:
2323       if (LABEL_REF_NONLOCAL_P (x))
2324         return;
2325
2326       x = XEXP (x, 0);
2327
2328       /* ... fall through ...  */
2329
2330     case CODE_LABEL:
2331       /* If we know nothing about this label, set the desired offsets.  Note
2332          that this sets the offset at a label to be the offset before a label
2333          if we don't know anything about the label.  This is not correct for
2334          the label after a BARRIER, but is the best guess we can make.  If
2335          we guessed wrong, we will suppress an elimination that might have
2336          been possible had we been able to guess correctly.  */
2337
2338       if (! offsets_known_at[CODE_LABEL_NUMBER (x) - first_label_num])
2339         {
2340           for (i = 0; i < NUM_ELIMINABLE_REGS; i++)
2341             offsets_at[CODE_LABEL_NUMBER (x) - first_label_num][i]
2342               = (initial_p ? reg_eliminate[i].initial_offset
2343                  : reg_eliminate[i].offset);
2344           offsets_known_at[CODE_LABEL_NUMBER (x) - first_label_num] = 1;
2345         }
2346
2347       /* Otherwise, if this is the definition of a label and it is
2348          preceded by a BARRIER, set our offsets to the known offset of
2349          that label.  */
2350
2351       else if (x == insn
2352                && (tem = prev_nonnote_insn (insn)) != 0
2353                && BARRIER_P (tem))
2354         set_offsets_for_label (insn);
2355       else
2356         /* If neither of the above cases is true, compare each offset
2357            with those previously recorded and suppress any eliminations
2358            where the offsets disagree.  */
2359
2360         for (i = 0; i < NUM_ELIMINABLE_REGS; i++)
2361           if (offsets_at[CODE_LABEL_NUMBER (x) - first_label_num][i]
2362               != (initial_p ? reg_eliminate[i].initial_offset
2363                   : reg_eliminate[i].offset))
2364             reg_eliminate[i].can_eliminate = 0;
2365
2366       return;
2367
2368     case JUMP_INSN:
2369       set_label_offsets (PATTERN (insn), insn, initial_p);
2370
2371       /* ... fall through ...  */
2372
2373     case INSN:
2374     case CALL_INSN:
2375       /* Any labels mentioned in REG_LABEL_OPERAND notes can be branched
2376          to indirectly and hence must have all eliminations at their
2377          initial offsets.  */
2378       for (tem = REG_NOTES (x); tem; tem = XEXP (tem, 1))
2379         if (REG_NOTE_KIND (tem) == REG_LABEL_OPERAND)
2380           set_label_offsets (XEXP (tem, 0), insn, 1);
2381       return;
2382
2383     case PARALLEL:
2384     case ADDR_VEC:
2385     case ADDR_DIFF_VEC:
2386       /* Each of the labels in the parallel or address vector must be
2387          at their initial offsets.  We want the first field for PARALLEL
2388          and ADDR_VEC and the second field for ADDR_DIFF_VEC.  */
2389
2390       for (i = 0; i < (unsigned) XVECLEN (x, code == ADDR_DIFF_VEC); i++)
2391         set_label_offsets (XVECEXP (x, code == ADDR_DIFF_VEC, i),
2392                            insn, initial_p);
2393       return;
2394
2395     case SET:
2396       /* We only care about setting PC.  If the source is not RETURN,
2397          IF_THEN_ELSE, or a label, disable any eliminations not at
2398          their initial offsets.  Similarly if any arm of the IF_THEN_ELSE
2399          isn't one of those possibilities.  For branches to a label,
2400          call ourselves recursively.
2401
2402          Note that this can disable elimination unnecessarily when we have
2403          a non-local goto since it will look like a non-constant jump to
2404          someplace in the current function.  This isn't a significant
2405          problem since such jumps will normally be when all elimination
2406          pairs are back to their initial offsets.  */
2407
2408       if (SET_DEST (x) != pc_rtx)
2409         return;
2410
2411       switch (GET_CODE (SET_SRC (x)))
2412         {
2413         case PC:
2414         case RETURN:
2415           return;
2416
2417         case LABEL_REF:
2418           set_label_offsets (SET_SRC (x), insn, initial_p);
2419           return;
2420
2421         case IF_THEN_ELSE:
2422           tem = XEXP (SET_SRC (x), 1);
2423           if (GET_CODE (tem) == LABEL_REF)
2424             set_label_offsets (XEXP (tem, 0), insn, initial_p);
2425           else if (GET_CODE (tem) != PC && GET_CODE (tem) != RETURN)
2426             break;
2427
2428           tem = XEXP (SET_SRC (x), 2);
2429           if (GET_CODE (tem) == LABEL_REF)
2430             set_label_offsets (XEXP (tem, 0), insn, initial_p);
2431           else if (GET_CODE (tem) != PC && GET_CODE (tem) != RETURN)
2432             break;
2433           return;
2434
2435         default:
2436           break;
2437         }
2438
2439       /* If we reach here, all eliminations must be at their initial
2440          offset because we are doing a jump to a variable address.  */
2441       for (p = reg_eliminate; p < &reg_eliminate[NUM_ELIMINABLE_REGS]; p++)
2442         if (p->offset != p->initial_offset)
2443           p->can_eliminate = 0;
2444       break;
2445
2446     default:
2447       break;
2448     }
2449 }
2450 \f
2451 /* Scan X and replace any eliminable registers (such as fp) with a
2452    replacement (such as sp), plus an offset.
2453
2454    MEM_MODE is the mode of an enclosing MEM.  We need this to know how
2455    much to adjust a register for, e.g., PRE_DEC.  Also, if we are inside a
2456    MEM, we are allowed to replace a sum of a register and the constant zero
2457    with the register, which we cannot do outside a MEM.  In addition, we need
2458    to record the fact that a register is referenced outside a MEM.
2459
2460    If INSN is an insn, it is the insn containing X.  If we replace a REG
2461    in a SET_DEST with an equivalent MEM and INSN is nonzero, write a
2462    CLOBBER of the pseudo after INSN so find_equiv_regs will know that
2463    the REG is being modified.
2464
2465    Alternatively, INSN may be a note (an EXPR_LIST or INSN_LIST).
2466    That's used when we eliminate in expressions stored in notes.
2467    This means, do not set ref_outside_mem even if the reference
2468    is outside of MEMs.
2469
2470    REG_EQUIV_MEM and REG_EQUIV_ADDRESS contain address that have had
2471    replacements done assuming all offsets are at their initial values.  If
2472    they are not, or if REG_EQUIV_ADDRESS is nonzero for a pseudo we
2473    encounter, return the actual location so that find_reloads will do
2474    the proper thing.  */
2475
2476 static rtx
2477 eliminate_regs_1 (rtx x, enum machine_mode mem_mode, rtx insn,
2478                   bool may_use_invariant)
2479 {
2480   enum rtx_code code = GET_CODE (x);
2481   struct elim_table *ep;
2482   int regno;
2483   rtx new_rtx;
2484   int i, j;
2485   const char *fmt;
2486   int copied = 0;
2487
2488   if (! current_function_decl)
2489     return x;
2490
2491   switch (code)
2492     {
2493     case CONST_INT:
2494     case CONST_DOUBLE:
2495     case CONST_FIXED:
2496     case CONST_VECTOR:
2497     case CONST:
2498     case SYMBOL_REF:
2499     case CODE_LABEL:
2500     case PC:
2501     case CC0:
2502     case ASM_INPUT:
2503     case ADDR_VEC:
2504     case ADDR_DIFF_VEC:
2505     case RETURN:
2506       return x;
2507
2508     case REG:
2509       regno = REGNO (x);
2510
2511       /* First handle the case where we encounter a bare register that
2512          is eliminable.  Replace it with a PLUS.  */
2513       if (regno < FIRST_PSEUDO_REGISTER)
2514         {
2515           for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS];
2516                ep++)
2517             if (ep->from_rtx == x && ep->can_eliminate)
2518               return plus_constant (ep->to_rtx, ep->previous_offset);
2519
2520         }
2521       else if (reg_renumber && reg_renumber[regno] < 0
2522                && reg_equiv_invariant && reg_equiv_invariant[regno])
2523         {
2524           if (may_use_invariant)
2525             return eliminate_regs_1 (copy_rtx (reg_equiv_invariant[regno]),
2526                                      mem_mode, insn, true);
2527           /* There exists at least one use of REGNO that cannot be
2528              eliminated.  Prevent the defining insn from being deleted.  */
2529           reg_equiv_init[regno] = NULL_RTX;
2530           alter_reg (regno, -1, true);
2531         }
2532       return x;
2533
2534     /* You might think handling MINUS in a manner similar to PLUS is a
2535        good idea.  It is not.  It has been tried multiple times and every
2536        time the change has had to have been reverted.
2537
2538        Other parts of reload know a PLUS is special (gen_reload for example)
2539        and require special code to handle code a reloaded PLUS operand.
2540
2541        Also consider backends where the flags register is clobbered by a
2542        MINUS, but we can emit a PLUS that does not clobber flags (IA-32,
2543        lea instruction comes to mind).  If we try to reload a MINUS, we
2544        may kill the flags register that was holding a useful value.
2545
2546        So, please before trying to handle MINUS, consider reload as a
2547        whole instead of this little section as well as the backend issues.  */
2548     case PLUS:
2549       /* If this is the sum of an eliminable register and a constant, rework
2550          the sum.  */
2551       if (REG_P (XEXP (x, 0))
2552           && REGNO (XEXP (x, 0)) < FIRST_PSEUDO_REGISTER
2553           && CONSTANT_P (XEXP (x, 1)))
2554         {
2555           for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS];
2556                ep++)
2557             if (ep->from_rtx == XEXP (x, 0) && ep->can_eliminate)
2558               {
2559                 /* The only time we want to replace a PLUS with a REG (this
2560                    occurs when the constant operand of the PLUS is the negative
2561                    of the offset) is when we are inside a MEM.  We won't want
2562                    to do so at other times because that would change the
2563                    structure of the insn in a way that reload can't handle.
2564                    We special-case the commonest situation in
2565                    eliminate_regs_in_insn, so just replace a PLUS with a
2566                    PLUS here, unless inside a MEM.  */
2567                 if (mem_mode != 0 && GET_CODE (XEXP (x, 1)) == CONST_INT
2568                     && INTVAL (XEXP (x, 1)) == - ep->previous_offset)
2569                   return ep->to_rtx;
2570                 else
2571                   return gen_rtx_PLUS (Pmode, ep->to_rtx,
2572                                        plus_constant (XEXP (x, 1),
2573                                                       ep->previous_offset));
2574               }
2575
2576           /* If the register is not eliminable, we are done since the other
2577              operand is a constant.  */
2578           return x;
2579         }
2580
2581       /* If this is part of an address, we want to bring any constant to the
2582          outermost PLUS.  We will do this by doing register replacement in
2583          our operands and seeing if a constant shows up in one of them.
2584
2585          Note that there is no risk of modifying the structure of the insn,
2586          since we only get called for its operands, thus we are either
2587          modifying the address inside a MEM, or something like an address
2588          operand of a load-address insn.  */
2589
2590       {
2591         rtx new0 = eliminate_regs_1 (XEXP (x, 0), mem_mode, insn, true);
2592         rtx new1 = eliminate_regs_1 (XEXP (x, 1), mem_mode, insn, true);
2593
2594         if (reg_renumber && (new0 != XEXP (x, 0) || new1 != XEXP (x, 1)))
2595           {
2596             /* If one side is a PLUS and the other side is a pseudo that
2597                didn't get a hard register but has a reg_equiv_constant,
2598                we must replace the constant here since it may no longer
2599                be in the position of any operand.  */
2600             if (GET_CODE (new0) == PLUS && REG_P (new1)
2601                 && REGNO (new1) >= FIRST_PSEUDO_REGISTER
2602                 && reg_renumber[REGNO (new1)] < 0
2603                 && reg_equiv_constant != 0
2604                 && reg_equiv_constant[REGNO (new1)] != 0)
2605               new1 = reg_equiv_constant[REGNO (new1)];
2606             else if (GET_CODE (new1) == PLUS && REG_P (new0)
2607                      && REGNO (new0) >= FIRST_PSEUDO_REGISTER
2608                      && reg_renumber[REGNO (new0)] < 0
2609                      && reg_equiv_constant[REGNO (new0)] != 0)
2610               new0 = reg_equiv_constant[REGNO (new0)];
2611
2612             new_rtx = form_sum (new0, new1);
2613
2614             /* As above, if we are not inside a MEM we do not want to
2615                turn a PLUS into something else.  We might try to do so here
2616                for an addition of 0 if we aren't optimizing.  */
2617             if (! mem_mode && GET_CODE (new_rtx) != PLUS)
2618               return gen_rtx_PLUS (GET_MODE (x), new_rtx, const0_rtx);
2619             else
2620               return new_rtx;
2621           }
2622       }
2623       return x;
2624
2625     case MULT:
2626       /* If this is the product of an eliminable register and a
2627          constant, apply the distribute law and move the constant out
2628          so that we have (plus (mult ..) ..).  This is needed in order
2629          to keep load-address insns valid.   This case is pathological.
2630          We ignore the possibility of overflow here.  */
2631       if (REG_P (XEXP (x, 0))
2632           && REGNO (XEXP (x, 0)) < FIRST_PSEUDO_REGISTER
2633           && GET_CODE (XEXP (x, 1)) == CONST_INT)
2634         for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS];
2635              ep++)
2636           if (ep->from_rtx == XEXP (x, 0) && ep->can_eliminate)
2637             {
2638               if (! mem_mode
2639                   /* Refs inside notes don't count for this purpose.  */
2640                   && ! (insn != 0 && (GET_CODE (insn) == EXPR_LIST
2641                                       || GET_CODE (insn) == INSN_LIST)))
2642                 ep->ref_outside_mem = 1;
2643
2644               return
2645                 plus_constant (gen_rtx_MULT (Pmode, ep->to_rtx, XEXP (x, 1)),
2646                                ep->previous_offset * INTVAL (XEXP (x, 1)));
2647             }
2648
2649       /* ... fall through ...  */
2650
2651     case CALL:
2652     case COMPARE:
2653     /* See comments before PLUS about handling MINUS.  */
2654     case MINUS:
2655     case DIV:      case UDIV:
2656     case MOD:      case UMOD:
2657     case AND:      case IOR:      case XOR:
2658     case ROTATERT: case ROTATE:
2659     case ASHIFTRT: case LSHIFTRT: case ASHIFT:
2660     case NE:       case EQ:
2661     case GE:       case GT:       case GEU:    case GTU:
2662     case LE:       case LT:       case LEU:    case LTU:
2663       {
2664         rtx new0 = eliminate_regs_1 (XEXP (x, 0), mem_mode, insn, false);
2665         rtx new1 = XEXP (x, 1)
2666                    ? eliminate_regs_1 (XEXP (x, 1), mem_mode, insn, false) : 0;
2667
2668         if (new0 != XEXP (x, 0) || new1 != XEXP (x, 1))
2669           return gen_rtx_fmt_ee (code, GET_MODE (x), new0, new1);
2670       }
2671       return x;
2672
2673     case EXPR_LIST:
2674       /* If we have something in XEXP (x, 0), the usual case, eliminate it.  */
2675       if (XEXP (x, 0))
2676         {
2677           new_rtx = eliminate_regs_1 (XEXP (x, 0), mem_mode, insn, true);
2678           if (new_rtx != XEXP (x, 0))
2679             {
2680               /* If this is a REG_DEAD note, it is not valid anymore.
2681                  Using the eliminated version could result in creating a
2682                  REG_DEAD note for the stack or frame pointer.  */
2683               if (REG_NOTE_KIND (x) == REG_DEAD)
2684                 return (XEXP (x, 1)
2685                         ? eliminate_regs_1 (XEXP (x, 1), mem_mode, insn, true)
2686                         : NULL_RTX);
2687
2688               x = gen_rtx_EXPR_LIST (REG_NOTE_KIND (x), new_rtx, XEXP (x, 1));
2689             }
2690         }
2691
2692       /* ... fall through ...  */
2693
2694     case INSN_LIST:
2695       /* Now do eliminations in the rest of the chain.  If this was
2696          an EXPR_LIST, this might result in allocating more memory than is
2697          strictly needed, but it simplifies the code.  */
2698       if (XEXP (x, 1))
2699         {
2700           new_rtx = eliminate_regs_1 (XEXP (x, 1), mem_mode, insn, true);
2701           if (new_rtx != XEXP (x, 1))
2702             return
2703               gen_rtx_fmt_ee (GET_CODE (x), GET_MODE (x), XEXP (x, 0), new_rtx);
2704         }
2705       return x;
2706
2707     case PRE_INC:
2708     case POST_INC:
2709     case PRE_DEC:
2710     case POST_DEC:
2711       /* We do not support elimination of a register that is modified.
2712          elimination_effects has already make sure that this does not
2713          happen.  */
2714       return x;
2715
2716     case PRE_MODIFY:
2717     case POST_MODIFY:
2718       /* We do not support elimination of a register that is modified.
2719          elimination_effects has already make sure that this does not
2720          happen.  The only remaining case we need to consider here is
2721          that the increment value may be an eliminable register.  */
2722       if (GET_CODE (XEXP (x, 1)) == PLUS
2723           && XEXP (XEXP (x, 1), 0) == XEXP (x, 0))
2724         {
2725           rtx new_rtx = eliminate_regs_1 (XEXP (XEXP (x, 1), 1), mem_mode,
2726                                       insn, true);
2727
2728           if (new_rtx != XEXP (XEXP (x, 1), 1))
2729             return gen_rtx_fmt_ee (code, GET_MODE (x), XEXP (x, 0),
2730                                    gen_rtx_PLUS (GET_MODE (x),
2731                                                  XEXP (x, 0), new_rtx));
2732         }
2733       return x;
2734
2735     case STRICT_LOW_PART:
2736     case NEG:          case NOT:
2737     case SIGN_EXTEND:  case ZERO_EXTEND:
2738     case TRUNCATE:     case FLOAT_EXTEND: case FLOAT_TRUNCATE:
2739     case FLOAT:        case FIX:
2740     case UNSIGNED_FIX: case UNSIGNED_FLOAT:
2741     case ABS:
2742     case SQRT:
2743     case FFS:
2744     case CLZ:
2745     case CTZ:
2746     case POPCOUNT:
2747     case PARITY:
2748     case BSWAP:
2749       new_rtx = eliminate_regs_1 (XEXP (x, 0), mem_mode, insn, false);
2750       if (new_rtx != XEXP (x, 0))
2751         return gen_rtx_fmt_e (code, GET_MODE (x), new_rtx);
2752       return x;
2753
2754     case SUBREG:
2755       /* Similar to above processing, but preserve SUBREG_BYTE.
2756          Convert (subreg (mem)) to (mem) if not paradoxical.
2757          Also, if we have a non-paradoxical (subreg (pseudo)) and the
2758          pseudo didn't get a hard reg, we must replace this with the
2759          eliminated version of the memory location because push_reload
2760          may do the replacement in certain circumstances.  */
2761       if (REG_P (SUBREG_REG (x))
2762           && (GET_MODE_SIZE (GET_MODE (x))
2763               <= GET_MODE_SIZE (GET_MODE (SUBREG_REG (x))))
2764           && reg_equiv_memory_loc != 0
2765           && reg_equiv_memory_loc[REGNO (SUBREG_REG (x))] != 0)
2766         {
2767           new_rtx = SUBREG_REG (x);
2768         }
2769       else
2770         new_rtx = eliminate_regs_1 (SUBREG_REG (x), mem_mode, insn, false);
2771
2772       if (new_rtx != SUBREG_REG (x))
2773         {
2774           int x_size = GET_MODE_SIZE (GET_MODE (x));
2775           int new_size = GET_MODE_SIZE (GET_MODE (new_rtx));
2776
2777           if (MEM_P (new_rtx)
2778               && ((x_size < new_size
2779 #ifdef WORD_REGISTER_OPERATIONS
2780                    /* On these machines, combine can create rtl of the form
2781                       (set (subreg:m1 (reg:m2 R) 0) ...)
2782                       where m1 < m2, and expects something interesting to
2783                       happen to the entire word.  Moreover, it will use the
2784                       (reg:m2 R) later, expecting all bits to be preserved.
2785                       So if the number of words is the same, preserve the
2786                       subreg so that push_reload can see it.  */
2787                    && ! ((x_size - 1) / UNITS_PER_WORD
2788                          == (new_size -1 ) / UNITS_PER_WORD)
2789 #endif
2790                    )
2791                   || x_size == new_size)
2792               )
2793             return adjust_address_nv (new_rtx, GET_MODE (x), SUBREG_BYTE (x));
2794           else
2795             return gen_rtx_SUBREG (GET_MODE (x), new_rtx, SUBREG_BYTE (x));
2796         }
2797
2798       return x;
2799
2800     case MEM:
2801       /* Our only special processing is to pass the mode of the MEM to our
2802          recursive call and copy the flags.  While we are here, handle this
2803          case more efficiently.  */
2804       return
2805         replace_equiv_address_nv (x,
2806                                   eliminate_regs_1 (XEXP (x, 0), GET_MODE (x),
2807                                                     insn, true));
2808
2809     case USE:
2810       /* Handle insn_list USE that a call to a pure function may generate.  */
2811       new_rtx = eliminate_regs_1 (XEXP (x, 0), 0, insn, false);
2812       if (new_rtx != XEXP (x, 0))
2813         return gen_rtx_USE (GET_MODE (x), new_rtx);
2814       return x;
2815
2816     case CLOBBER:
2817     case ASM_OPERANDS:
2818     case SET:
2819       gcc_unreachable ();
2820
2821     default:
2822       break;
2823     }
2824
2825   /* Process each of our operands recursively.  If any have changed, make a
2826      copy of the rtx.  */
2827   fmt = GET_RTX_FORMAT (code);
2828   for (i = 0; i < GET_RTX_LENGTH (code); i++, fmt++)
2829     {
2830       if (*fmt == 'e')
2831         {
2832           new_rtx = eliminate_regs_1 (XEXP (x, i), mem_mode, insn, false);
2833           if (new_rtx != XEXP (x, i) && ! copied)
2834             {
2835               x = shallow_copy_rtx (x);
2836               copied = 1;
2837             }
2838           XEXP (x, i) = new_rtx;
2839         }
2840       else if (*fmt == 'E')
2841         {
2842           int copied_vec = 0;
2843           for (j = 0; j < XVECLEN (x, i); j++)
2844             {
2845               new_rtx = eliminate_regs_1 (XVECEXP (x, i, j), mem_mode, insn, false);
2846               if (new_rtx != XVECEXP (x, i, j) && ! copied_vec)
2847                 {
2848                   rtvec new_v = gen_rtvec_v (XVECLEN (x, i),
2849                                              XVEC (x, i)->elem);
2850                   if (! copied)
2851                     {
2852                       x = shallow_copy_rtx (x);
2853                       copied = 1;
2854                     }
2855                   XVEC (x, i) = new_v;
2856                   copied_vec = 1;
2857                 }
2858               XVECEXP (x, i, j) = new_rtx;
2859             }
2860         }
2861     }
2862
2863   return x;
2864 }
2865
2866 rtx
2867 eliminate_regs (rtx x, enum machine_mode mem_mode, rtx insn)
2868 {
2869   return eliminate_regs_1 (x, mem_mode, insn, false);
2870 }
2871
2872 /* Scan rtx X for modifications of elimination target registers.  Update
2873    the table of eliminables to reflect the changed state.  MEM_MODE is
2874    the mode of an enclosing MEM rtx, or VOIDmode if not within a MEM.  */
2875
2876 static void
2877 elimination_effects (rtx x, enum machine_mode mem_mode)
2878 {
2879   enum rtx_code code = GET_CODE (x);
2880   struct elim_table *ep;
2881   int regno;
2882   int i, j;
2883   const char *fmt;
2884
2885   switch (code)
2886     {
2887     case CONST_INT:
2888     case CONST_DOUBLE:
2889     case CONST_FIXED:
2890     case CONST_VECTOR:
2891     case CONST:
2892     case SYMBOL_REF:
2893     case CODE_LABEL:
2894     case PC:
2895     case CC0:
2896     case ASM_INPUT:
2897     case ADDR_VEC:
2898     case ADDR_DIFF_VEC:
2899     case RETURN:
2900       return;
2901
2902     case REG:
2903       regno = REGNO (x);
2904
2905       /* First handle the case where we encounter a bare register that
2906          is eliminable.  Replace it with a PLUS.  */
2907       if (regno < FIRST_PSEUDO_REGISTER)
2908         {
2909           for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS];
2910                ep++)
2911             if (ep->from_rtx == x && ep->can_eliminate)
2912               {
2913                 if (! mem_mode)
2914                   ep->ref_outside_mem = 1;
2915                 return;
2916               }
2917
2918         }
2919       else if (reg_renumber[regno] < 0 && reg_equiv_constant
2920                && reg_equiv_constant[regno]
2921                && ! function_invariant_p (reg_equiv_constant[regno]))
2922         elimination_effects (reg_equiv_constant[regno], mem_mode);
2923       return;
2924
2925     case PRE_INC:
2926     case POST_INC:
2927     case PRE_DEC:
2928     case POST_DEC:
2929     case POST_MODIFY:
2930     case PRE_MODIFY:
2931       /* If we modify the source of an elimination rule, disable it.  */
2932       for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
2933         if (ep->from_rtx == XEXP (x, 0))
2934           ep->can_eliminate = 0;
2935
2936       /* If we modify the target of an elimination rule by adding a constant,
2937          update its offset.  If we modify the target in any other way, we'll
2938          have to disable the rule as well.  */
2939       for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
2940         if (ep->to_rtx == XEXP (x, 0))
2941           {
2942             int size = GET_MODE_SIZE (mem_mode);
2943
2944             /* If more bytes than MEM_MODE are pushed, account for them.  */
2945 #ifdef PUSH_ROUNDING
2946             if (ep->to_rtx == stack_pointer_rtx)
2947               size = PUSH_ROUNDING (size);
2948 #endif
2949             if (code == PRE_DEC || code == POST_DEC)
2950               ep->offset += size;
2951             else if (code == PRE_INC || code == POST_INC)
2952               ep->offset -= size;
2953             else if (code == PRE_MODIFY || code == POST_MODIFY)
2954               {
2955                 if (GET_CODE (XEXP (x, 1)) == PLUS
2956                     && XEXP (x, 0) == XEXP (XEXP (x, 1), 0)
2957                     && CONST_INT_P (XEXP (XEXP (x, 1), 1)))
2958                   ep->offset -= INTVAL (XEXP (XEXP (x, 1), 1));
2959                 else
2960                   ep->can_eliminate = 0;
2961               }
2962           }
2963
2964       /* These two aren't unary operators.  */
2965       if (code == POST_MODIFY || code == PRE_MODIFY)
2966         break;
2967
2968       /* Fall through to generic unary operation case.  */
2969     case STRICT_LOW_PART:
2970     case NEG:          case NOT:
2971     case SIGN_EXTEND:  case ZERO_EXTEND:
2972     case TRUNCATE:     case FLOAT_EXTEND: case FLOAT_TRUNCATE:
2973     case FLOAT:        case FIX:
2974     case UNSIGNED_FIX: case UNSIGNED_FLOAT:
2975     case ABS:
2976     case SQRT:
2977     case FFS:
2978     case CLZ:
2979     case CTZ:
2980     case POPCOUNT:
2981     case PARITY:
2982     case BSWAP:
2983       elimination_effects (XEXP (x, 0), mem_mode);
2984       return;
2985
2986     case SUBREG:
2987       if (REG_P (SUBREG_REG (x))
2988           && (GET_MODE_SIZE (GET_MODE (x))
2989               <= GET_MODE_SIZE (GET_MODE (SUBREG_REG (x))))
2990           && reg_equiv_memory_loc != 0
2991           && reg_equiv_memory_loc[REGNO (SUBREG_REG (x))] != 0)
2992         return;
2993
2994       elimination_effects (SUBREG_REG (x), mem_mode);
2995       return;
2996
2997     case USE:
2998       /* If using a register that is the source of an eliminate we still
2999          think can be performed, note it cannot be performed since we don't
3000          know how this register is used.  */
3001       for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3002         if (ep->from_rtx == XEXP (x, 0))
3003           ep->can_eliminate = 0;
3004
3005       elimination_effects (XEXP (x, 0), mem_mode);
3006       return;
3007
3008     case CLOBBER:
3009       /* If clobbering a register that is the replacement register for an
3010          elimination we still think can be performed, note that it cannot
3011          be performed.  Otherwise, we need not be concerned about it.  */
3012       for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3013         if (ep->to_rtx == XEXP (x, 0))
3014           ep->can_eliminate = 0;
3015
3016       elimination_effects (XEXP (x, 0), mem_mode);
3017       return;
3018
3019     case SET:
3020       /* Check for setting a register that we know about.  */
3021       if (REG_P (SET_DEST (x)))
3022         {
3023           /* See if this is setting the replacement register for an
3024              elimination.
3025
3026              If DEST is the hard frame pointer, we do nothing because we
3027              assume that all assignments to the frame pointer are for
3028              non-local gotos and are being done at a time when they are valid
3029              and do not disturb anything else.  Some machines want to
3030              eliminate a fake argument pointer (or even a fake frame pointer)
3031              with either the real frame or the stack pointer.  Assignments to
3032              the hard frame pointer must not prevent this elimination.  */
3033
3034           for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS];
3035                ep++)
3036             if (ep->to_rtx == SET_DEST (x)
3037                 && SET_DEST (x) != hard_frame_pointer_rtx)
3038               {
3039                 /* If it is being incremented, adjust the offset.  Otherwise,
3040                    this elimination can't be done.  */
3041                 rtx src = SET_SRC (x);
3042
3043                 if (GET_CODE (src) == PLUS
3044                     && XEXP (src, 0) == SET_DEST (x)
3045                     && GET_CODE (XEXP (src, 1)) == CONST_INT)
3046                   ep->offset -= INTVAL (XEXP (src, 1));
3047                 else
3048                   ep->can_eliminate = 0;
3049               }
3050         }
3051
3052       elimination_effects (SET_DEST (x), 0);
3053       elimination_effects (SET_SRC (x), 0);
3054       return;
3055
3056     case MEM:
3057       /* Our only special processing is to pass the mode of the MEM to our
3058          recursive call.  */
3059       elimination_effects (XEXP (x, 0), GET_MODE (x));
3060       return;
3061
3062     default:
3063       break;
3064     }
3065
3066   fmt = GET_RTX_FORMAT (code);
3067   for (i = 0; i < GET_RTX_LENGTH (code); i++, fmt++)
3068     {
3069       if (*fmt == 'e')
3070         elimination_effects (XEXP (x, i), mem_mode);
3071       else if (*fmt == 'E')
3072         for (j = 0; j < XVECLEN (x, i); j++)
3073           elimination_effects (XVECEXP (x, i, j), mem_mode);
3074     }
3075 }
3076
3077 /* Descend through rtx X and verify that no references to eliminable registers
3078    remain.  If any do remain, mark the involved register as not
3079    eliminable.  */
3080
3081 static void
3082 check_eliminable_occurrences (rtx x)
3083 {
3084   const char *fmt;
3085   int i;
3086   enum rtx_code code;
3087
3088   if (x == 0)
3089     return;
3090
3091   code = GET_CODE (x);
3092
3093   if (code == REG && REGNO (x) < FIRST_PSEUDO_REGISTER)
3094     {
3095       struct elim_table *ep;
3096
3097       for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3098         if (ep->from_rtx == x)
3099           ep->can_eliminate = 0;
3100       return;
3101     }
3102
3103   fmt = GET_RTX_FORMAT (code);
3104   for (i = 0; i < GET_RTX_LENGTH (code); i++, fmt++)
3105     {
3106       if (*fmt == 'e')
3107         check_eliminable_occurrences (XEXP (x, i));
3108       else if (*fmt == 'E')
3109         {
3110           int j;
3111           for (j = 0; j < XVECLEN (x, i); j++)
3112             check_eliminable_occurrences (XVECEXP (x, i, j));
3113         }
3114     }
3115 }
3116 \f
3117 /* Scan INSN and eliminate all eliminable registers in it.
3118
3119    If REPLACE is nonzero, do the replacement destructively.  Also
3120    delete the insn as dead it if it is setting an eliminable register.
3121
3122    If REPLACE is zero, do all our allocations in reload_obstack.
3123
3124    If no eliminations were done and this insn doesn't require any elimination
3125    processing (these are not identical conditions: it might be updating sp,
3126    but not referencing fp; this needs to be seen during reload_as_needed so
3127    that the offset between fp and sp can be taken into consideration), zero
3128    is returned.  Otherwise, 1 is returned.  */
3129
3130 static int
3131 eliminate_regs_in_insn (rtx insn, int replace)
3132 {
3133   int icode = recog_memoized (insn);
3134   rtx old_body = PATTERN (insn);
3135   int insn_is_asm = asm_noperands (old_body) >= 0;
3136   rtx old_set = single_set (insn);
3137   rtx new_body;
3138   int val = 0;
3139   int i;
3140   rtx substed_operand[MAX_RECOG_OPERANDS];
3141   rtx orig_operand[MAX_RECOG_OPERANDS];
3142   struct elim_table *ep;
3143   rtx plus_src, plus_cst_src;
3144
3145   if (! insn_is_asm && icode < 0)
3146     {
3147       gcc_assert (GET_CODE (PATTERN (insn)) == USE
3148                   || GET_CODE (PATTERN (insn)) == CLOBBER
3149                   || GET_CODE (PATTERN (insn)) == ADDR_VEC
3150                   || GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC
3151                   || GET_CODE (PATTERN (insn)) == ASM_INPUT);
3152       return 0;
3153     }
3154
3155   if (old_set != 0 && REG_P (SET_DEST (old_set))
3156       && REGNO (SET_DEST (old_set)) < FIRST_PSEUDO_REGISTER)
3157     {
3158       /* Check for setting an eliminable register.  */
3159       for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3160         if (ep->from_rtx == SET_DEST (old_set) && ep->can_eliminate)
3161           {
3162 #if HARD_FRAME_POINTER_REGNUM != FRAME_POINTER_REGNUM
3163             /* If this is setting the frame pointer register to the
3164                hardware frame pointer register and this is an elimination
3165                that will be done (tested above), this insn is really
3166                adjusting the frame pointer downward to compensate for
3167                the adjustment done before a nonlocal goto.  */
3168             if (ep->from == FRAME_POINTER_REGNUM
3169                 && ep->to == HARD_FRAME_POINTER_REGNUM)
3170               {
3171                 rtx base = SET_SRC (old_set);
3172                 rtx base_insn = insn;
3173                 HOST_WIDE_INT offset = 0;
3174
3175                 while (base != ep->to_rtx)
3176                   {
3177                     rtx prev_insn, prev_set;
3178
3179                     if (GET_CODE (base) == PLUS
3180                         && GET_CODE (XEXP (base, 1)) == CONST_INT)
3181                       {
3182                         offset += INTVAL (XEXP (base, 1));
3183                         base = XEXP (base, 0);
3184                       }
3185                     else if ((prev_insn = prev_nonnote_insn (base_insn)) != 0
3186                              && (prev_set = single_set (prev_insn)) != 0
3187                              && rtx_equal_p (SET_DEST (prev_set), base))
3188                       {
3189                         base = SET_SRC (prev_set);
3190                         base_insn = prev_insn;
3191                       }
3192                     else
3193                       break;
3194                   }
3195
3196                 if (base == ep->to_rtx)
3197                   {
3198                     rtx src
3199                       = plus_constant (ep->to_rtx, offset - ep->offset);
3200
3201                     new_body = old_body;
3202                     if (! replace)
3203                       {
3204                         new_body = copy_insn (old_body);
3205                         if (REG_NOTES (insn))
3206                           REG_NOTES (insn) = copy_insn_1 (REG_NOTES (insn));
3207                       }
3208                     PATTERN (insn) = new_body;
3209                     old_set = single_set (insn);
3210
3211                     /* First see if this insn remains valid when we
3212                        make the change.  If not, keep the INSN_CODE
3213                        the same and let reload fit it up.  */
3214                     validate_change (insn, &SET_SRC (old_set), src, 1);
3215                     validate_change (insn, &SET_DEST (old_set),
3216                                      ep->to_rtx, 1);
3217                     if (! apply_change_group ())
3218                       {
3219                         SET_SRC (old_set) = src;
3220                         SET_DEST (old_set) = ep->to_rtx;
3221                       }
3222
3223                     val = 1;
3224                     goto done;
3225                   }
3226               }
3227 #endif
3228
3229             /* In this case this insn isn't serving a useful purpose.  We
3230                will delete it in reload_as_needed once we know that this
3231                elimination is, in fact, being done.
3232
3233                If REPLACE isn't set, we can't delete this insn, but needn't
3234                process it since it won't be used unless something changes.  */
3235             if (replace)
3236               {
3237                 delete_dead_insn (insn);
3238                 return 1;
3239               }
3240             val = 1;
3241             goto done;
3242           }
3243     }
3244
3245   /* We allow one special case which happens to work on all machines we
3246      currently support: a single set with the source or a REG_EQUAL
3247      note being a PLUS of an eliminable register and a constant.  */
3248   plus_src = plus_cst_src = 0;
3249   if (old_set && REG_P (SET_DEST (old_set)))
3250     {
3251       if (GET_CODE (SET_SRC (old_set)) == PLUS)
3252         plus_src = SET_SRC (old_set);
3253       /* First see if the source is of the form (plus (...) CST).  */
3254       if (plus_src
3255           && GET_CODE (XEXP (plus_src, 1)) == CONST_INT)
3256         plus_cst_src = plus_src;
3257       else if (REG_P (SET_SRC (old_set))
3258                || plus_src)
3259         {
3260           /* Otherwise, see if we have a REG_EQUAL note of the form
3261              (plus (...) CST).  */
3262           rtx links;
3263           for (links = REG_NOTES (insn); links; links = XEXP (links, 1))
3264             {
3265               if ((REG_NOTE_KIND (links) == REG_EQUAL
3266                    || REG_NOTE_KIND (links) == REG_EQUIV)
3267                   && GET_CODE (XEXP (links, 0)) == PLUS
3268                   && GET_CODE (XEXP (XEXP (links, 0), 1)) == CONST_INT)
3269                 {
3270                   plus_cst_src = XEXP (links, 0);
3271                   break;
3272                 }
3273             }
3274         }
3275
3276       /* Check that the first operand of the PLUS is a hard reg or
3277          the lowpart subreg of one.  */
3278       if (plus_cst_src)
3279         {
3280           rtx reg = XEXP (plus_cst_src, 0);
3281           if (GET_CODE (reg) == SUBREG && subreg_lowpart_p (reg))
3282             reg = SUBREG_REG (reg);
3283
3284           if (!REG_P (reg) || REGNO (reg) >= FIRST_PSEUDO_REGISTER)
3285             plus_cst_src = 0;
3286         }
3287     }
3288   if (plus_cst_src)
3289     {
3290       rtx reg = XEXP (plus_cst_src, 0);
3291       HOST_WIDE_INT offset = INTVAL (XEXP (plus_cst_src, 1));
3292
3293       if (GET_CODE (reg) == SUBREG)
3294         reg = SUBREG_REG (reg);
3295
3296       for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3297         if (ep->from_rtx == reg && ep->can_eliminate)
3298           {
3299             rtx to_rtx = ep->to_rtx;
3300             offset += ep->offset;
3301             offset = trunc_int_for_mode (offset, GET_MODE (plus_cst_src));
3302
3303             if (GET_CODE (XEXP (plus_cst_src, 0)) == SUBREG)
3304               to_rtx = gen_lowpart (GET_MODE (XEXP (plus_cst_src, 0)),
3305                                     to_rtx);
3306             /* If we have a nonzero offset, and the source is already
3307                a simple REG, the following transformation would
3308                increase the cost of the insn by replacing a simple REG
3309                with (plus (reg sp) CST).  So try only when we already
3310                had a PLUS before.  */
3311             if (offset == 0 || plus_src)
3312               {
3313                 rtx new_src = plus_constant (to_rtx, offset);
3314
3315                 new_body = old_body;
3316                 if (! replace)
3317                   {
3318                     new_body = copy_insn (old_body);
3319                     if (REG_NOTES (insn))
3320                       REG_NOTES (insn) = copy_insn_1 (REG_NOTES (insn));
3321                   }
3322                 PATTERN (insn) = new_body;
3323                 old_set = single_set (insn);
3324
3325                 /* First see if this insn remains valid when we make the
3326                    change.  If not, try to replace the whole pattern with
3327                    a simple set (this may help if the original insn was a
3328                    PARALLEL that was only recognized as single_set due to 
3329                    REG_UNUSED notes).  If this isn't valid either, keep
3330                    the INSN_CODE the same and let reload fix it up.  */
3331                 if (!validate_change (insn, &SET_SRC (old_set), new_src, 0))
3332                   {
3333                     rtx new_pat = gen_rtx_SET (VOIDmode,
3334                                                SET_DEST (old_set), new_src);
3335
3336                     if (!validate_change (insn, &PATTERN (insn), new_pat, 0))
3337                       SET_SRC (old_set) = new_src;
3338                   }
3339               }
3340             else
3341               break;
3342
3343             val = 1;
3344             /* This can't have an effect on elimination offsets, so skip right
3345                to the end.  */
3346             goto done;
3347           }
3348     }
3349
3350   /* Determine the effects of this insn on elimination offsets.  */
3351   elimination_effects (old_body, 0);
3352
3353   /* Eliminate all eliminable registers occurring in operands that
3354      can be handled by reload.  */
3355   extract_insn (insn);
3356   for (i = 0; i < recog_data.n_operands; i++)
3357     {
3358       orig_operand[i] = recog_data.operand[i];
3359       substed_operand[i] = recog_data.operand[i];
3360
3361       /* For an asm statement, every operand is eliminable.  */
3362       if (insn_is_asm || insn_data[icode].operand[i].eliminable)
3363         {
3364           bool is_set_src, in_plus;
3365
3366           /* Check for setting a register that we know about.  */
3367           if (recog_data.operand_type[i] != OP_IN
3368               && REG_P (orig_operand[i]))
3369             {
3370               /* If we are assigning to a register that can be eliminated, it
3371                  must be as part of a PARALLEL, since the code above handles
3372                  single SETs.  We must indicate that we can no longer
3373                  eliminate this reg.  */
3374               for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS];
3375                    ep++)
3376                 if (ep->from_rtx == orig_operand[i])
3377                   ep->can_eliminate = 0;
3378             }
3379
3380           /* Companion to the above plus substitution, we can allow
3381              invariants as the source of a plain move.  */
3382           is_set_src = false;
3383           if (old_set && recog_data.operand_loc[i] == &SET_SRC (old_set))
3384             is_set_src = true;
3385           in_plus = false;
3386           if (plus_src
3387               && (recog_data.operand_loc[i] == &XEXP (plus_src, 0)
3388                   || recog_data.operand_loc[i] == &XEXP (plus_src, 1)))
3389             in_plus = true;
3390
3391           substed_operand[i]
3392             = eliminate_regs_1 (recog_data.operand[i], 0,
3393                                 replace ? insn : NULL_RTX,
3394                                 is_set_src || in_plus);
3395           if (substed_operand[i] != orig_operand[i])
3396             val = 1;
3397           /* Terminate the search in check_eliminable_occurrences at
3398              this point.  */
3399           *recog_data.operand_loc[i] = 0;
3400
3401           /* If an output operand changed from a REG to a MEM and INSN is an
3402              insn, write a CLOBBER insn.  */
3403           if (recog_data.operand_type[i] != OP_IN
3404               && REG_P (orig_operand[i])
3405               && MEM_P (substed_operand[i])
3406               && replace)
3407             emit_insn_after (gen_clobber (orig_operand[i]), insn);
3408         }
3409     }
3410
3411   for (i = 0; i < recog_data.n_dups; i++)
3412     *recog_data.dup_loc[i]
3413       = *recog_data.operand_loc[(int) recog_data.dup_num[i]];
3414
3415   /* If any eliminable remain, they aren't eliminable anymore.  */
3416   check_eliminable_occurrences (old_body);
3417
3418   /* Substitute the operands; the new values are in the substed_operand
3419      array.  */
3420   for (i = 0; i < recog_data.n_operands; i++)
3421     *recog_data.operand_loc[i] = substed_operand[i];
3422   for (i = 0; i < recog_data.n_dups; i++)
3423     *recog_data.dup_loc[i] = substed_operand[(int) recog_data.dup_num[i]];
3424
3425   /* If we are replacing a body that was a (set X (plus Y Z)), try to
3426      re-recognize the insn.  We do this in case we had a simple addition
3427      but now can do this as a load-address.  This saves an insn in this
3428      common case.
3429      If re-recognition fails, the old insn code number will still be used,
3430      and some register operands may have changed into PLUS expressions.
3431      These will be handled by find_reloads by loading them into a register
3432      again.  */
3433
3434   if (val)
3435     {
3436       /* If we aren't replacing things permanently and we changed something,
3437          make another copy to ensure that all the RTL is new.  Otherwise
3438          things can go wrong if find_reload swaps commutative operands
3439          and one is inside RTL that has been copied while the other is not.  */
3440       new_body = old_body;
3441       if (! replace)
3442         {
3443           new_body = copy_insn (old_body);
3444           if (REG_NOTES (insn))
3445             REG_NOTES (insn) = copy_insn_1 (REG_NOTES (insn));
3446         }
3447       PATTERN (insn) = new_body;
3448
3449       /* If we had a move insn but now we don't, rerecognize it.  This will
3450          cause spurious re-recognition if the old move had a PARALLEL since
3451          the new one still will, but we can't call single_set without
3452          having put NEW_BODY into the insn and the re-recognition won't
3453          hurt in this rare case.  */
3454       /* ??? Why this huge if statement - why don't we just rerecognize the
3455          thing always?  */
3456       if (! insn_is_asm
3457           && old_set != 0
3458           && ((REG_P (SET_SRC (old_set))
3459                && (GET_CODE (new_body) != SET
3460                    || !REG_P (SET_SRC (new_body))))
3461               /* If this was a load from or store to memory, compare
3462                  the MEM in recog_data.operand to the one in the insn.
3463                  If they are not equal, then rerecognize the insn.  */
3464               || (old_set != 0
3465                   && ((MEM_P (SET_SRC (old_set))
3466                        && SET_SRC (old_set) != recog_data.operand[1])
3467                       || (MEM_P (SET_DEST (old_set))
3468                           && SET_DEST (old_set) != recog_data.operand[0])))
3469               /* If this was an add insn before, rerecognize.  */
3470               || GET_CODE (SET_SRC (old_set)) == PLUS))
3471         {
3472           int new_icode = recog (PATTERN (insn), insn, 0);
3473           if (new_icode >= 0)
3474             INSN_CODE (insn) = new_icode;
3475         }
3476     }
3477
3478   /* Restore the old body.  If there were any changes to it, we made a copy
3479      of it while the changes were still in place, so we'll correctly return
3480      a modified insn below.  */
3481   if (! replace)
3482     {
3483       /* Restore the old body.  */
3484       for (i = 0; i < recog_data.n_operands; i++)
3485         *recog_data.operand_loc[i] = orig_operand[i];
3486       for (i = 0; i < recog_data.n_dups; i++)
3487         *recog_data.dup_loc[i] = orig_operand[(int) recog_data.dup_num[i]];
3488     }
3489
3490   /* Update all elimination pairs to reflect the status after the current
3491      insn.  The changes we make were determined by the earlier call to
3492      elimination_effects.
3493
3494      We also detect cases where register elimination cannot be done,
3495      namely, if a register would be both changed and referenced outside a MEM
3496      in the resulting insn since such an insn is often undefined and, even if
3497      not, we cannot know what meaning will be given to it.  Note that it is
3498      valid to have a register used in an address in an insn that changes it
3499      (presumably with a pre- or post-increment or decrement).
3500
3501      If anything changes, return nonzero.  */
3502
3503   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3504     {
3505       if (ep->previous_offset != ep->offset && ep->ref_outside_mem)
3506         ep->can_eliminate = 0;
3507
3508       ep->ref_outside_mem = 0;
3509
3510       if (ep->previous_offset != ep->offset)
3511         val = 1;
3512     }
3513
3514  done:
3515   /* If we changed something, perform elimination in REG_NOTES.  This is
3516      needed even when REPLACE is zero because a REG_DEAD note might refer
3517      to a register that we eliminate and could cause a different number
3518      of spill registers to be needed in the final reload pass than in
3519      the pre-passes.  */
3520   if (val && REG_NOTES (insn) != 0)
3521     REG_NOTES (insn)
3522       = eliminate_regs_1 (REG_NOTES (insn), 0, REG_NOTES (insn), true);
3523
3524   return val;
3525 }
3526
3527 /* Loop through all elimination pairs.
3528    Recalculate the number not at initial offset.
3529
3530    Compute the maximum offset (minimum offset if the stack does not
3531    grow downward) for each elimination pair.  */
3532
3533 static void
3534 update_eliminable_offsets (void)
3535 {
3536   struct elim_table *ep;
3537
3538   num_not_at_initial_offset = 0;
3539   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3540     {
3541       ep->previous_offset = ep->offset;
3542       if (ep->can_eliminate && ep->offset != ep->initial_offset)
3543         num_not_at_initial_offset++;
3544     }
3545 }
3546
3547 /* Given X, a SET or CLOBBER of DEST, if DEST is the target of a register
3548    replacement we currently believe is valid, mark it as not eliminable if X
3549    modifies DEST in any way other than by adding a constant integer to it.
3550
3551    If DEST is the frame pointer, we do nothing because we assume that
3552    all assignments to the hard frame pointer are nonlocal gotos and are being
3553    done at a time when they are valid and do not disturb anything else.
3554    Some machines want to eliminate a fake argument pointer with either the
3555    frame or stack pointer.  Assignments to the hard frame pointer must not
3556    prevent this elimination.
3557
3558    Called via note_stores from reload before starting its passes to scan
3559    the insns of the function.  */
3560
3561 static void
3562 mark_not_eliminable (rtx dest, const_rtx x, void *data ATTRIBUTE_UNUSED)
3563 {
3564   unsigned int i;
3565
3566   /* A SUBREG of a hard register here is just changing its mode.  We should
3567      not see a SUBREG of an eliminable hard register, but check just in
3568      case.  */
3569   if (GET_CODE (dest) == SUBREG)
3570     dest = SUBREG_REG (dest);
3571
3572   if (dest == hard_frame_pointer_rtx)
3573     return;
3574
3575   for (i = 0; i < NUM_ELIMINABLE_REGS; i++)
3576     if (reg_eliminate[i].can_eliminate && dest == reg_eliminate[i].to_rtx
3577         && (GET_CODE (x) != SET
3578             || GET_CODE (SET_SRC (x)) != PLUS
3579             || XEXP (SET_SRC (x), 0) != dest
3580             || GET_CODE (XEXP (SET_SRC (x), 1)) != CONST_INT))
3581       {
3582         reg_eliminate[i].can_eliminate_previous
3583           = reg_eliminate[i].can_eliminate = 0;
3584         num_eliminable--;
3585       }
3586 }
3587
3588 /* Verify that the initial elimination offsets did not change since the
3589    last call to set_initial_elim_offsets.  This is used to catch cases
3590    where something illegal happened during reload_as_needed that could
3591    cause incorrect code to be generated if we did not check for it.  */
3592
3593 static bool
3594 verify_initial_elim_offsets (void)
3595 {
3596   HOST_WIDE_INT t;
3597
3598   if (!num_eliminable)
3599     return true;
3600
3601 #ifdef ELIMINABLE_REGS
3602   {
3603    struct elim_table *ep;
3604
3605    for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3606      {
3607        INITIAL_ELIMINATION_OFFSET (ep->from, ep->to, t);
3608        if (t != ep->initial_offset)
3609          return false;
3610      }
3611   }
3612 #else
3613   INITIAL_FRAME_POINTER_OFFSET (t);
3614   if (t != reg_eliminate[0].initial_offset)
3615     return false;
3616 #endif
3617
3618   return true;
3619 }
3620
3621 /* Reset all offsets on eliminable registers to their initial values.  */
3622
3623 static void
3624 set_initial_elim_offsets (void)
3625 {
3626   struct elim_table *ep = reg_eliminate;
3627
3628 #ifdef ELIMINABLE_REGS
3629   for (; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3630     {
3631       INITIAL_ELIMINATION_OFFSET (ep->from, ep->to, ep->initial_offset);
3632       ep->previous_offset = ep->offset = ep->initial_offset;
3633     }
3634 #else
3635   INITIAL_FRAME_POINTER_OFFSET (ep->initial_offset);
3636   ep->previous_offset = ep->offset = ep->initial_offset;
3637 #endif
3638
3639   num_not_at_initial_offset = 0;
3640 }
3641
3642 /* Subroutine of set_initial_label_offsets called via for_each_eh_label.  */
3643
3644 static void
3645 set_initial_eh_label_offset (rtx label)
3646 {
3647   set_label_offsets (label, NULL_RTX, 1);
3648 }
3649
3650 /* Initialize the known label offsets.
3651    Set a known offset for each forced label to be at the initial offset
3652    of each elimination.  We do this because we assume that all
3653    computed jumps occur from a location where each elimination is
3654    at its initial offset.
3655    For all other labels, show that we don't know the offsets.  */
3656
3657 static void
3658 set_initial_label_offsets (void)
3659 {
3660   rtx x;
3661   memset (offsets_known_at, 0, num_labels);
3662
3663   for (x = forced_labels; x; x = XEXP (x, 1))
3664     if (XEXP (x, 0))
3665       set_label_offsets (XEXP (x, 0), NULL_RTX, 1);
3666
3667   for_each_eh_label (set_initial_eh_label_offset);
3668 }
3669
3670 /* Set all elimination offsets to the known values for the code label given
3671    by INSN.  */
3672
3673 static void
3674 set_offsets_for_label (rtx insn)
3675 {
3676   unsigned int i;
3677   int label_nr = CODE_LABEL_NUMBER (insn);
3678   struct elim_table *ep;
3679
3680   num_not_at_initial_offset = 0;
3681   for (i = 0, ep = reg_eliminate; i < NUM_ELIMINABLE_REGS; ep++, i++)
3682     {
3683       ep->offset = ep->previous_offset
3684                  = offsets_at[label_nr - first_label_num][i];
3685       if (ep->can_eliminate && ep->offset != ep->initial_offset)
3686         num_not_at_initial_offset++;
3687     }
3688 }
3689
3690 /* See if anything that happened changes which eliminations are valid.
3691    For example, on the SPARC, whether or not the frame pointer can
3692    be eliminated can depend on what registers have been used.  We need
3693    not check some conditions again (such as flag_omit_frame_pointer)
3694    since they can't have changed.  */
3695
3696 static void
3697 update_eliminables (HARD_REG_SET *pset)
3698 {
3699   int previous_frame_pointer_needed = frame_pointer_needed;
3700   struct elim_table *ep;
3701
3702   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3703     if ((ep->from == HARD_FRAME_POINTER_REGNUM && FRAME_POINTER_REQUIRED)
3704 #ifdef ELIMINABLE_REGS
3705         || ! CAN_ELIMINATE (ep->from, ep->to)
3706 #endif
3707         )
3708       ep->can_eliminate = 0;
3709
3710   /* Look for the case where we have discovered that we can't replace
3711      register A with register B and that means that we will now be
3712      trying to replace register A with register C.  This means we can
3713      no longer replace register C with register B and we need to disable
3714      such an elimination, if it exists.  This occurs often with A == ap,
3715      B == sp, and C == fp.  */
3716
3717   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3718     {
3719       struct elim_table *op;
3720       int new_to = -1;
3721
3722       if (! ep->can_eliminate && ep->can_eliminate_previous)
3723         {
3724           /* Find the current elimination for ep->from, if there is a
3725              new one.  */
3726           for (op = reg_eliminate;
3727                op < &reg_eliminate[NUM_ELIMINABLE_REGS]; op++)
3728             if (op->from == ep->from && op->can_eliminate)
3729               {
3730                 new_to = op->to;
3731                 break;
3732               }
3733
3734           /* See if there is an elimination of NEW_TO -> EP->TO.  If so,
3735              disable it.  */
3736           for (op = reg_eliminate;
3737                op < &reg_eliminate[NUM_ELIMINABLE_REGS]; op++)
3738             if (op->from == new_to && op->to == ep->to)
3739               op->can_eliminate = 0;
3740         }
3741     }
3742
3743   /* See if any registers that we thought we could eliminate the previous
3744      time are no longer eliminable.  If so, something has changed and we
3745      must spill the register.  Also, recompute the number of eliminable
3746      registers and see if the frame pointer is needed; it is if there is
3747      no elimination of the frame pointer that we can perform.  */
3748
3749   frame_pointer_needed = 1;
3750   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3751     {
3752       if (ep->can_eliminate
3753           && ep->from == FRAME_POINTER_REGNUM
3754           && ep->to != HARD_FRAME_POINTER_REGNUM
3755           && (! SUPPORTS_STACK_ALIGNMENT
3756               || ! crtl->stack_realign_needed))
3757         frame_pointer_needed = 0;
3758
3759       if (! ep->can_eliminate && ep->can_eliminate_previous)
3760         {
3761           ep->can_eliminate_previous = 0;
3762           SET_HARD_REG_BIT (*pset, ep->from);
3763           num_eliminable--;
3764         }
3765     }
3766
3767   /* If we didn't need a frame pointer last time, but we do now, spill
3768      the hard frame pointer.  */
3769   if (frame_pointer_needed && ! previous_frame_pointer_needed)
3770     SET_HARD_REG_BIT (*pset, HARD_FRAME_POINTER_REGNUM);
3771 }
3772
3773 /* Return true if X is used as the target register of an elimination.  */
3774
3775 bool
3776 elimination_target_reg_p (rtx x)
3777 {
3778   struct elim_table *ep;
3779
3780   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3781     if (ep->to_rtx == x && ep->can_eliminate)
3782       return true;
3783
3784   return false;
3785 }
3786
3787 /* Initialize the table of registers to eliminate.
3788    Pre-condition: global flag frame_pointer_needed has been set before
3789    calling this function.  */
3790
3791 static void
3792 init_elim_table (void)
3793 {
3794   struct elim_table *ep;
3795 #ifdef ELIMINABLE_REGS
3796   const struct elim_table_1 *ep1;
3797 #endif
3798
3799   if (!reg_eliminate)
3800     reg_eliminate = XCNEWVEC (struct elim_table, NUM_ELIMINABLE_REGS);
3801
3802   num_eliminable = 0;
3803
3804 #ifdef ELIMINABLE_REGS
3805   for (ep = reg_eliminate, ep1 = reg_eliminate_1;
3806        ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++, ep1++)
3807     {
3808       ep->from = ep1->from;
3809       ep->to = ep1->to;
3810       ep->can_eliminate = ep->can_eliminate_previous
3811         = (CAN_ELIMINATE (ep->from, ep->to)
3812            && ! (ep->to == STACK_POINTER_REGNUM
3813                  && frame_pointer_needed 
3814                  && (! SUPPORTS_STACK_ALIGNMENT
3815                      || ! stack_realign_fp)));
3816     }
3817 #else
3818   reg_eliminate[0].from = reg_eliminate_1[0].from;
3819   reg_eliminate[0].to = reg_eliminate_1[0].to;
3820   reg_eliminate[0].can_eliminate = reg_eliminate[0].can_eliminate_previous
3821     = ! frame_pointer_needed;
3822 #endif
3823
3824   /* Count the number of eliminable registers and build the FROM and TO
3825      REG rtx's.  Note that code in gen_rtx_REG will cause, e.g.,
3826      gen_rtx_REG (Pmode, STACK_POINTER_REGNUM) to equal stack_pointer_rtx.
3827      We depend on this.  */
3828   for (ep = reg_eliminate; ep < &reg_eliminate[NUM_ELIMINABLE_REGS]; ep++)
3829     {
3830       num_eliminable += ep->can_eliminate;
3831       ep->from_rtx = gen_rtx_REG (Pmode, ep->from);
3832       ep->to_rtx = gen_rtx_REG (Pmode, ep->to);
3833     }
3834 }
3835 \f
3836 /* Kick all pseudos out of hard register REGNO.
3837
3838    If CANT_ELIMINATE is nonzero, it means that we are doing this spill
3839    because we found we can't eliminate some register.  In the case, no pseudos
3840    are allowed to be in the register, even if they are only in a block that
3841    doesn't require spill registers, unlike the case when we are spilling this
3842    hard reg to produce another spill register.
3843
3844    Return nonzero if any pseudos needed to be kicked out.  */
3845
3846 static void
3847 spill_hard_reg (unsigned int regno, int cant_eliminate)
3848 {
3849   int i;
3850
3851   if (cant_eliminate)
3852     {
3853       SET_HARD_REG_BIT (bad_spill_regs_global, regno);
3854       df_set_regs_ever_live (regno, true);
3855     }
3856
3857   /* Spill every pseudo reg that was allocated to this reg
3858      or to something that overlaps this reg.  */
3859
3860   for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
3861     if (reg_renumber[i] >= 0
3862         && (unsigned int) reg_renumber[i] <= regno
3863         && end_hard_regno (PSEUDO_REGNO_MODE (i), reg_renumber[i]) > regno)
3864       SET_REGNO_REG_SET (&spilled_pseudos, i);
3865 }
3866
3867 /* After find_reload_regs has been run for all insn that need reloads,
3868    and/or spill_hard_regs was called, this function is used to actually
3869    spill pseudo registers and try to reallocate them.  It also sets up the
3870    spill_regs array for use by choose_reload_regs.  */
3871
3872 static int
3873 finish_spills (int global)
3874 {
3875   struct insn_chain *chain;
3876   int something_changed = 0;
3877   unsigned i;
3878   reg_set_iterator rsi;
3879
3880   /* Build the spill_regs array for the function.  */
3881   /* If there are some registers still to eliminate and one of the spill regs
3882      wasn't ever used before, additional stack space may have to be
3883      allocated to store this register.  Thus, we may have changed the offset
3884      between the stack and frame pointers, so mark that something has changed.
3885
3886      One might think that we need only set VAL to 1 if this is a call-used
3887      register.  However, the set of registers that must be saved by the
3888      prologue is not identical to the call-used set.  For example, the
3889      register used by the call insn for the return PC is a call-used register,
3890      but must be saved by the prologue.  */
3891
3892   n_spills = 0;
3893   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
3894     if (TEST_HARD_REG_BIT (used_spill_regs, i))
3895       {
3896         spill_reg_order[i] = n_spills;
3897         spill_regs[n_spills++] = i;
3898         if (num_eliminable && ! df_regs_ever_live_p (i))
3899           something_changed = 1;
3900         df_set_regs_ever_live (i, true);
3901       }
3902     else
3903       spill_reg_order[i] = -1;
3904
3905   EXECUTE_IF_SET_IN_REG_SET (&spilled_pseudos, FIRST_PSEUDO_REGISTER, i, rsi)
3906     if (! ira_conflicts_p || reg_renumber[i] >= 0)
3907       {
3908         /* Record the current hard register the pseudo is allocated to
3909            in pseudo_previous_regs so we avoid reallocating it to the
3910            same hard reg in a later pass.  */
3911         gcc_assert (reg_renumber[i] >= 0);
3912         
3913         SET_HARD_REG_BIT (pseudo_previous_regs[i], reg_renumber[i]);
3914         /* Mark it as no longer having a hard register home.  */
3915         reg_renumber[i] = -1;
3916         if (ira_conflicts_p)
3917           /* Inform IRA about the change.  */
3918           ira_mark_allocation_change (i);
3919         /* We will need to scan everything again.  */
3920         something_changed = 1;
3921       }
3922
3923   /* Retry global register allocation if possible.  */
3924   if (global && ira_conflicts_p)
3925     {
3926       unsigned int n;
3927
3928       memset (pseudo_forbidden_regs, 0, max_regno * sizeof (HARD_REG_SET));
3929       /* For every insn that needs reloads, set the registers used as spill
3930          regs in pseudo_forbidden_regs for every pseudo live across the
3931          insn.  */
3932       for (chain = insns_need_reload; chain; chain = chain->next_need_reload)
3933         {
3934           EXECUTE_IF_SET_IN_REG_SET
3935             (&chain->live_throughout, FIRST_PSEUDO_REGISTER, i, rsi)
3936             {
3937               IOR_HARD_REG_SET (pseudo_forbidden_regs[i],
3938                                 chain->used_spill_regs);
3939             }
3940           EXECUTE_IF_SET_IN_REG_SET
3941             (&chain->dead_or_set, FIRST_PSEUDO_REGISTER, i, rsi)
3942             {
3943               IOR_HARD_REG_SET (pseudo_forbidden_regs[i],
3944                                 chain->used_spill_regs);
3945             }
3946         }
3947
3948       /* Retry allocating the pseudos spilled in IRA and the
3949          reload.  For each reg, merge the various reg sets that
3950          indicate which hard regs can't be used, and call
3951          ira_reassign_pseudos.  */
3952       for (n = 0, i = FIRST_PSEUDO_REGISTER; i < (unsigned) max_regno; i++)
3953         if (reg_old_renumber[i] != reg_renumber[i])
3954           {
3955             if (reg_renumber[i] < 0)
3956               temp_pseudo_reg_arr[n++] = i;
3957             else
3958               CLEAR_REGNO_REG_SET (&spilled_pseudos, i);
3959           }
3960       if (ira_reassign_pseudos (temp_pseudo_reg_arr, n,
3961                                 bad_spill_regs_global,
3962                                 pseudo_forbidden_regs, pseudo_previous_regs,
3963                                 &spilled_pseudos))
3964         something_changed = 1;
3965     }
3966   /* Fix up the register information in the insn chain.
3967      This involves deleting those of the spilled pseudos which did not get
3968      a new hard register home from the live_{before,after} sets.  */
3969   for (chain = reload_insn_chain; chain; chain = chain->next)
3970     {
3971       HARD_REG_SET used_by_pseudos;
3972       HARD_REG_SET used_by_pseudos2;
3973
3974       if (! ira_conflicts_p)
3975         {
3976           /* Don't do it for IRA because IRA and the reload still can
3977              assign hard registers to the spilled pseudos on next
3978              reload iterations.  */
3979           AND_COMPL_REG_SET (&chain->live_throughout, &spilled_pseudos);
3980           AND_COMPL_REG_SET (&chain->dead_or_set, &spilled_pseudos);
3981         }
3982       /* Mark any unallocated hard regs as available for spills.  That
3983          makes inheritance work somewhat better.  */
3984       if (chain->need_reload)
3985         {
3986           REG_SET_TO_HARD_REG_SET (used_by_pseudos, &chain->live_throughout);
3987           REG_SET_TO_HARD_REG_SET (used_by_pseudos2, &chain->dead_or_set);
3988           IOR_HARD_REG_SET (used_by_pseudos, used_by_pseudos2);
3989
3990           compute_use_by_pseudos (&used_by_pseudos, &chain->live_throughout);
3991           compute_use_by_pseudos (&used_by_pseudos, &chain->dead_or_set);
3992           /* Value of chain->used_spill_regs from previous iteration
3993              may be not included in the value calculated here because
3994              of possible removing caller-saves insns (see function
3995              delete_caller_save_insns.  */
3996           COMPL_HARD_REG_SET (chain->used_spill_regs, used_by_pseudos);
3997           AND_HARD_REG_SET (chain->used_spill_regs, used_spill_regs);
3998         }
3999     }
4000
4001   CLEAR_REG_SET (&changed_allocation_pseudos);
4002   /* Let alter_reg modify the reg rtx's for the modified pseudos.  */
4003   for (i = FIRST_PSEUDO_REGISTER; i < (unsigned)max_regno; i++)
4004     {
4005       int regno = reg_renumber[i];
4006       if (reg_old_renumber[i] == regno)
4007         continue;
4008
4009       SET_REGNO_REG_SET (&changed_allocation_pseudos, i);
4010
4011       alter_reg (i, reg_old_renumber[i], false);
4012       reg_old_renumber[i] = regno;
4013       if (dump_file)
4014         {
4015           if (regno == -1)
4016             fprintf (dump_file, " Register %d now on stack.\n\n", i);
4017           else
4018             fprintf (dump_file, " Register %d now in %d.\n\n",
4019                      i, reg_renumber[i]);
4020         }
4021     }
4022
4023   return something_changed;
4024 }
4025 \f
4026 /* Find all paradoxical subregs within X and update reg_max_ref_width.  */
4027
4028 static void
4029 scan_paradoxical_subregs (rtx x)
4030 {
4031   int i;
4032   const char *fmt;
4033   enum rtx_code code = GET_CODE (x);
4034
4035   switch (code)
4036     {
4037     case REG:
4038     case CONST_INT:
4039     case CONST:
4040     case SYMBOL_REF:
4041     case LABEL_REF:
4042     case CONST_DOUBLE:
4043     case CONST_FIXED:
4044     case CONST_VECTOR: /* shouldn't happen, but just in case.  */
4045     case CC0:
4046     case PC:
4047     case USE:
4048     case CLOBBER:
4049       return;
4050
4051     case SUBREG:
4052       if (REG_P (SUBREG_REG (x))
4053           && (GET_MODE_SIZE (GET_MODE (x))
4054               > reg_max_ref_width[REGNO (SUBREG_REG (x))]))
4055         {
4056           reg_max_ref_width[REGNO (SUBREG_REG (x))]
4057             = GET_MODE_SIZE (GET_MODE (x));
4058           mark_home_live_1 (REGNO (SUBREG_REG (x)), GET_MODE (x));
4059         }
4060       return;
4061
4062     default:
4063       break;
4064     }
4065
4066   fmt = GET_RTX_FORMAT (code);
4067   for (i = GET_RTX_LENGTH (code) - 1; i >= 0; i--)
4068     {
4069       if (fmt[i] == 'e')
4070         scan_paradoxical_subregs (XEXP (x, i));
4071       else if (fmt[i] == 'E')
4072         {
4073           int j;
4074           for (j = XVECLEN (x, i) - 1; j >= 0; j--)
4075             scan_paradoxical_subregs (XVECEXP (x, i, j));
4076         }
4077     }
4078 }
4079 \f
4080 /* A subroutine of reload_as_needed.  If INSN has a REG_EH_REGION note,
4081    examine all of the reload insns between PREV and NEXT exclusive, and
4082    annotate all that may trap.  */
4083
4084 static void
4085 fixup_eh_region_note (rtx insn, rtx prev, rtx next)
4086 {
4087   rtx note = find_reg_note (insn, REG_EH_REGION, NULL_RTX);
4088   unsigned int trap_count;
4089   rtx i;
4090
4091   if (note == NULL)
4092     return;
4093
4094   if (may_trap_p (PATTERN (insn)))
4095     trap_count = 1;
4096   else
4097     {
4098       remove_note (insn, note);
4099       trap_count = 0;
4100     }
4101
4102   for (i = NEXT_INSN (prev); i != next; i = NEXT_INSN (i))
4103     if (INSN_P (i) && i != insn && may_trap_p (PATTERN (i)))
4104       {
4105         trap_count++;
4106         add_reg_note (i, REG_EH_REGION, XEXP (note, 0));
4107       }
4108 }
4109
4110 /* Reload pseudo-registers into hard regs around each insn as needed.
4111    Additional register load insns are output before the insn that needs it
4112    and perhaps store insns after insns that modify the reloaded pseudo reg.
4113
4114    reg_last_reload_reg and reg_reloaded_contents keep track of
4115    which registers are already available in reload registers.
4116    We update these for the reloads that we perform,
4117    as the insns are scanned.  */
4118
4119 static void
4120 reload_as_needed (int live_known)
4121 {
4122   struct insn_chain *chain;
4123 #if defined (AUTO_INC_DEC)
4124   int i;
4125 #endif
4126   rtx x;
4127
4128   memset (spill_reg_rtx, 0, sizeof spill_reg_rtx);
4129   memset (spill_reg_store, 0, sizeof spill_reg_store);
4130   reg_last_reload_reg = XCNEWVEC (rtx, max_regno);
4131   INIT_REG_SET (&reg_has_output_reload);
4132   CLEAR_HARD_REG_SET (reg_reloaded_valid);