VOP_FSYNC.9: Missing comma
[dragonfly.git] / contrib / gcc-4.7 / gcc / config / i386 / xopintrin.h
1 /* Copyright (C) 2007, 2008, 2009, 2010 Free Software Foundation, Inc.
2
3    This file is part of GCC.
4
5    GCC is free software; you can redistribute it and/or modify
6    it under the terms of the GNU General Public License as published by
7    the Free Software Foundation; either version 3, or (at your option)
8    any later version.
9
10    GCC is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13    GNU General Public License for more details.
14
15    Under Section 7 of GPL version 3, you are granted additional
16    permissions described in the GCC Runtime Library Exception, version
17    3.1, as published by the Free Software Foundation.
18
19    You should have received a copy of the GNU General Public License and
20    a copy of the GCC Runtime Library Exception along with this program;
21    see the files COPYING3 and COPYING.RUNTIME respectively.  If not, see
22    <http://www.gnu.org/licenses/>.  */
23
24 #ifndef _X86INTRIN_H_INCLUDED
25 # error "Never use <xopintrin.h> directly; include <x86intrin.h> instead."
26 #endif
27
28 #ifndef _XOPMMINTRIN_H_INCLUDED
29 #define _XOPMMINTRIN_H_INCLUDED
30
31 #ifndef __XOP__
32 # error "XOP instruction set not enabled"
33 #else
34
35 #include <fma4intrin.h>
36
37 /* Integer multiply/add intructions. */
38 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
39 _mm_maccs_epi16(__m128i __A, __m128i __B, __m128i __C)
40 {
41   return (__m128i) __builtin_ia32_vpmacssww ((__v8hi)__A,(__v8hi)__B, (__v8hi)__C);
42 }
43
44 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
45 _mm_macc_epi16(__m128i __A, __m128i __B, __m128i __C)
46 {
47   return (__m128i) __builtin_ia32_vpmacsww ((__v8hi)__A, (__v8hi)__B, (__v8hi)__C);
48 }
49
50 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
51 _mm_maccsd_epi16(__m128i __A, __m128i __B, __m128i __C)
52 {
53   return  (__m128i) __builtin_ia32_vpmacsswd ((__v8hi)__A, (__v8hi)__B, (__v4si)__C);
54 }
55
56 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
57 _mm_maccd_epi16(__m128i __A, __m128i __B, __m128i __C)
58 {
59   return  (__m128i) __builtin_ia32_vpmacswd ((__v8hi)__A, (__v8hi)__B, (__v4si)__C);
60 }
61
62 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
63 _mm_maccs_epi32(__m128i __A, __m128i __B, __m128i __C)
64 {
65   return  (__m128i) __builtin_ia32_vpmacssdd ((__v4si)__A, (__v4si)__B, (__v4si)__C);
66 }
67
68 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
69 _mm_macc_epi32(__m128i __A, __m128i __B, __m128i __C)
70 {
71   return  (__m128i) __builtin_ia32_vpmacsdd ((__v4si)__A, (__v4si)__B, (__v4si)__C);
72 }
73
74 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
75 _mm_maccslo_epi32(__m128i __A, __m128i __B, __m128i __C)
76 {
77   return  (__m128i) __builtin_ia32_vpmacssdql ((__v4si)__A, (__v4si)__B, (__v2di)__C);
78 }
79
80 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
81 _mm_macclo_epi32(__m128i __A, __m128i __B, __m128i __C)
82 {
83   return  (__m128i) __builtin_ia32_vpmacsdql ((__v4si)__A, (__v4si)__B, (__v2di)__C);
84 }
85
86 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
87 _mm_maccshi_epi32(__m128i __A, __m128i __B, __m128i __C)
88 {
89   return  (__m128i) __builtin_ia32_vpmacssdqh ((__v4si)__A, (__v4si)__B, (__v2di)__C);
90 }
91
92 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
93 _mm_macchi_epi32(__m128i __A, __m128i __B, __m128i __C)
94 {
95   return  (__m128i) __builtin_ia32_vpmacsdqh ((__v4si)__A, (__v4si)__B, (__v2di)__C);
96 }
97
98 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
99 _mm_maddsd_epi16(__m128i __A, __m128i __B, __m128i __C)
100 {
101   return  (__m128i) __builtin_ia32_vpmadcsswd ((__v8hi)__A,(__v8hi)__B,(__v4si)__C);
102 }
103
104 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
105 _mm_maddd_epi16(__m128i __A, __m128i __B, __m128i __C)
106 {
107   return  (__m128i) __builtin_ia32_vpmadcswd ((__v8hi)__A,(__v8hi)__B,(__v4si)__C);
108 }
109
110 /* Packed Integer Horizontal Add and Subtract */
111 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
112 _mm_haddw_epi8(__m128i __A)
113 {
114   return  (__m128i) __builtin_ia32_vphaddbw ((__v16qi)__A);
115 }
116
117 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
118 _mm_haddd_epi8(__m128i __A)
119 {
120   return  (__m128i) __builtin_ia32_vphaddbd ((__v16qi)__A);
121 }
122
123 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
124 _mm_haddq_epi8(__m128i __A)
125 {
126   return  (__m128i) __builtin_ia32_vphaddbq ((__v16qi)__A);
127 }
128
129 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
130 _mm_haddd_epi16(__m128i __A)
131 {
132   return  (__m128i) __builtin_ia32_vphaddwd ((__v8hi)__A);
133 }
134
135 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
136 _mm_haddq_epi16(__m128i __A)
137 {
138   return  (__m128i) __builtin_ia32_vphaddwq ((__v8hi)__A);
139 }
140
141 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
142 _mm_haddq_epi32(__m128i __A)
143 {
144   return  (__m128i) __builtin_ia32_vphadddq ((__v4si)__A);
145 }
146
147 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
148 _mm_haddw_epu8(__m128i __A)
149 {
150   return  (__m128i) __builtin_ia32_vphaddubw ((__v16qi)__A);
151 }
152
153 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
154 _mm_haddd_epu8(__m128i __A)
155 {
156   return  (__m128i) __builtin_ia32_vphaddubd ((__v16qi)__A);
157 }
158
159 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
160 _mm_haddq_epu8(__m128i __A)
161 {
162   return  (__m128i) __builtin_ia32_vphaddubq ((__v16qi)__A);
163 }
164
165 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
166 _mm_haddd_epu16(__m128i __A)
167 {
168   return  (__m128i) __builtin_ia32_vphadduwd ((__v8hi)__A);
169 }
170
171 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
172 _mm_haddq_epu16(__m128i __A)
173 {
174   return  (__m128i) __builtin_ia32_vphadduwq ((__v8hi)__A);
175 }
176
177 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
178 _mm_haddq_epu32(__m128i __A)
179 {
180   return  (__m128i) __builtin_ia32_vphaddudq ((__v4si)__A);
181 }
182
183 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
184 _mm_hsubw_epi8(__m128i __A)
185 {
186   return  (__m128i) __builtin_ia32_vphsubbw ((__v16qi)__A);
187 }
188
189 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
190 _mm_hsubd_epi16(__m128i __A)
191 {
192   return  (__m128i) __builtin_ia32_vphsubwd ((__v8hi)__A);
193 }
194
195 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
196 _mm_hsubq_epi32(__m128i __A)
197 {
198   return  (__m128i) __builtin_ia32_vphsubdq ((__v4si)__A);
199 }
200
201 /* Vector conditional move and permute */
202
203 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
204 _mm_cmov_si128(__m128i __A, __m128i __B, __m128i __C)
205 {
206   return  (__m128i) __builtin_ia32_vpcmov (__A, __B, __C);
207 }
208
209 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
210 _mm_perm_epi8(__m128i __A, __m128i __B, __m128i __C)
211 {
212   return  (__m128i) __builtin_ia32_vpperm ((__v16qi)__A, (__v16qi)__B, (__v16qi)__C);
213 }
214
215 /* Packed Integer Rotates and Shifts
216    Rotates - Non-Immediate form */
217
218 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
219 _mm_rot_epi8(__m128i __A,  __m128i __B)
220 {
221   return  (__m128i) __builtin_ia32_vprotb ((__v16qi)__A, (__v16qi)__B);
222 }
223
224 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
225 _mm_rot_epi16(__m128i __A,  __m128i __B)
226 {
227   return  (__m128i) __builtin_ia32_vprotw ((__v8hi)__A, (__v8hi)__B);
228 }
229
230 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
231 _mm_rot_epi32(__m128i __A,  __m128i __B)
232 {
233   return  (__m128i) __builtin_ia32_vprotd ((__v4si)__A, (__v4si)__B);
234 }
235
236 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
237 _mm_rot_epi64(__m128i __A,  __m128i __B)
238 {
239   return (__m128i)  __builtin_ia32_vprotq ((__v2di)__A, (__v2di)__B);
240 }
241
242 /* Rotates - Immediate form */
243
244 #ifdef __OPTIMIZE__
245 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
246 _mm_roti_epi8(__m128i __A, const int __B)
247 {
248   return  (__m128i) __builtin_ia32_vprotbi ((__v16qi)__A, __B);
249 }
250
251 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
252 _mm_roti_epi16(__m128i __A, const int __B)
253 {
254   return  (__m128i) __builtin_ia32_vprotwi ((__v8hi)__A, __B);
255 }
256
257 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
258 _mm_roti_epi32(__m128i __A, const int __B)
259 {
260   return  (__m128i) __builtin_ia32_vprotdi ((__v4si)__A, __B);
261 }
262
263 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
264 _mm_roti_epi64(__m128i __A, const int __B)
265 {
266   return  (__m128i) __builtin_ia32_vprotqi ((__v2di)__A, __B);
267 }
268 #else
269 #define _mm_roti_epi8(A, N) \
270   ((__m128i) __builtin_ia32_vprotbi ((__v16qi)(__m128i)(A), (int)(N)))
271 #define _mm_roti_epi16(A, N) \
272   ((__m128i) __builtin_ia32_vprotwi ((__v8hi)(__m128i)(A), (int)(N)))
273 #define _mm_roti_epi32(A, N) \
274   ((__m128i) __builtin_ia32_vprotdi ((__v4si)(__m128i)(A), (int)(N)))
275 #define _mm_roti_epi64(A, N) \
276   ((__m128i) __builtin_ia32_vprotqi ((__v2di)(__m128i)(A), (int)(N)))
277 #endif
278
279 /* Shifts */
280
281 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
282 _mm_shl_epi8(__m128i __A,  __m128i __B)
283 {
284   return  (__m128i) __builtin_ia32_vpshlb ((__v16qi)__A, (__v16qi)__B);
285 }
286
287 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
288 _mm_shl_epi16(__m128i __A,  __m128i __B)
289 {
290   return  (__m128i) __builtin_ia32_vpshlw ((__v8hi)__A, (__v8hi)__B);
291 }
292
293 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
294 _mm_shl_epi32(__m128i __A,  __m128i __B)
295 {
296   return  (__m128i) __builtin_ia32_vpshld ((__v4si)__A, (__v4si)__B);
297 }
298
299 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
300 _mm_shl_epi64(__m128i __A,  __m128i __B)
301 {
302   return  (__m128i) __builtin_ia32_vpshlq ((__v2di)__A, (__v2di)__B);
303 }
304
305
306 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
307 _mm_sha_epi8(__m128i __A,  __m128i __B)
308 {
309   return  (__m128i) __builtin_ia32_vpshab ((__v16qi)__A, (__v16qi)__B);
310 }
311
312 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
313 _mm_sha_epi16(__m128i __A,  __m128i __B)
314 {
315   return  (__m128i) __builtin_ia32_vpshaw ((__v8hi)__A, (__v8hi)__B);
316 }
317
318 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
319 _mm_sha_epi32(__m128i __A,  __m128i __B)
320 {
321   return  (__m128i) __builtin_ia32_vpshad ((__v4si)__A, (__v4si)__B);
322 }
323
324 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
325 _mm_sha_epi64(__m128i __A,  __m128i __B)
326 {
327   return  (__m128i) __builtin_ia32_vpshaq ((__v2di)__A, (__v2di)__B);
328 }
329
330 /* Compare and Predicate Generation
331    pcom (integer, unsinged bytes) */
332
333 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
334 _mm_comlt_epu8(__m128i __A, __m128i __B)
335 {
336   return (__m128i) __builtin_ia32_vpcomltub ((__v16qi)__A, (__v16qi)__B);
337 }
338
339 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
340 _mm_comle_epu8(__m128i __A, __m128i __B)
341 {
342   return (__m128i) __builtin_ia32_vpcomleub ((__v16qi)__A, (__v16qi)__B);
343 }
344
345 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
346 _mm_comgt_epu8(__m128i __A, __m128i __B)
347 {
348   return (__m128i) __builtin_ia32_vpcomgtub ((__v16qi)__A, (__v16qi)__B);
349 }
350
351 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
352 _mm_comge_epu8(__m128i __A, __m128i __B)
353 {
354   return (__m128i) __builtin_ia32_vpcomgeub ((__v16qi)__A, (__v16qi)__B);
355 }
356
357 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
358 _mm_comeq_epu8(__m128i __A, __m128i __B)
359 {
360   return (__m128i) __builtin_ia32_vpcomequb ((__v16qi)__A, (__v16qi)__B);
361 }
362
363 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
364 _mm_comneq_epu8(__m128i __A, __m128i __B)
365 {
366   return (__m128i) __builtin_ia32_vpcomnequb ((__v16qi)__A, (__v16qi)__B);
367 }
368
369 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
370 _mm_comfalse_epu8(__m128i __A, __m128i __B)
371 {
372   return (__m128i) __builtin_ia32_vpcomfalseub ((__v16qi)__A, (__v16qi)__B);
373 }
374
375 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
376 _mm_comtrue_epu8(__m128i __A, __m128i __B)
377 {
378   return (__m128i) __builtin_ia32_vpcomtrueub ((__v16qi)__A, (__v16qi)__B);
379 }
380
381 /*pcom (integer, unsinged words) */
382
383 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
384 _mm_comlt_epu16(__m128i __A, __m128i __B)
385 {
386   return (__m128i) __builtin_ia32_vpcomltuw ((__v8hi)__A, (__v8hi)__B);
387 }
388
389 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
390 _mm_comle_epu16(__m128i __A, __m128i __B)
391 {
392   return (__m128i) __builtin_ia32_vpcomleuw ((__v8hi)__A, (__v8hi)__B);
393 }
394
395 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
396 _mm_comgt_epu16(__m128i __A, __m128i __B)
397 {
398   return (__m128i) __builtin_ia32_vpcomgtuw ((__v8hi)__A, (__v8hi)__B);
399 }
400
401 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
402 _mm_comge_epu16(__m128i __A, __m128i __B)
403 {
404   return (__m128i) __builtin_ia32_vpcomgeuw ((__v8hi)__A, (__v8hi)__B);
405 }
406
407 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
408 _mm_comeq_epu16(__m128i __A, __m128i __B)
409 {
410   return (__m128i) __builtin_ia32_vpcomequw ((__v8hi)__A, (__v8hi)__B);
411 }
412
413 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
414 _mm_comneq_epu16(__m128i __A, __m128i __B)
415 {
416   return (__m128i) __builtin_ia32_vpcomnequw ((__v8hi)__A, (__v8hi)__B);
417 }
418
419 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
420 _mm_comfalse_epu16(__m128i __A, __m128i __B)
421 {
422   return (__m128i) __builtin_ia32_vpcomfalseuw ((__v8hi)__A, (__v8hi)__B);
423 }
424
425 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
426 _mm_comtrue_epu16(__m128i __A, __m128i __B)
427 {
428   return (__m128i) __builtin_ia32_vpcomtrueuw ((__v8hi)__A, (__v8hi)__B);
429 }
430
431 /*pcom (integer, unsinged double words) */
432
433 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
434 _mm_comlt_epu32(__m128i __A, __m128i __B)
435 {
436   return (__m128i) __builtin_ia32_vpcomltud ((__v4si)__A, (__v4si)__B);
437 }
438
439 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
440 _mm_comle_epu32(__m128i __A, __m128i __B)
441 {
442   return (__m128i) __builtin_ia32_vpcomleud ((__v4si)__A, (__v4si)__B);
443 }
444
445 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
446 _mm_comgt_epu32(__m128i __A, __m128i __B)
447 {
448   return (__m128i) __builtin_ia32_vpcomgtud ((__v4si)__A, (__v4si)__B);
449 }
450
451 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
452 _mm_comge_epu32(__m128i __A, __m128i __B)
453 {
454   return (__m128i) __builtin_ia32_vpcomgeud ((__v4si)__A, (__v4si)__B);
455 }
456
457 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
458 _mm_comeq_epu32(__m128i __A, __m128i __B)
459 {
460   return (__m128i) __builtin_ia32_vpcomequd ((__v4si)__A, (__v4si)__B);
461 }
462
463 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
464 _mm_comneq_epu32(__m128i __A, __m128i __B)
465 {
466   return (__m128i) __builtin_ia32_vpcomnequd ((__v4si)__A, (__v4si)__B);
467 }
468
469 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
470 _mm_comfalse_epu32(__m128i __A, __m128i __B)
471 {
472   return (__m128i) __builtin_ia32_vpcomfalseud ((__v4si)__A, (__v4si)__B);
473 }
474
475 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
476 _mm_comtrue_epu32(__m128i __A, __m128i __B)
477 {
478   return (__m128i) __builtin_ia32_vpcomtrueud ((__v4si)__A, (__v4si)__B);
479 }
480
481 /*pcom (integer, unsinged quad words) */
482
483 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
484 _mm_comlt_epu64(__m128i __A, __m128i __B)
485 {
486   return (__m128i) __builtin_ia32_vpcomltuq ((__v2di)__A, (__v2di)__B);
487 }
488
489 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
490 _mm_comle_epu64(__m128i __A, __m128i __B)
491 {
492   return (__m128i) __builtin_ia32_vpcomleuq ((__v2di)__A, (__v2di)__B);
493 }
494
495 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
496 _mm_comgt_epu64(__m128i __A, __m128i __B)
497 {
498   return (__m128i) __builtin_ia32_vpcomgtuq ((__v2di)__A, (__v2di)__B);
499 }
500
501 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
502 _mm_comge_epu64(__m128i __A, __m128i __B)
503 {
504   return (__m128i) __builtin_ia32_vpcomgeuq ((__v2di)__A, (__v2di)__B);
505 }
506
507 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
508 _mm_comeq_epu64(__m128i __A, __m128i __B)
509 {
510   return (__m128i) __builtin_ia32_vpcomequq ((__v2di)__A, (__v2di)__B);
511 }
512
513 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
514 _mm_comneq_epu64(__m128i __A, __m128i __B)
515 {
516   return (__m128i) __builtin_ia32_vpcomnequq ((__v2di)__A, (__v2di)__B);
517 }
518
519 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
520 _mm_comfalse_epu64(__m128i __A, __m128i __B)
521 {
522   return (__m128i) __builtin_ia32_vpcomfalseuq ((__v2di)__A, (__v2di)__B);
523 }
524
525 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
526 _mm_comtrue_epu64(__m128i __A, __m128i __B)
527 {
528   return (__m128i) __builtin_ia32_vpcomtrueuq ((__v2di)__A, (__v2di)__B);
529 }
530
531 /*pcom (integer, signed bytes) */
532
533 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
534 _mm_comlt_epi8(__m128i __A, __m128i __B)
535 {
536   return (__m128i) __builtin_ia32_vpcomltb ((__v16qi)__A, (__v16qi)__B);
537 }
538
539 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
540 _mm_comle_epi8(__m128i __A, __m128i __B)
541 {
542   return (__m128i) __builtin_ia32_vpcomleb ((__v16qi)__A, (__v16qi)__B);
543 }
544
545 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
546 _mm_comgt_epi8(__m128i __A, __m128i __B)
547 {
548   return (__m128i) __builtin_ia32_vpcomgtb ((__v16qi)__A, (__v16qi)__B);
549 }
550
551 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
552 _mm_comge_epi8(__m128i __A, __m128i __B)
553 {
554   return (__m128i) __builtin_ia32_vpcomgeb ((__v16qi)__A, (__v16qi)__B);
555 }
556
557 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
558 _mm_comeq_epi8(__m128i __A, __m128i __B)
559 {
560   return (__m128i) __builtin_ia32_vpcomeqb ((__v16qi)__A, (__v16qi)__B);
561 }
562
563 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
564 _mm_comneq_epi8(__m128i __A, __m128i __B)
565 {
566   return (__m128i) __builtin_ia32_vpcomneqb ((__v16qi)__A, (__v16qi)__B);
567 }
568
569 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
570 _mm_comfalse_epi8(__m128i __A, __m128i __B)
571 {
572   return (__m128i) __builtin_ia32_vpcomfalseb ((__v16qi)__A, (__v16qi)__B);
573 }
574
575 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
576 _mm_comtrue_epi8(__m128i __A, __m128i __B)
577 {
578   return (__m128i) __builtin_ia32_vpcomtrueb ((__v16qi)__A, (__v16qi)__B);
579 }
580
581 /*pcom (integer, signed words) */
582
583 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
584 _mm_comlt_epi16(__m128i __A, __m128i __B)
585 {
586   return (__m128i) __builtin_ia32_vpcomltw ((__v8hi)__A, (__v8hi)__B);
587 }
588
589 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
590 _mm_comle_epi16(__m128i __A, __m128i __B)
591 {
592   return (__m128i) __builtin_ia32_vpcomlew ((__v8hi)__A, (__v8hi)__B);
593 }
594
595 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
596 _mm_comgt_epi16(__m128i __A, __m128i __B)
597 {
598   return (__m128i) __builtin_ia32_vpcomgtw ((__v8hi)__A, (__v8hi)__B);
599 }
600
601 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
602 _mm_comge_epi16(__m128i __A, __m128i __B)
603 {
604   return (__m128i) __builtin_ia32_vpcomgew ((__v8hi)__A, (__v8hi)__B);
605 }
606
607 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
608 _mm_comeq_epi16(__m128i __A, __m128i __B)
609 {
610   return (__m128i) __builtin_ia32_vpcomeqw ((__v8hi)__A, (__v8hi)__B);
611 }
612
613 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
614 _mm_comneq_epi16(__m128i __A, __m128i __B)
615 {
616   return (__m128i) __builtin_ia32_vpcomneqw ((__v8hi)__A, (__v8hi)__B);
617 }
618
619 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
620 _mm_comfalse_epi16(__m128i __A, __m128i __B)
621 {
622   return (__m128i) __builtin_ia32_vpcomfalsew ((__v8hi)__A, (__v8hi)__B);
623 }
624
625 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
626 _mm_comtrue_epi16(__m128i __A, __m128i __B)
627 {
628   return (__m128i) __builtin_ia32_vpcomtruew ((__v8hi)__A, (__v8hi)__B);
629 }
630
631 /*pcom (integer, signed double words) */
632
633 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
634 _mm_comlt_epi32(__m128i __A, __m128i __B)
635 {
636   return (__m128i) __builtin_ia32_vpcomltd ((__v4si)__A, (__v4si)__B);
637 }
638
639 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
640 _mm_comle_epi32(__m128i __A, __m128i __B)
641 {
642   return (__m128i) __builtin_ia32_vpcomled ((__v4si)__A, (__v4si)__B);
643 }
644
645 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
646 _mm_comgt_epi32(__m128i __A, __m128i __B)
647 {
648   return (__m128i) __builtin_ia32_vpcomgtd ((__v4si)__A, (__v4si)__B);
649 }
650
651 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
652 _mm_comge_epi32(__m128i __A, __m128i __B)
653 {
654   return (__m128i) __builtin_ia32_vpcomged ((__v4si)__A, (__v4si)__B);
655 }
656
657 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
658 _mm_comeq_epi32(__m128i __A, __m128i __B)
659 {
660   return (__m128i) __builtin_ia32_vpcomeqd ((__v4si)__A, (__v4si)__B);
661 }
662
663 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
664 _mm_comneq_epi32(__m128i __A, __m128i __B)
665 {
666   return (__m128i) __builtin_ia32_vpcomneqd ((__v4si)__A, (__v4si)__B);
667 }
668
669 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
670 _mm_comfalse_epi32(__m128i __A, __m128i __B)
671 {
672   return (__m128i) __builtin_ia32_vpcomfalsed ((__v4si)__A, (__v4si)__B);
673 }
674
675 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
676 _mm_comtrue_epi32(__m128i __A, __m128i __B)
677 {
678   return (__m128i) __builtin_ia32_vpcomtrued ((__v4si)__A, (__v4si)__B);
679 }
680
681 /*pcom (integer, signed quad words) */
682
683 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
684 _mm_comlt_epi64(__m128i __A, __m128i __B)
685 {
686   return (__m128i) __builtin_ia32_vpcomltq ((__v2di)__A, (__v2di)__B);
687 }
688
689 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
690 _mm_comle_epi64(__m128i __A, __m128i __B)
691 {
692   return (__m128i) __builtin_ia32_vpcomleq ((__v2di)__A, (__v2di)__B);
693 }
694
695 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
696 _mm_comgt_epi64(__m128i __A, __m128i __B)
697 {
698   return (__m128i) __builtin_ia32_vpcomgtq ((__v2di)__A, (__v2di)__B);
699 }
700
701 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
702 _mm_comge_epi64(__m128i __A, __m128i __B)
703 {
704   return (__m128i) __builtin_ia32_vpcomgeq ((__v2di)__A, (__v2di)__B);
705 }
706
707 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
708 _mm_comeq_epi64(__m128i __A, __m128i __B)
709 {
710   return (__m128i) __builtin_ia32_vpcomeqq ((__v2di)__A, (__v2di)__B);
711 }
712
713 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
714 _mm_comneq_epi64(__m128i __A, __m128i __B)
715 {
716   return (__m128i) __builtin_ia32_vpcomneqq ((__v2di)__A, (__v2di)__B);
717 }
718
719 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
720 _mm_comfalse_epi64(__m128i __A, __m128i __B)
721 {
722   return (__m128i) __builtin_ia32_vpcomfalseq ((__v2di)__A, (__v2di)__B);
723 }
724
725 extern __inline __m128i __attribute__((__gnu_inline__, __always_inline__, __artificial__))
726 _mm_comtrue_epi64(__m128i __A, __m128i __B)
727 {
728   return (__m128i) __builtin_ia32_vpcomtrueq ((__v2di)__A, (__v2di)__B);
729 }
730
731 /* FRCZ */
732
733 extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__))
734 _mm_frcz_ps (__m128 __A)
735 {
736   return (__m128) __builtin_ia32_vfrczps ((__v4sf)__A);
737 }
738
739 extern __inline __m128d __attribute__((__gnu_inline__, __always_inline__, __artificial__))
740 _mm_frcz_pd (__m128d __A)
741 {
742   return (__m128d) __builtin_ia32_vfrczpd ((__v2df)__A);
743 }
744
745 extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__))
746 _mm_frcz_ss (__m128 __A, __m128 __B)
747 {
748   return (__m128) __builtin_ia32_vfrczss ((__v4sf)__A, (__v4sf)__B);
749 }
750
751 extern __inline __m128d __attribute__((__gnu_inline__, __always_inline__, __artificial__))
752 _mm_frcz_sd (__m128d __A, __m128d __B)
753 {
754   return (__m128d) __builtin_ia32_vfrczsd ((__v2df)__A, (__v2df)__B);
755 }
756
757 extern __inline __m256 __attribute__((__gnu_inline__, __always_inline__, __artificial__))
758 _mm256_frcz_ps (__m256 __A)
759 {
760   return (__m256) __builtin_ia32_vfrczps256 ((__v8sf)__A);
761 }
762
763 extern __inline __m256d __attribute__((__gnu_inline__, __always_inline__, __artificial__))
764 _mm256_frcz_pd (__m256d __A)
765 {
766   return (__m256d) __builtin_ia32_vfrczpd256 ((__v4df)__A);
767 }
768
769 /* PERMIL2 */
770
771 #ifdef __OPTIMIZE__
772 extern __inline __m128d __attribute__((__gnu_inline__, __always_inline__, __artificial__))
773 _mm_permute2_pd (__m128d __X, __m128d __Y, __m128i __C, const int __I)
774 {
775   return (__m128d) __builtin_ia32_vpermil2pd ((__v2df)__X,
776                                               (__v2df)__Y,
777                                               (__v2di)__C,
778                                               __I);
779 }
780
781 extern __inline __m256d __attribute__((__gnu_inline__, __always_inline__, __artificial__))
782 _mm256_permute2_pd (__m256d __X, __m256d __Y, __m256i __C, const int __I)
783 {
784   return (__m256d) __builtin_ia32_vpermil2pd256 ((__v4df)__X,
785                                                  (__v4df)__Y,
786                                                  (__v4di)__C,
787                                                  __I);
788 }
789
790 extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__))
791 _mm_permute2_ps (__m128 __X, __m128 __Y, __m128i __C, const int __I)
792 {
793   return (__m128) __builtin_ia32_vpermil2ps ((__v4sf)__X,
794                                              (__v4sf)__Y,
795                                              (__v4si)__C,
796                                              __I);
797 }
798
799 extern __inline __m256 __attribute__((__gnu_inline__, __always_inline__, __artificial__))
800 _mm256_permute2_ps (__m256 __X, __m256 __Y, __m256i __C, const int __I)
801 {
802   return (__m256) __builtin_ia32_vpermil2ps256 ((__v8sf)__X,
803                                                 (__v8sf)__Y,
804                                                 (__v8si)__C,
805                                                 __I);
806 }
807 #else
808 #define _mm_permute2_pd(X, Y, C, I)                                     \
809   ((__m128d) __builtin_ia32_vpermil2pd ((__v2df)(__m128d)(X),           \
810                                         (__v2df)(__m128d)(Y),           \
811                                         (__v2di)(__m128d)(C),           \
812                                         (int)(I)))
813
814 #define _mm256_permute2_pd(X, Y, C, I)                                  \
815   ((__m256d) __builtin_ia32_vpermil2pd256 ((__v4df)(__m256d)(X),        \
816                                            (__v4df)(__m256d)(Y),        \
817                                            (__v4di)(__m256d)(C),        \
818                                            (int)(I)))
819
820 #define _mm_permute2_ps(X, Y, C, I)                                     \
821   ((__m128) __builtin_ia32_vpermil2ps ((__v4sf)(__m128)(X),             \
822                                        (__v4sf)(__m128)(Y),             \
823                                        (__v4si)(__m128)(C),             \
824                                        (int)(I)))
825
826 #define _mm256_permute2_ps(X, Y, C, I)                                  \
827   ((__m256) __builtin_ia32_vpermil2ps256 ((__v8sf)(__m256)(X),          \
828                                           (__v8sf)(__m256)(Y),          \
829                                           (__v8si)(__m256)(C),          \
830                                           (int)(I)))
831 #endif /* __OPTIMIZE__ */
832
833 #endif /* __XOP__ */
834
835 #endif /* _XOPMMINTRIN_H_INCLUDED */