Merge branch 'vendor/OPENSSL'
[dragonfly.git] / crypto / openssl / crypto / bn / bn_gf2m.c
1 /* crypto/bn/bn_gf2m.c */
2 /* ====================================================================
3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
4  *
5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
7  * to the OpenSSL project.
8  *
9  * The ECC Code is licensed pursuant to the OpenSSL open source
10  * license provided below.
11  *
12  * In addition, Sun covenants to all licensees who provide a reciprocal
13  * covenant with respect to their own patents if any, not to sue under
14  * current and future patent claims necessarily infringed by the making,
15  * using, practicing, selling, offering for sale and/or otherwise
16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
17  * provided that such covenant shall not apply:
18  *  1) for code that a licensee deletes from the ECC Code;
19  *  2) separates from the ECC Code; or
20  *  3) for infringements caused by:
21  *       i) the modification of the ECC Code or
22  *      ii) the combination of the ECC Code with other software or
23  *          devices where such combination causes the infringement.
24  *
25  * The software is originally written by Sheueling Chang Shantz and
26  * Douglas Stebila of Sun Microsystems Laboratories.
27  *
28  */
29
30 /*
31  * NOTE: This file is licensed pursuant to the OpenSSL license below and may
32  * be modified; but after modifications, the above covenant may no longer
33  * apply! In such cases, the corresponding paragraph ["In addition, Sun
34  * covenants ... causes the infringement."] and this note can be edited out;
35  * but please keep the Sun copyright notice and attribution.
36  */
37
38 /* ====================================================================
39  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
40  *
41  * Redistribution and use in source and binary forms, with or without
42  * modification, are permitted provided that the following conditions
43  * are met:
44  *
45  * 1. Redistributions of source code must retain the above copyright
46  *    notice, this list of conditions and the following disclaimer.
47  *
48  * 2. Redistributions in binary form must reproduce the above copyright
49  *    notice, this list of conditions and the following disclaimer in
50  *    the documentation and/or other materials provided with the
51  *    distribution.
52  *
53  * 3. All advertising materials mentioning features or use of this
54  *    software must display the following acknowledgment:
55  *    "This product includes software developed by the OpenSSL Project
56  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
57  *
58  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
59  *    endorse or promote products derived from this software without
60  *    prior written permission. For written permission, please contact
61  *    openssl-core@openssl.org.
62  *
63  * 5. Products derived from this software may not be called "OpenSSL"
64  *    nor may "OpenSSL" appear in their names without prior written
65  *    permission of the OpenSSL Project.
66  *
67  * 6. Redistributions of any form whatsoever must retain the following
68  *    acknowledgment:
69  *    "This product includes software developed by the OpenSSL Project
70  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
71  *
72  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
73  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
74  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
75  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
76  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
77  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
78  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
79  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
80  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
81  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
82  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
83  * OF THE POSSIBILITY OF SUCH DAMAGE.
84  * ====================================================================
85  *
86  * This product includes cryptographic software written by Eric Young
87  * (eay@cryptsoft.com).  This product includes software written by Tim
88  * Hudson (tjh@cryptsoft.com).
89  *
90  */
91
92 #include <assert.h>
93 #include <limits.h>
94 #include <stdio.h>
95 #include "cryptlib.h"
96 #include "bn_lcl.h"
97
98 #ifndef OPENSSL_NO_EC2M
99
100 /*
101  * Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should
102  * fail.
103  */
104 # define MAX_ITERATIONS 50
105
106 static const BN_ULONG SQR_tb[16] = { 0, 1, 4, 5, 16, 17, 20, 21,
107     64, 65, 68, 69, 80, 81, 84, 85
108 };
109
110 /* Platform-specific macros to accelerate squaring. */
111 # if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
112 #  define SQR1(w) \
113     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
114     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
115     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
116     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
117 #  define SQR0(w) \
118     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
119     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
120     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
121     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
122 # endif
123 # ifdef THIRTY_TWO_BIT
124 #  define SQR1(w) \
125     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
126     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
127 #  define SQR0(w) \
128     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
129     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
130 # endif
131
132 # if !defined(OPENSSL_BN_ASM_GF2m)
133 /*
134  * Product of two polynomials a, b each with degree < BN_BITS2 - 1, result is
135  * a polynomial r with degree < 2 * BN_BITS - 1 The caller MUST ensure that
136  * the variables have the right amount of space allocated.
137  */
138 #  ifdef THIRTY_TWO_BIT
139 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a,
140                             const BN_ULONG b)
141 {
142     register BN_ULONG h, l, s;
143     BN_ULONG tab[8], top2b = a >> 30;
144     register BN_ULONG a1, a2, a4;
145
146     a1 = a & (0x3FFFFFFF);
147     a2 = a1 << 1;
148     a4 = a2 << 1;
149
150     tab[0] = 0;
151     tab[1] = a1;
152     tab[2] = a2;
153     tab[3] = a1 ^ a2;
154     tab[4] = a4;
155     tab[5] = a1 ^ a4;
156     tab[6] = a2 ^ a4;
157     tab[7] = a1 ^ a2 ^ a4;
158
159     s = tab[b & 0x7];
160     l = s;
161     s = tab[b >> 3 & 0x7];
162     l ^= s << 3;
163     h = s >> 29;
164     s = tab[b >> 6 & 0x7];
165     l ^= s << 6;
166     h ^= s >> 26;
167     s = tab[b >> 9 & 0x7];
168     l ^= s << 9;
169     h ^= s >> 23;
170     s = tab[b >> 12 & 0x7];
171     l ^= s << 12;
172     h ^= s >> 20;
173     s = tab[b >> 15 & 0x7];
174     l ^= s << 15;
175     h ^= s >> 17;
176     s = tab[b >> 18 & 0x7];
177     l ^= s << 18;
178     h ^= s >> 14;
179     s = tab[b >> 21 & 0x7];
180     l ^= s << 21;
181     h ^= s >> 11;
182     s = tab[b >> 24 & 0x7];
183     l ^= s << 24;
184     h ^= s >> 8;
185     s = tab[b >> 27 & 0x7];
186     l ^= s << 27;
187     h ^= s >> 5;
188     s = tab[b >> 30];
189     l ^= s << 30;
190     h ^= s >> 2;
191
192     /* compensate for the top two bits of a */
193
194     if (top2b & 01) {
195         l ^= b << 30;
196         h ^= b >> 2;
197     }
198     if (top2b & 02) {
199         l ^= b << 31;
200         h ^= b >> 1;
201     }
202
203     *r1 = h;
204     *r0 = l;
205 }
206 #  endif
207 #  if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
208 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a,
209                             const BN_ULONG b)
210 {
211     register BN_ULONG h, l, s;
212     BN_ULONG tab[16], top3b = a >> 61;
213     register BN_ULONG a1, a2, a4, a8;
214
215     a1 = a & (0x1FFFFFFFFFFFFFFFULL);
216     a2 = a1 << 1;
217     a4 = a2 << 1;
218     a8 = a4 << 1;
219
220     tab[0] = 0;
221     tab[1] = a1;
222     tab[2] = a2;
223     tab[3] = a1 ^ a2;
224     tab[4] = a4;
225     tab[5] = a1 ^ a4;
226     tab[6] = a2 ^ a4;
227     tab[7] = a1 ^ a2 ^ a4;
228     tab[8] = a8;
229     tab[9] = a1 ^ a8;
230     tab[10] = a2 ^ a8;
231     tab[11] = a1 ^ a2 ^ a8;
232     tab[12] = a4 ^ a8;
233     tab[13] = a1 ^ a4 ^ a8;
234     tab[14] = a2 ^ a4 ^ a8;
235     tab[15] = a1 ^ a2 ^ a4 ^ a8;
236
237     s = tab[b & 0xF];
238     l = s;
239     s = tab[b >> 4 & 0xF];
240     l ^= s << 4;
241     h = s >> 60;
242     s = tab[b >> 8 & 0xF];
243     l ^= s << 8;
244     h ^= s >> 56;
245     s = tab[b >> 12 & 0xF];
246     l ^= s << 12;
247     h ^= s >> 52;
248     s = tab[b >> 16 & 0xF];
249     l ^= s << 16;
250     h ^= s >> 48;
251     s = tab[b >> 20 & 0xF];
252     l ^= s << 20;
253     h ^= s >> 44;
254     s = tab[b >> 24 & 0xF];
255     l ^= s << 24;
256     h ^= s >> 40;
257     s = tab[b >> 28 & 0xF];
258     l ^= s << 28;
259     h ^= s >> 36;
260     s = tab[b >> 32 & 0xF];
261     l ^= s << 32;
262     h ^= s >> 32;
263     s = tab[b >> 36 & 0xF];
264     l ^= s << 36;
265     h ^= s >> 28;
266     s = tab[b >> 40 & 0xF];
267     l ^= s << 40;
268     h ^= s >> 24;
269     s = tab[b >> 44 & 0xF];
270     l ^= s << 44;
271     h ^= s >> 20;
272     s = tab[b >> 48 & 0xF];
273     l ^= s << 48;
274     h ^= s >> 16;
275     s = tab[b >> 52 & 0xF];
276     l ^= s << 52;
277     h ^= s >> 12;
278     s = tab[b >> 56 & 0xF];
279     l ^= s << 56;
280     h ^= s >> 8;
281     s = tab[b >> 60];
282     l ^= s << 60;
283     h ^= s >> 4;
284
285     /* compensate for the top three bits of a */
286
287     if (top3b & 01) {
288         l ^= b << 61;
289         h ^= b >> 3;
290     }
291     if (top3b & 02) {
292         l ^= b << 62;
293         h ^= b >> 2;
294     }
295     if (top3b & 04) {
296         l ^= b << 63;
297         h ^= b >> 1;
298     }
299
300     *r1 = h;
301     *r0 = l;
302 }
303 #  endif
304
305 /*
306  * Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
307  * result is a polynomial r with degree < 4 * BN_BITS2 - 1 The caller MUST
308  * ensure that the variables have the right amount of space allocated.
309  */
310 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0,
311                             const BN_ULONG b1, const BN_ULONG b0)
312 {
313     BN_ULONG m1, m0;
314     /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
315     bn_GF2m_mul_1x1(r + 3, r + 2, a1, b1);
316     bn_GF2m_mul_1x1(r + 1, r, a0, b0);
317     bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
318     /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
319     r[2] ^= m1 ^ r[1] ^ r[3];   /* h0 ^= m1 ^ l1 ^ h1; */
320     r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0; /* l1 ^= l0 ^ h0 ^ m0; */
321 }
322 # else
323 void bn_GF2m_mul_2x2(BN_ULONG *r, BN_ULONG a1, BN_ULONG a0, BN_ULONG b1,
324                      BN_ULONG b0);
325 # endif
326
327 /*
328  * Add polynomials a and b and store result in r; r could be a or b, a and b
329  * could be equal; r is the bitwise XOR of a and b.
330  */
331 int BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
332 {
333     int i;
334     const BIGNUM *at, *bt;
335
336     bn_check_top(a);
337     bn_check_top(b);
338
339     if (a->top < b->top) {
340         at = b;
341         bt = a;
342     } else {
343         at = a;
344         bt = b;
345     }
346
347     if (bn_wexpand(r, at->top) == NULL)
348         return 0;
349
350     for (i = 0; i < bt->top; i++) {
351         r->d[i] = at->d[i] ^ bt->d[i];
352     }
353     for (; i < at->top; i++) {
354         r->d[i] = at->d[i];
355     }
356
357     r->top = at->top;
358     bn_correct_top(r);
359
360     return 1;
361 }
362
363 /*-
364  * Some functions allow for representation of the irreducible polynomials
365  * as an int[], say p.  The irreducible f(t) is then of the form:
366  *     t^p[0] + t^p[1] + ... + t^p[k]
367  * where m = p[0] > p[1] > ... > p[k] = 0.
368  */
369
370 /* Performs modular reduction of a and store result in r.  r could be a. */
371 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const int p[])
372 {
373     int j, k;
374     int n, dN, d0, d1;
375     BN_ULONG zz, *z;
376
377     bn_check_top(a);
378
379     if (!p[0]) {
380         /* reduction mod 1 => return 0 */
381         BN_zero(r);
382         return 1;
383     }
384
385     /*
386      * Since the algorithm does reduction in the r value, if a != r, copy the
387      * contents of a into r so we can do reduction in r.
388      */
389     if (a != r) {
390         if (!bn_wexpand(r, a->top))
391             return 0;
392         for (j = 0; j < a->top; j++) {
393             r->d[j] = a->d[j];
394         }
395         r->top = a->top;
396     }
397     z = r->d;
398
399     /* start reduction */
400     dN = p[0] / BN_BITS2;
401     for (j = r->top - 1; j > dN;) {
402         zz = z[j];
403         if (z[j] == 0) {
404             j--;
405             continue;
406         }
407         z[j] = 0;
408
409         for (k = 1; p[k] != 0; k++) {
410             /* reducing component t^p[k] */
411             n = p[0] - p[k];
412             d0 = n % BN_BITS2;
413             d1 = BN_BITS2 - d0;
414             n /= BN_BITS2;
415             z[j - n] ^= (zz >> d0);
416             if (d0)
417                 z[j - n - 1] ^= (zz << d1);
418         }
419
420         /* reducing component t^0 */
421         n = dN;
422         d0 = p[0] % BN_BITS2;
423         d1 = BN_BITS2 - d0;
424         z[j - n] ^= (zz >> d0);
425         if (d0)
426             z[j - n - 1] ^= (zz << d1);
427     }
428
429     /* final round of reduction */
430     while (j == dN) {
431
432         d0 = p[0] % BN_BITS2;
433         zz = z[dN] >> d0;
434         if (zz == 0)
435             break;
436         d1 = BN_BITS2 - d0;
437
438         /* clear up the top d1 bits */
439         if (d0)
440             z[dN] = (z[dN] << d1) >> d1;
441         else
442             z[dN] = 0;
443         z[0] ^= zz;             /* reduction t^0 component */
444
445         for (k = 1; p[k] != 0; k++) {
446             BN_ULONG tmp_ulong;
447
448             /* reducing component t^p[k] */
449             n = p[k] / BN_BITS2;
450             d0 = p[k] % BN_BITS2;
451             d1 = BN_BITS2 - d0;
452             z[n] ^= (zz << d0);
453             tmp_ulong = zz >> d1;
454             if (d0 && tmp_ulong)
455                 z[n + 1] ^= tmp_ulong;
456         }
457
458     }
459
460     bn_correct_top(r);
461     return 1;
462 }
463
464 /*
465  * Performs modular reduction of a by p and store result in r.  r could be a.
466  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
467  * function is only provided for convenience; for best performance, use the
468  * BN_GF2m_mod_arr function.
469  */
470 int BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
471 {
472     int ret = 0;
473     int arr[6];
474     bn_check_top(a);
475     bn_check_top(p);
476     ret = BN_GF2m_poly2arr(p, arr, sizeof(arr) / sizeof(arr[0]));
477     if (!ret || ret > (int)(sizeof(arr) / sizeof(arr[0]))) {
478         BNerr(BN_F_BN_GF2M_MOD, BN_R_INVALID_LENGTH);
479         return 0;
480     }
481     ret = BN_GF2m_mod_arr(r, a, arr);
482     bn_check_top(r);
483     return ret;
484 }
485
486 /*
487  * Compute the product of two polynomials a and b, reduce modulo p, and store
488  * the result in r.  r could be a or b; a could be b.
489  */
490 int BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
491                         const int p[], BN_CTX *ctx)
492 {
493     int zlen, i, j, k, ret = 0;
494     BIGNUM *s;
495     BN_ULONG x1, x0, y1, y0, zz[4];
496
497     bn_check_top(a);
498     bn_check_top(b);
499
500     if (a == b) {
501         return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
502     }
503
504     BN_CTX_start(ctx);
505     if ((s = BN_CTX_get(ctx)) == NULL)
506         goto err;
507
508     zlen = a->top + b->top + 4;
509     if (!bn_wexpand(s, zlen))
510         goto err;
511     s->top = zlen;
512
513     for (i = 0; i < zlen; i++)
514         s->d[i] = 0;
515
516     for (j = 0; j < b->top; j += 2) {
517         y0 = b->d[j];
518         y1 = ((j + 1) == b->top) ? 0 : b->d[j + 1];
519         for (i = 0; i < a->top; i += 2) {
520             x0 = a->d[i];
521             x1 = ((i + 1) == a->top) ? 0 : a->d[i + 1];
522             bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
523             for (k = 0; k < 4; k++)
524                 s->d[i + j + k] ^= zz[k];
525         }
526     }
527
528     bn_correct_top(s);
529     if (BN_GF2m_mod_arr(r, s, p))
530         ret = 1;
531     bn_check_top(r);
532
533  err:
534     BN_CTX_end(ctx);
535     return ret;
536 }
537
538 /*
539  * Compute the product of two polynomials a and b, reduce modulo p, and store
540  * the result in r.  r could be a or b; a could equal b. This function calls
541  * down to the BN_GF2m_mod_mul_arr implementation; this wrapper function is
542  * only provided for convenience; for best performance, use the
543  * BN_GF2m_mod_mul_arr function.
544  */
545 int BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
546                     const BIGNUM *p, BN_CTX *ctx)
547 {
548     int ret = 0;
549     const int max = BN_num_bits(p) + 1;
550     int *arr = NULL;
551     bn_check_top(a);
552     bn_check_top(b);
553     bn_check_top(p);
554     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
555         goto err;
556     ret = BN_GF2m_poly2arr(p, arr, max);
557     if (!ret || ret > max) {
558         BNerr(BN_F_BN_GF2M_MOD_MUL, BN_R_INVALID_LENGTH);
559         goto err;
560     }
561     ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
562     bn_check_top(r);
563  err:
564     if (arr)
565         OPENSSL_free(arr);
566     return ret;
567 }
568
569 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
570 int BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const int p[],
571                         BN_CTX *ctx)
572 {
573     int i, ret = 0;
574     BIGNUM *s;
575
576     bn_check_top(a);
577     BN_CTX_start(ctx);
578     if ((s = BN_CTX_get(ctx)) == NULL)
579         goto err;
580     if (!bn_wexpand(s, 2 * a->top))
581         goto err;
582
583     for (i = a->top - 1; i >= 0; i--) {
584         s->d[2 * i + 1] = SQR1(a->d[i]);
585         s->d[2 * i] = SQR0(a->d[i]);
586     }
587
588     s->top = 2 * a->top;
589     bn_correct_top(s);
590     if (!BN_GF2m_mod_arr(r, s, p))
591         goto err;
592     bn_check_top(r);
593     ret = 1;
594  err:
595     BN_CTX_end(ctx);
596     return ret;
597 }
598
599 /*
600  * Square a, reduce the result mod p, and store it in a.  r could be a. This
601  * function calls down to the BN_GF2m_mod_sqr_arr implementation; this
602  * wrapper function is only provided for convenience; for best performance,
603  * use the BN_GF2m_mod_sqr_arr function.
604  */
605 int BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
606 {
607     int ret = 0;
608     const int max = BN_num_bits(p) + 1;
609     int *arr = NULL;
610
611     bn_check_top(a);
612     bn_check_top(p);
613     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
614         goto err;
615     ret = BN_GF2m_poly2arr(p, arr, max);
616     if (!ret || ret > max) {
617         BNerr(BN_F_BN_GF2M_MOD_SQR, BN_R_INVALID_LENGTH);
618         goto err;
619     }
620     ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
621     bn_check_top(r);
622  err:
623     if (arr)
624         OPENSSL_free(arr);
625     return ret;
626 }
627
628 /*
629  * Invert a, reduce modulo p, and store the result in r. r could be a. Uses
630  * Modified Almost Inverse Algorithm (Algorithm 10) from Hankerson, D.,
631  * Hernandez, J.L., and Menezes, A.  "Software Implementation of Elliptic
632  * Curve Cryptography Over Binary Fields".
633  */
634 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
635 {
636     BIGNUM *b, *c = NULL, *u = NULL, *v = NULL, *tmp;
637     int ret = 0;
638
639     bn_check_top(a);
640     bn_check_top(p);
641
642     BN_CTX_start(ctx);
643
644     if ((b = BN_CTX_get(ctx)) == NULL)
645         goto err;
646     if ((c = BN_CTX_get(ctx)) == NULL)
647         goto err;
648     if ((u = BN_CTX_get(ctx)) == NULL)
649         goto err;
650     if ((v = BN_CTX_get(ctx)) == NULL)
651         goto err;
652
653     if (!BN_GF2m_mod(u, a, p))
654         goto err;
655     if (BN_is_zero(u))
656         goto err;
657
658     if (!BN_copy(v, p))
659         goto err;
660 # if 0
661     if (!BN_one(b))
662         goto err;
663
664     while (1) {
665         while (!BN_is_odd(u)) {
666             if (BN_is_zero(u))
667                 goto err;
668             if (!BN_rshift1(u, u))
669                 goto err;
670             if (BN_is_odd(b)) {
671                 if (!BN_GF2m_add(b, b, p))
672                     goto err;
673             }
674             if (!BN_rshift1(b, b))
675                 goto err;
676         }
677
678         if (BN_abs_is_word(u, 1))
679             break;
680
681         if (BN_num_bits(u) < BN_num_bits(v)) {
682             tmp = u;
683             u = v;
684             v = tmp;
685             tmp = b;
686             b = c;
687             c = tmp;
688         }
689
690         if (!BN_GF2m_add(u, u, v))
691             goto err;
692         if (!BN_GF2m_add(b, b, c))
693             goto err;
694     }
695 # else
696     {
697         int i;
698         int ubits = BN_num_bits(u);
699         int vbits = BN_num_bits(v); /* v is copy of p */
700         int top = p->top;
701         BN_ULONG *udp, *bdp, *vdp, *cdp;
702
703         if (!bn_wexpand(u, top))
704             goto err;
705         udp = u->d;
706         for (i = u->top; i < top; i++)
707             udp[i] = 0;
708         u->top = top;
709         if (!bn_wexpand(b, top))
710           goto err;
711         bdp = b->d;
712         bdp[0] = 1;
713         for (i = 1; i < top; i++)
714             bdp[i] = 0;
715         b->top = top;
716         if (!bn_wexpand(c, top))
717           goto err;
718         cdp = c->d;
719         for (i = 0; i < top; i++)
720             cdp[i] = 0;
721         c->top = top;
722         vdp = v->d;             /* It pays off to "cache" *->d pointers,
723                                  * because it allows optimizer to be more
724                                  * aggressive. But we don't have to "cache"
725                                  * p->d, because *p is declared 'const'... */
726         while (1) {
727             while (ubits && !(udp[0] & 1)) {
728                 BN_ULONG u0, u1, b0, b1, mask;
729
730                 u0 = udp[0];
731                 b0 = bdp[0];
732                 mask = (BN_ULONG)0 - (b0 & 1);
733                 b0 ^= p->d[0] & mask;
734                 for (i = 0; i < top - 1; i++) {
735                     u1 = udp[i + 1];
736                     udp[i] = ((u0 >> 1) | (u1 << (BN_BITS2 - 1))) & BN_MASK2;
737                     u0 = u1;
738                     b1 = bdp[i + 1] ^ (p->d[i + 1] & mask);
739                     bdp[i] = ((b0 >> 1) | (b1 << (BN_BITS2 - 1))) & BN_MASK2;
740                     b0 = b1;
741                 }
742                 udp[i] = u0 >> 1;
743                 bdp[i] = b0 >> 1;
744                 ubits--;
745             }
746
747             if (ubits <= BN_BITS2) {
748                 if (udp[0] == 0) /* poly was reducible */
749                     goto err;
750                 if (udp[0] == 1)
751                     break;
752             }
753
754             if (ubits < vbits) {
755                 i = ubits;
756                 ubits = vbits;
757                 vbits = i;
758                 tmp = u;
759                 u = v;
760                 v = tmp;
761                 tmp = b;
762                 b = c;
763                 c = tmp;
764                 udp = vdp;
765                 vdp = v->d;
766                 bdp = cdp;
767                 cdp = c->d;
768             }
769             for (i = 0; i < top; i++) {
770                 udp[i] ^= vdp[i];
771                 bdp[i] ^= cdp[i];
772             }
773             if (ubits == vbits) {
774                 BN_ULONG ul;
775                 int utop = (ubits - 1) / BN_BITS2;
776
777                 while ((ul = udp[utop]) == 0 && utop)
778                     utop--;
779                 ubits = utop * BN_BITS2 + BN_num_bits_word(ul);
780             }
781         }
782         bn_correct_top(b);
783     }
784 # endif
785
786     if (!BN_copy(r, b))
787         goto err;
788     bn_check_top(r);
789     ret = 1;
790
791  err:
792 # ifdef BN_DEBUG                /* BN_CTX_end would complain about the
793                                  * expanded form */
794     bn_correct_top(c);
795     bn_correct_top(u);
796     bn_correct_top(v);
797 # endif
798     BN_CTX_end(ctx);
799     return ret;
800 }
801
802 /*
803  * Invert xx, reduce modulo p, and store the result in r. r could be xx.
804  * This function calls down to the BN_GF2m_mod_inv implementation; this
805  * wrapper function is only provided for convenience; for best performance,
806  * use the BN_GF2m_mod_inv function.
807  */
808 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const int p[],
809                         BN_CTX *ctx)
810 {
811     BIGNUM *field;
812     int ret = 0;
813
814     bn_check_top(xx);
815     BN_CTX_start(ctx);
816     if ((field = BN_CTX_get(ctx)) == NULL)
817         goto err;
818     if (!BN_GF2m_arr2poly(p, field))
819         goto err;
820
821     ret = BN_GF2m_mod_inv(r, xx, field, ctx);
822     bn_check_top(r);
823
824  err:
825     BN_CTX_end(ctx);
826     return ret;
827 }
828
829 # ifndef OPENSSL_SUN_GF2M_DIV
830 /*
831  * Divide y by x, reduce modulo p, and store the result in r. r could be x
832  * or y, x could equal y.
833  */
834 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x,
835                     const BIGNUM *p, BN_CTX *ctx)
836 {
837     BIGNUM *xinv = NULL;
838     int ret = 0;
839
840     bn_check_top(y);
841     bn_check_top(x);
842     bn_check_top(p);
843
844     BN_CTX_start(ctx);
845     xinv = BN_CTX_get(ctx);
846     if (xinv == NULL)
847         goto err;
848
849     if (!BN_GF2m_mod_inv(xinv, x, p, ctx))
850         goto err;
851     if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx))
852         goto err;
853     bn_check_top(r);
854     ret = 1;
855
856  err:
857     BN_CTX_end(ctx);
858     return ret;
859 }
860 # else
861 /*
862  * Divide y by x, reduce modulo p, and store the result in r. r could be x
863  * or y, x could equal y. Uses algorithm Modular_Division_GF(2^m) from
864  * Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to the
865  * Great Divide".
866  */
867 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x,
868                     const BIGNUM *p, BN_CTX *ctx)
869 {
870     BIGNUM *a, *b, *u, *v;
871     int ret = 0;
872
873     bn_check_top(y);
874     bn_check_top(x);
875     bn_check_top(p);
876
877     BN_CTX_start(ctx);
878
879     a = BN_CTX_get(ctx);
880     b = BN_CTX_get(ctx);
881     u = BN_CTX_get(ctx);
882     v = BN_CTX_get(ctx);
883     if (v == NULL)
884         goto err;
885
886     /* reduce x and y mod p */
887     if (!BN_GF2m_mod(u, y, p))
888         goto err;
889     if (!BN_GF2m_mod(a, x, p))
890         goto err;
891     if (!BN_copy(b, p))
892         goto err;
893
894     while (!BN_is_odd(a)) {
895         if (!BN_rshift1(a, a))
896             goto err;
897         if (BN_is_odd(u))
898             if (!BN_GF2m_add(u, u, p))
899                 goto err;
900         if (!BN_rshift1(u, u))
901             goto err;
902     }
903
904     do {
905         if (BN_GF2m_cmp(b, a) > 0) {
906             if (!BN_GF2m_add(b, b, a))
907                 goto err;
908             if (!BN_GF2m_add(v, v, u))
909                 goto err;
910             do {
911                 if (!BN_rshift1(b, b))
912                     goto err;
913                 if (BN_is_odd(v))
914                     if (!BN_GF2m_add(v, v, p))
915                         goto err;
916                 if (!BN_rshift1(v, v))
917                     goto err;
918             } while (!BN_is_odd(b));
919         } else if (BN_abs_is_word(a, 1))
920             break;
921         else {
922             if (!BN_GF2m_add(a, a, b))
923                 goto err;
924             if (!BN_GF2m_add(u, u, v))
925                 goto err;
926             do {
927                 if (!BN_rshift1(a, a))
928                     goto err;
929                 if (BN_is_odd(u))
930                     if (!BN_GF2m_add(u, u, p))
931                         goto err;
932                 if (!BN_rshift1(u, u))
933                     goto err;
934             } while (!BN_is_odd(a));
935         }
936     } while (1);
937
938     if (!BN_copy(r, u))
939         goto err;
940     bn_check_top(r);
941     ret = 1;
942
943  err:
944     BN_CTX_end(ctx);
945     return ret;
946 }
947 # endif
948
949 /*
950  * Divide yy by xx, reduce modulo p, and store the result in r. r could be xx
951  * * or yy, xx could equal yy. This function calls down to the
952  * BN_GF2m_mod_div implementation; this wrapper function is only provided for
953  * convenience; for best performance, use the BN_GF2m_mod_div function.
954  */
955 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx,
956                         const int p[], BN_CTX *ctx)
957 {
958     BIGNUM *field;
959     int ret = 0;
960
961     bn_check_top(yy);
962     bn_check_top(xx);
963
964     BN_CTX_start(ctx);
965     if ((field = BN_CTX_get(ctx)) == NULL)
966         goto err;
967     if (!BN_GF2m_arr2poly(p, field))
968         goto err;
969
970     ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
971     bn_check_top(r);
972
973  err:
974     BN_CTX_end(ctx);
975     return ret;
976 }
977
978 /*
979  * Compute the bth power of a, reduce modulo p, and store the result in r.  r
980  * could be a. Uses simple square-and-multiply algorithm A.5.1 from IEEE
981  * P1363.
982  */
983 int BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
984                         const int p[], BN_CTX *ctx)
985 {
986     int ret = 0, i, n;
987     BIGNUM *u;
988
989     bn_check_top(a);
990     bn_check_top(b);
991
992     if (BN_is_zero(b))
993         return (BN_one(r));
994
995     if (BN_abs_is_word(b, 1))
996         return (BN_copy(r, a) != NULL);
997
998     BN_CTX_start(ctx);
999     if ((u = BN_CTX_get(ctx)) == NULL)
1000         goto err;
1001
1002     if (!BN_GF2m_mod_arr(u, a, p))
1003         goto err;
1004
1005     n = BN_num_bits(b) - 1;
1006     for (i = n - 1; i >= 0; i--) {
1007         if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx))
1008             goto err;
1009         if (BN_is_bit_set(b, i)) {
1010             if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx))
1011                 goto err;
1012         }
1013     }
1014     if (!BN_copy(r, u))
1015         goto err;
1016     bn_check_top(r);
1017     ret = 1;
1018  err:
1019     BN_CTX_end(ctx);
1020     return ret;
1021 }
1022
1023 /*
1024  * Compute the bth power of a, reduce modulo p, and store the result in r.  r
1025  * could be a. This function calls down to the BN_GF2m_mod_exp_arr
1026  * implementation; this wrapper function is only provided for convenience;
1027  * for best performance, use the BN_GF2m_mod_exp_arr function.
1028  */
1029 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
1030                     const BIGNUM *p, BN_CTX *ctx)
1031 {
1032     int ret = 0;
1033     const int max = BN_num_bits(p) + 1;
1034     int *arr = NULL;
1035     bn_check_top(a);
1036     bn_check_top(b);
1037     bn_check_top(p);
1038     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
1039         goto err;
1040     ret = BN_GF2m_poly2arr(p, arr, max);
1041     if (!ret || ret > max) {
1042         BNerr(BN_F_BN_GF2M_MOD_EXP, BN_R_INVALID_LENGTH);
1043         goto err;
1044     }
1045     ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
1046     bn_check_top(r);
1047  err:
1048     if (arr)
1049         OPENSSL_free(arr);
1050     return ret;
1051 }
1052
1053 /*
1054  * Compute the square root of a, reduce modulo p, and store the result in r.
1055  * r could be a. Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
1056  */
1057 int BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const int p[],
1058                          BN_CTX *ctx)
1059 {
1060     int ret = 0;
1061     BIGNUM *u;
1062
1063     bn_check_top(a);
1064
1065     if (!p[0]) {
1066         /* reduction mod 1 => return 0 */
1067         BN_zero(r);
1068         return 1;
1069     }
1070
1071     BN_CTX_start(ctx);
1072     if ((u = BN_CTX_get(ctx)) == NULL)
1073         goto err;
1074
1075     if (!BN_set_bit(u, p[0] - 1))
1076         goto err;
1077     ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
1078     bn_check_top(r);
1079
1080  err:
1081     BN_CTX_end(ctx);
1082     return ret;
1083 }
1084
1085 /*
1086  * Compute the square root of a, reduce modulo p, and store the result in r.
1087  * r could be a. This function calls down to the BN_GF2m_mod_sqrt_arr
1088  * implementation; this wrapper function is only provided for convenience;
1089  * for best performance, use the BN_GF2m_mod_sqrt_arr function.
1090  */
1091 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
1092 {
1093     int ret = 0;
1094     const int max = BN_num_bits(p) + 1;
1095     int *arr = NULL;
1096     bn_check_top(a);
1097     bn_check_top(p);
1098     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
1099         goto err;
1100     ret = BN_GF2m_poly2arr(p, arr, max);
1101     if (!ret || ret > max) {
1102         BNerr(BN_F_BN_GF2M_MOD_SQRT, BN_R_INVALID_LENGTH);
1103         goto err;
1104     }
1105     ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
1106     bn_check_top(r);
1107  err:
1108     if (arr)
1109         OPENSSL_free(arr);
1110     return ret;
1111 }
1112
1113 /*
1114  * Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns
1115  * 0. Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
1116  */
1117 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const int p[],
1118                                BN_CTX *ctx)
1119 {
1120     int ret = 0, count = 0, j;
1121     BIGNUM *a, *z, *rho, *w, *w2, *tmp;
1122
1123     bn_check_top(a_);
1124
1125     if (!p[0]) {
1126         /* reduction mod 1 => return 0 */
1127         BN_zero(r);
1128         return 1;
1129     }
1130
1131     BN_CTX_start(ctx);
1132     a = BN_CTX_get(ctx);
1133     z = BN_CTX_get(ctx);
1134     w = BN_CTX_get(ctx);
1135     if (w == NULL)
1136         goto err;
1137
1138     if (!BN_GF2m_mod_arr(a, a_, p))
1139         goto err;
1140
1141     if (BN_is_zero(a)) {
1142         BN_zero(r);
1143         ret = 1;
1144         goto err;
1145     }
1146
1147     if (p[0] & 0x1) {           /* m is odd */
1148         /* compute half-trace of a */
1149         if (!BN_copy(z, a))
1150             goto err;
1151         for (j = 1; j <= (p[0] - 1) / 2; j++) {
1152             if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1153                 goto err;
1154             if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1155                 goto err;
1156             if (!BN_GF2m_add(z, z, a))
1157                 goto err;
1158         }
1159
1160     } else {                    /* m is even */
1161
1162         rho = BN_CTX_get(ctx);
1163         w2 = BN_CTX_get(ctx);
1164         tmp = BN_CTX_get(ctx);
1165         if (tmp == NULL)
1166             goto err;
1167         do {
1168             if (!BN_rand(rho, p[0], 0, 0))
1169                 goto err;
1170             if (!BN_GF2m_mod_arr(rho, rho, p))
1171                 goto err;
1172             BN_zero(z);
1173             if (!BN_copy(w, rho))
1174                 goto err;
1175             for (j = 1; j <= p[0] - 1; j++) {
1176                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1177                     goto err;
1178                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx))
1179                     goto err;
1180                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx))
1181                     goto err;
1182                 if (!BN_GF2m_add(z, z, tmp))
1183                     goto err;
1184                 if (!BN_GF2m_add(w, w2, rho))
1185                     goto err;
1186             }
1187             count++;
1188         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
1189         if (BN_is_zero(w)) {
1190             BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_TOO_MANY_ITERATIONS);
1191             goto err;
1192         }
1193     }
1194
1195     if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx))
1196         goto err;
1197     if (!BN_GF2m_add(w, z, w))
1198         goto err;
1199     if (BN_GF2m_cmp(w, a)) {
1200         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_NO_SOLUTION);
1201         goto err;
1202     }
1203
1204     if (!BN_copy(r, z))
1205         goto err;
1206     bn_check_top(r);
1207
1208     ret = 1;
1209
1210  err:
1211     BN_CTX_end(ctx);
1212     return ret;
1213 }
1214
1215 /*
1216  * Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns
1217  * 0. This function calls down to the BN_GF2m_mod_solve_quad_arr
1218  * implementation; this wrapper function is only provided for convenience;
1219  * for best performance, use the BN_GF2m_mod_solve_quad_arr function.
1220  */
1221 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p,
1222                            BN_CTX *ctx)
1223 {
1224     int ret = 0;
1225     const int max = BN_num_bits(p) + 1;
1226     int *arr = NULL;
1227     bn_check_top(a);
1228     bn_check_top(p);
1229     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
1230         goto err;
1231     ret = BN_GF2m_poly2arr(p, arr, max);
1232     if (!ret || ret > max) {
1233         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD, BN_R_INVALID_LENGTH);
1234         goto err;
1235     }
1236     ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
1237     bn_check_top(r);
1238  err:
1239     if (arr)
1240         OPENSSL_free(arr);
1241     return ret;
1242 }
1243
1244 /*
1245  * Convert the bit-string representation of a polynomial ( \sum_{i=0}^n a_i *
1246  * x^i) into an array of integers corresponding to the bits with non-zero
1247  * coefficient.  Array is terminated with -1. Up to max elements of the array
1248  * will be filled.  Return value is total number of array elements that would
1249  * be filled if array was large enough.
1250  */
1251 int BN_GF2m_poly2arr(const BIGNUM *a, int p[], int max)
1252 {
1253     int i, j, k = 0;
1254     BN_ULONG mask;
1255
1256     if (BN_is_zero(a))
1257         return 0;
1258
1259     for (i = a->top - 1; i >= 0; i--) {
1260         if (!a->d[i])
1261             /* skip word if a->d[i] == 0 */
1262             continue;
1263         mask = BN_TBIT;
1264         for (j = BN_BITS2 - 1; j >= 0; j--) {
1265             if (a->d[i] & mask) {
1266                 if (k < max)
1267                     p[k] = BN_BITS2 * i + j;
1268                 k++;
1269             }
1270             mask >>= 1;
1271         }
1272     }
1273
1274     if (k < max) {
1275         p[k] = -1;
1276         k++;
1277     }
1278
1279     return k;
1280 }
1281
1282 /*
1283  * Convert the coefficient array representation of a polynomial to a
1284  * bit-string.  The array must be terminated by -1.
1285  */
1286 int BN_GF2m_arr2poly(const int p[], BIGNUM *a)
1287 {
1288     int i;
1289
1290     bn_check_top(a);
1291     BN_zero(a);
1292     for (i = 0; p[i] != -1; i++) {
1293         if (BN_set_bit(a, p[i]) == 0)
1294             return 0;
1295     }
1296     bn_check_top(a);
1297
1298     return 1;
1299 }
1300
1301 #endif