Import OpenSSL 1.0.1n.
[dragonfly.git] / crypto / openssl / crypto / bn / bn_gf2m.c
1 /* crypto/bn/bn_gf2m.c */
2 /* ====================================================================
3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
4  *
5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
7  * to the OpenSSL project.
8  *
9  * The ECC Code is licensed pursuant to the OpenSSL open source
10  * license provided below.
11  *
12  * In addition, Sun covenants to all licensees who provide a reciprocal
13  * covenant with respect to their own patents if any, not to sue under
14  * current and future patent claims necessarily infringed by the making,
15  * using, practicing, selling, offering for sale and/or otherwise
16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
17  * provided that such covenant shall not apply:
18  *  1) for code that a licensee deletes from the ECC Code;
19  *  2) separates from the ECC Code; or
20  *  3) for infringements caused by:
21  *       i) the modification of the ECC Code or
22  *      ii) the combination of the ECC Code with other software or
23  *          devices where such combination causes the infringement.
24  *
25  * The software is originally written by Sheueling Chang Shantz and
26  * Douglas Stebila of Sun Microsystems Laboratories.
27  *
28  */
29
30 /*
31  * NOTE: This file is licensed pursuant to the OpenSSL license below and may
32  * be modified; but after modifications, the above covenant may no longer
33  * apply! In such cases, the corresponding paragraph ["In addition, Sun
34  * covenants ... causes the infringement."] and this note can be edited out;
35  * but please keep the Sun copyright notice and attribution.
36  */
37
38 /* ====================================================================
39  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
40  *
41  * Redistribution and use in source and binary forms, with or without
42  * modification, are permitted provided that the following conditions
43  * are met:
44  *
45  * 1. Redistributions of source code must retain the above copyright
46  *    notice, this list of conditions and the following disclaimer.
47  *
48  * 2. Redistributions in binary form must reproduce the above copyright
49  *    notice, this list of conditions and the following disclaimer in
50  *    the documentation and/or other materials provided with the
51  *    distribution.
52  *
53  * 3. All advertising materials mentioning features or use of this
54  *    software must display the following acknowledgment:
55  *    "This product includes software developed by the OpenSSL Project
56  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
57  *
58  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
59  *    endorse or promote products derived from this software without
60  *    prior written permission. For written permission, please contact
61  *    openssl-core@openssl.org.
62  *
63  * 5. Products derived from this software may not be called "OpenSSL"
64  *    nor may "OpenSSL" appear in their names without prior written
65  *    permission of the OpenSSL Project.
66  *
67  * 6. Redistributions of any form whatsoever must retain the following
68  *    acknowledgment:
69  *    "This product includes software developed by the OpenSSL Project
70  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
71  *
72  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
73  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
74  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
75  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
76  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
77  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
78  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
79  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
80  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
81  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
82  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
83  * OF THE POSSIBILITY OF SUCH DAMAGE.
84  * ====================================================================
85  *
86  * This product includes cryptographic software written by Eric Young
87  * (eay@cryptsoft.com).  This product includes software written by Tim
88  * Hudson (tjh@cryptsoft.com).
89  *
90  */
91
92 #include <assert.h>
93 #include <limits.h>
94 #include <stdio.h>
95 #include "cryptlib.h"
96 #include "bn_lcl.h"
97
98 #ifndef OPENSSL_NO_EC2M
99
100 /*
101  * Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should
102  * fail.
103  */
104 # define MAX_ITERATIONS 50
105
106 static const BN_ULONG SQR_tb[16] = { 0, 1, 4, 5, 16, 17, 20, 21,
107     64, 65, 68, 69, 80, 81, 84, 85
108 };
109
110 /* Platform-specific macros to accelerate squaring. */
111 # if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
112 #  define SQR1(w) \
113     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
114     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
115     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
116     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
117 #  define SQR0(w) \
118     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
119     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
120     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
121     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
122 # endif
123 # ifdef THIRTY_TWO_BIT
124 #  define SQR1(w) \
125     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
126     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
127 #  define SQR0(w) \
128     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
129     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
130 # endif
131
132 # if !defined(OPENSSL_BN_ASM_GF2m)
133 /*
134  * Product of two polynomials a, b each with degree < BN_BITS2 - 1, result is
135  * a polynomial r with degree < 2 * BN_BITS - 1 The caller MUST ensure that
136  * the variables have the right amount of space allocated.
137  */
138 #  ifdef THIRTY_TWO_BIT
139 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a,
140                             const BN_ULONG b)
141 {
142     register BN_ULONG h, l, s;
143     BN_ULONG tab[8], top2b = a >> 30;
144     register BN_ULONG a1, a2, a4;
145
146     a1 = a & (0x3FFFFFFF);
147     a2 = a1 << 1;
148     a4 = a2 << 1;
149
150     tab[0] = 0;
151     tab[1] = a1;
152     tab[2] = a2;
153     tab[3] = a1 ^ a2;
154     tab[4] = a4;
155     tab[5] = a1 ^ a4;
156     tab[6] = a2 ^ a4;
157     tab[7] = a1 ^ a2 ^ a4;
158
159     s = tab[b & 0x7];
160     l = s;
161     s = tab[b >> 3 & 0x7];
162     l ^= s << 3;
163     h = s >> 29;
164     s = tab[b >> 6 & 0x7];
165     l ^= s << 6;
166     h ^= s >> 26;
167     s = tab[b >> 9 & 0x7];
168     l ^= s << 9;
169     h ^= s >> 23;
170     s = tab[b >> 12 & 0x7];
171     l ^= s << 12;
172     h ^= s >> 20;
173     s = tab[b >> 15 & 0x7];
174     l ^= s << 15;
175     h ^= s >> 17;
176     s = tab[b >> 18 & 0x7];
177     l ^= s << 18;
178     h ^= s >> 14;
179     s = tab[b >> 21 & 0x7];
180     l ^= s << 21;
181     h ^= s >> 11;
182     s = tab[b >> 24 & 0x7];
183     l ^= s << 24;
184     h ^= s >> 8;
185     s = tab[b >> 27 & 0x7];
186     l ^= s << 27;
187     h ^= s >> 5;
188     s = tab[b >> 30];
189     l ^= s << 30;
190     h ^= s >> 2;
191
192     /* compensate for the top two bits of a */
193
194     if (top2b & 01) {
195         l ^= b << 30;
196         h ^= b >> 2;
197     }
198     if (top2b & 02) {
199         l ^= b << 31;
200         h ^= b >> 1;
201     }
202
203     *r1 = h;
204     *r0 = l;
205 }
206 #  endif
207 #  if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
208 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a,
209                             const BN_ULONG b)
210 {
211     register BN_ULONG h, l, s;
212     BN_ULONG tab[16], top3b = a >> 61;
213     register BN_ULONG a1, a2, a4, a8;
214
215     a1 = a & (0x1FFFFFFFFFFFFFFFULL);
216     a2 = a1 << 1;
217     a4 = a2 << 1;
218     a8 = a4 << 1;
219
220     tab[0] = 0;
221     tab[1] = a1;
222     tab[2] = a2;
223     tab[3] = a1 ^ a2;
224     tab[4] = a4;
225     tab[5] = a1 ^ a4;
226     tab[6] = a2 ^ a4;
227     tab[7] = a1 ^ a2 ^ a4;
228     tab[8] = a8;
229     tab[9] = a1 ^ a8;
230     tab[10] = a2 ^ a8;
231     tab[11] = a1 ^ a2 ^ a8;
232     tab[12] = a4 ^ a8;
233     tab[13] = a1 ^ a4 ^ a8;
234     tab[14] = a2 ^ a4 ^ a8;
235     tab[15] = a1 ^ a2 ^ a4 ^ a8;
236
237     s = tab[b & 0xF];
238     l = s;
239     s = tab[b >> 4 & 0xF];
240     l ^= s << 4;
241     h = s >> 60;
242     s = tab[b >> 8 & 0xF];
243     l ^= s << 8;
244     h ^= s >> 56;
245     s = tab[b >> 12 & 0xF];
246     l ^= s << 12;
247     h ^= s >> 52;
248     s = tab[b >> 16 & 0xF];
249     l ^= s << 16;
250     h ^= s >> 48;
251     s = tab[b >> 20 & 0xF];
252     l ^= s << 20;
253     h ^= s >> 44;
254     s = tab[b >> 24 & 0xF];
255     l ^= s << 24;
256     h ^= s >> 40;
257     s = tab[b >> 28 & 0xF];
258     l ^= s << 28;
259     h ^= s >> 36;
260     s = tab[b >> 32 & 0xF];
261     l ^= s << 32;
262     h ^= s >> 32;
263     s = tab[b >> 36 & 0xF];
264     l ^= s << 36;
265     h ^= s >> 28;
266     s = tab[b >> 40 & 0xF];
267     l ^= s << 40;
268     h ^= s >> 24;
269     s = tab[b >> 44 & 0xF];
270     l ^= s << 44;
271     h ^= s >> 20;
272     s = tab[b >> 48 & 0xF];
273     l ^= s << 48;
274     h ^= s >> 16;
275     s = tab[b >> 52 & 0xF];
276     l ^= s << 52;
277     h ^= s >> 12;
278     s = tab[b >> 56 & 0xF];
279     l ^= s << 56;
280     h ^= s >> 8;
281     s = tab[b >> 60];
282     l ^= s << 60;
283     h ^= s >> 4;
284
285     /* compensate for the top three bits of a */
286
287     if (top3b & 01) {
288         l ^= b << 61;
289         h ^= b >> 3;
290     }
291     if (top3b & 02) {
292         l ^= b << 62;
293         h ^= b >> 2;
294     }
295     if (top3b & 04) {
296         l ^= b << 63;
297         h ^= b >> 1;
298     }
299
300     *r1 = h;
301     *r0 = l;
302 }
303 #  endif
304
305 /*
306  * Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
307  * result is a polynomial r with degree < 4 * BN_BITS2 - 1 The caller MUST
308  * ensure that the variables have the right amount of space allocated.
309  */
310 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0,
311                             const BN_ULONG b1, const BN_ULONG b0)
312 {
313     BN_ULONG m1, m0;
314     /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
315     bn_GF2m_mul_1x1(r + 3, r + 2, a1, b1);
316     bn_GF2m_mul_1x1(r + 1, r, a0, b0);
317     bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
318     /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
319     r[2] ^= m1 ^ r[1] ^ r[3];   /* h0 ^= m1 ^ l1 ^ h1; */
320     r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0; /* l1 ^= l0 ^ h0 ^ m0; */
321 }
322 # else
323 void bn_GF2m_mul_2x2(BN_ULONG *r, BN_ULONG a1, BN_ULONG a0, BN_ULONG b1,
324                      BN_ULONG b0);
325 # endif
326
327 /*
328  * Add polynomials a and b and store result in r; r could be a or b, a and b
329  * could be equal; r is the bitwise XOR of a and b.
330  */
331 int BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
332 {
333     int i;
334     const BIGNUM *at, *bt;
335
336     bn_check_top(a);
337     bn_check_top(b);
338
339     if (a->top < b->top) {
340         at = b;
341         bt = a;
342     } else {
343         at = a;
344         bt = b;
345     }
346
347     if (bn_wexpand(r, at->top) == NULL)
348         return 0;
349
350     for (i = 0; i < bt->top; i++) {
351         r->d[i] = at->d[i] ^ bt->d[i];
352     }
353     for (; i < at->top; i++) {
354         r->d[i] = at->d[i];
355     }
356
357     r->top = at->top;
358     bn_correct_top(r);
359
360     return 1;
361 }
362
363 /*-
364  * Some functions allow for representation of the irreducible polynomials
365  * as an int[], say p.  The irreducible f(t) is then of the form:
366  *     t^p[0] + t^p[1] + ... + t^p[k]
367  * where m = p[0] > p[1] > ... > p[k] = 0.
368  */
369
370 /* Performs modular reduction of a and store result in r.  r could be a. */
371 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const int p[])
372 {
373     int j, k;
374     int n, dN, d0, d1;
375     BN_ULONG zz, *z;
376
377     bn_check_top(a);
378
379     if (!p[0]) {
380         /* reduction mod 1 => return 0 */
381         BN_zero(r);
382         return 1;
383     }
384
385     /*
386      * Since the algorithm does reduction in the r value, if a != r, copy the
387      * contents of a into r so we can do reduction in r.
388      */
389     if (a != r) {
390         if (!bn_wexpand(r, a->top))
391             return 0;
392         for (j = 0; j < a->top; j++) {
393             r->d[j] = a->d[j];
394         }
395         r->top = a->top;
396     }
397     z = r->d;
398
399     /* start reduction */
400     dN = p[0] / BN_BITS2;
401     for (j = r->top - 1; j > dN;) {
402         zz = z[j];
403         if (z[j] == 0) {
404             j--;
405             continue;
406         }
407         z[j] = 0;
408
409         for (k = 1; p[k] != 0; k++) {
410             /* reducing component t^p[k] */
411             n = p[0] - p[k];
412             d0 = n % BN_BITS2;
413             d1 = BN_BITS2 - d0;
414             n /= BN_BITS2;
415             z[j - n] ^= (zz >> d0);
416             if (d0)
417                 z[j - n - 1] ^= (zz << d1);
418         }
419
420         /* reducing component t^0 */
421         n = dN;
422         d0 = p[0] % BN_BITS2;
423         d1 = BN_BITS2 - d0;
424         z[j - n] ^= (zz >> d0);
425         if (d0)
426             z[j - n - 1] ^= (zz << d1);
427     }
428
429     /* final round of reduction */
430     while (j == dN) {
431
432         d0 = p[0] % BN_BITS2;
433         zz = z[dN] >> d0;
434         if (zz == 0)
435             break;
436         d1 = BN_BITS2 - d0;
437
438         /* clear up the top d1 bits */
439         if (d0)
440             z[dN] = (z[dN] << d1) >> d1;
441         else
442             z[dN] = 0;
443         z[0] ^= zz;             /* reduction t^0 component */
444
445         for (k = 1; p[k] != 0; k++) {
446             BN_ULONG tmp_ulong;
447
448             /* reducing component t^p[k] */
449             n = p[k] / BN_BITS2;
450             d0 = p[k] % BN_BITS2;
451             d1 = BN_BITS2 - d0;
452             z[n] ^= (zz << d0);
453             tmp_ulong = zz >> d1;
454             if (d0 && tmp_ulong)
455                 z[n + 1] ^= tmp_ulong;
456         }
457
458     }
459
460     bn_correct_top(r);
461     return 1;
462 }
463
464 /*
465  * Performs modular reduction of a by p and store result in r.  r could be a.
466  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
467  * function is only provided for convenience; for best performance, use the
468  * BN_GF2m_mod_arr function.
469  */
470 int BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
471 {
472     int ret = 0;
473     int arr[6];
474     bn_check_top(a);
475     bn_check_top(p);
476     ret = BN_GF2m_poly2arr(p, arr, sizeof(arr) / sizeof(arr[0]));
477     if (!ret || ret > (int)(sizeof(arr) / sizeof(arr[0]))) {
478         BNerr(BN_F_BN_GF2M_MOD, BN_R_INVALID_LENGTH);
479         return 0;
480     }
481     ret = BN_GF2m_mod_arr(r, a, arr);
482     bn_check_top(r);
483     return ret;
484 }
485
486 /*
487  * Compute the product of two polynomials a and b, reduce modulo p, and store
488  * the result in r.  r could be a or b; a could be b.
489  */
490 int BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
491                         const int p[], BN_CTX *ctx)
492 {
493     int zlen, i, j, k, ret = 0;
494     BIGNUM *s;
495     BN_ULONG x1, x0, y1, y0, zz[4];
496
497     bn_check_top(a);
498     bn_check_top(b);
499
500     if (a == b) {
501         return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
502     }
503
504     BN_CTX_start(ctx);
505     if ((s = BN_CTX_get(ctx)) == NULL)
506         goto err;
507
508     zlen = a->top + b->top + 4;
509     if (!bn_wexpand(s, zlen))
510         goto err;
511     s->top = zlen;
512
513     for (i = 0; i < zlen; i++)
514         s->d[i] = 0;
515
516     for (j = 0; j < b->top; j += 2) {
517         y0 = b->d[j];
518         y1 = ((j + 1) == b->top) ? 0 : b->d[j + 1];
519         for (i = 0; i < a->top; i += 2) {
520             x0 = a->d[i];
521             x1 = ((i + 1) == a->top) ? 0 : a->d[i + 1];
522             bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
523             for (k = 0; k < 4; k++)
524                 s->d[i + j + k] ^= zz[k];
525         }
526     }
527
528     bn_correct_top(s);
529     if (BN_GF2m_mod_arr(r, s, p))
530         ret = 1;
531     bn_check_top(r);
532
533  err:
534     BN_CTX_end(ctx);
535     return ret;
536 }
537
538 /*
539  * Compute the product of two polynomials a and b, reduce modulo p, and store
540  * the result in r.  r could be a or b; a could equal b. This function calls
541  * down to the BN_GF2m_mod_mul_arr implementation; this wrapper function is
542  * only provided for convenience; for best performance, use the
543  * BN_GF2m_mod_mul_arr function.
544  */
545 int BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
546                     const BIGNUM *p, BN_CTX *ctx)
547 {
548     int ret = 0;
549     const int max = BN_num_bits(p) + 1;
550     int *arr = NULL;
551     bn_check_top(a);
552     bn_check_top(b);
553     bn_check_top(p);
554     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
555         goto err;
556     ret = BN_GF2m_poly2arr(p, arr, max);
557     if (!ret || ret > max) {
558         BNerr(BN_F_BN_GF2M_MOD_MUL, BN_R_INVALID_LENGTH);
559         goto err;
560     }
561     ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
562     bn_check_top(r);
563  err:
564     if (arr)
565         OPENSSL_free(arr);
566     return ret;
567 }
568
569 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
570 int BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const int p[],
571                         BN_CTX *ctx)
572 {
573     int i, ret = 0;
574     BIGNUM *s;
575
576     bn_check_top(a);
577     BN_CTX_start(ctx);
578     if ((s = BN_CTX_get(ctx)) == NULL)
579         return 0;
580     if (!bn_wexpand(s, 2 * a->top))
581         goto err;
582
583     for (i = a->top - 1; i >= 0; i--) {
584         s->d[2 * i + 1] = SQR1(a->d[i]);
585         s->d[2 * i] = SQR0(a->d[i]);
586     }
587
588     s->top = 2 * a->top;
589     bn_correct_top(s);
590     if (!BN_GF2m_mod_arr(r, s, p))
591         goto err;
592     bn_check_top(r);
593     ret = 1;
594  err:
595     BN_CTX_end(ctx);
596     return ret;
597 }
598
599 /*
600  * Square a, reduce the result mod p, and store it in a.  r could be a. This
601  * function calls down to the BN_GF2m_mod_sqr_arr implementation; this
602  * wrapper function is only provided for convenience; for best performance,
603  * use the BN_GF2m_mod_sqr_arr function.
604  */
605 int BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
606 {
607     int ret = 0;
608     const int max = BN_num_bits(p) + 1;
609     int *arr = NULL;
610
611     bn_check_top(a);
612     bn_check_top(p);
613     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
614         goto err;
615     ret = BN_GF2m_poly2arr(p, arr, max);
616     if (!ret || ret > max) {
617         BNerr(BN_F_BN_GF2M_MOD_SQR, BN_R_INVALID_LENGTH);
618         goto err;
619     }
620     ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
621     bn_check_top(r);
622  err:
623     if (arr)
624         OPENSSL_free(arr);
625     return ret;
626 }
627
628 /*
629  * Invert a, reduce modulo p, and store the result in r. r could be a. Uses
630  * Modified Almost Inverse Algorithm (Algorithm 10) from Hankerson, D.,
631  * Hernandez, J.L., and Menezes, A.  "Software Implementation of Elliptic
632  * Curve Cryptography Over Binary Fields".
633  */
634 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
635 {
636     BIGNUM *b, *c = NULL, *u = NULL, *v = NULL, *tmp;
637     int ret = 0;
638
639     bn_check_top(a);
640     bn_check_top(p);
641
642     BN_CTX_start(ctx);
643
644     if ((b = BN_CTX_get(ctx)) == NULL)
645         goto err;
646     if ((c = BN_CTX_get(ctx)) == NULL)
647         goto err;
648     if ((u = BN_CTX_get(ctx)) == NULL)
649         goto err;
650     if ((v = BN_CTX_get(ctx)) == NULL)
651         goto err;
652
653     if (!BN_GF2m_mod(u, a, p))
654         goto err;
655     if (BN_is_zero(u))
656         goto err;
657
658     if (!BN_copy(v, p))
659         goto err;
660 # if 0
661     if (!BN_one(b))
662         goto err;
663
664     while (1) {
665         while (!BN_is_odd(u)) {
666             if (BN_is_zero(u))
667                 goto err;
668             if (!BN_rshift1(u, u))
669                 goto err;
670             if (BN_is_odd(b)) {
671                 if (!BN_GF2m_add(b, b, p))
672                     goto err;
673             }
674             if (!BN_rshift1(b, b))
675                 goto err;
676         }
677
678         if (BN_abs_is_word(u, 1))
679             break;
680
681         if (BN_num_bits(u) < BN_num_bits(v)) {
682             tmp = u;
683             u = v;
684             v = tmp;
685             tmp = b;
686             b = c;
687             c = tmp;
688         }
689
690         if (!BN_GF2m_add(u, u, v))
691             goto err;
692         if (!BN_GF2m_add(b, b, c))
693             goto err;
694     }
695 # else
696     {
697         int i;
698         int ubits = BN_num_bits(u);
699         int vbits = BN_num_bits(v); /* v is copy of p */
700         int top = p->top;
701         BN_ULONG *udp, *bdp, *vdp, *cdp;
702
703         bn_wexpand(u, top);
704         udp = u->d;
705         for (i = u->top; i < top; i++)
706             udp[i] = 0;
707         u->top = top;
708         bn_wexpand(b, top);
709         bdp = b->d;
710         bdp[0] = 1;
711         for (i = 1; i < top; i++)
712             bdp[i] = 0;
713         b->top = top;
714         bn_wexpand(c, top);
715         cdp = c->d;
716         for (i = 0; i < top; i++)
717             cdp[i] = 0;
718         c->top = top;
719         vdp = v->d;             /* It pays off to "cache" *->d pointers,
720                                  * because it allows optimizer to be more
721                                  * aggressive. But we don't have to "cache"
722                                  * p->d, because *p is declared 'const'... */
723         while (1) {
724             while (ubits && !(udp[0] & 1)) {
725                 BN_ULONG u0, u1, b0, b1, mask;
726
727                 u0 = udp[0];
728                 b0 = bdp[0];
729                 mask = (BN_ULONG)0 - (b0 & 1);
730                 b0 ^= p->d[0] & mask;
731                 for (i = 0; i < top - 1; i++) {
732                     u1 = udp[i + 1];
733                     udp[i] = ((u0 >> 1) | (u1 << (BN_BITS2 - 1))) & BN_MASK2;
734                     u0 = u1;
735                     b1 = bdp[i + 1] ^ (p->d[i + 1] & mask);
736                     bdp[i] = ((b0 >> 1) | (b1 << (BN_BITS2 - 1))) & BN_MASK2;
737                     b0 = b1;
738                 }
739                 udp[i] = u0 >> 1;
740                 bdp[i] = b0 >> 1;
741                 ubits--;
742             }
743
744             if (ubits <= BN_BITS2) {
745                 if (udp[0] == 0) /* poly was reducible */
746                     goto err;
747                 if (udp[0] == 1)
748                     break;
749             }
750
751             if (ubits < vbits) {
752                 i = ubits;
753                 ubits = vbits;
754                 vbits = i;
755                 tmp = u;
756                 u = v;
757                 v = tmp;
758                 tmp = b;
759                 b = c;
760                 c = tmp;
761                 udp = vdp;
762                 vdp = v->d;
763                 bdp = cdp;
764                 cdp = c->d;
765             }
766             for (i = 0; i < top; i++) {
767                 udp[i] ^= vdp[i];
768                 bdp[i] ^= cdp[i];
769             }
770             if (ubits == vbits) {
771                 BN_ULONG ul;
772                 int utop = (ubits - 1) / BN_BITS2;
773
774                 while ((ul = udp[utop]) == 0 && utop)
775                     utop--;
776                 ubits = utop * BN_BITS2 + BN_num_bits_word(ul);
777             }
778         }
779         bn_correct_top(b);
780     }
781 # endif
782
783     if (!BN_copy(r, b))
784         goto err;
785     bn_check_top(r);
786     ret = 1;
787
788  err:
789 # ifdef BN_DEBUG                /* BN_CTX_end would complain about the
790                                  * expanded form */
791     bn_correct_top(c);
792     bn_correct_top(u);
793     bn_correct_top(v);
794 # endif
795     BN_CTX_end(ctx);
796     return ret;
797 }
798
799 /*
800  * Invert xx, reduce modulo p, and store the result in r. r could be xx.
801  * This function calls down to the BN_GF2m_mod_inv implementation; this
802  * wrapper function is only provided for convenience; for best performance,
803  * use the BN_GF2m_mod_inv function.
804  */
805 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const int p[],
806                         BN_CTX *ctx)
807 {
808     BIGNUM *field;
809     int ret = 0;
810
811     bn_check_top(xx);
812     BN_CTX_start(ctx);
813     if ((field = BN_CTX_get(ctx)) == NULL)
814         goto err;
815     if (!BN_GF2m_arr2poly(p, field))
816         goto err;
817
818     ret = BN_GF2m_mod_inv(r, xx, field, ctx);
819     bn_check_top(r);
820
821  err:
822     BN_CTX_end(ctx);
823     return ret;
824 }
825
826 # ifndef OPENSSL_SUN_GF2M_DIV
827 /*
828  * Divide y by x, reduce modulo p, and store the result in r. r could be x
829  * or y, x could equal y.
830  */
831 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x,
832                     const BIGNUM *p, BN_CTX *ctx)
833 {
834     BIGNUM *xinv = NULL;
835     int ret = 0;
836
837     bn_check_top(y);
838     bn_check_top(x);
839     bn_check_top(p);
840
841     BN_CTX_start(ctx);
842     xinv = BN_CTX_get(ctx);
843     if (xinv == NULL)
844         goto err;
845
846     if (!BN_GF2m_mod_inv(xinv, x, p, ctx))
847         goto err;
848     if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx))
849         goto err;
850     bn_check_top(r);
851     ret = 1;
852
853  err:
854     BN_CTX_end(ctx);
855     return ret;
856 }
857 # else
858 /*
859  * Divide y by x, reduce modulo p, and store the result in r. r could be x
860  * or y, x could equal y. Uses algorithm Modular_Division_GF(2^m) from
861  * Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to the
862  * Great Divide".
863  */
864 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x,
865                     const BIGNUM *p, BN_CTX *ctx)
866 {
867     BIGNUM *a, *b, *u, *v;
868     int ret = 0;
869
870     bn_check_top(y);
871     bn_check_top(x);
872     bn_check_top(p);
873
874     BN_CTX_start(ctx);
875
876     a = BN_CTX_get(ctx);
877     b = BN_CTX_get(ctx);
878     u = BN_CTX_get(ctx);
879     v = BN_CTX_get(ctx);
880     if (v == NULL)
881         goto err;
882
883     /* reduce x and y mod p */
884     if (!BN_GF2m_mod(u, y, p))
885         goto err;
886     if (!BN_GF2m_mod(a, x, p))
887         goto err;
888     if (!BN_copy(b, p))
889         goto err;
890
891     while (!BN_is_odd(a)) {
892         if (!BN_rshift1(a, a))
893             goto err;
894         if (BN_is_odd(u))
895             if (!BN_GF2m_add(u, u, p))
896                 goto err;
897         if (!BN_rshift1(u, u))
898             goto err;
899     }
900
901     do {
902         if (BN_GF2m_cmp(b, a) > 0) {
903             if (!BN_GF2m_add(b, b, a))
904                 goto err;
905             if (!BN_GF2m_add(v, v, u))
906                 goto err;
907             do {
908                 if (!BN_rshift1(b, b))
909                     goto err;
910                 if (BN_is_odd(v))
911                     if (!BN_GF2m_add(v, v, p))
912                         goto err;
913                 if (!BN_rshift1(v, v))
914                     goto err;
915             } while (!BN_is_odd(b));
916         } else if (BN_abs_is_word(a, 1))
917             break;
918         else {
919             if (!BN_GF2m_add(a, a, b))
920                 goto err;
921             if (!BN_GF2m_add(u, u, v))
922                 goto err;
923             do {
924                 if (!BN_rshift1(a, a))
925                     goto err;
926                 if (BN_is_odd(u))
927                     if (!BN_GF2m_add(u, u, p))
928                         goto err;
929                 if (!BN_rshift1(u, u))
930                     goto err;
931             } while (!BN_is_odd(a));
932         }
933     } while (1);
934
935     if (!BN_copy(r, u))
936         goto err;
937     bn_check_top(r);
938     ret = 1;
939
940  err:
941     BN_CTX_end(ctx);
942     return ret;
943 }
944 # endif
945
946 /*
947  * Divide yy by xx, reduce modulo p, and store the result in r. r could be xx
948  * * or yy, xx could equal yy. This function calls down to the
949  * BN_GF2m_mod_div implementation; this wrapper function is only provided for
950  * convenience; for best performance, use the BN_GF2m_mod_div function.
951  */
952 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx,
953                         const int p[], BN_CTX *ctx)
954 {
955     BIGNUM *field;
956     int ret = 0;
957
958     bn_check_top(yy);
959     bn_check_top(xx);
960
961     BN_CTX_start(ctx);
962     if ((field = BN_CTX_get(ctx)) == NULL)
963         goto err;
964     if (!BN_GF2m_arr2poly(p, field))
965         goto err;
966
967     ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
968     bn_check_top(r);
969
970  err:
971     BN_CTX_end(ctx);
972     return ret;
973 }
974
975 /*
976  * Compute the bth power of a, reduce modulo p, and store the result in r.  r
977  * could be a. Uses simple square-and-multiply algorithm A.5.1 from IEEE
978  * P1363.
979  */
980 int BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
981                         const int p[], BN_CTX *ctx)
982 {
983     int ret = 0, i, n;
984     BIGNUM *u;
985
986     bn_check_top(a);
987     bn_check_top(b);
988
989     if (BN_is_zero(b))
990         return (BN_one(r));
991
992     if (BN_abs_is_word(b, 1))
993         return (BN_copy(r, a) != NULL);
994
995     BN_CTX_start(ctx);
996     if ((u = BN_CTX_get(ctx)) == NULL)
997         goto err;
998
999     if (!BN_GF2m_mod_arr(u, a, p))
1000         goto err;
1001
1002     n = BN_num_bits(b) - 1;
1003     for (i = n - 1; i >= 0; i--) {
1004         if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx))
1005             goto err;
1006         if (BN_is_bit_set(b, i)) {
1007             if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx))
1008                 goto err;
1009         }
1010     }
1011     if (!BN_copy(r, u))
1012         goto err;
1013     bn_check_top(r);
1014     ret = 1;
1015  err:
1016     BN_CTX_end(ctx);
1017     return ret;
1018 }
1019
1020 /*
1021  * Compute the bth power of a, reduce modulo p, and store the result in r.  r
1022  * could be a. This function calls down to the BN_GF2m_mod_exp_arr
1023  * implementation; this wrapper function is only provided for convenience;
1024  * for best performance, use the BN_GF2m_mod_exp_arr function.
1025  */
1026 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
1027                     const BIGNUM *p, BN_CTX *ctx)
1028 {
1029     int ret = 0;
1030     const int max = BN_num_bits(p) + 1;
1031     int *arr = NULL;
1032     bn_check_top(a);
1033     bn_check_top(b);
1034     bn_check_top(p);
1035     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
1036         goto err;
1037     ret = BN_GF2m_poly2arr(p, arr, max);
1038     if (!ret || ret > max) {
1039         BNerr(BN_F_BN_GF2M_MOD_EXP, BN_R_INVALID_LENGTH);
1040         goto err;
1041     }
1042     ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
1043     bn_check_top(r);
1044  err:
1045     if (arr)
1046         OPENSSL_free(arr);
1047     return ret;
1048 }
1049
1050 /*
1051  * Compute the square root of a, reduce modulo p, and store the result in r.
1052  * r could be a. Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
1053  */
1054 int BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const int p[],
1055                          BN_CTX *ctx)
1056 {
1057     int ret = 0;
1058     BIGNUM *u;
1059
1060     bn_check_top(a);
1061
1062     if (!p[0]) {
1063         /* reduction mod 1 => return 0 */
1064         BN_zero(r);
1065         return 1;
1066     }
1067
1068     BN_CTX_start(ctx);
1069     if ((u = BN_CTX_get(ctx)) == NULL)
1070         goto err;
1071
1072     if (!BN_set_bit(u, p[0] - 1))
1073         goto err;
1074     ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
1075     bn_check_top(r);
1076
1077  err:
1078     BN_CTX_end(ctx);
1079     return ret;
1080 }
1081
1082 /*
1083  * Compute the square root of a, reduce modulo p, and store the result in r.
1084  * r could be a. This function calls down to the BN_GF2m_mod_sqrt_arr
1085  * implementation; this wrapper function is only provided for convenience;
1086  * for best performance, use the BN_GF2m_mod_sqrt_arr function.
1087  */
1088 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
1089 {
1090     int ret = 0;
1091     const int max = BN_num_bits(p) + 1;
1092     int *arr = NULL;
1093     bn_check_top(a);
1094     bn_check_top(p);
1095     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
1096         goto err;
1097     ret = BN_GF2m_poly2arr(p, arr, max);
1098     if (!ret || ret > max) {
1099         BNerr(BN_F_BN_GF2M_MOD_SQRT, BN_R_INVALID_LENGTH);
1100         goto err;
1101     }
1102     ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
1103     bn_check_top(r);
1104  err:
1105     if (arr)
1106         OPENSSL_free(arr);
1107     return ret;
1108 }
1109
1110 /*
1111  * Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns
1112  * 0. Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
1113  */
1114 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const int p[],
1115                                BN_CTX *ctx)
1116 {
1117     int ret = 0, count = 0, j;
1118     BIGNUM *a, *z, *rho, *w, *w2, *tmp;
1119
1120     bn_check_top(a_);
1121
1122     if (!p[0]) {
1123         /* reduction mod 1 => return 0 */
1124         BN_zero(r);
1125         return 1;
1126     }
1127
1128     BN_CTX_start(ctx);
1129     a = BN_CTX_get(ctx);
1130     z = BN_CTX_get(ctx);
1131     w = BN_CTX_get(ctx);
1132     if (w == NULL)
1133         goto err;
1134
1135     if (!BN_GF2m_mod_arr(a, a_, p))
1136         goto err;
1137
1138     if (BN_is_zero(a)) {
1139         BN_zero(r);
1140         ret = 1;
1141         goto err;
1142     }
1143
1144     if (p[0] & 0x1) {           /* m is odd */
1145         /* compute half-trace of a */
1146         if (!BN_copy(z, a))
1147             goto err;
1148         for (j = 1; j <= (p[0] - 1) / 2; j++) {
1149             if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1150                 goto err;
1151             if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1152                 goto err;
1153             if (!BN_GF2m_add(z, z, a))
1154                 goto err;
1155         }
1156
1157     } else {                    /* m is even */
1158
1159         rho = BN_CTX_get(ctx);
1160         w2 = BN_CTX_get(ctx);
1161         tmp = BN_CTX_get(ctx);
1162         if (tmp == NULL)
1163             goto err;
1164         do {
1165             if (!BN_rand(rho, p[0], 0, 0))
1166                 goto err;
1167             if (!BN_GF2m_mod_arr(rho, rho, p))
1168                 goto err;
1169             BN_zero(z);
1170             if (!BN_copy(w, rho))
1171                 goto err;
1172             for (j = 1; j <= p[0] - 1; j++) {
1173                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1174                     goto err;
1175                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx))
1176                     goto err;
1177                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx))
1178                     goto err;
1179                 if (!BN_GF2m_add(z, z, tmp))
1180                     goto err;
1181                 if (!BN_GF2m_add(w, w2, rho))
1182                     goto err;
1183             }
1184             count++;
1185         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
1186         if (BN_is_zero(w)) {
1187             BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_TOO_MANY_ITERATIONS);
1188             goto err;
1189         }
1190     }
1191
1192     if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx))
1193         goto err;
1194     if (!BN_GF2m_add(w, z, w))
1195         goto err;
1196     if (BN_GF2m_cmp(w, a)) {
1197         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_NO_SOLUTION);
1198         goto err;
1199     }
1200
1201     if (!BN_copy(r, z))
1202         goto err;
1203     bn_check_top(r);
1204
1205     ret = 1;
1206
1207  err:
1208     BN_CTX_end(ctx);
1209     return ret;
1210 }
1211
1212 /*
1213  * Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns
1214  * 0. This function calls down to the BN_GF2m_mod_solve_quad_arr
1215  * implementation; this wrapper function is only provided for convenience;
1216  * for best performance, use the BN_GF2m_mod_solve_quad_arr function.
1217  */
1218 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p,
1219                            BN_CTX *ctx)
1220 {
1221     int ret = 0;
1222     const int max = BN_num_bits(p) + 1;
1223     int *arr = NULL;
1224     bn_check_top(a);
1225     bn_check_top(p);
1226     if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL)
1227         goto err;
1228     ret = BN_GF2m_poly2arr(p, arr, max);
1229     if (!ret || ret > max) {
1230         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD, BN_R_INVALID_LENGTH);
1231         goto err;
1232     }
1233     ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
1234     bn_check_top(r);
1235  err:
1236     if (arr)
1237         OPENSSL_free(arr);
1238     return ret;
1239 }
1240
1241 /*
1242  * Convert the bit-string representation of a polynomial ( \sum_{i=0}^n a_i *
1243  * x^i) into an array of integers corresponding to the bits with non-zero
1244  * coefficient.  Array is terminated with -1. Up to max elements of the array
1245  * will be filled.  Return value is total number of array elements that would
1246  * be filled if array was large enough.
1247  */
1248 int BN_GF2m_poly2arr(const BIGNUM *a, int p[], int max)
1249 {
1250     int i, j, k = 0;
1251     BN_ULONG mask;
1252
1253     if (BN_is_zero(a))
1254         return 0;
1255
1256     for (i = a->top - 1; i >= 0; i--) {
1257         if (!a->d[i])
1258             /* skip word if a->d[i] == 0 */
1259             continue;
1260         mask = BN_TBIT;
1261         for (j = BN_BITS2 - 1; j >= 0; j--) {
1262             if (a->d[i] & mask) {
1263                 if (k < max)
1264                     p[k] = BN_BITS2 * i + j;
1265                 k++;
1266             }
1267             mask >>= 1;
1268         }
1269     }
1270
1271     if (k < max) {
1272         p[k] = -1;
1273         k++;
1274     }
1275
1276     return k;
1277 }
1278
1279 /*
1280  * Convert the coefficient array representation of a polynomial to a
1281  * bit-string.  The array must be terminated by -1.
1282  */
1283 int BN_GF2m_arr2poly(const int p[], BIGNUM *a)
1284 {
1285     int i;
1286
1287     bn_check_top(a);
1288     BN_zero(a);
1289     for (i = 0; p[i] != -1; i++) {
1290         if (BN_set_bit(a, p[i]) == 0)
1291             return 0;
1292     }
1293     bn_check_top(a);
1294
1295     return 1;
1296 }
1297
1298 #endif