Import OpenSSL-0.9.8i.
[dragonfly.git] / crypto / openssl-0.9.7d / crypto / rsa / rsa_oaep.c
1 /* crypto/rsa/rsa_oaep.c */
2 /* Written by Ulf Moeller. This software is distributed on an "AS IS"
3    basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. */
4
5 /* EME-OAEP as defined in RFC 2437 (PKCS #1 v2.0) */
6
7 /* See Victor Shoup, "OAEP reconsidered," Nov. 2000,
8  * <URL: http://www.shoup.net/papers/oaep.ps.Z>
9  * for problems with the security proof for the
10  * original OAEP scheme, which EME-OAEP is based on.
11  * 
12  * A new proof can be found in E. Fujisaki, T. Okamoto,
13  * D. Pointcheval, J. Stern, "RSA-OEAP is Still Alive!",
14  * Dec. 2000, <URL: http://eprint.iacr.org/2000/061/>.
15  * The new proof has stronger requirements for the
16  * underlying permutation: "partial-one-wayness" instead
17  * of one-wayness.  For the RSA function, this is
18  * an equivalent notion.
19  */
20
21
22 #if !defined(OPENSSL_NO_SHA) && !defined(OPENSSL_NO_SHA1)
23 #include <stdio.h>
24 #include "cryptlib.h"
25 #include <openssl/bn.h>
26 #include <openssl/rsa.h>
27 #include <openssl/evp.h>
28 #include <openssl/rand.h>
29 #include <openssl/sha.h>
30
31 int MGF1(unsigned char *mask, long len,
32         const unsigned char *seed, long seedlen);
33
34 int RSA_padding_add_PKCS1_OAEP(unsigned char *to, int tlen,
35         const unsigned char *from, int flen,
36         const unsigned char *param, int plen)
37         {
38         int i, emlen = tlen - 1;
39         unsigned char *db, *seed;
40         unsigned char *dbmask, seedmask[SHA_DIGEST_LENGTH];
41
42         if (flen > emlen - 2 * SHA_DIGEST_LENGTH - 1)
43                 {
44                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP,
45                    RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
46                 return 0;
47                 }
48
49         if (emlen < 2 * SHA_DIGEST_LENGTH + 1)
50                 {
51                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_KEY_SIZE_TOO_SMALL);
52                 return 0;
53                 }
54
55         dbmask = OPENSSL_malloc(emlen - SHA_DIGEST_LENGTH);
56         if (dbmask == NULL)
57                 {
58                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
59                 return 0;
60                 }
61
62         to[0] = 0;
63         seed = to + 1;
64         db = to + SHA_DIGEST_LENGTH + 1;
65
66         EVP_Digest((void *)param, plen, db, NULL, EVP_sha1(), NULL);
67         memset(db + SHA_DIGEST_LENGTH, 0,
68                 emlen - flen - 2 * SHA_DIGEST_LENGTH - 1);
69         db[emlen - flen - SHA_DIGEST_LENGTH - 1] = 0x01;
70         memcpy(db + emlen - flen - SHA_DIGEST_LENGTH, from, (unsigned int) flen);
71         if (RAND_bytes(seed, SHA_DIGEST_LENGTH) <= 0)
72                 return 0;
73 #ifdef PKCS_TESTVECT
74         memcpy(seed,
75            "\xaa\xfd\x12\xf6\x59\xca\xe6\x34\x89\xb4\x79\xe5\x07\x6d\xde\xc2\xf0\x6c\xb5\x8f",
76            20);
77 #endif
78
79         MGF1(dbmask, emlen - SHA_DIGEST_LENGTH, seed, SHA_DIGEST_LENGTH);
80         for (i = 0; i < emlen - SHA_DIGEST_LENGTH; i++)
81                 db[i] ^= dbmask[i];
82
83         MGF1(seedmask, SHA_DIGEST_LENGTH, db, emlen - SHA_DIGEST_LENGTH);
84         for (i = 0; i < SHA_DIGEST_LENGTH; i++)
85                 seed[i] ^= seedmask[i];
86
87         OPENSSL_free(dbmask);
88         return 1;
89         }
90
91 int RSA_padding_check_PKCS1_OAEP(unsigned char *to, int tlen,
92         const unsigned char *from, int flen, int num,
93         const unsigned char *param, int plen)
94         {
95         int i, dblen, mlen = -1;
96         const unsigned char *maskeddb;
97         int lzero;
98         unsigned char *db = NULL, seed[SHA_DIGEST_LENGTH], phash[SHA_DIGEST_LENGTH];
99         int bad = 0;
100
101         if (--num < 2 * SHA_DIGEST_LENGTH + 1)
102                 /* 'num' is the length of the modulus, i.e. does not depend on the
103                  * particular ciphertext. */
104                 goto decoding_err;
105
106         lzero = num - flen;
107         if (lzero < 0)
108                 {
109                 /* lzero == -1 */
110
111                 /* signalling this error immediately after detection might allow
112                  * for side-channel attacks (e.g. timing if 'plen' is huge
113                  * -- cf. James H. Manger, "A Chosen Ciphertext Attack on RSA Optimal
114                  * Asymmetric Encryption Padding (OAEP) [...]", CRYPTO 2001),
115                  * so we use a 'bad' flag */
116                 bad = 1;
117                 lzero = 0;
118                 }
119         maskeddb = from - lzero + SHA_DIGEST_LENGTH;
120
121         dblen = num - SHA_DIGEST_LENGTH;
122         db = OPENSSL_malloc(dblen);
123         if (db == NULL)
124                 {
125                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
126                 return -1;
127                 }
128
129         MGF1(seed, SHA_DIGEST_LENGTH, maskeddb, dblen);
130         for (i = lzero; i < SHA_DIGEST_LENGTH; i++)
131                 seed[i] ^= from[i - lzero];
132   
133         MGF1(db, dblen, seed, SHA_DIGEST_LENGTH);
134         for (i = 0; i < dblen; i++)
135                 db[i] ^= maskeddb[i];
136
137         EVP_Digest((void *)param, plen, phash, NULL, EVP_sha1(), NULL);
138
139         if (memcmp(db, phash, SHA_DIGEST_LENGTH) != 0 || bad)
140                 goto decoding_err;
141         else
142                 {
143                 for (i = SHA_DIGEST_LENGTH; i < dblen; i++)
144                         if (db[i] != 0x00)
145                                 break;
146                 if (db[i] != 0x01 || i++ >= dblen)
147                         goto decoding_err;
148                 else
149                         {
150                         /* everything looks OK */
151
152                         mlen = dblen - i;
153                         if (tlen < mlen)
154                                 {
155                                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_DATA_TOO_LARGE);
156                                 mlen = -1;
157                                 }
158                         else
159                                 memcpy(to, db + i, mlen);
160                         }
161                 }
162         OPENSSL_free(db);
163         return mlen;
164
165 decoding_err:
166         /* to avoid chosen ciphertext attacks, the error message should not reveal
167          * which kind of decoding error happened */
168         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
169         if (db != NULL) OPENSSL_free(db);
170         return -1;
171         }
172
173 int MGF1(unsigned char *mask, long len,
174         const unsigned char *seed, long seedlen)
175         {
176         long i, outlen = 0;
177         unsigned char cnt[4];
178         EVP_MD_CTX c;
179         unsigned char md[SHA_DIGEST_LENGTH];
180
181         EVP_MD_CTX_init(&c);
182         for (i = 0; outlen < len; i++)
183                 {
184                 cnt[0] = (unsigned char)((i >> 24) & 255);
185                 cnt[1] = (unsigned char)((i >> 16) & 255);
186                 cnt[2] = (unsigned char)((i >> 8)) & 255;
187                 cnt[3] = (unsigned char)(i & 255);
188                 EVP_DigestInit_ex(&c,EVP_sha1(), NULL);
189                 EVP_DigestUpdate(&c, seed, seedlen);
190                 EVP_DigestUpdate(&c, cnt, 4);
191                 if (outlen + SHA_DIGEST_LENGTH <= len)
192                         {
193                         EVP_DigestFinal_ex(&c, mask + outlen, NULL);
194                         outlen += SHA_DIGEST_LENGTH;
195                         }
196                 else
197                         {
198                         EVP_DigestFinal_ex(&c, md, NULL);
199                         memcpy(mask + outlen, md, len - outlen);
200                         outlen = len;
201                         }
202                 }
203         EVP_MD_CTX_cleanup(&c);
204         return 0;
205         }
206 #endif