crypto/libressl/crypto/rsa/rsa_sign.c

   1 /* $OpenBSD: rsa_sign.c,v 1.24 2015/07/19 18:29:31 miod Exp $ */
   2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
   3  * All rights reserved.
   4  *
   5  * This package is an SSL implementation written
   6  * by Eric Young (eay@cryptsoft.com).
   7  * The implementation was written so as to conform with Netscapes SSL.
   8  *
   9  * This library is free for commercial and non-commercial use as long as
  10  * the following conditions are aheared to.  The following conditions
  11  * apply to all code found in this distribution, be it the RC4, RSA,
  12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
  13  * included with this distribution is covered by the same copyright terms
  14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
  15  *
  16  * Copyright remains Eric Young's, and as such any Copyright notices in
  17  * the code are not to be removed.
  18  * If this package is used in a product, Eric Young should be given attribution
  19  * as the author of the parts of the library used.
  20  * This can be in the form of a textual message at program startup or
  21  * in documentation (online or textual) provided with the package.
  22  *
  23  * Redistribution and use in source and binary forms, with or without
  24  * modification, are permitted provided that the following conditions
  25  * are met:
  26  * 1. Redistributions of source code must retain the copyright
  27  *    notice, this list of conditions and the following disclaimer.
  28  * 2. Redistributions in binary form must reproduce the above copyright
  29  *    notice, this list of conditions and the following disclaimer in the
  30  *    documentation and/or other materials provided with the distribution.
  31  * 3. All advertising materials mentioning features or use of this software
  32  *    must display the following acknowledgement:
  33  *    "This product includes cryptographic software written by
  34  *     Eric Young (eay@cryptsoft.com)"
  35  *    The word 'cryptographic' can be left out if the rouines from the library
  36  *    being used are not cryptographic related :-).
  37  * 4. If you include any Windows specific code (or a derivative thereof) from
  38  *    the apps directory (application code) you must include an acknowledgement:
  39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
  40  *
  41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
  42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  51  * SUCH DAMAGE.
  52  *
  53  * The licence and distribution terms for any publically available version or
  54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
  55  * copied and put under another distribution licence
  56  * [including the GNU Public Licence.]
  57  */
  58
  59 #include <stdio.h>
  60 #include <string.h>
  61
  62 #include <openssl/bn.h>
  63 #include <openssl/err.h>
  64 #include <openssl/objects.h>
  65 #include <openssl/rsa.h>
  66 #include <openssl/x509.h>
  67
  68 #include "rsa_locl.h"
  69
  70 /* Size of an SSL signature: MD5+SHA1 */
  71 #define SSL_SIG_LENGTH  36
  72
  73 int
  74 RSA_sign(int type, const unsigned char *m, unsigned int m_len,
  75     unsigned char *sigret, unsigned int *siglen, RSA *rsa)
  76 {
  77         X509_SIG sig;
  78         ASN1_TYPE parameter;
  79         int i, j, ret = 1;
  80         unsigned char *p, *tmps = NULL;
  81         const unsigned char *s = NULL;
  82         X509_ALGOR algor;
  83         ASN1_OCTET_STRING digest;
  84
  85         if ((rsa->flags & RSA_FLAG_SIGN_VER) && rsa->meth->rsa_sign)
  86                 return rsa->meth->rsa_sign(type, m, m_len, sigret, siglen, rsa);
  87
  88         /* Special case: SSL signature, just check the length */
  89         if (type == NID_md5_sha1) {
  90                 if (m_len != SSL_SIG_LENGTH) {
  91                         RSAerr(RSA_F_RSA_SIGN, RSA_R_INVALID_MESSAGE_LENGTH);
  92                         return 0;
  93                 }
  94                 i = SSL_SIG_LENGTH;
  95                 s = m;
  96         } else {
  97                 sig.algor = &algor;
  98                 sig.algor->algorithm = OBJ_nid2obj(type);
  99                 if (sig.algor->algorithm == NULL) {
 100                         RSAerr(RSA_F_RSA_SIGN, RSA_R_UNKNOWN_ALGORITHM_TYPE);
 101                         return 0;
 102                 }
 103                 if (sig.algor->algorithm->length == 0) {
 104                         RSAerr(RSA_F_RSA_SIGN,
 105                             RSA_R_THE_ASN1_OBJECT_IDENTIFIER_IS_NOT_KNOWN_FOR_THIS_MD);
 106                         return 0;
 107                 }
 108                 parameter.type = V_ASN1_NULL;
 109                 parameter.value.ptr = NULL;
 110                 sig.algor->parameter = &parameter;
 111
 112                 sig.digest = &digest;
 113                 sig.digest->data = (unsigned char *)m; /* TMP UGLY CAST */
 114                 sig.digest->length = m_len;
 115
 116                 i = i2d_X509_SIG(&sig, NULL);
 117         }
 118         j = RSA_size(rsa);
 119         if (i > j - RSA_PKCS1_PADDING_SIZE) {
 120                 RSAerr(RSA_F_RSA_SIGN, RSA_R_DIGEST_TOO_BIG_FOR_RSA_KEY);
 121                 return 0;
 122         }
 123         if (type != NID_md5_sha1) {
 124                 tmps = malloc(j + 1);
 125                 if (tmps == NULL) {
 126                         RSAerr(RSA_F_RSA_SIGN, ERR_R_MALLOC_FAILURE);
 127                         return 0;
 128                 }
 129                 p = tmps;
 130                 i2d_X509_SIG(&sig, &p);
 131                 s = tmps;
 132         }
 133         i = RSA_private_encrypt(i, s, sigret, rsa, RSA_PKCS1_PADDING);
 134         if (i <= 0)
 135                 ret = 0;
 136         else
 137                 *siglen = i;
 138
 139         if (type != NID_md5_sha1) {
 140                 explicit_bzero(tmps, (unsigned int)j + 1);
 141                 free(tmps);
 142         }
 143         return (ret);
 144 }
 145
 146 int
 147 int_rsa_verify(int dtype, const unsigned char *m, unsigned int m_len,
 148     unsigned char *rm, size_t *prm_len, const unsigned char *sigbuf,
 149     size_t siglen, RSA *rsa)
 150 {
 151         int i, ret = 0, sigtype;
 152         unsigned char *s;
 153         X509_SIG *sig = NULL;
 154
 155         if (siglen != (unsigned int)RSA_size(rsa)) {
 156                 RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_WRONG_SIGNATURE_LENGTH);
 157                 return 0;
 158         }
 159
 160         if ((dtype == NID_md5_sha1) && rm) {
 161                 i = RSA_public_decrypt((int)siglen, sigbuf, rm, rsa,
 162                     RSA_PKCS1_PADDING);
 163                 if (i <= 0)
 164                         return 0;
 165                 *prm_len = i;
 166                 return 1;
 167         }
 168
 169         s = malloc(siglen);
 170         if (s == NULL) {
 171                 RSAerr(RSA_F_INT_RSA_VERIFY, ERR_R_MALLOC_FAILURE);
 172                 goto err;
 173         }
 174         if (dtype == NID_md5_sha1 && m_len != SSL_SIG_LENGTH) {
 175                 RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_INVALID_MESSAGE_LENGTH);
 176                 goto err;
 177         }
 178         i = RSA_public_decrypt((int)siglen, sigbuf, s, rsa, RSA_PKCS1_PADDING);
 179
 180         if (i <= 0)
 181                 goto err;
 182
 183         /* Special case: SSL signature */
 184         if (dtype == NID_md5_sha1) {
 185                 if (i != SSL_SIG_LENGTH || memcmp(s, m, SSL_SIG_LENGTH))
 186                         RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
 187                 else
 188                         ret = 1;
 189         } else {
 190                 const unsigned char *p = s;
 191
 192                 sig = d2i_X509_SIG(NULL, &p, (long)i);
 193
 194                 if (sig == NULL)
 195                         goto err;
 196
 197                 /* Excess data can be used to create forgeries */
 198                 if (p != s + i) {
 199                         RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
 200                         goto err;
 201                 }
 202
 203                 /* Parameters to the signature algorithm can also be used to
 204                    create forgeries */
 205                 if (sig->algor->parameter &&
 206                     ASN1_TYPE_get(sig->algor->parameter) != V_ASN1_NULL) {
 207                         RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
 208                         goto err;
 209                 }
 210
 211                 sigtype = OBJ_obj2nid(sig->algor->algorithm);
 212
 213                 if (sigtype != dtype) {
 214                         RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_ALGORITHM_MISMATCH);
 215                         goto err;
 216                 }
 217                 if (rm) {
 218                         const EVP_MD *md;
 219
 220                         md = EVP_get_digestbynid(dtype);
 221                         if (md && (EVP_MD_size(md) != sig->digest->length))
 222                                 RSAerr(RSA_F_INT_RSA_VERIFY,
 223                                     RSA_R_INVALID_DIGEST_LENGTH);
 224                         else {
 225                                 memcpy(rm, sig->digest->data,
 226                                     sig->digest->length);
 227                                 *prm_len = sig->digest->length;
 228                                 ret = 1;
 229                         }
 230                 } else if ((unsigned int)sig->digest->length != m_len ||
 231                     memcmp(m, sig->digest->data, m_len) != 0) {
 232                         RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
 233                 } else
 234                         ret = 1;
 235         }
 236 err:
 237         if (sig != NULL)
 238                 X509_SIG_free(sig);
 239         if (s != NULL) {
 240                 explicit_bzero(s, (unsigned int)siglen);
 241                 free(s);
 242         }
 243         return ret;
 244 }
 245
 246 int
 247 RSA_verify(int dtype, const unsigned char *m, unsigned int m_len,
 248     const unsigned char *sigbuf, unsigned int siglen, RSA *rsa)
 249 {
 250         if ((rsa->flags & RSA_FLAG_SIGN_VER) && rsa->meth->rsa_verify)
 251                 return rsa->meth->rsa_verify(dtype, m, m_len, sigbuf, siglen,
 252                     rsa);
 253
 254         return int_rsa_verify(dtype, m, m_len, NULL, NULL, sigbuf, siglen, rsa);
 255 }