kernel/usb4bsd: Remove unused malloc type declaration.
[dragonfly.git] / crypto / openssh / cipher.c
1 /* $OpenBSD: cipher.c,v 1.82 2009/01/26 09:58:15 markus Exp $ */
2 /*
3  * Author: Tatu Ylonen <ylo@cs.hut.fi>
4  * Copyright (c) 1995 Tatu Ylonen <ylo@cs.hut.fi>, Espoo, Finland
5  *                    All rights reserved
6  *
7  * As far as I am concerned, the code I have written for this software
8  * can be used freely for any purpose.  Any derived versions of this
9  * software must be clearly marked as such, and if the derived work is
10  * incompatible with the protocol description in the RFC file, it must be
11  * called by a name other than "ssh" or "Secure Shell".
12  *
13  *
14  * Copyright (c) 1999 Niels Provos.  All rights reserved.
15  * Copyright (c) 1999, 2000 Markus Friedl.  All rights reserved.
16  *
17  * Redistribution and use in source and binary forms, with or without
18  * modification, are permitted provided that the following conditions
19  * are met:
20  * 1. Redistributions of source code must retain the above copyright
21  *    notice, this list of conditions and the following disclaimer.
22  * 2. Redistributions in binary form must reproduce the above copyright
23  *    notice, this list of conditions and the following disclaimer in the
24  *    documentation and/or other materials provided with the distribution.
25  *
26  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
27  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
28  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
29  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
30  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
31  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
32  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
33  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
34  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
35  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
36  */
37
38 #include "includes.h"
39
40 #include <sys/types.h>
41
42 #include <openssl/md5.h>
43
44 #include <string.h>
45 #include <stdarg.h>
46
47 #include "xmalloc.h"
48 #include "log.h"
49 #include "cipher.h"
50
51 /* compatibility with old or broken OpenSSL versions */
52 #include "openbsd-compat/openssl-compat.h"
53
54 extern const EVP_CIPHER *evp_ssh1_bf(void);
55 extern const EVP_CIPHER *evp_ssh1_3des(void);
56 extern void ssh1_3des_iv(EVP_CIPHER_CTX *, int, u_char *, int);
57 extern const EVP_CIPHER *evp_aes_128_ctr(void);
58 extern void ssh_aes_ctr_iv(EVP_CIPHER_CTX *, int, u_char *, u_int);
59
60 struct Cipher {
61         char    *name;
62         int     number;         /* for ssh1 only */
63         u_int   block_size;
64         u_int   key_len;
65         u_int   discard_len;
66         u_int   cbc_mode;
67         const EVP_CIPHER        *(*evptype)(void);
68 } ciphers[] = {
69         { "none",               SSH_CIPHER_NONE, 8, 0, 0, 0, EVP_enc_null },
70         { "des",                SSH_CIPHER_DES, 8, 8, 0, 1, EVP_des_cbc },
71         { "3des",               SSH_CIPHER_3DES, 8, 16, 0, 1, evp_ssh1_3des },
72         { "blowfish",           SSH_CIPHER_BLOWFISH, 8, 32, 0, 1, evp_ssh1_bf },
73
74         { "3des-cbc",           SSH_CIPHER_SSH2, 8, 24, 0, 1, EVP_des_ede3_cbc },
75         { "blowfish-cbc",       SSH_CIPHER_SSH2, 8, 16, 0, 1, EVP_bf_cbc },
76         { "cast128-cbc",        SSH_CIPHER_SSH2, 8, 16, 0, 1, EVP_cast5_cbc },
77         { "arcfour",            SSH_CIPHER_SSH2, 8, 16, 0, 0, EVP_rc4 },
78         { "arcfour128",         SSH_CIPHER_SSH2, 8, 16, 1536, 0, EVP_rc4 },
79         { "arcfour256",         SSH_CIPHER_SSH2, 8, 32, 1536, 0, EVP_rc4 },
80         { "aes128-cbc",         SSH_CIPHER_SSH2, 16, 16, 0, 1, EVP_aes_128_cbc },
81         { "aes192-cbc",         SSH_CIPHER_SSH2, 16, 24, 0, 1, EVP_aes_192_cbc },
82         { "aes256-cbc",         SSH_CIPHER_SSH2, 16, 32, 0, 1, EVP_aes_256_cbc },
83         { "rijndael-cbc@lysator.liu.se",
84                                 SSH_CIPHER_SSH2, 16, 32, 0, 1, EVP_aes_256_cbc },
85         { "aes128-ctr",         SSH_CIPHER_SSH2, 16, 16, 0, 0, evp_aes_128_ctr },
86         { "aes192-ctr",         SSH_CIPHER_SSH2, 16, 24, 0, 0, evp_aes_128_ctr },
87         { "aes256-ctr",         SSH_CIPHER_SSH2, 16, 32, 0, 0, evp_aes_128_ctr },
88 #ifdef USE_CIPHER_ACSS
89         { "acss@openssh.org",   SSH_CIPHER_SSH2, 16, 5, 0, 0, EVP_acss },
90 #endif
91         { NULL,                 SSH_CIPHER_INVALID, 0, 0, 0, 0, NULL }
92 };
93
94 /*--*/
95
96 u_int
97 cipher_blocksize(const Cipher *c)
98 {
99         return (c->block_size);
100 }
101
102 u_int
103 cipher_keylen(const Cipher *c)
104 {
105         return (c->key_len);
106 }
107
108 u_int
109 cipher_get_number(const Cipher *c)
110 {
111         return (c->number);
112 }
113
114 u_int
115 cipher_is_cbc(const Cipher *c)
116 {
117         return (c->cbc_mode);
118 }
119
120 u_int
121 cipher_mask_ssh1(int client)
122 {
123         u_int mask = 0;
124         mask |= 1 << SSH_CIPHER_3DES;           /* Mandatory */
125         mask |= 1 << SSH_CIPHER_BLOWFISH;
126         if (client) {
127                 mask |= 1 << SSH_CIPHER_DES;
128         }
129         return mask;
130 }
131
132 Cipher *
133 cipher_by_name(const char *name)
134 {
135         Cipher *c;
136         for (c = ciphers; c->name != NULL; c++)
137                 if (strcmp(c->name, name) == 0)
138                         return c;
139         return NULL;
140 }
141
142 Cipher *
143 cipher_by_number(int id)
144 {
145         Cipher *c;
146         for (c = ciphers; c->name != NULL; c++)
147                 if (c->number == id)
148                         return c;
149         return NULL;
150 }
151
152 #define CIPHER_SEP      ","
153 int
154 ciphers_valid(const char *names)
155 {
156         Cipher *c;
157         char *cipher_list, *cp;
158         char *p;
159
160         if (names == NULL || strcmp(names, "") == 0)
161                 return 0;
162         cipher_list = cp = xstrdup(names);
163         for ((p = strsep(&cp, CIPHER_SEP)); p && *p != '\0';
164             (p = strsep(&cp, CIPHER_SEP))) {
165                 c = cipher_by_name(p);
166                 if (c == NULL || (c->number != SSH_CIPHER_SSH2 &&
167 c->number != SSH_CIPHER_NONE)) {
168                         debug("bad cipher %s [%s]", p, names);
169                         xfree(cipher_list);
170                         return 0;
171                 } else {
172                         debug3("cipher ok: %s [%s]", p, names);
173                 }
174         }
175         debug3("ciphers ok: [%s]", names);
176         xfree(cipher_list);
177         return 1;
178 }
179
180 /*
181  * Parses the name of the cipher.  Returns the number of the corresponding
182  * cipher, or -1 on error.
183  */
184
185 int
186 cipher_number(const char *name)
187 {
188         Cipher *c;
189         if (name == NULL)
190                 return -1;
191         for (c = ciphers; c->name != NULL; c++)
192                 if (strcasecmp(c->name, name) == 0)
193                         return c->number;
194         return -1;
195 }
196
197 char *
198 cipher_name(int id)
199 {
200         Cipher *c = cipher_by_number(id);
201         return (c==NULL) ? "<unknown>" : c->name;
202 }
203
204 void
205 cipher_init(CipherContext *cc, Cipher *cipher,
206     const u_char *key, u_int keylen, const u_char *iv, u_int ivlen,
207     int do_encrypt)
208 {
209         static int dowarn = 1;
210 #ifdef SSH_OLD_EVP
211         EVP_CIPHER *type;
212 #else
213         const EVP_CIPHER *type;
214         int klen;
215 #endif
216         u_char *junk, *discard;
217
218         if (cipher->number == SSH_CIPHER_DES) {
219                 if (dowarn) {
220                         error("Warning: use of DES is strongly discouraged "
221                             "due to cryptographic weaknesses");
222                         dowarn = 0;
223                 }
224                 if (keylen > 8)
225                         keylen = 8;
226         }
227         cc->plaintext = (cipher->number == SSH_CIPHER_NONE);
228
229         if (keylen < cipher->key_len)
230                 fatal("cipher_init: key length %d is insufficient for %s.",
231                     keylen, cipher->name);
232         if (iv != NULL && ivlen < cipher->block_size)
233                 fatal("cipher_init: iv length %d is insufficient for %s.",
234                     ivlen, cipher->name);
235         cc->cipher = cipher;
236
237         type = (*cipher->evptype)();
238
239         EVP_CIPHER_CTX_init(&cc->evp);
240 #ifdef SSH_OLD_EVP
241         if (type->key_len > 0 && type->key_len != keylen) {
242                 debug("cipher_init: set keylen (%d -> %d)",
243                     type->key_len, keylen);
244                 type->key_len = keylen;
245         }
246         EVP_CipherInit(&cc->evp, type, (u_char *)key, (u_char *)iv,
247             (do_encrypt == CIPHER_ENCRYPT));
248 #else
249         if (EVP_CipherInit(&cc->evp, type, NULL, (u_char *)iv,
250             (do_encrypt == CIPHER_ENCRYPT)) == 0)
251                 fatal("cipher_init: EVP_CipherInit failed for %s",
252                     cipher->name);
253         klen = EVP_CIPHER_CTX_key_length(&cc->evp);
254         if (klen > 0 && keylen != (u_int)klen) {
255                 debug2("cipher_init: set keylen (%d -> %d)", klen, keylen);
256                 if (EVP_CIPHER_CTX_set_key_length(&cc->evp, keylen) == 0)
257                         fatal("cipher_init: set keylen failed (%d -> %d)",
258                             klen, keylen);
259         }
260         if (EVP_CipherInit(&cc->evp, NULL, (u_char *)key, NULL, -1) == 0)
261                 fatal("cipher_init: EVP_CipherInit: set key failed for %s",
262                     cipher->name);
263 #endif
264
265         if (cipher->discard_len > 0) {
266                 junk = xmalloc(cipher->discard_len);
267                 discard = xmalloc(cipher->discard_len);
268                 if (EVP_Cipher(&cc->evp, discard, junk,
269                     cipher->discard_len) == 0)
270                         fatal("evp_crypt: EVP_Cipher failed during discard");
271                 memset(discard, 0, cipher->discard_len);
272                 xfree(junk);
273                 xfree(discard);
274         }
275 }
276
277 void
278 cipher_crypt(CipherContext *cc, u_char *dest, const u_char *src, u_int len)
279 {
280         if (len % cc->cipher->block_size)
281                 fatal("cipher_encrypt: bad plaintext length %d", len);
282         if (EVP_Cipher(&cc->evp, dest, (u_char *)src, len) == 0)
283                 fatal("evp_crypt: EVP_Cipher failed");
284 }
285
286 void
287 cipher_cleanup(CipherContext *cc)
288 {
289         if (EVP_CIPHER_CTX_cleanup(&cc->evp) == 0)
290                 error("cipher_cleanup: EVP_CIPHER_CTX_cleanup failed");
291 }
292
293 /*
294  * Selects the cipher, and keys if by computing the MD5 checksum of the
295  * passphrase and using the resulting 16 bytes as the key.
296  */
297
298 void
299 cipher_set_key_string(CipherContext *cc, Cipher *cipher,
300     const char *passphrase, int do_encrypt)
301 {
302         MD5_CTX md;
303         u_char digest[16];
304
305         MD5_Init(&md);
306         MD5_Update(&md, (const u_char *)passphrase, strlen(passphrase));
307         MD5_Final(digest, &md);
308
309         cipher_init(cc, cipher, digest, 16, NULL, 0, do_encrypt);
310
311         memset(digest, 0, sizeof(digest));
312         memset(&md, 0, sizeof(md));
313 }
314
315 /*
316  * Exports an IV from the CipherContext required to export the key
317  * state back from the unprivileged child to the privileged parent
318  * process.
319  */
320
321 int
322 cipher_get_keyiv_len(const CipherContext *cc)
323 {
324         Cipher *c = cc->cipher;
325         int ivlen;
326
327         if (c->number == SSH_CIPHER_3DES)
328                 ivlen = 24;
329         else
330                 ivlen = EVP_CIPHER_CTX_iv_length(&cc->evp);
331         return (ivlen);
332 }
333
334 void
335 cipher_get_keyiv(CipherContext *cc, u_char *iv, u_int len)
336 {
337         Cipher *c = cc->cipher;
338         int evplen;
339
340         switch (c->number) {
341         case SSH_CIPHER_NONE:
342         case SSH_CIPHER_SSH2:
343         case SSH_CIPHER_DES:
344         case SSH_CIPHER_BLOWFISH:
345                 evplen = EVP_CIPHER_CTX_iv_length(&cc->evp);
346                 if (evplen <= 0)
347                         return;
348                 if ((u_int)evplen != len)
349                         fatal("%s: wrong iv length %d != %d", __func__,
350                             evplen, len);
351 #ifdef USE_BUILTIN_RIJNDAEL
352                 if (c->evptype == evp_rijndael)
353                         ssh_rijndael_iv(&cc->evp, 0, iv, len);
354                 else
355 #endif
356                 if (c->evptype == evp_aes_128_ctr)
357                         ssh_aes_ctr_iv(&cc->evp, 0, iv, len);
358                 else
359                         memcpy(iv, cc->evp.iv, len);
360                 break;
361         case SSH_CIPHER_3DES:
362                 ssh1_3des_iv(&cc->evp, 0, iv, 24);
363                 break;
364         default:
365                 fatal("%s: bad cipher %d", __func__, c->number);
366         }
367 }
368
369 void
370 cipher_set_keyiv(CipherContext *cc, u_char *iv)
371 {
372         Cipher *c = cc->cipher;
373         int evplen = 0;
374
375         switch (c->number) {
376         case SSH_CIPHER_NONE:
377         case SSH_CIPHER_SSH2:
378         case SSH_CIPHER_DES:
379         case SSH_CIPHER_BLOWFISH:
380                 evplen = EVP_CIPHER_CTX_iv_length(&cc->evp);
381                 if (evplen == 0)
382                         return;
383 #ifdef USE_BUILTIN_RIJNDAEL
384                 if (c->evptype == evp_rijndael)
385                         ssh_rijndael_iv(&cc->evp, 1, iv, evplen);
386                 else
387 #endif
388                 if (c->evptype == evp_aes_128_ctr)
389                         ssh_aes_ctr_iv(&cc->evp, 1, iv, evplen);
390                 else
391                         memcpy(cc->evp.iv, iv, evplen);
392                 break;
393         case SSH_CIPHER_3DES:
394                 ssh1_3des_iv(&cc->evp, 1, iv, 24);
395                 break;
396         default:
397                 fatal("%s: bad cipher %d", __func__, c->number);
398         }
399 }
400
401 #if OPENSSL_VERSION_NUMBER < 0x00907000L
402 #define EVP_X_STATE(evp)        &(evp).c
403 #define EVP_X_STATE_LEN(evp)    sizeof((evp).c)
404 #else
405 #define EVP_X_STATE(evp)        (evp).cipher_data
406 #define EVP_X_STATE_LEN(evp)    (evp).cipher->ctx_size
407 #endif
408
409 int
410 cipher_get_keycontext(const CipherContext *cc, u_char *dat)
411 {
412         Cipher *c = cc->cipher;
413         int plen = 0;
414
415         if (c->evptype == EVP_rc4 || c->evptype == EVP_acss) {
416                 plen = EVP_X_STATE_LEN(cc->evp);
417                 if (dat == NULL)
418                         return (plen);
419                 memcpy(dat, EVP_X_STATE(cc->evp), plen);
420         }
421         return (plen);
422 }
423
424 void
425 cipher_set_keycontext(CipherContext *cc, u_char *dat)
426 {
427         Cipher *c = cc->cipher;
428         int plen;
429
430         if (c->evptype == EVP_rc4 || c->evptype == EVP_acss) {
431                 plen = EVP_X_STATE_LEN(cc->evp);
432                 memcpy(EVP_X_STATE(cc->evp), dat, plen);
433         }
434 }