Merge branch 'vendor/OPENSSH'
[dragonfly.git] / crypto / openssh / auth-rsa.c
1 /* $OpenBSD: auth-rsa.c,v 1.79 2010/12/03 23:55:27 djm Exp $ */
2 /*
3  * Author: Tatu Ylonen <ylo@cs.hut.fi>
4  * Copyright (c) 1995 Tatu Ylonen <ylo@cs.hut.fi>, Espoo, Finland
5  *                    All rights reserved
6  * RSA-based authentication.  This code determines whether to admit a login
7  * based on RSA authentication.  This file also contains functions to check
8  * validity of the host key.
9  *
10  * As far as I am concerned, the code I have written for this software
11  * can be used freely for any purpose.  Any derived versions of this
12  * software must be clearly marked as such, and if the derived work is
13  * incompatible with the protocol description in the RFC file, it must be
14  * called by a name other than "ssh" or "Secure Shell".
15  */
16
17 #include "includes.h"
18
19 #include <sys/types.h>
20 #include <sys/stat.h>
21
22 #include <openssl/rsa.h>
23 #include <openssl/md5.h>
24
25 #include <pwd.h>
26 #include <stdio.h>
27 #include <stdarg.h>
28 #include <string.h>
29
30 #include "xmalloc.h"
31 #include "rsa.h"
32 #include "packet.h"
33 #include "ssh1.h"
34 #include "uidswap.h"
35 #include "match.h"
36 #include "buffer.h"
37 #include "pathnames.h"
38 #include "log.h"
39 #include "servconf.h"
40 #include "key.h"
41 #include "auth-options.h"
42 #include "hostfile.h"
43 #include "authfile.h"
44 #include "auth.h"
45 #ifdef GSSAPI
46 #include "ssh-gss.h"
47 #endif
48 #include "monitor_wrap.h"
49 #include "ssh.h"
50 #include "misc.h"
51
52 /* import */
53 extern ServerOptions options;
54
55 /*
56  * Session identifier that is used to bind key exchange and authentication
57  * responses to a particular session.
58  */
59 extern u_char session_id[16];
60
61 /*
62  * The .ssh/authorized_keys file contains public keys, one per line, in the
63  * following format:
64  *   options bits e n comment
65  * where bits, e and n are decimal numbers,
66  * and comment is any string of characters up to newline.  The maximum
67  * length of a line is SSH_MAX_PUBKEY_BYTES characters.  See sshd(8) for a
68  * description of the options.
69  */
70
71 BIGNUM *
72 auth_rsa_generate_challenge(Key *key)
73 {
74         BIGNUM *challenge;
75         BN_CTX *ctx;
76
77         if ((challenge = BN_new()) == NULL)
78                 fatal("auth_rsa_generate_challenge: BN_new() failed");
79         /* Generate a random challenge. */
80         if (BN_rand(challenge, 256, 0, 0) == 0)
81                 fatal("auth_rsa_generate_challenge: BN_rand failed");
82         if ((ctx = BN_CTX_new()) == NULL)
83                 fatal("auth_rsa_generate_challenge: BN_CTX_new failed");
84         if (BN_mod(challenge, challenge, key->rsa->n, ctx) == 0)
85                 fatal("auth_rsa_generate_challenge: BN_mod failed");
86         BN_CTX_free(ctx);
87
88         return challenge;
89 }
90
91 int
92 auth_rsa_verify_response(Key *key, BIGNUM *challenge, u_char response[16])
93 {
94         u_char buf[32], mdbuf[16];
95         MD5_CTX md;
96         int len;
97
98         /* don't allow short keys */
99         if (BN_num_bits(key->rsa->n) < SSH_RSA_MINIMUM_MODULUS_SIZE) {
100                 error("auth_rsa_verify_response: RSA modulus too small: %d < minimum %d bits",
101                     BN_num_bits(key->rsa->n), SSH_RSA_MINIMUM_MODULUS_SIZE);
102                 return (0);
103         }
104
105         /* The response is MD5 of decrypted challenge plus session id. */
106         len = BN_num_bytes(challenge);
107         if (len <= 0 || len > 32)
108                 fatal("auth_rsa_verify_response: bad challenge length %d", len);
109         memset(buf, 0, 32);
110         BN_bn2bin(challenge, buf + 32 - len);
111         MD5_Init(&md);
112         MD5_Update(&md, buf, 32);
113         MD5_Update(&md, session_id, 16);
114         MD5_Final(mdbuf, &md);
115
116         /* Verify that the response is the original challenge. */
117         if (timingsafe_bcmp(response, mdbuf, 16) != 0) {
118                 /* Wrong answer. */
119                 return (0);
120         }
121         /* Correct answer. */
122         return (1);
123 }
124
125 /*
126  * Performs the RSA authentication challenge-response dialog with the client,
127  * and returns true (non-zero) if the client gave the correct answer to
128  * our challenge; returns zero if the client gives a wrong answer.
129  */
130
131 int
132 auth_rsa_challenge_dialog(Key *key)
133 {
134         BIGNUM *challenge, *encrypted_challenge;
135         u_char response[16];
136         int i, success;
137
138         if ((encrypted_challenge = BN_new()) == NULL)
139                 fatal("auth_rsa_challenge_dialog: BN_new() failed");
140
141         challenge = PRIVSEP(auth_rsa_generate_challenge(key));
142
143         /* Encrypt the challenge with the public key. */
144         rsa_public_encrypt(encrypted_challenge, challenge, key->rsa);
145
146         /* Send the encrypted challenge to the client. */
147         packet_start(SSH_SMSG_AUTH_RSA_CHALLENGE);
148         packet_put_bignum(encrypted_challenge);
149         packet_send();
150         BN_clear_free(encrypted_challenge);
151         packet_write_wait();
152
153         /* Wait for a response. */
154         packet_read_expect(SSH_CMSG_AUTH_RSA_RESPONSE);
155         for (i = 0; i < 16; i++)
156                 response[i] = (u_char)packet_get_char();
157         packet_check_eom();
158
159         success = PRIVSEP(auth_rsa_verify_response(key, challenge, response));
160         BN_clear_free(challenge);
161         return (success);
162 }
163
164 /*
165  * check if there's user key matching client_n,
166  * return key if login is allowed, NULL otherwise
167  */
168
169 int
170 auth_rsa_key_allowed(struct passwd *pw, BIGNUM *client_n, Key **rkey)
171 {
172         char line[SSH_MAX_PUBKEY_BYTES], *file;
173         int allowed = 0;
174         u_int bits;
175         FILE *f;
176         u_long linenum = 0;
177         Key *key;
178
179         /* Temporarily use the user's uid. */
180         temporarily_use_uid(pw);
181
182         /* The authorized keys. */
183         file = authorized_keys_file(pw);
184         debug("trying public RSA key file %s", file);
185         f = auth_openkeyfile(file, pw, options.strict_modes);
186         if (!f) {
187                 xfree(file);
188                 restore_uid();
189                 return (0);
190         }
191
192         /* Flag indicating whether the key is allowed. */
193         allowed = 0;
194
195         key = key_new(KEY_RSA1);
196
197         /*
198          * Go though the accepted keys, looking for the current key.  If
199          * found, perform a challenge-response dialog to verify that the
200          * user really has the corresponding private key.
201          */
202         while (read_keyfile_line(f, file, line, sizeof(line), &linenum) != -1) {
203                 char *cp;
204                 char *key_options;
205                 int keybits;
206                 char *fp;
207
208                 /* Skip leading whitespace, empty and comment lines. */
209                 for (cp = line; *cp == ' ' || *cp == '\t'; cp++)
210                         ;
211                 if (!*cp || *cp == '\n' || *cp == '#')
212                         continue;
213
214                 /*
215                  * Check if there are options for this key, and if so,
216                  * save their starting address and skip the option part
217                  * for now.  If there are no options, set the starting
218                  * address to NULL.
219                  */
220                 if (*cp < '0' || *cp > '9') {
221                         int quoted = 0;
222                         key_options = cp;
223                         for (; *cp && (quoted || (*cp != ' ' && *cp != '\t')); cp++) {
224                                 if (*cp == '\\' && cp[1] == '"')
225                                         cp++;   /* Skip both */
226                                 else if (*cp == '"')
227                                         quoted = !quoted;
228                         }
229                 } else
230                         key_options = NULL;
231
232                 /* Parse the key from the line. */
233                 if (hostfile_read_key(&cp, &bits, key) == 0) {
234                         debug("%.100s, line %lu: non ssh1 key syntax",
235                             file, linenum);
236                         continue;
237                 }
238                 /* cp now points to the comment part. */
239
240                 /* Check if the we have found the desired key (identified by its modulus). */
241                 if (BN_cmp(key->rsa->n, client_n) != 0)
242                         continue;
243
244                 /* check the real bits  */
245                 keybits = BN_num_bits(key->rsa->n);
246                 if (keybits < 0 || bits != (u_int)keybits)
247                         logit("Warning: %s, line %lu: keysize mismatch: "
248                             "actual %d vs. announced %d.",
249                             file, linenum, BN_num_bits(key->rsa->n), bits);
250
251                 /* Never accept a revoked key */
252                 if (auth_key_is_revoked(key))
253                         break;
254
255                 if (blacklisted_key(key)) {
256                         fp = key_fingerprint(key, SSH_FP_MD5, SSH_FP_HEX);
257                         if (options.permit_blacklisted_keys)
258                                 logit("Public key %s blacklisted (see "
259                                     "ssh-vulnkey(1)); continuing anyway", fp);
260                         else
261                                 logit("Public key %s blacklisted (see "
262                                     "ssh-vulnkey(1))", fp);
263                         xfree(fp);
264                         if (!options.permit_blacklisted_keys)
265                                 continue;
266                 }
267
268                 /* We have found the desired key. */
269                 /*
270                  * If our options do not allow this key to be used,
271                  * do not send challenge.
272                  */
273                 if (!auth_parse_options(pw, key_options, file, linenum))
274                         continue;
275                 if (key_is_cert_authority)
276                         continue;
277                 /* break out, this key is allowed */
278                 allowed = 1;
279                 break;
280         }
281
282         /* Restore the privileged uid. */
283         restore_uid();
284
285         /* Close the file. */
286         xfree(file);
287         fclose(f);
288
289         /* return key if allowed */
290         if (allowed && rkey != NULL)
291                 *rkey = key;
292         else
293                 key_free(key);
294         return (allowed);
295 }
296
297 /*
298  * Performs the RSA authentication dialog with the client.  This returns
299  * 0 if the client could not be authenticated, and 1 if authentication was
300  * successful.  This may exit if there is a serious protocol violation.
301  */
302 int
303 auth_rsa(Authctxt *authctxt, BIGNUM *client_n)
304 {
305         Key *key;
306         char *fp;
307         struct passwd *pw = authctxt->pw;
308
309         /* no user given */
310         if (!authctxt->valid)
311                 return 0;
312
313         if (!PRIVSEP(auth_rsa_key_allowed(pw, client_n, &key))) {
314                 auth_clear_options();
315                 return (0);
316         }
317
318         /* Perform the challenge-response dialog for this key. */
319         if (!auth_rsa_challenge_dialog(key)) {
320                 /* Wrong response. */
321                 verbose("Wrong response to RSA authentication challenge.");
322                 packet_send_debug("Wrong response to RSA authentication challenge.");
323                 /*
324                  * Break out of the loop. Otherwise we might send
325                  * another challenge and break the protocol.
326                  */
327                 key_free(key);
328                 return (0);
329         }
330         /*
331          * Correct response.  The client has been successfully
332          * authenticated. Note that we have not yet processed the
333          * options; this will be reset if the options cause the
334          * authentication to be rejected.
335          */
336         fp = key_fingerprint(key, SSH_FP_MD5, SSH_FP_HEX);
337         verbose("Found matching %s key: %s",
338             key_type(key), fp);
339         xfree(fp);
340         key_free(key);
341
342         packet_send_debug("RSA authentication accepted.");
343         return (1);
344 }