Merge from vendor branch LIBARCHIVE:
[dragonfly.git] / crypto / openssh-3.9p1 / auth-rsa.c
1 /*
2  * Author: Tatu Ylonen <ylo@cs.hut.fi>
3  * Copyright (c) 1995 Tatu Ylonen <ylo@cs.hut.fi>, Espoo, Finland
4  *                    All rights reserved
5  * RSA-based authentication.  This code determines whether to admit a login
6  * based on RSA authentication.  This file also contains functions to check
7  * validity of the host key.
8  *
9  * As far as I am concerned, the code I have written for this software
10  * can be used freely for any purpose.  Any derived versions of this
11  * software must be clearly marked as such, and if the derived work is
12  * incompatible with the protocol description in the RFC file, it must be
13  * called by a name other than "ssh" or "Secure Shell".
14  */
15
16 #include "includes.h"
17 RCSID("$OpenBSD: auth-rsa.c,v 1.60 2004/06/21 17:36:31 avsm Exp $");
18
19 #include <openssl/rsa.h>
20 #include <openssl/md5.h>
21
22 #include "rsa.h"
23 #include "packet.h"
24 #include "xmalloc.h"
25 #include "ssh1.h"
26 #include "uidswap.h"
27 #include "match.h"
28 #include "auth-options.h"
29 #include "pathnames.h"
30 #include "log.h"
31 #include "servconf.h"
32 #include "auth.h"
33 #include "hostfile.h"
34 #include "monitor_wrap.h"
35 #include "ssh.h"
36
37 /* import */
38 extern ServerOptions options;
39
40 /*
41  * Session identifier that is used to bind key exchange and authentication
42  * responses to a particular session.
43  */
44 extern u_char session_id[16];
45
46 /*
47  * The .ssh/authorized_keys file contains public keys, one per line, in the
48  * following format:
49  *   options bits e n comment
50  * where bits, e and n are decimal numbers,
51  * and comment is any string of characters up to newline.  The maximum
52  * length of a line is 8000 characters.  See the documentation for a
53  * description of the options.
54  */
55
56 BIGNUM *
57 auth_rsa_generate_challenge(Key *key)
58 {
59         BIGNUM *challenge;
60         BN_CTX *ctx;
61
62         if ((challenge = BN_new()) == NULL)
63                 fatal("auth_rsa_generate_challenge: BN_new() failed");
64         /* Generate a random challenge. */
65         BN_rand(challenge, 256, 0, 0);
66         if ((ctx = BN_CTX_new()) == NULL)
67                 fatal("auth_rsa_generate_challenge: BN_CTX_new() failed");
68         BN_mod(challenge, challenge, key->rsa->n, ctx);
69         BN_CTX_free(ctx);
70
71         return challenge;
72 }
73
74 int
75 auth_rsa_verify_response(Key *key, BIGNUM *challenge, u_char response[16])
76 {
77         u_char buf[32], mdbuf[16];
78         MD5_CTX md;
79         int len;
80
81         /* don't allow short keys */
82         if (BN_num_bits(key->rsa->n) < SSH_RSA_MINIMUM_MODULUS_SIZE) {
83                 error("auth_rsa_verify_response: RSA modulus too small: %d < minimum %d bits",
84                     BN_num_bits(key->rsa->n), SSH_RSA_MINIMUM_MODULUS_SIZE);
85                 return (0);
86         }
87
88         /* The response is MD5 of decrypted challenge plus session id. */
89         len = BN_num_bytes(challenge);
90         if (len <= 0 || len > 32)
91                 fatal("auth_rsa_verify_response: bad challenge length %d", len);
92         memset(buf, 0, 32);
93         BN_bn2bin(challenge, buf + 32 - len);
94         MD5_Init(&md);
95         MD5_Update(&md, buf, 32);
96         MD5_Update(&md, session_id, 16);
97         MD5_Final(mdbuf, &md);
98
99         /* Verify that the response is the original challenge. */
100         if (memcmp(response, mdbuf, 16) != 0) {
101                 /* Wrong answer. */
102                 return (0);
103         }
104         /* Correct answer. */
105         return (1);
106 }
107
108 /*
109  * Performs the RSA authentication challenge-response dialog with the client,
110  * and returns true (non-zero) if the client gave the correct answer to
111  * our challenge; returns zero if the client gives a wrong answer.
112  */
113
114 int
115 auth_rsa_challenge_dialog(Key *key)
116 {
117         BIGNUM *challenge, *encrypted_challenge;
118         u_char response[16];
119         int i, success;
120
121         if ((encrypted_challenge = BN_new()) == NULL)
122                 fatal("auth_rsa_challenge_dialog: BN_new() failed");
123
124         challenge = PRIVSEP(auth_rsa_generate_challenge(key));
125
126         /* Encrypt the challenge with the public key. */
127         rsa_public_encrypt(encrypted_challenge, challenge, key->rsa);
128
129         /* Send the encrypted challenge to the client. */
130         packet_start(SSH_SMSG_AUTH_RSA_CHALLENGE);
131         packet_put_bignum(encrypted_challenge);
132         packet_send();
133         BN_clear_free(encrypted_challenge);
134         packet_write_wait();
135
136         /* Wait for a response. */
137         packet_read_expect(SSH_CMSG_AUTH_RSA_RESPONSE);
138         for (i = 0; i < 16; i++)
139                 response[i] = packet_get_char();
140         packet_check_eom();
141
142         success = PRIVSEP(auth_rsa_verify_response(key, challenge, response));
143         BN_clear_free(challenge);
144         return (success);
145 }
146
147 /*
148  * check if there's user key matching client_n,
149  * return key if login is allowed, NULL otherwise
150  */
151
152 int
153 auth_rsa_key_allowed(struct passwd *pw, BIGNUM *client_n, Key **rkey)
154 {
155         char line[8192], *file;
156         int allowed = 0;
157         u_int bits;
158         FILE *f;
159         u_long linenum = 0;
160         struct stat st;
161         Key *key;
162
163         /* Temporarily use the user's uid. */
164         temporarily_use_uid(pw);
165
166         /* The authorized keys. */
167         file = authorized_keys_file(pw);
168         debug("trying public RSA key file %s", file);
169
170         /* Fail quietly if file does not exist */
171         if (stat(file, &st) < 0) {
172                 /* Restore the privileged uid. */
173                 restore_uid();
174                 xfree(file);
175                 return (0);
176         }
177         /* Open the file containing the authorized keys. */
178         f = fopen(file, "r");
179         if (!f) {
180                 /* Restore the privileged uid. */
181                 restore_uid();
182                 xfree(file);
183                 return (0);
184         }
185         if (options.strict_modes &&
186             secure_filename(f, file, pw, line, sizeof(line)) != 0) {
187                 xfree(file);
188                 fclose(f);
189                 logit("Authentication refused: %s", line);
190                 restore_uid();
191                 return (0);
192         }
193
194         /* Flag indicating whether the key is allowed. */
195         allowed = 0;
196
197         key = key_new(KEY_RSA1);
198
199         /*
200          * Go though the accepted keys, looking for the current key.  If
201          * found, perform a challenge-response dialog to verify that the
202          * user really has the corresponding private key.
203          */
204         while (fgets(line, sizeof(line), f)) {
205                 char *cp;
206                 char *key_options;
207
208                 linenum++;
209
210                 /* Skip leading whitespace, empty and comment lines. */
211                 for (cp = line; *cp == ' ' || *cp == '\t'; cp++)
212                         ;
213                 if (!*cp || *cp == '\n' || *cp == '#')
214                         continue;
215
216                 /*
217                  * Check if there are options for this key, and if so,
218                  * save their starting address and skip the option part
219                  * for now.  If there are no options, set the starting
220                  * address to NULL.
221                  */
222                 if (*cp < '0' || *cp > '9') {
223                         int quoted = 0;
224                         key_options = cp;
225                         for (; *cp && (quoted || (*cp != ' ' && *cp != '\t')); cp++) {
226                                 if (*cp == '\\' && cp[1] == '"')
227                                         cp++;   /* Skip both */
228                                 else if (*cp == '"')
229                                         quoted = !quoted;
230                         }
231                 } else
232                         key_options = NULL;
233
234                 /* Parse the key from the line. */
235                 if (hostfile_read_key(&cp, &bits, key) == 0) {
236                         debug("%.100s, line %lu: non ssh1 key syntax",
237                             file, linenum);
238                         continue;
239                 }
240                 /* cp now points to the comment part. */
241
242                 /* Check if the we have found the desired key (identified by its modulus). */
243                 if (BN_cmp(key->rsa->n, client_n) != 0)
244                         continue;
245
246                 /* check the real bits  */
247                 if (bits != BN_num_bits(key->rsa->n))
248                         logit("Warning: %s, line %lu: keysize mismatch: "
249                             "actual %d vs. announced %d.",
250                             file, linenum, BN_num_bits(key->rsa->n), bits);
251
252                 /* We have found the desired key. */
253                 /*
254                  * If our options do not allow this key to be used,
255                  * do not send challenge.
256                  */
257                 if (!auth_parse_options(pw, key_options, file, linenum))
258                         continue;
259
260                 /* break out, this key is allowed */
261                 allowed = 1;
262                 break;
263         }
264
265         /* Restore the privileged uid. */
266         restore_uid();
267
268         /* Close the file. */
269         xfree(file);
270         fclose(f);
271
272         /* return key if allowed */
273         if (allowed && rkey != NULL)
274                 *rkey = key;
275         else
276                 key_free(key);
277         return (allowed);
278 }
279
280 /*
281  * Performs the RSA authentication dialog with the client.  This returns
282  * 0 if the client could not be authenticated, and 1 if authentication was
283  * successful.  This may exit if there is a serious protocol violation.
284  */
285 int
286 auth_rsa(Authctxt *authctxt, BIGNUM *client_n)
287 {
288         Key *key;
289         char *fp;
290         struct passwd *pw = authctxt->pw;
291
292         /* no user given */
293         if (!authctxt->valid)
294                 return 0;
295
296         if (!PRIVSEP(auth_rsa_key_allowed(pw, client_n, &key))) {
297                 auth_clear_options();
298                 return (0);
299         }
300
301         /* Perform the challenge-response dialog for this key. */
302         if (!auth_rsa_challenge_dialog(key)) {
303                 /* Wrong response. */
304                 verbose("Wrong response to RSA authentication challenge.");
305                 packet_send_debug("Wrong response to RSA authentication challenge.");
306                 /*
307                  * Break out of the loop. Otherwise we might send
308                  * another challenge and break the protocol.
309                  */
310                 key_free(key);
311                 return (0);
312         }
313         /*
314          * Correct response.  The client has been successfully
315          * authenticated. Note that we have not yet processed the
316          * options; this will be reset if the options cause the
317          * authentication to be rejected.
318          */
319         fp = key_fingerprint(key, SSH_FP_MD5, SSH_FP_HEX);
320         verbose("Found matching %s key: %s",
321             key_type(key), fp);
322         xfree(fp);
323         key_free(key);
324
325         packet_send_debug("RSA authentication accepted.");
326         return (1);
327 }