import of openssh-5.8p1
[openssh.git] / ssh-dss.c
1 /* $OpenBSD: ssh-dss.c,v 1.27 2010/08/31 09:58:37 djm Exp $ */
2 /*
3  * Copyright (c) 2000 Markus Friedl.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
15  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
16  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
17  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
18  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
19  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
20  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
21  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
23  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "includes.h"
27
28 #include <sys/types.h>
29
30 #include <openssl/bn.h>
31 #include <openssl/evp.h>
32
33 #include <stdarg.h>
34 #include <string.h>
35
36 #include "xmalloc.h"
37 #include "buffer.h"
38 #include "compat.h"
39 #include "log.h"
40 #include "key.h"
41
42 #define INTBLOB_LEN     20
43 #define SIGBLOB_LEN     (2*INTBLOB_LEN)
44
45 int
46 ssh_dss_sign(const Key *key, u_char **sigp, u_int *lenp,
47     const u_char *data, u_int datalen)
48 {
49         DSA_SIG *sig;
50         const EVP_MD *evp_md = EVP_sha1();
51         EVP_MD_CTX md;
52         u_char digest[EVP_MAX_MD_SIZE], sigblob[SIGBLOB_LEN];
53         u_int rlen, slen, len, dlen;
54         Buffer b;
55
56         if (key == NULL || key->dsa == NULL || (key->type != KEY_DSA &&
57             key->type != KEY_DSA_CERT && key->type != KEY_DSA_CERT_V00)) {
58                 error("ssh_dss_sign: no DSA key");
59                 return -1;
60         }
61         EVP_DigestInit(&md, evp_md);
62         EVP_DigestUpdate(&md, data, datalen);
63         EVP_DigestFinal(&md, digest, &dlen);
64
65         sig = DSA_do_sign(digest, dlen, key->dsa);
66         memset(digest, 'd', sizeof(digest));
67
68         if (sig == NULL) {
69                 error("ssh_dss_sign: sign failed");
70                 return -1;
71         }
72
73         rlen = BN_num_bytes(sig->r);
74         slen = BN_num_bytes(sig->s);
75         if (rlen > INTBLOB_LEN || slen > INTBLOB_LEN) {
76                 error("bad sig size %u %u", rlen, slen);
77                 DSA_SIG_free(sig);
78                 return -1;
79         }
80         memset(sigblob, 0, SIGBLOB_LEN);
81         BN_bn2bin(sig->r, sigblob+ SIGBLOB_LEN - INTBLOB_LEN - rlen);
82         BN_bn2bin(sig->s, sigblob+ SIGBLOB_LEN - slen);
83         DSA_SIG_free(sig);
84
85         if (datafellows & SSH_BUG_SIGBLOB) {
86                 if (lenp != NULL)
87                         *lenp = SIGBLOB_LEN;
88                 if (sigp != NULL) {
89                         *sigp = xmalloc(SIGBLOB_LEN);
90                         memcpy(*sigp, sigblob, SIGBLOB_LEN);
91                 }
92         } else {
93                 /* ietf-drafts */
94                 buffer_init(&b);
95                 buffer_put_cstring(&b, "ssh-dss");
96                 buffer_put_string(&b, sigblob, SIGBLOB_LEN);
97                 len = buffer_len(&b);
98                 if (lenp != NULL)
99                         *lenp = len;
100                 if (sigp != NULL) {
101                         *sigp = xmalloc(len);
102                         memcpy(*sigp, buffer_ptr(&b), len);
103                 }
104                 buffer_free(&b);
105         }
106         return 0;
107 }
108 int
109 ssh_dss_verify(const Key *key, const u_char *signature, u_int signaturelen,
110     const u_char *data, u_int datalen)
111 {
112         DSA_SIG *sig;
113         const EVP_MD *evp_md = EVP_sha1();
114         EVP_MD_CTX md;
115         u_char digest[EVP_MAX_MD_SIZE], *sigblob;
116         u_int len, dlen;
117         int rlen, ret;
118         Buffer b;
119
120         if (key == NULL || key->dsa == NULL || (key->type != KEY_DSA &&
121             key->type != KEY_DSA_CERT && key->type != KEY_DSA_CERT_V00)) {
122                 error("ssh_dss_verify: no DSA key");
123                 return -1;
124         }
125
126         /* fetch signature */
127         if (datafellows & SSH_BUG_SIGBLOB) {
128                 sigblob = xmalloc(signaturelen);
129                 memcpy(sigblob, signature, signaturelen);
130                 len = signaturelen;
131         } else {
132                 /* ietf-drafts */
133                 char *ktype;
134                 buffer_init(&b);
135                 buffer_append(&b, signature, signaturelen);
136                 ktype = buffer_get_cstring(&b, NULL);
137                 if (strcmp("ssh-dss", ktype) != 0) {
138                         error("ssh_dss_verify: cannot handle type %s", ktype);
139                         buffer_free(&b);
140                         xfree(ktype);
141                         return -1;
142                 }
143                 xfree(ktype);
144                 sigblob = buffer_get_string(&b, &len);
145                 rlen = buffer_len(&b);
146                 buffer_free(&b);
147                 if (rlen != 0) {
148                         error("ssh_dss_verify: "
149                             "remaining bytes in signature %d", rlen);
150                         xfree(sigblob);
151                         return -1;
152                 }
153         }
154
155         if (len != SIGBLOB_LEN) {
156                 fatal("bad sigbloblen %u != SIGBLOB_LEN", len);
157         }
158
159         /* parse signature */
160         if ((sig = DSA_SIG_new()) == NULL)
161                 fatal("ssh_dss_verify: DSA_SIG_new failed");
162         if ((sig->r = BN_new()) == NULL)
163                 fatal("ssh_dss_verify: BN_new failed");
164         if ((sig->s = BN_new()) == NULL)
165                 fatal("ssh_dss_verify: BN_new failed");
166         if ((BN_bin2bn(sigblob, INTBLOB_LEN, sig->r) == NULL) ||
167             (BN_bin2bn(sigblob+ INTBLOB_LEN, INTBLOB_LEN, sig->s) == NULL))
168                 fatal("ssh_dss_verify: BN_bin2bn failed");
169
170         /* clean up */
171         memset(sigblob, 0, len);
172         xfree(sigblob);
173
174         /* sha1 the data */
175         EVP_DigestInit(&md, evp_md);
176         EVP_DigestUpdate(&md, data, datalen);
177         EVP_DigestFinal(&md, digest, &dlen);
178
179         ret = DSA_do_verify(digest, dlen, sig, key->dsa);
180         memset(digest, 'd', sizeof(digest));
181
182         DSA_SIG_free(sig);
183
184         debug("ssh_dss_verify: signature %s",
185             ret == 1 ? "correct" : ret == 0 ? "incorrect" : "error");
186         return ret;
187 }