dtls.c

   1 /*
   2  * Copyright (C) 2008 Stig Venaas <venaas@uninett.no>
   3  *
   4  * Permission to use, copy, modify, and distribute this software for any
   5  * purpose with or without fee is hereby granted, provided that the above
   6  * copyright notice and this permission notice appear in all copies.
   7  */
   8
   9 #include <signal.h>
  10 #include <sys/socket.h>
  11 #include <netinet/in.h>
  12 #include <netdb.h>
  13 #include <string.h>
  14 #include <unistd.h>
  15 #include <limits.h>
  16 #ifdef SYS_SOLARIS9
  17 #include <fcntl.h>
  18 #endif
  19 #include <sys/time.h>
  20 #include <sys/types.h>
  21 #include <sys/select.h>
  22 #include <ctype.h>
  23 #include <sys/wait.h>
  24 #include <arpa/inet.h>
  25 #include <regex.h>
  26 #include <pthread.h>
  27 #include <openssl/ssl.h>
  28 #include <openssl/err.h>
  29 #include "debug.h"
  30 #include "list.h"
  31 #include "util.h"
  32 #include "radsecproxy.h"
  33 #include "dtls.h"
  34
  35 static int client4_sock = -1;
  36 static int client6_sock = -1;
  37
  38 int udp2bio(int s, struct queue *q, int cnt) {
  39     unsigned char *buf;
  40     BIO *rbio;
  41
  42     if (cnt < 1)
  43         return 0;
  44
  45     buf = malloc(cnt);
  46     if (!buf) {
  47         unsigned char err;
  48         debug(DBG_ERR, "udp2bio: malloc failed");
  49         recv(s, &err, 1, 0);
  50         return 0;
  51     }
  52
  53     cnt = recv(s, buf, cnt, 0);
  54     if (cnt < 1) {
  55         debug(DBG_WARN, "udp2bio: recv failed");
  56         free(buf);
  57         return 0;
  58     }
  59
  60     rbio = BIO_new_mem_buf(buf, cnt);
  61     BIO_set_mem_eof_return(rbio, -1);
  62
  63     pthread_mutex_lock(&q->mutex);
  64     if (!list_push(q->entries, rbio)) {
  65         BIO_free(rbio);
  66         pthread_mutex_unlock(&q->mutex);
  67         return 0;
  68     }
  69     pthread_cond_signal(&q->cond);
  70     pthread_mutex_unlock(&q->mutex);
  71     return 1;
  72 }
  73
  74 BIO *getrbio(SSL *ssl, struct queue *q, int timeout) {
  75     BIO *rbio;
  76     struct timeval now;
  77     struct timespec to;
  78
  79     pthread_mutex_lock(&q->mutex);
  80     if (!(rbio = (BIO *)list_shift(q->entries))) {
  81         if (timeout) {
  82             gettimeofday(&now, NULL);
  83             memset(&to, 0, sizeof(struct timespec));
  84             to.tv_sec = now.tv_sec + timeout;
  85             pthread_cond_timedwait(&q->cond, &q->mutex, &to);
  86         } else
  87             pthread_cond_wait(&q->cond, &q->mutex);
  88         rbio = (BIO *)list_shift(q->entries);
  89     }
  90     pthread_mutex_unlock(&q->mutex);
  91     return rbio;
  92 }
  93
  94 void *udpdtlsserverrd(void *arg) {
  95     int cnt, s = *(int *)arg;
  96     unsigned char buf[4];
  97     struct sockaddr_storage from;
  98     socklen_t fromlen = sizeof(from);
  99     struct clsrvconf *conf;
 100     struct list_node *node;
 101     struct client *client;
 102     fd_set readfds;
 103     pthread_t dtlsserverth;
 104
 105     for (;;) {
 106         FD_ZERO(&readfds);
 107         FD_SET(s, &readfds);
 108         if (select(s + 1, &readfds, NULL, NULL, NULL) < 1)
 109             continue;
 110         cnt = recvfrom(s, buf, 4, MSG_PEEK | MSG_TRUNC, (struct sockaddr *)&from, &fromlen);
 111         if (cnt == -1) {
 112             debug(DBG_WARN, "udpdtlsserverrd: recv failed");
 113             continue;
 114         }
 115         conf = find_clconf(RAD_DTLS, (struct sockaddr *)&from, NULL);
 116         if (!conf) {
 117             debug(DBG_WARN, "udpdtlsserverrd: got packet from wrong or unknown DTLS peer %s, ignoring", addr2string((struct sockaddr *)&from, fromlen));
 118             recv(s, buf, 4, 0);
 119             continue;
 120         }
 121
 122         node = list_first(conf->clients);
 123         if (node)
 124             client = (struct client *)node->data;
 125         else {
 126             client = addclient(conf);
 127             if (!client) {
 128                 recv(s, buf, 4, 0);
 129                 continue;
 130             }
 131             client->sock = s;
 132             memcpy(&client->addr, &from, fromlen);
 133             if (pthread_create(&dtlsserverth, NULL, dtlsservernew, (void *)client)) {
 134                 debug(DBG_ERR, "udpdtlsserverrd: pthread_create failed");
 135                 removeclient(client);
 136                 recv(s, buf, 4, 0);
 137                 continue;
 138             }
 139             pthread_detach(dtlsserverth);
 140         }
 141         if (udp2bio(s, client->rbios, cnt))
 142             debug(DBG_DBG, "udpdtlsserverrd: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from, fromlen));
 143     }
 144 }
 145
 146 void *dtlsserverwr(void *arg) {
 147     int cnt;
 148     unsigned long error;
 149     struct client *client = (struct client *)arg;
 150     struct queue *replyq;
 151     struct reply *reply;
 152
 153     debug(DBG_DBG, "dtlsserverwr: starting for %s", client->conf->host);
 154     replyq = client->replyq;
 155     for (;;) {
 156         pthread_mutex_lock(&replyq->mutex);
 157         while (!list_first(replyq->entries)) {
 158             if (client->ssl) {
 159                 debug(DBG_DBG, "dtlsserverwr: waiting for signal");
 160                 pthread_cond_wait(&replyq->cond, &replyq->mutex);
 161                 debug(DBG_DBG, "dtlsserverwr: got signal");
 162             }
 163             if (!client->ssl) {
 164                 /* ssl might have changed while waiting */
 165                 pthread_mutex_unlock(&replyq->mutex);
 166                 debug(DBG_DBG, "dtlsserverwr: exiting as requested");
 167                 ERR_remove_state(0);
 168                 pthread_exit(NULL);
 169             }
 170         }
 171         reply = (struct reply *)list_shift(replyq->entries);
 172         pthread_mutex_unlock(&replyq->mutex);
 173         cnt = SSL_write(client->ssl, reply->buf, RADLEN(reply->buf));
 174         if (cnt > 0)
 175             debug(DBG_DBG, "dtlsserverwr: sent %d bytes, Radius packet of length %d",
 176                   cnt, RADLEN(reply->buf));
 177         else
 178             while ((error = ERR_get_error()))
 179                 debug(DBG_ERR, "dtlsserverwr: SSL: %s", ERR_error_string(error, NULL));
 180         free(reply->buf);
 181         free(reply);
 182     }
 183 }
 184
 185 int dtlsread(SSL *ssl, struct queue *q, unsigned char *buf, int num) {
 186     int len, cnt;
 187
 188     for (len = 0; len < num; len += cnt) {
 189         cnt = SSL_read(ssl, buf + len, num - len);
 190         if (cnt <= 0)
 191             switch (cnt = SSL_get_error(ssl, cnt)) {
 192             case SSL_ERROR_WANT_READ:
 193                 BIO_free(ssl->rbio);
 194                 ssl->rbio = getrbio(ssl, q, 0);
 195                 if (!ssl->rbio)
 196                     return -1;
 197                 cnt = 0;
 198                 continue;
 199             case SSL_ERROR_WANT_WRITE:
 200                 cnt = 0;
 201                 continue;
 202             case SSL_ERROR_ZERO_RETURN:
 203                 /* remote end sent close_notify, send one back */
 204                 SSL_shutdown(ssl);
 205                 return -1;
 206             default:
 207                 return -1;
 208             }
 209     }
 210     return num;
 211 }
 212
 213 unsigned char *raddtlsget(SSL *ssl, struct queue *rbios) {
 214     int cnt, len;
 215     unsigned char buf[4], *rad;
 216
 217     for (;;) {
 218         cnt = dtlsread(ssl, rbios, buf, 4);
 219         if (cnt < 1) {
 220             debug(DBG_DBG, "raddtlsget: connection lost");
 221             return NULL;
 222         }
 223
 224         len = RADLEN(buf);
 225         rad = malloc(len);
 226         if (!rad) {
 227             debug(DBG_ERR, "raddtlsget: malloc failed");
 228             continue;
 229         }
 230         memcpy(rad, buf, 4);
 231
 232         cnt = dtlsread(ssl, rbios, rad + 4, len - 4);
 233         if (cnt < 1) {
 234             debug(DBG_DBG, "raddtlsget: connection lost");
 235             free(rad);
 236             return NULL;
 237         }
 238
 239         if (len >= 20)
 240             break;
 241
 242         free(rad);
 243         debug(DBG_WARN, "raddtlsget: packet smaller than minimum radius size");
 244     }
 245
 246     debug(DBG_DBG, "raddtlsget: got %d bytes", len);
 247     return rad;
 248 }
 249
 250 void dtlsserverrd(struct client *client) {
 251     struct request rq;
 252     pthread_t dtlsserverwrth;
 253
 254     debug(DBG_DBG, "dtlsserverrd: starting for %s", client->conf->host);
 255
 256     if (pthread_create(&dtlsserverwrth, NULL, dtlsserverwr, (void *)client)) {
 257         debug(DBG_ERR, "dtlsserverrd: pthread_create failed");
 258         return;
 259     }
 260
 261     for (;;) {
 262         memset(&rq, 0, sizeof(struct request));
 263         rq.buf = raddtlsget(client->ssl, client->rbios);
 264         if (!rq.buf) {
 265             debug(DBG_ERR, "dtlsserverrd: connection from %s lost", client->conf->host);
 266             break;
 267         }
 268         debug(DBG_DBG, "dtlsserverrd: got Radius message from %s", client->conf->host);
 269         rq.from = client;
 270         if (!radsrv(&rq)) {
 271             debug(DBG_ERR, "dtlsserverrd: message authentication/validation failed, closing connection from %s", client->conf->host);
 272             break;
 273         }
 274     }
 275
 276     /* stop writer by setting ssl to NULL and give signal in case waiting for data */
 277     client->ssl = NULL;
 278
 279     pthread_mutex_lock(&client->replyq->mutex);
 280     pthread_cond_signal(&client->replyq->cond);
 281     pthread_mutex_unlock(&client->replyq->mutex);
 282     debug(DBG_DBG, "dtlsserverrd: waiting for writer to end");
 283     pthread_join(dtlsserverwrth, NULL);
 284     removeclientrqs(client);
 285     debug(DBG_DBG, "dtlsserverrd: reader for %s exiting", client->conf->host);
 286 }
 287
 288 /* accept if acc == 1, else connect */
 289 SSL *dtlsacccon(uint8_t acc, SSL_CTX *ctx, int s, struct sockaddr *addr, struct queue *rbios) {
 290     SSL *ssl;
 291     int i, res;
 292     unsigned long error;
 293     BIO *mem0bio, *wbio;
 294
 295     ssl = SSL_new(ctx);
 296     if (!ssl)
 297         return NULL;
 298
 299     mem0bio = BIO_new(BIO_s_mem());
 300     BIO_set_mem_eof_return(mem0bio, -1);
 301     wbio = BIO_new_dgram(s, BIO_NOCLOSE);
 302     BIO_dgram_set_peer(wbio, addr);
 303     SSL_set_bio(ssl, mem0bio, wbio);
 304
 305     for (i = 0; i < 5; i++) {
 306         res = acc ? SSL_accept(ssl) : SSL_connect(ssl);
 307         if (res > 0)
 308             return ssl;
 309         if (res == 0)
 310             break;
 311         if (SSL_get_error(ssl, res) == SSL_ERROR_WANT_READ) {
 312             BIO_free(ssl->rbio);
 313             ssl->rbio = getrbio(ssl, rbios, 5);
 314             if (!ssl->rbio)
 315                 break;
 316         }
 317         while ((error = ERR_get_error()))
 318             debug(DBG_ERR, "dtls%st: DTLS: %s", acc ? "accep" : "connec", ERR_error_string(error, NULL));
 319     }
 320
 321     SSL_free(ssl);
 322     return NULL;
 323 }
 324
 325 void *dtlsservernew(void *arg) {
 326     struct client *client = (struct client *)arg;
 327     X509 *cert = NULL;
 328
 329     client->ssl = dtlsacccon(1, client->conf->ssl_ctx, client->sock, (struct sockaddr *)&client->addr, client->rbios);
 330     if (!client->ssl)
 331         goto exit;
 332     cert = verifytlscert(client->ssl);
 333     if (!cert)
 334         goto exit;
 335     if (verifyconfcert(cert, client->conf)) {
 336         X509_free(cert);
 337         dtlsserverrd(client);
 338         removeclient(client);
 339     } else
 340         debug(DBG_WARN, "dtlsservernew: ignoring request, certificate validation failed");
 341     if (cert)
 342         X509_free(cert);
 343
 344  exit:
 345     SSL_free(client->ssl);
 346     ERR_remove_state(0);
 347     pthread_exit(NULL);
 348 }
 349
 350 int dtlsconnect(struct server *server, struct timeval *when, int timeout, char *text) {
 351     struct timeval now;
 352     time_t elapsed;
 353     X509 *cert;
 354
 355     debug(DBG_DBG, "dtlsconnect: called from %s", text);
 356     pthread_mutex_lock(&server->lock);
 357     if (when && memcmp(&server->lastconnecttry, when, sizeof(struct timeval))) {
 358         /* already reconnected, nothing to do */
 359         debug(DBG_DBG, "dtlsconnect(%s): seems already reconnected", text);
 360         pthread_mutex_unlock(&server->lock);
 361         return 1;
 362     }
 363
 364     for (;;) {
 365         gettimeofday(&now, NULL);
 366         elapsed = now.tv_sec - server->lastconnecttry.tv_sec;
 367
 368         if (timeout && server->lastconnecttry.tv_sec && elapsed > timeout) {
 369             debug(DBG_DBG, "dtlsconnect: timeout");
 370             SSL_free(server->ssl);
 371             server->ssl = NULL;
 372             pthread_mutex_unlock(&server->lock);
 373             return 0;
 374         }
 375
 376         if (server->connectionok) {
 377             server->connectionok = 0;
 378             sleep(2);
 379         } else if (elapsed < 1)
 380             sleep(2);
 381         else if (elapsed < 60) {
 382             debug(DBG_INFO, "dtlsconnect: sleeping %lds", elapsed);
 383             sleep(elapsed);
 384         } else if (elapsed < 100000) {
 385             debug(DBG_INFO, "dtlsconnect: sleeping %ds", 60);
 386             sleep(60);
 387         } else
 388             server->lastconnecttry.tv_sec = now.tv_sec;  /* no sleep at startup */
 389         debug(DBG_WARN, "dtlsconnect: trying to open DTLS connection to %s port %s", server->conf->host, server->conf->port);
 390
 391         SSL_free(server->ssl);
 392         server->ssl = dtlsacccon(0, server->conf->ssl_ctx, server->sock, server->conf->addrinfo->ai_addr, server->rbios);
 393         if (!server->ssl)
 394             continue;
 395         debug(DBG_DBG, "dtlsconnect: DTLS: ok");
 396
 397         cert = verifytlscert(server->ssl);
 398         if (!cert)
 399             continue;
 400
 401         if (verifyconfcert(cert, server->conf))
 402             break;
 403         X509_free(cert);
 404     }
 405     X509_free(cert);
 406     debug(DBG_WARN, "dtlsconnect: DTLS connection to %s port %s up", server->conf->host, server->conf->port);
 407     gettimeofday(&server->lastconnecttry, NULL);
 408     pthread_mutex_unlock(&server->lock);
 409     return 1;
 410 }
 411
 412 int clientradputdtls(struct server *server, unsigned char *rad) {
 413     int cnt;
 414     size_t len;
 415     unsigned long error;
 416     struct clsrvconf *conf = server->conf;
 417
 418     len = RADLEN(rad);
 419     while ((cnt = SSL_write(server->ssl, rad, len)) <= 0) {
 420         while ((error = ERR_get_error()))
 421             debug(DBG_ERR, "clientradputdtls: DTLS: %s", ERR_error_string(error, NULL));
 422     }
 423     debug(DBG_DBG, "clientradputdtls: Sent %d bytes, Radius packet of length %d to DTLS peer %s", cnt, len, conf->host);
 424     return 1;
 425 }
 426
 427 /* reads UDP containing DTLS and passes it on to dtlsclientrd */
 428 void *udpdtlsclientrd(void *arg) {
 429     int cnt, s = *(int *)arg;
 430     unsigned char buf[4];
 431     struct sockaddr_storage from;
 432     socklen_t fromlen = sizeof(from);
 433     struct clsrvconf *conf;
 434     fd_set readfds;
 435
 436     for (;;) {
 437         FD_ZERO(&readfds);
 438         FD_SET(s, &readfds);
 439         if (select(s + 1, &readfds, NULL, NULL, NULL) < 1)
 440             continue;
 441         cnt = recvfrom(s, buf, 4, MSG_PEEK | MSG_TRUNC, (struct sockaddr *)&from, &fromlen);
 442         if (cnt == -1) {
 443             debug(DBG_WARN, "udpdtlsclientrd: recv failed");
 444             continue;
 445         }
 446
 447         conf = find_srvconf(RAD_DTLS, (struct sockaddr *)&from, NULL);
 448         if (!conf) {
 449             debug(DBG_WARN, "udpdtlsclientrd: got packet from wrong or unknown DTLS peer %s, ignoring", addr2string((struct sockaddr *)&from, fromlen));
 450             recv(s, buf, 4, 0);
 451             continue;
 452         }
 453         if (udp2bio(s, conf->servers->rbios, cnt))
 454             debug(DBG_DBG, "radudpget: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from, fromlen));
 455     }
 456 }
 457
 458 void *dtlsclientrd(void *arg) {
 459     struct server *server = (struct server *)arg;
 460     unsigned char *buf;
 461     struct timeval lastconnecttry;
 462
 463     for (;;) {
 464         /* yes, lastconnecttry is really necessary */
 465         lastconnecttry = server->lastconnecttry;
 466         buf = raddtlsget(server->ssl, server->rbios);
 467         if (!buf) {
 468             dtlsconnect(server, &lastconnecttry, 0, "dtlsclientrd");
 469             continue;
 470         }
 471
 472         if (!replyh(server, buf))
 473             free(buf);
 474     }
 475 }
 476
 477 void addclientdtls(struct client *client) {
 478     client->replyq = newqueue();
 479     client->rbios = newqueue();
 480 }
 481
 482 void addserverextradtls(struct clsrvconf *conf) {
 483     switch (conf->addrinfo->ai_family) {
 484     case AF_INET:
 485         if (client4_sock < 0) {
 486             client4_sock = bindtoaddr(getsrcprotores(RAD_DTLS), AF_INET, 0, 1);
 487             if (client4_sock < 0)
 488                 debugx(1, DBG_ERR, "addserver: failed to create client socket for server %s", conf->host);
 489         }
 490         conf->servers->sock = client4_sock;
 491         break;
 492     case AF_INET6:
 493         if (client6_sock < 0) {
 494             client6_sock = bindtoaddr(getsrcprotores(RAD_DTLS), AF_INET6, 0, 1);
 495             if (client6_sock < 0)
 496                 debugx(1, DBG_ERR, "addserver: failed to create client socket for server %s", conf->host);
 497         }
 498         conf->servers->sock = client6_sock;
 499         break;
 500     default:
 501         debugx(1, DBG_ERR, "addserver: unsupported address family");
 502     }
 503 }
 504
 505 void initextradtls() {
 506     pthread_t cl4th, cl6th;
 507
 508     if (client4_sock >= 0)
 509         if (pthread_create(&cl4th, NULL, udpdtlsclientrd, (void *)&client4_sock))
 510             debugx(1, DBG_ERR, "pthread_create failed");
 511     if (client6_sock >= 0)
 512         if (pthread_create(&cl6th, NULL, udpdtlsclientrd, (void *)&client6_sock))
 513             debugx(1, DBG_ERR, "pthread_create failed");
 514 }