dtls.c

   1 /*
   2  * Copyright (C) 2008 Stig Venaas <venaas@uninett.no>
   3  *
   4  * Permission to use, copy, modify, and distribute this software for any
   5  * purpose with or without fee is hereby granted, provided that the above
   6  * copyright notice and this permission notice appear in all copies.
   7  */
   8
   9 #include <signal.h>
  10 #include <sys/socket.h>
  11 #include <netinet/in.h>
  12 #include <netdb.h>
  13 #include <string.h>
  14 #include <unistd.h>
  15 #include <limits.h>
  16 #ifdef SYS_SOLARIS9
  17 #include <fcntl.h>
  18 #endif
  19 #include <sys/time.h>
  20 #include <sys/types.h>
  21 #include <sys/select.h>
  22 #include <ctype.h>
  23 #include <sys/wait.h>
  24 #include <arpa/inet.h>
  25 #include <regex.h>
  26 #include <pthread.h>
  27 #include <openssl/ssl.h>
  28 #include <openssl/err.h>
  29 #include "debug.h"
  30 #include "list.h"
  31 #include "hash.h"
  32 #include "util.h"
  33 #include "radsecproxy.h"
  34 #include "dtls.h"
  35
  36 static int client4_sock = -1;
  37 static int client6_sock = -1;
  38
  39 int udp2bio(int s, struct queue *q, int cnt) {
  40     unsigned char *buf;
  41     BIO *rbio;
  42
  43     if (cnt < 1)
  44         return 0;
  45
  46     buf = malloc(cnt);
  47     if (!buf) {
  48         unsigned char err;
  49         debug(DBG_ERR, "udp2bio: malloc failed");
  50         recv(s, &err, 1, 0);
  51         return 0;
  52     }
  53
  54     cnt = recv(s, buf, cnt, 0);
  55     if (cnt < 1) {
  56         debug(DBG_WARN, "udp2bio: recv failed");
  57         free(buf);
  58         return 0;
  59     }
  60
  61     rbio = BIO_new_mem_buf(buf, cnt);
  62     BIO_set_mem_eof_return(rbio, -1);
  63
  64     pthread_mutex_lock(&q->mutex);
  65     if (!list_push(q->entries, rbio)) {
  66         BIO_free(rbio);
  67         pthread_mutex_unlock(&q->mutex);
  68         return 0;
  69     }
  70     pthread_cond_signal(&q->cond);
  71     pthread_mutex_unlock(&q->mutex);
  72     return 1;
  73 }
  74
  75 BIO *getrbio(SSL *ssl, struct queue *q, int timeout) {
  76     BIO *rbio;
  77     struct timeval now;
  78     struct timespec to;
  79
  80     pthread_mutex_lock(&q->mutex);
  81     if (!(rbio = (BIO *)list_shift(q->entries))) {
  82         if (timeout) {
  83             gettimeofday(&now, NULL);
  84             memset(&to, 0, sizeof(struct timespec));
  85             to.tv_sec = now.tv_sec + timeout;
  86             pthread_cond_timedwait(&q->cond, &q->mutex, &to);
  87         } else
  88             pthread_cond_wait(&q->cond, &q->mutex);
  89         rbio = (BIO *)list_shift(q->entries);
  90     }
  91     pthread_mutex_unlock(&q->mutex);
  92     return rbio;
  93 }
  94
  95 void *udpdtlsserverrd(void *arg) {
  96     int cnt, s = *(int *)arg;
  97     unsigned char buf[4];
  98     struct sockaddr_storage from;
  99     socklen_t fromlen = sizeof(from);
 100     struct client *client;
 101     fd_set readfds;
 102     pthread_t dtlsserverth;
 103     struct hash *rbiosh;
 104     struct queue *rbiosq;
 105
 106     rbiosh = hash_create();
 107     if (!rbiosh)
 108         debugx(1, DBG_ERR, "udpdtlsserverrd: malloc failed");
 109
 110     for (;;) {
 111         FD_ZERO(&readfds);
 112         FD_SET(s, &readfds);
 113         if (select(s + 1, &readfds, NULL, NULL, NULL) < 1)
 114             continue;
 115         cnt = recvfrom(s, buf, 4, MSG_PEEK | MSG_TRUNC, (struct sockaddr *)&from, &fromlen);
 116         if (cnt == -1) {
 117             debug(DBG_WARN, "udpdtlsserverrd: recv failed");
 118             continue;
 119         }
 120         rbiosq = hash_read(rbiosh, &from, fromlen);
 121         if (rbiosq) {
 122             if (udp2bio(s, rbiosq, cnt))
 123                 debug(DBG_DBG, "udpdtlsserverrd: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from, fromlen));
 124             continue;
 125         }
 126
 127         /* from new source, new client? */
 128         client = malloc(sizeof(struct client));
 129         if (!client)
 130             continue;
 131         client->rbios = rbiosq = newqueue();
 132         if (!hash_insert(rbiosh, &from, fromlen, rbiosq)) {
 133             free(client);
 134             removequeue(rbiosq);
 135             continue;
 136         }
 137         client->sock = s;
 138         memcpy(&client->addr, &from, fromlen);
 139
 140         if (udp2bio(s, rbiosq, cnt)) {
 141             debug(DBG_DBG, "udpdtlsserverrd: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from, fromlen));
 142             if (!pthread_create(&dtlsserverth, NULL, dtlsservernew, (void *)client)) {
 143                 pthread_detach(dtlsserverth);
 144                 continue;
 145             }
 146             debug(DBG_ERR, "udpdtlsserverrd: pthread_create failed");
 147         }
 148         free(client);
 149         freebios(hash_extract(rbiosh, &from, fromlen));
 150     }
 151 }
 152
 153 void *dtlsserverwr(void *arg) {
 154     int cnt;
 155     unsigned long error;
 156     struct client *client = (struct client *)arg;
 157     struct queue *replyq;
 158     struct reply *reply;
 159
 160     debug(DBG_DBG, "dtlsserverwr: starting for %s", client->conf->host);
 161     replyq = client->replyq;
 162     for (;;) {
 163         pthread_mutex_lock(&replyq->mutex);
 164         while (!list_first(replyq->entries)) {
 165             if (client->ssl) {
 166                 debug(DBG_DBG, "dtlsserverwr: waiting for signal");
 167                 pthread_cond_wait(&replyq->cond, &replyq->mutex);
 168                 debug(DBG_DBG, "dtlsserverwr: got signal");
 169             }
 170             if (!client->ssl) {
 171                 /* ssl might have changed while waiting */
 172                 pthread_mutex_unlock(&replyq->mutex);
 173                 debug(DBG_DBG, "dtlsserverwr: exiting as requested");
 174                 ERR_remove_state(0);
 175                 pthread_exit(NULL);
 176             }
 177         }
 178         reply = (struct reply *)list_shift(replyq->entries);
 179         pthread_mutex_unlock(&replyq->mutex);
 180         cnt = SSL_write(client->ssl, reply->buf, RADLEN(reply->buf));
 181         if (cnt > 0)
 182             debug(DBG_DBG, "dtlsserverwr: sent %d bytes, Radius packet of length %d",
 183                   cnt, RADLEN(reply->buf));
 184         else
 185             while ((error = ERR_get_error()))
 186                 debug(DBG_ERR, "dtlsserverwr: SSL: %s", ERR_error_string(error, NULL));
 187         free(reply->buf);
 188         free(reply);
 189     }
 190 }
 191
 192 int dtlsread(SSL *ssl, struct queue *q, unsigned char *buf, int num) {
 193     int len, cnt;
 194
 195     for (len = 0; len < num; len += cnt) {
 196         cnt = SSL_read(ssl, buf + len, num - len);
 197         if (cnt <= 0)
 198             switch (cnt = SSL_get_error(ssl, cnt)) {
 199             case SSL_ERROR_WANT_READ:
 200                 BIO_free(ssl->rbio);
 201                 ssl->rbio = getrbio(ssl, q, 0);
 202                 if (!ssl->rbio)
 203                     return -1;
 204                 cnt = 0;
 205                 continue;
 206             case SSL_ERROR_WANT_WRITE:
 207                 cnt = 0;
 208                 continue;
 209             case SSL_ERROR_ZERO_RETURN:
 210                 /* remote end sent close_notify, send one back */
 211                 SSL_shutdown(ssl);
 212                 return -1;
 213             default:
 214                 return -1;
 215             }
 216     }
 217     return num;
 218 }
 219
 220 unsigned char *raddtlsget(SSL *ssl, struct queue *rbios) {
 221     int cnt, len;
 222     unsigned char buf[4], *rad;
 223
 224     for (;;) {
 225         cnt = dtlsread(ssl, rbios, buf, 4);
 226         if (cnt < 1) {
 227             debug(DBG_DBG, "raddtlsget: connection lost");
 228             return NULL;
 229         }
 230
 231         len = RADLEN(buf);
 232         rad = malloc(len);
 233         if (!rad) {
 234             debug(DBG_ERR, "raddtlsget: malloc failed");
 235             continue;
 236         }
 237         memcpy(rad, buf, 4);
 238
 239         cnt = dtlsread(ssl, rbios, rad + 4, len - 4);
 240         if (cnt < 1) {
 241             debug(DBG_DBG, "raddtlsget: connection lost");
 242             free(rad);
 243             return NULL;
 244         }
 245
 246         if (len >= 20)
 247             break;
 248
 249         free(rad);
 250         debug(DBG_WARN, "raddtlsget: packet smaller than minimum radius size");
 251     }
 252
 253     debug(DBG_DBG, "raddtlsget: got %d bytes", len);
 254     return rad;
 255 }
 256
 257 void dtlsserverrd(struct client *client) {
 258     struct request rq;
 259     pthread_t dtlsserverwrth;
 260
 261     debug(DBG_DBG, "dtlsserverrd: starting for %s", client->conf->host);
 262
 263     if (pthread_create(&dtlsserverwrth, NULL, dtlsserverwr, (void *)client)) {
 264         debug(DBG_ERR, "dtlsserverrd: pthread_create failed");
 265         return;
 266     }
 267
 268     for (;;) {
 269         memset(&rq, 0, sizeof(struct request));
 270         rq.buf = raddtlsget(client->ssl, client->rbios);
 271         if (!rq.buf) {
 272             debug(DBG_ERR, "dtlsserverrd: connection from %s lost", client->conf->host);
 273             break;
 274         }
 275         debug(DBG_DBG, "dtlsserverrd: got Radius message from %s", client->conf->host);
 276         rq.from = client;
 277         if (!radsrv(&rq)) {
 278             debug(DBG_ERR, "dtlsserverrd: message authentication/validation failed, closing connection from %s", client->conf->host);
 279             break;
 280         }
 281     }
 282
 283     /* stop writer by setting ssl to NULL and give signal in case waiting for data */
 284     client->ssl = NULL;
 285
 286     pthread_mutex_lock(&client->replyq->mutex);
 287     pthread_cond_signal(&client->replyq->cond);
 288     pthread_mutex_unlock(&client->replyq->mutex);
 289     debug(DBG_DBG, "dtlsserverrd: waiting for writer to end");
 290     pthread_join(dtlsserverwrth, NULL);
 291     removeclientrqs(client);
 292     debug(DBG_DBG, "dtlsserverrd: reader for %s exiting", client->conf->host);
 293 }
 294
 295 /* accept if acc == 1, else connect */
 296 SSL *dtlsacccon(uint8_t acc, SSL_CTX *ctx, int s, struct sockaddr *addr, struct queue *rbios) {
 297     SSL *ssl;
 298     int i, res;
 299     unsigned long error;
 300     BIO *mem0bio, *wbio;
 301
 302     ssl = SSL_new(ctx);
 303     if (!ssl)
 304         return NULL;
 305
 306     mem0bio = BIO_new(BIO_s_mem());
 307     BIO_set_mem_eof_return(mem0bio, -1);
 308     wbio = BIO_new_dgram(s, BIO_NOCLOSE);
 309     BIO_dgram_set_peer(wbio, addr);
 310     SSL_set_bio(ssl, mem0bio, wbio);
 311
 312     for (i = 0; i < 5; i++) {
 313         res = acc ? SSL_accept(ssl) : SSL_connect(ssl);
 314         if (res > 0)
 315             return ssl;
 316         if (res == 0)
 317             break;
 318         if (SSL_get_error(ssl, res) == SSL_ERROR_WANT_READ) {
 319             BIO_free(ssl->rbio);
 320             ssl->rbio = getrbio(ssl, rbios, 5);
 321             if (!ssl->rbio)
 322                 break;
 323         }
 324         while ((error = ERR_get_error()))
 325             debug(DBG_ERR, "dtls%st: DTLS: %s", acc ? "accep" : "connec", ERR_error_string(error, NULL));
 326     }
 327
 328     SSL_free(ssl);
 329     return NULL;
 330 }
 331
 332 void *dtlsservernew(void *arg) {
 333     struct client *client, *clpar = (struct client *)arg;
 334     struct clsrvconf *conf;
 335     struct list_node *cur = NULL;
 336     int s;
 337     SSL *ssl = NULL;
 338     X509 *cert = NULL;
 339     struct queue *rbios;
 340     struct sockaddr_storage addr;
 341
 342     s = clpar->sock;
 343     rbios = clpar->rbios;
 344     addr = clpar->addr;
 345     free(clpar);
 346
 347     conf = find_clconf(RAD_DTLS, (struct sockaddr *)&addr, NULL);
 348     if (conf) {
 349         ssl = dtlsacccon(1, conf->ssl_ctx, s, (struct sockaddr *)&addr, rbios);
 350         if (!ssl)
 351             goto exit;
 352         cert = verifytlscert(ssl);
 353         if (!cert)
 354             goto exit;
 355     }
 356
 357     while (conf) {
 358         if (verifyconfcert(cert, conf)) {
 359             X509_free(cert);
 360             client = addclient(conf);
 361             if (client) {
 362                 client->sock = s;
 363                 client->rbios = rbios;
 364                 client->addr = addr;
 365                 client->ssl = ssl;
 366                 dtlsserverrd(client);
 367                 removeclient(client);
 368             } else {
 369                 debug(DBG_WARN, "dtlsservernew: failed to create new client instance");
 370             }
 371             goto exit;
 372         }
 373         conf = find_clconf(RAD_DTLS, (struct sockaddr *)&client->addr, &cur);
 374     }
 375     debug(DBG_WARN, "dtlsservernew: ignoring request, no matching TLS client");
 376
 377     if (cert)
 378         X509_free(cert);
 379
 380  exit:
 381     /* mark rbios for removal, to be removed by udpdtlsserverrd()*/
 382     SSL_free(ssl);
 383     ERR_remove_state(0);
 384     pthread_exit(NULL);
 385 }
 386
 387 int dtlsconnect(struct server *server, struct timeval *when, int timeout, char *text) {
 388     struct timeval now;
 389     time_t elapsed;
 390     X509 *cert;
 391
 392     debug(DBG_DBG, "dtlsconnect: called from %s", text);
 393     pthread_mutex_lock(&server->lock);
 394     if (when && memcmp(&server->lastconnecttry, when, sizeof(struct timeval))) {
 395         /* already reconnected, nothing to do */
 396         debug(DBG_DBG, "dtlsconnect(%s): seems already reconnected", text);
 397         pthread_mutex_unlock(&server->lock);
 398         return 1;
 399     }
 400
 401     for (;;) {
 402         gettimeofday(&now, NULL);
 403         elapsed = now.tv_sec - server->lastconnecttry.tv_sec;
 404
 405         if (timeout && server->lastconnecttry.tv_sec && elapsed > timeout) {
 406             debug(DBG_DBG, "dtlsconnect: timeout");
 407             SSL_free(server->ssl);
 408             server->ssl = NULL;
 409             pthread_mutex_unlock(&server->lock);
 410             return 0;
 411         }
 412
 413         if (server->connectionok) {
 414             server->connectionok = 0;
 415             sleep(2);
 416         } else if (elapsed < 1)
 417             sleep(2);
 418         else if (elapsed < 60) {
 419             debug(DBG_INFO, "dtlsconnect: sleeping %lds", elapsed);
 420             sleep(elapsed);
 421         } else if (elapsed < 100000) {
 422             debug(DBG_INFO, "dtlsconnect: sleeping %ds", 60);
 423             sleep(60);
 424         } else
 425             server->lastconnecttry.tv_sec = now.tv_sec;  /* no sleep at startup */
 426         debug(DBG_WARN, "dtlsconnect: trying to open DTLS connection to %s port %s", server->conf->host, server->conf->port);
 427
 428         SSL_free(server->ssl);
 429         server->ssl = dtlsacccon(0, server->conf->ssl_ctx, server->sock, server->conf->addrinfo->ai_addr, server->rbios);
 430         if (!server->ssl)
 431             continue;
 432         debug(DBG_DBG, "dtlsconnect: DTLS: ok");
 433
 434         cert = verifytlscert(server->ssl);
 435         if (!cert)
 436             continue;
 437
 438         if (verifyconfcert(cert, server->conf))
 439             break;
 440         X509_free(cert);
 441     }
 442     X509_free(cert);
 443     debug(DBG_WARN, "dtlsconnect: DTLS connection to %s port %s up", server->conf->host, server->conf->port);
 444     gettimeofday(&server->lastconnecttry, NULL);
 445     pthread_mutex_unlock(&server->lock);
 446     return 1;
 447 }
 448
 449 int clientradputdtls(struct server *server, unsigned char *rad) {
 450     int cnt;
 451     size_t len;
 452     unsigned long error;
 453     struct clsrvconf *conf = server->conf;
 454
 455     len = RADLEN(rad);
 456     while ((cnt = SSL_write(server->ssl, rad, len)) <= 0) {
 457         while ((error = ERR_get_error()))
 458             debug(DBG_ERR, "clientradputdtls: DTLS: %s", ERR_error_string(error, NULL));
 459     }
 460     debug(DBG_DBG, "clientradputdtls: Sent %d bytes, Radius packet of length %d to DTLS peer %s", cnt, len, conf->host);
 461     return 1;
 462 }
 463
 464 /* reads UDP containing DTLS and passes it on to dtlsclientrd */
 465 void *udpdtlsclientrd(void *arg) {
 466     int cnt, s = *(int *)arg;
 467     unsigned char buf[4];
 468     struct sockaddr_storage from;
 469     socklen_t fromlen = sizeof(from);
 470     struct clsrvconf *conf;
 471     fd_set readfds;
 472
 473     for (;;) {
 474         FD_ZERO(&readfds);
 475         FD_SET(s, &readfds);
 476         if (select(s + 1, &readfds, NULL, NULL, NULL) < 1)
 477             continue;
 478         cnt = recvfrom(s, buf, 4, MSG_PEEK | MSG_TRUNC, (struct sockaddr *)&from, &fromlen);
 479         if (cnt == -1) {
 480             debug(DBG_WARN, "udpdtlsclientrd: recv failed");
 481             continue;
 482         }
 483
 484         conf = find_srvconf(RAD_DTLS, (struct sockaddr *)&from, NULL);
 485         if (!conf) {
 486             debug(DBG_WARN, "udpdtlsclientrd: got packet from wrong or unknown DTLS peer %s, ignoring", addr2string((struct sockaddr *)&from, fromlen));
 487             recv(s, buf, 4, 0);
 488             continue;
 489         }
 490         if (udp2bio(s, conf->servers->rbios, cnt))
 491             debug(DBG_DBG, "radudpget: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from, fromlen));
 492     }
 493 }
 494
 495 void *dtlsclientrd(void *arg) {
 496     struct server *server = (struct server *)arg;
 497     unsigned char *buf;
 498     struct timeval lastconnecttry;
 499
 500     for (;;) {
 501         /* yes, lastconnecttry is really necessary */
 502         lastconnecttry = server->lastconnecttry;
 503         buf = raddtlsget(server->ssl, server->rbios);
 504         if (!buf) {
 505             dtlsconnect(server, &lastconnecttry, 0, "dtlsclientrd");
 506             continue;
 507         }
 508
 509         if (!replyh(server, buf))
 510             free(buf);
 511     }
 512 }
 513
 514 void addserverextradtls(struct clsrvconf *conf) {
 515     switch (conf->addrinfo->ai_family) {
 516     case AF_INET:
 517         if (client4_sock < 0) {
 518             client4_sock = bindtoaddr(getsrcprotores(RAD_DTLS), AF_INET, 0, 1);
 519             if (client4_sock < 0)
 520                 debugx(1, DBG_ERR, "addserver: failed to create client socket for server %s", conf->host);
 521         }
 522         conf->servers->sock = client4_sock;
 523         break;
 524     case AF_INET6:
 525         if (client6_sock < 0) {
 526             client6_sock = bindtoaddr(getsrcprotores(RAD_DTLS), AF_INET6, 0, 1);
 527             if (client6_sock < 0)
 528                 debugx(1, DBG_ERR, "addserver: failed to create client socket for server %s", conf->host);
 529         }
 530         conf->servers->sock = client6_sock;
 531         break;
 532     default:
 533         debugx(1, DBG_ERR, "addserver: unsupported address family");
 534     }
 535 }
 536
 537 void initextradtls() {
 538     pthread_t cl4th, cl6th;
 539
 540     if (client4_sock >= 0)
 541         if (pthread_create(&cl4th, NULL, udpdtlsclientrd, (void *)&client4_sock))
 542             debugx(1, DBG_ERR, "pthread_create failed");
 543     if (client6_sock >= 0)
 544         if (pthread_create(&cl6th, NULL, udpdtlsclientrd, (void *)&client6_sock))
 545             debugx(1, DBG_ERR, "pthread_create failed");
 546 }