made it so it works with mix of dynamic and static servers for a realm
[radsecproxy.git] / radsecproxy.c
index 9ef349d..8dc8022 100644 (file)
@@ -6,6 +6,11 @@
  * copyright notice and this permission notice appear in all copies.
  */
 
+/* Code contributions from:
+ *
+ * Arne Schwabe <schwabe at uni-paderborn.de>
+ */
+
 /* For UDP there is one server instance consisting of udpserverrd and udpserverth
  *              rd is responsible for init and launching wr
  * For TLS there is a server instance that launches tlsserverrd for each TLS peer
  * If TLS peers are configured, there will initially be 2 * #peers TLS threads
  * For each TLS peer connecting to us there will be 2 more TLS threads
  *       This is only for connected peers
- * Example: With 3 UDP peer and 30 TLS peers, there will be a max of
+ * Example: With 3 UDP peers and 30 TLS peers, there will be a max of
  *          1 + (2 + 2 * 3) + (2 * 30) + (2 * 30) = 129 threads
 */
 
 /* Bugs:
- * TCP accounting not yet supported
- * We are not removing client requests from dynamic servers, see removeclientrqs()
+ * May segfault when dtls connections go down? More testing needed
+ * Remove expired stuff from clients request list?
+ * Multiple outgoing connections if not enough IDs? (multiple servers per conf?)
+ * Useful for TCP accounting? Now we require separate server config for alt port
  */
 
 #include <signal.h>
 #include <openssl/rand.h>
 #include <openssl/err.h>
 #include <openssl/md5.h>
-#include <openssl/hmac.h>
-#include <openssl/x509v3.h>
 #include "debug.h"
 #include "list.h"
 #include "hash.h"
 #include "util.h"
-#include "gconfig.h"
 #include "radsecproxy.h"
 #include "udp.h"
 #include "tcp.h"
 
 static struct options options;
 static struct list *clconfs, *srvconfs;
-struct list *realms;
-struct hash *tlsconfs, *rewriteconfs;
-
-static struct addrinfo *srcprotores[4] = { NULL, NULL, NULL, NULL };
+static struct list *realms;
+static struct hash *rewriteconfs;
 
 static pthread_mutex_t *ssl_locks = NULL;
 static long *ssl_lock_count;
 extern int optind;
 extern char *optarg;
+static const struct protodefs *protodefs[RAD_PROTOCOUNT];
 
 /* minimum required declarations to avoid reordering code */
-void adddynamicrealmserver(struct realm *realm, struct clsrvconf *conf, char *id);
+struct realm *adddynamicrealmserver(struct realm *realm, char *id);
 int dynamicconfig(struct server *server);
 int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val);
 void freerealm(struct realm *realm);
 void freeclsrvconf(struct clsrvconf *conf);
-void freerqdata(struct request *rq);
-
-static const struct protodefs protodefs[] = {
-    {   "udp", /* UDP, assuming RAD_UDP defined as 0 */
-       NULL, /* secretdefault */
-       SOCK_DGRAM, /* socktype */
-       "1812", /* portdefault */
-       REQUEST_RETRY_COUNT, /* retrycountdefault */
-       10, /* retrycountmax */
-       REQUEST_RETRY_INTERVAL, /* retryintervaldefault */
-       60, /* retryintervalmax */
-       udpserverrd, /* listener */
-       &options.sourceudp, /* srcaddrport */
-       NULL, /* connecter */
-       NULL, /* clientconnreader */
-       clientradputudp, /* clientradput */
-       addclientudp, /* addclient */
-       addserverextraudp, /* addserverextra */
-       initextraudp /* initextra */
-    },
-    {   "tls", /* TLS, assuming RAD_TLS defined as 1 */
-       "mysecret", /* secretdefault */
-       SOCK_STREAM, /* socktype */
-       "2083", /* portdefault */
-       0, /* retrycountdefault */
-       0, /* retrycountmax */
-       REQUEST_RETRY_INTERVAL * REQUEST_RETRY_COUNT, /* retryintervaldefault */
-       60, /* retryintervalmax */
-       tlslistener, /* listener */
-       &options.sourcetls, /* srcaddrport */
-       tlsconnect, /* connecter */
-       tlsclientrd, /* clientconnreader */
-       clientradputtls, /* clientradput */
-       NULL, /* addclient */
-       NULL, /* addserverextra */
-       NULL /* initextra */
-    },
-    {   "tcp", /* TCP, assuming RAD_TCP defined as 2 */
-       NULL, /* secretdefault */
-       SOCK_STREAM, /* socktype */
-       "1812", /* portdefault */
-       0, /* retrycountdefault */
-       0, /* retrycountmax */
-       REQUEST_RETRY_INTERVAL * REQUEST_RETRY_COUNT, /* retryintervaldefault */
-       60, /* retryintervalmax */
-       tcplistener, /* listener */
-       &options.sourcetcp, /* srcaddrport */
-       tcpconnect, /* connecter */
-       tcpclientrd, /* clientconnreader */
-       clientradputtcp, /* clientradput */
-       NULL, /* addclient */
-       NULL, /* addserverextra */
-       NULL /* initextra */
-    },
-    {   "dtls", /* DTLS, assuming RAD_DTLS defined as 3 */
-       "mysecret", /* secretdefault */
-       SOCK_DGRAM, /* socktype */
-       "2083", /* portdefault */
-       REQUEST_RETRY_COUNT, /* retrycountdefault */
-       10, /* retrycountmax */
-       REQUEST_RETRY_INTERVAL, /* retryintervaldefault */
-       60, /* retryintervalmax */
-       udpdtlsserverrd, /* listener */
-       &options.sourcedtls, /* srcaddrport */
-       dtlsconnect, /* connecter */
-       dtlsclientrd, /* clientconnreader */
-       clientradputdtls, /* clientradput */
-       NULL, /* addclient */
-       addserverextradtls, /* addserverextra */
-       initextradtls /* initextra */
-    },
-    {   NULL
-    }
-};
+void freerq(struct request *rq);
+void freerqoutdata(struct rqout *rqout);
+void rmclientrq(struct request *rq, uint8_t id);
+
+static const struct protodefs *(*protoinits[])(uint8_t) = { udpinit, tlsinit, tcpinit, dtlsinit };
 
 uint8_t protoname2int(const char *name) {
-    int i;
+    uint8_t i;
 
-    for (i = 0; protodefs[i].name && strcasecmp(protodefs[i].name, name); i++);
-    return i;
+    for (i = 0; i < RAD_PROTOCOUNT; i++)
+       if (protodefs[i] && protodefs[i]->name && !strcasecmp(protodefs[i]->name, name))
+           return i;
+    return 255;
 }
     
 /* callbacks for making OpenSSL thread safe */
@@ -183,60 +119,6 @@ void ssl_locking_callback(int mode, int type, const char *file, int line) {
        pthread_mutex_unlock(&ssl_locks[type]);
 }
 
-static int pem_passwd_cb(char *buf, int size, int rwflag, void *userdata) {
-    int pwdlen = strlen(userdata);
-    if (rwflag != 0 || pwdlen > size) /* not for decryption or too large */
-       return 0;
-    memcpy(buf, userdata, pwdlen);
-    return pwdlen;
-}
-
-static int verify_cb(int ok, X509_STORE_CTX *ctx) {
-  char buf[256];
-  X509 *err_cert;
-  int err, depth;
-
-  err_cert = X509_STORE_CTX_get_current_cert(ctx);
-  err = X509_STORE_CTX_get_error(ctx);
-  depth = X509_STORE_CTX_get_error_depth(ctx);
-
-  if (depth > MAX_CERT_DEPTH) {
-      ok = 0;
-      err = X509_V_ERR_CERT_CHAIN_TOO_LONG;
-      X509_STORE_CTX_set_error(ctx, err);
-  }
-
-  if (!ok) {
-      X509_NAME_oneline(X509_get_subject_name(err_cert), buf, 256);
-      debug(DBG_WARN, "verify error: num=%d:%s:depth=%d:%s", err, X509_verify_cert_error_string(err), depth, buf);
-
-      switch (err) {
-      case X509_V_ERR_UNABLE_TO_GET_ISSUER_CERT:
-         X509_NAME_oneline(X509_get_issuer_name(ctx->current_cert), buf, 256);
-         debug(DBG_WARN, "\tIssuer=%s", buf);
-         break;
-      case X509_V_ERR_CERT_NOT_YET_VALID:
-      case X509_V_ERR_ERROR_IN_CERT_NOT_BEFORE_FIELD:
-         debug(DBG_WARN, "\tCertificate not yet valid");
-         break;
-      case X509_V_ERR_CERT_HAS_EXPIRED:
-         debug(DBG_WARN, "Certificate has expired");
-         break;
-      case X509_V_ERR_ERROR_IN_CERT_NOT_AFTER_FIELD:
-         debug(DBG_WARN, "Certificate no longer valid (after notAfter)");
-         break;
-      }
-  }
-#ifdef DEBUG  
-  printf("certificate verify returns %d\n", ok);
-#endif  
-  return ok;
-}
-
-struct addrinfo *getsrcprotores(uint8_t type) {
-    return srcprotores[type];
-}
-
 int resolvepeer(struct clsrvconf *conf, int ai_flags) {
     struct addrinfo hints, *addrinfo, *res;
     char *slash, *s;
@@ -271,16 +153,8 @@ int resolvepeer(struct clsrvconf *conf, int ai_flags) {
            debug(DBG_WARN, "resolvepeer: can't resolve (null) port (null)");
            return 0;
        }
-       for (res = addrinfo; res; res = res->ai_next) {
-           switch (res->ai_family) {
-           case AF_INET:
-               ((struct sockaddr_in *)res->ai_addr)->sin_port = 0;
-               break;
-           case AF_INET6:
-               ((struct sockaddr_in6 *)res->ai_addr)->sin6_port = 0;
-               break;
-           }
-       }
+       for (res = addrinfo; res; res = res->ai_next)
+           port_set(res->ai_addr, 0);
     } else {
        if (slash)
            hints.ai_flags |= AI_NUMERICHOST;
@@ -305,7 +179,7 @@ int resolvepeer(struct clsrvconf *conf, int ai_flags) {
                freeaddrinfo(addrinfo);
                return 0;
            }
-           conf->prefixlen = plen;
+           conf->prefixlen = (uint8_t)plen;
        } else
            conf->prefixlen = 255;
     }
@@ -361,7 +235,7 @@ struct clsrvconf *resolve_hostport(uint8_t type, char *lconf, char *default_port
        debugx(1, DBG_ERR, "malloc failed");
     memset(conf, 0, sizeof(struct clsrvconf));
     conf->type = type;
-    conf->pdef = &protodefs[conf->type];
+    conf->pdef = protodefs[conf->type];
     if (lconf) {
        parsehostport(lconf, conf, default_port);
        if (!strcmp(conf->host, "*")) {
@@ -383,56 +257,21 @@ void freeclsrvres(struct clsrvconf *res) {
     free(res);
 }
 
-int bindtoaddr(struct addrinfo *addrinfo, int family, int reuse, int v6only) {
-    int s, on = 1;
-    struct addrinfo *res;
+struct addrinfo *resolve_hostport_addrinfo(uint8_t type, char *hostport) {
+    struct addrinfo *ai;
+    struct clsrvconf *res;
 
-    for (res = addrinfo; res; res = res->ai_next) {
-       if (family != AF_UNSPEC && family != res->ai_family)
-           continue;
-       s = socket(res->ai_family, res->ai_socktype, res->ai_protocol);
-       if (s < 0) {
-           debug(DBG_WARN, "bindtoaddr: socket failed");
-           continue;
-       }
-       if (reuse)
-           setsockopt(s, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on));
-#ifdef IPV6_V6ONLY
-       if (v6only)
-           setsockopt(s, IPPROTO_IPV6, IPV6_V6ONLY, &on, sizeof(on));
-#endif
-       if (!bind(s, res->ai_addr, res->ai_addrlen))
-           return s;
-       debug(DBG_WARN, "bindtoaddr: bind failed");
-       close(s);
-    }
-    return -1;
+    res = resolve_hostport(type, hostport, NULL);
+    ai = res->addrinfo;
+    res->addrinfo = NULL;
+    freeclsrvres(res);
+    return ai;
 }
-       
-int connecttcp(struct addrinfo *addrinfo, struct addrinfo *src) {
-    int s;
-    struct addrinfo *res;
-
-    s = -1;
-    for (res = addrinfo; res; res = res->ai_next) {
-       s = bindtoaddr(src, res->ai_family, 1, 1);
-        if (s < 0) {
-            debug(DBG_WARN, "connecttoserver: socket failed");
-            continue;
-        }
-        if (connect(s, res->ai_addr, res->ai_addrlen) == 0)
-            break;
-        debug(DBG_WARN, "connecttoserver: connect failed");
-        close(s);
-        s = -1;
-    }
-    return s;
-}        
-
+    
 /* returns 1 if the len first bits are equal, else 0 */
 int prefixmatch(void *a1, void *a2, uint8_t len) {
     static uint8_t mask[] = { 0, 0x80, 0xc0, 0xe0, 0xf0, 0xf8, 0xfc, 0xfe };
-    int r, l = len / 8;
+    uint8_t r, l = len / 8;
     if (l && memcmp(a1, a2, l))
        return 0;
     r = len % 8;
@@ -512,10 +351,10 @@ struct clsrvconf *find_clconf_type(uint8_t type, struct list_node **cur) {
     return NULL;
 }
 
-struct queue *newqueue() {
-    struct queue *q;
+struct gqueue *newqueue() {
+    struct gqueue *q;
     
-    q = malloc(sizeof(struct queue));
+    q = malloc(sizeof(struct gqueue));
     if (!q)
        debugx(1, DBG_ERR, "malloc failed");
     q->entries = list_create();
@@ -526,14 +365,14 @@ struct queue *newqueue() {
     return q;
 }
 
-void removequeue(struct queue *q) {
+void removequeue(struct gqueue *q) {
     struct list_node *entry;
 
     if (!q)
        return;
     pthread_mutex_lock(&q->mutex);
     for (entry = list_first(q->entries); entry; entry = list_next(entry))
-       free(((struct reply *)entry)->buf);
+       freerq((struct request *)entry);
     list_destroy(q->entries);
     pthread_cond_destroy(&q->cond);
     pthread_mutex_unlock(&q->mutex);
@@ -541,7 +380,7 @@ void removequeue(struct queue *q) {
     free(q);
 }
 
-void freebios(struct queue *q) {
+void freebios(struct gqueue *q) {
     BIO *bio;
     
     pthread_mutex_lock(&q->mutex);
@@ -551,16 +390,21 @@ void freebios(struct queue *q) {
     removequeue(q);
 }
 
-struct client *addclient(struct clsrvconf *conf) {
+struct client *addclient(struct clsrvconf *conf, uint8_t lock) {
     struct client *new = malloc(sizeof(struct client));
     
     if (!new) {
        debug(DBG_ERR, "malloc failed");
        return NULL;
     }
+
+    if (lock)
+       pthread_mutex_lock(conf->lock);
     if (!conf->clients) {
        conf->clients = list_create();
        if (!conf->clients) {
+           if (lock)
+               pthread_mutex_unlock(conf->lock);
            debug(DBG_ERR, "malloc failed");
            return NULL;
        }
@@ -573,47 +417,83 @@ struct client *addclient(struct clsrvconf *conf) {
     else
        new->replyq = newqueue();
     list_push(conf->clients, new);
+    if (lock)
+       pthread_mutex_unlock(conf->lock);
     return new;
 }
 
-void removeclient(struct client *client) {
-    if (!client || !client->conf->clients)
-       return;
-    removequeue(client->replyq);
-    list_removedata(client->conf->clients, client);
-    free(client);
-}
+void removeclientrqs_sendrq_freeserver_lock(uint8_t wantlock) {
+    static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
 
+    if (wantlock)
+       pthread_mutex_lock(&lock);
+    else
+       pthread_mutex_unlock(&lock);
+}
+    
 void removeclientrqs(struct client *client) {
-    struct list_node *entry;
-    struct server *server;
     struct request *rq;
+    struct rqout *rqout;
     int i;
-    
-    for (entry = list_first(srvconfs); entry; entry = list_next(entry)) {
-       server = ((struct clsrvconf *)entry->data)->servers;
-       if (!server)
+
+    removeclientrqs_sendrq_freeserver_lock(1);
+    for (i = 0; i < MAX_REQUESTS; i++) {
+       rq = client->rqs[i];
+       if (!rq)
            continue;
-       pthread_mutex_lock(&server->newrq_mutex);
-       for (i = 0; i < MAX_REQUESTS; i++) {
-           rq = server->requests + i;
-           if (rq->from == client)
-               rq->from = NULL;
+       if (rq->to) {
+           rqout = rq->to->requests + rq->newid;
+           pthread_mutex_lock(rqout->lock);
+           if (rqout->rq == rq) /* still pointing to our request */
+               freerqoutdata(rqout);
+           pthread_mutex_unlock(rqout->lock);
        }
-       pthread_mutex_unlock(&server->newrq_mutex);
+       freerq(rq);
+    }
+    removeclientrqs_sendrq_freeserver_lock(0);
+}
+
+void removelockedclient(struct client *client) {
+    struct clsrvconf *conf;
+    
+    conf = client->conf;
+    if (conf->clients) {
+       removeclientrqs(client);
+       removequeue(client->replyq);
+       list_removedata(conf->clients, client);
+       free(client->addr);
+       free(client);
     }
 }
 
+void removeclient(struct client *client) {
+    struct clsrvconf *conf;
+    
+    if (!client)
+       return;
+
+    conf = client->conf;
+    pthread_mutex_lock(conf->lock);
+    removelockedclient(client);
+    pthread_mutex_unlock(conf->lock);
+}
+
 void freeserver(struct server *server, uint8_t destroymutex) {
-    struct request *rq, *end;
+    struct rqout *rqout, *end;
 
     if (!server)
        return;
 
+    removeclientrqs_sendrq_freeserver_lock(1);
     if (server->requests) {
-       rq = server->requests;
-       for (end = rq + MAX_REQUESTS; rq < end; rq++)
-           freerqdata(rq);
+       rqout = server->requests;
+       for (end = rqout + MAX_REQUESTS; rqout < end; rqout++) {
+           if (rqout->rq)
+               rqout->rq->to = NULL;
+           freerqoutdata(rqout);
+           pthread_mutex_destroy(rqout->lock);
+           free(rqout->lock);
+       }
        free(server->requests);
     }
     if (server->rbios)
@@ -626,12 +506,12 @@ void freeserver(struct server *server, uint8_t destroymutex) {
        pthread_cond_destroy(&server->newrq_cond);
        pthread_mutex_destroy(&server->newrq_mutex);
     }
+    removeclientrqs_sendrq_freeserver_lock(0);
     free(server);
 }
 
 int addserver(struct clsrvconf *conf) {
-    struct clsrvconf *res;
-    uint8_t type;
+    int i;
     
     if (conf->servers) {
        debug(DBG_ERR, "addserver: currently works with just one server per conf");
@@ -645,26 +525,34 @@ int addserver(struct clsrvconf *conf) {
     memset(conf->servers, 0, sizeof(struct server));
     conf->servers->conf = conf;
 
-    type = conf->type;
-    if (type == RAD_DTLS)
+#ifdef RADPROT_DTLS    
+    if (conf->type == RAD_DTLS)
        conf->servers->rbios = newqueue();
-    
-    if (!srcprotores[type]) {
-       res = resolve_hostport(type, *conf->pdef->srcaddrport, NULL);
-       srcprotores[type] = res->addrinfo;
-       res->addrinfo = NULL;
-       freeclsrvres(res);
-    }
+#endif
+    conf->pdef->setsrcres();
 
     conf->servers->sock = -1;
     if (conf->pdef->addserverextra)
        conf->pdef->addserverextra(conf);
     
-    conf->servers->requests = calloc(MAX_REQUESTS, sizeof(struct request));
+    conf->servers->requests = calloc(MAX_REQUESTS, sizeof(struct rqout));
     if (!conf->servers->requests) {
        debug(DBG_ERR, "malloc failed");
        goto errexit;
     }
+    for (i = 0; i < MAX_REQUESTS; i++) {
+       conf->servers->requests[i].lock = malloc(sizeof(pthread_mutex_t));
+       if (!conf->servers->requests[i].lock) {
+           debug(DBG_ERR, "malloc failed");
+           goto errexit;
+       }
+       if (pthread_mutex_init(conf->servers->requests[i].lock, NULL)) {
+           debug(DBG_ERR, "mutex init failed");
+           free(conf->servers->requests[i].lock);
+           conf->servers->requests[i].lock = NULL;
+           goto errexit;
+       }
+    }
     if (pthread_mutex_init(&conf->servers->lock, NULL)) {
        debug(DBG_ERR, "mutex init failed");
        goto errexit;
@@ -690,216 +578,6 @@ int addserver(struct clsrvconf *conf) {
     return 0;
 }
 
-int subjectaltnameaddr(X509 *cert, int family, struct in6_addr *addr) {
-    int loc, i, l, n, r = 0;
-    char *v;
-    X509_EXTENSION *ex;
-    STACK_OF(GENERAL_NAME) *alt;
-    GENERAL_NAME *gn;
-    
-    debug(DBG_DBG, "subjectaltnameaddr");
-    
-    loc = X509_get_ext_by_NID(cert, NID_subject_alt_name, -1);
-    if (loc < 0)
-       return r;
-    
-    ex = X509_get_ext(cert, loc);
-    alt = X509V3_EXT_d2i(ex);
-    if (!alt)
-       return r;
-    
-    n = sk_GENERAL_NAME_num(alt);
-    for (i = 0; i < n; i++) {
-       gn = sk_GENERAL_NAME_value(alt, i);
-       if (gn->type != GEN_IPADD)
-           continue;
-       r = -1;
-       v = (char *)ASN1_STRING_data(gn->d.ia5);
-       l = ASN1_STRING_length(gn->d.ia5);
-       if (((family == AF_INET && l == sizeof(struct in_addr)) || (family == AF_INET6 && l == sizeof(struct in6_addr)))
-           && !memcmp(v, &addr, l)) {
-           r = 1;
-           break;
-       }
-    }
-    GENERAL_NAMES_free(alt);
-    return r;
-}
-
-int cnregexp(X509 *cert, char *exact, regex_t *regex) {
-    int loc, l;
-    char *v, *s;
-    X509_NAME *nm;
-    X509_NAME_ENTRY *e;
-    ASN1_STRING *t;
-
-    nm = X509_get_subject_name(cert);
-    loc = -1;
-    for (;;) {
-       loc = X509_NAME_get_index_by_NID(nm, NID_commonName, loc);
-       if (loc == -1)
-           break;
-       e = X509_NAME_get_entry(nm, loc);
-       t = X509_NAME_ENTRY_get_data(e);
-       v = (char *) ASN1_STRING_data(t);
-       l = ASN1_STRING_length(t);
-       if (l < 0)
-           continue;
-       if (exact) {
-           if (l == strlen(exact) && !strncasecmp(exact, v, l))
-               return 1;
-       } else {
-           s = stringcopy((char *)v, l);
-           if (!s) {
-               debug(DBG_ERR, "malloc failed");
-               continue;
-           }
-           if (regexec(regex, s, 0, NULL, 0)) {
-               free(s);
-               continue;
-           }
-           free(s);
-           return 1;
-       }
-    }
-    return 0;
-}
-
-int subjectaltnameregexp(X509 *cert, int type, char *exact,  regex_t *regex) {
-    int loc, i, l, n, r = 0;
-    char *s, *v;
-    X509_EXTENSION *ex;
-    STACK_OF(GENERAL_NAME) *alt;
-    GENERAL_NAME *gn;
-    
-    debug(DBG_DBG, "subjectaltnameregexp");
-    
-    loc = X509_get_ext_by_NID(cert, NID_subject_alt_name, -1);
-    if (loc < 0)
-       return r;
-    
-    ex = X509_get_ext(cert, loc);
-    alt = X509V3_EXT_d2i(ex);
-    if (!alt)
-       return r;
-    
-    n = sk_GENERAL_NAME_num(alt);
-    for (i = 0; i < n; i++) {
-       gn = sk_GENERAL_NAME_value(alt, i);
-       if (gn->type != type)
-           continue;
-       r = -1;
-       v = (char *)ASN1_STRING_data(gn->d.ia5);
-       l = ASN1_STRING_length(gn->d.ia5);
-       if (l <= 0)
-           continue;
-#ifdef DEBUG
-       printfchars(NULL, gn->type == GEN_DNS ? "dns" : "uri", NULL, v, l);
-#endif 
-       if (exact) {
-           if (memcmp(v, exact, l))
-               continue;
-       } else {
-           s = stringcopy((char *)v, l);
-           if (!s) {
-               debug(DBG_ERR, "malloc failed");
-               continue;
-           }
-           if (regexec(regex, s, 0, NULL, 0)) {
-               free(s);
-               continue;
-           }
-           free(s);
-       }
-       r = 1;
-       break;
-    }
-    GENERAL_NAMES_free(alt);
-    return r;
-}
-
-X509 *verifytlscert(SSL *ssl) {
-    X509 *cert;
-    unsigned long error;
-    
-    if (SSL_get_verify_result(ssl) != X509_V_OK) {
-       debug(DBG_ERR, "verifytlscert: basic validation failed");
-       while ((error = ERR_get_error()))
-           debug(DBG_ERR, "verifytlscert: TLS: %s", ERR_error_string(error, NULL));
-       return NULL;
-    }
-
-    cert = SSL_get_peer_certificate(ssl);
-    if (!cert)
-       debug(DBG_ERR, "verifytlscert: failed to obtain certificate");
-    return cert;
-}
-    
-int verifyconfcert(X509 *cert, struct clsrvconf *conf) {
-    int r;
-    uint8_t type = 0; /* 0 for DNS, AF_INET for IPv4, AF_INET6 for IPv6 */
-    struct in6_addr addr;
-    
-    if (conf->certnamecheck && conf->prefixlen == 255) {
-       if (inet_pton(AF_INET, conf->host, &addr))
-           type = AF_INET;
-       else if (inet_pton(AF_INET6, conf->host, &addr))
-           type = AF_INET6;
-
-       r = type ? subjectaltnameaddr(cert, type, &addr) : subjectaltnameregexp(cert, GEN_DNS, conf->host, NULL);
-       if (r) {
-           if (r < 0) {
-               debug(DBG_WARN, "verifyconfcert: No subjectaltname matching %s %s", type ? "address" : "host", conf->host);
-               return 0;
-           }
-           debug(DBG_DBG, "verifyconfcert: Found subjectaltname matching %s %s", type ? "address" : "host", conf->host);
-       } else {
-           if (!cnregexp(cert, conf->host, NULL)) {
-               debug(DBG_WARN, "verifyconfcert: cn not matching host %s", conf->host);
-               return 0;
-           }           
-           debug(DBG_DBG, "verifyconfcert: Found cn matching host %s", conf->host);
-       }
-    }
-    if (conf->certcnregex) {
-       if (cnregexp(cert, NULL, conf->certcnregex) < 1) {
-           debug(DBG_WARN, "verifyconfcert: CN not matching regex");
-           return 0;
-       }
-       debug(DBG_DBG, "verifyconfcert: CN matching regex");
-    }
-    if (conf->certuriregex) {
-       if (subjectaltnameregexp(cert, GEN_URI, NULL, conf->certuriregex) < 1) {
-           debug(DBG_WARN, "verifyconfcert: subjectaltname URI not matching regex");
-           return 0;
-       }
-       debug(DBG_DBG, "verifyconfcert: subjectaltname URI matching regex");
-    }
-    return 1;
-}
-
-int radsign(unsigned char *rad, unsigned char *sec) {
-    static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
-    static unsigned char first = 1;
-    static EVP_MD_CTX mdctx;
-    unsigned int md_len;
-    int result;
-    
-    pthread_mutex_lock(&lock);
-    if (first) {
-       EVP_MD_CTX_init(&mdctx);
-       first = 0;
-    }
-
-    result = (EVP_DigestInit_ex(&mdctx, EVP_md5(), NULL) &&
-       EVP_DigestUpdate(&mdctx, rad, RADLEN(rad)) &&
-       EVP_DigestUpdate(&mdctx, sec, strlen((char *)sec)) &&
-       EVP_DigestFinal_ex(&mdctx, rad + 4, &md_len) &&
-       md_len == 16);
-    pthread_mutex_unlock(&lock);
-    return result;
-}
-
 unsigned char *attrget(unsigned char *attrs, int length, uint8_t type) {
     while (length > 1) {
        if (ATTRTYPE(attrs) == type)
@@ -910,52 +588,104 @@ unsigned char *attrget(unsigned char *attrs, int length, uint8_t type) {
     return NULL;
 }
 
-void freerqdata(struct request *rq) {
+struct request *newrqref(struct request *rq) {
+    if (rq)
+       rq->refcount++;
+    return rq;
+}
+
+void freerq(struct request *rq) {
+    if (!rq)
+       return;
+    debug(DBG_DBG, "freerq: called with refcount %d", rq->refcount);
+    if (--rq->refcount)
+       return;
     if (rq->origusername)
        free(rq->origusername);
-    if (rq->msg)
-       radmsg_free(rq->msg);
     if (rq->buf)
        free(rq->buf);
+    if (rq->replybuf)
+       free(rq->replybuf);
+    if (rq->msg)
+       radmsg_free(rq->msg);
+    free(rq);
 }
 
-void sendrq(struct server *to, struct request *rq) {
-    int i;
+void freerqoutdata(struct rqout *rqout) {
+    if (!rqout)
+       return;
+    if (rqout->rq) {
+       if (rqout->rq->buf) {
+           free(rqout->rq->buf);
+           rqout->rq->buf = NULL;
+       }
+       freerq(rqout->rq);
+       rqout->rq = NULL;
+    }
+    rqout->tries = 0;
+    memset(&rqout->expiry, 0, sizeof(struct timeval));
+}
+
+void sendrq(struct request *rq) {
+    int i, start;
+    struct server *to;
 
+    removeclientrqs_sendrq_freeserver_lock(1);
+    to = rq->to;
+    if (!to)
+       goto errexit;
+    
+    start = to->conf->statusserver ? 1 : 0;
     pthread_mutex_lock(&to->newrq_mutex);
-    /* might simplify if only try nextid, might be ok */
-    for (i = to->nextid; i < MAX_REQUESTS; i++)
-       if (!to->requests[i].buf)
-           break;
-    if (i == MAX_REQUESTS) {
-       for (i = 0; i < to->nextid; i++)
-           if (!to->requests[i].buf)
-               break;
-       if (i == to->nextid) {
-           debug(DBG_WARN, "sendrq: no room in queue, dropping request");
-           freerqdata(rq);
-           goto exit;
+    if (start && rq->msg->code == RAD_Status_Server) {
+       pthread_mutex_lock(to->requests[0].lock);
+       if (to->requests[0].rq) {
+           pthread_mutex_unlock(to->requests[0].lock);
+           debug(DBG_WARN, "sendrq: status server already in queue, dropping request");
+           goto errexit;
+       }
+       i = 0;
+    } else {
+       if (!to->nextid)
+           to->nextid = start;
+       /* might simplify if only try nextid, might be ok */
+       for (i = to->nextid; i < MAX_REQUESTS; i++) {
+           if (!to->requests[i].rq) {
+               pthread_mutex_lock(to->requests[i].lock);
+               if (!to->requests[i].rq)
+                   break;
+               pthread_mutex_unlock(to->requests[i].lock);
+           }
+       }
+       if (i == MAX_REQUESTS) {
+           for (i = start; i < to->nextid; i++) {
+               if (!to->requests[i].rq) {
+                   pthread_mutex_lock(to->requests[i].lock);
+                   if (!to->requests[i].rq)
+                       break;
+                   pthread_mutex_unlock(to->requests[i].lock);
+               }
+           }
+           if (i == to->nextid) {
+               debug(DBG_WARN, "sendrq: no room in queue, dropping request");
+               goto errexit;
+           }
        }
     }
-
+    rq->newid = (uint8_t)i;
     rq->msg->id = (uint8_t)i;
     rq->buf = radmsg2buf(rq->msg, (uint8_t *)to->conf->secret);
     if (!rq->buf) {
-       freerqdata(rq);
-       goto exit;
+       pthread_mutex_unlock(to->requests[i].lock);
+       debug(DBG_ERR, "sendrq: radmsg2buf failed");
+       goto errexit;
     }
     
-    if (*rq->buf == RAD_Accounting_Request) {
-       if (!radsign(rq->buf, (unsigned char *)to->conf->secret)) {
-           debug(DBG_WARN, "sendrq: failed to sign Accounting-Request message");
-           freerqdata(rq);
-           goto exit;
-       }
-    }
-
     debug(DBG_DBG, "sendrq: inserting packet with id %d in queue for %s", i, to->conf->host);
-    to->requests[i] = *rq;
-    to->nextid = i + 1;
+    to->requests[i].rq = rq;
+    pthread_mutex_unlock(to->requests[i].lock);
+    if (i >= start) /* i is not reserved for statusserver */
+       to->nextid = i + 1;
 
     if (!to->newrq) {
        to->newrq = 1;
@@ -963,40 +693,38 @@ void sendrq(struct server *to, struct request *rq) {
        pthread_cond_signal(&to->newrq_cond);
     }
 
- exit:
     pthread_mutex_unlock(&to->newrq_mutex);
+    removeclientrqs_sendrq_freeserver_lock(0);
+    return;
+
+ errexit:
+    if (rq->from)
+       rmclientrq(rq, rq->msg->id);
+    freerq(rq);
+    pthread_mutex_unlock(&to->newrq_mutex);
+    removeclientrqs_sendrq_freeserver_lock(0);
 }
 
-void sendreply(struct client *to, unsigned char *buf, struct sockaddr_storage *tosa, int toudpsock) {
-    struct reply *reply;
+void sendreply(struct request *rq) {
     uint8_t first;
-    
-    if (!radsign(buf, (unsigned char *)to->conf->secret)) {
-       free(buf);
-       debug(DBG_WARN, "sendreply: failed to sign message");
+    struct client *to = rq->from;
+    
+    if (!rq->replybuf)
+       rq->replybuf = radmsg2buf(rq->msg, (uint8_t *)to->conf->secret);
+    radmsg_free(rq->msg);
+    rq->msg = NULL;
+    if (!rq->replybuf) {
+       freerq(rq);
+       debug(DBG_ERR, "sendreply: radmsg2buf failed");
        return;
     }
 
-    reply = malloc(sizeof(struct reply));
-    if (!reply) {
-       free(buf);
-       debug(DBG_ERR, "sendreply: malloc failed");
-       return;
-    }
-    memset(reply, 0, sizeof(struct reply));
-    reply->buf = buf;
-    if (tosa)
-       reply->tosa = *tosa;
-    reply->toudpsock = toudpsock;
-    
     pthread_mutex_lock(&to->replyq->mutex);
-
     first = list_first(to->replyq->entries) == NULL;
     
-    if (!list_push(to->replyq->entries, reply)) {
+    if (!list_push(to->replyq->entries, rq)) {
        pthread_mutex_unlock(&to->replyq->mutex);
-       free(reply);
-       free(buf);
+       freerq(rq);
        debug(DBG_ERR, "sendreply: malloc failed");
        return;
     }
@@ -1212,52 +940,81 @@ int msmppdecrypt(uint8_t *text, uint8_t len, uint8_t *shared, uint8_t sharedlen,
     return 1;
 }
 
+struct realm *newrealmref(struct realm *r) {
+    if (r)
+       r->refcount++;
+    return r;
+}
+
+/* returns with lock on realm */
 struct realm *id2realm(struct list *realmlist, char *id) {
     struct list_node *entry;
-    struct realm *realm, *subrealm = NULL;
+    struct realm *realm, *subrealm;
 
     /* need to do locking for subrealms and check subrealm timers */
     for (entry = list_first(realmlist); entry; entry = list_next(entry)) {
        realm = (struct realm *)entry->data;
        if (!regexec(&realm->regex, id, 0, NULL, 0)) {
-           pthread_mutex_lock(&realm->subrealms_mutex);
-           if (realm->subrealms)
+           pthread_mutex_lock(&realm->mutex);
+           if (realm->subrealms) {
                subrealm = id2realm(realm->subrealms, id);
-           pthread_mutex_unlock(&realm->subrealms_mutex);
-           return subrealm ? subrealm : realm;
+               if (subrealm) {
+                   pthread_mutex_unlock(&realm->mutex);
+                   return subrealm;
+               }
+           }
+           return newrealmref(realm);
        }
     }
     return NULL;
 }
 
+int hasdynamicserver(struct list *srvconfs) {
+    struct list_node *entry;
+
+    for (entry = list_first(srvconfs); entry; entry = list_next(entry))
+       if (((struct clsrvconf *)entry->data)->dynamiclookupcommand)
+           return 1;
+    return 0;
+}
+
 /* helper function, only used by removeserversubrealms() */
 void _internal_removeserversubrealms(struct list *realmlist, struct clsrvconf *srv) {
-    struct list_node *entry;
+    struct list_node *entry, *entry2;
     struct realm *realm;
-    
+
     for (entry = list_first(realmlist); entry;) {
-       realm = (struct realm *)entry->data;
+       realm = newrealmref((struct realm *)entry->data);
+       pthread_mutex_lock(&realm->mutex);
        entry = list_next(entry);
+
        if (realm->srvconfs) {
+           for (entry2 = list_first(realm->srvconfs); entry2; entry2 = list_next(entry2))
+               if (entry2->data == srv)
+                   freerealm(realm);
            list_removedata(realm->srvconfs, srv);
-           if (!list_first(realm->srvconfs)) {
-               list_destroy(realm->srvconfs);
-               realm->srvconfs = NULL;
-           }
        }
        if (realm->accsrvconfs) {
+           for (entry2 = list_first(realm->accsrvconfs); entry2; entry2 = list_next(entry2))
+               if (entry2->data == srv)
+                   freerealm(realm);
            list_removedata(realm->accsrvconfs, srv);
-           if (!list_first(realm->accsrvconfs)) {
-               list_destroy(realm->accsrvconfs);
-               realm->accsrvconfs = NULL;
-           }
        }
 
-       /* remove subrealm if no servers */
-       if (!realm->srvconfs && !realm->accsrvconfs) {
+       /* remove subrealm if no dynamic servers left */
+       if (!hasdynamicserver(realm->srvconfs) && !hasdynamicserver(realm->accsrvconfs)) {
+           while (list_shift(realm->srvconfs))
+               freerealm(realm);
+           list_destroy(realm->srvconfs);
+           realm->srvconfs = NULL;
+           while (list_shift(realm->accsrvconfs))
+               freerealm(realm);
+           list_destroy(realm->accsrvconfs);
+           realm->accsrvconfs = NULL;
            list_removedata(realmlist, realm);
-           freerealm(realm);
        }
+       pthread_mutex_unlock(&realm->mutex);
+       freerealm(realm);
     }
 }
 
@@ -1267,7 +1024,7 @@ void removeserversubrealms(struct list *realmlist, struct clsrvconf *srv) {
     
     for (entry = list_first(realmlist); entry; entry = list_next(entry)) {
        realm = (struct realm *)entry->data;
-       pthread_mutex_lock(&realm->subrealms_mutex);
+       pthread_mutex_lock(&realm->mutex);
        if (realm->subrealms) {
            _internal_removeserversubrealms(realm->subrealms, srv);
            if (!list_first(realm->subrealms)) {
@@ -1275,22 +1032,10 @@ void removeserversubrealms(struct list *realmlist, struct clsrvconf *srv) {
                realm->subrealms = NULL;
            }
        }
-       pthread_mutex_unlock(&realm->subrealms_mutex);
+       pthread_mutex_unlock(&realm->mutex);
     }
 }
                        
-int rqinqueue(struct server *to, struct client *from, uint8_t id, uint8_t code) {
-    struct request *rq = to->requests, *end;
-    
-    pthread_mutex_lock(&to->newrq_mutex);
-    for (end = rq + MAX_REQUESTS; rq < end; rq++)
-       if (rq->buf && !rq->received && rq->origid == id && rq->from == from && *rq->buf == code)
-           break;
-    pthread_mutex_unlock(&to->newrq_mutex);
-    
-    return rq < end;
-}
-
 int attrvalidate(unsigned char *attrs, int length) {
     while (length > 1) {
        if (ATTRLEN(attrs) < 2) {
@@ -1329,14 +1074,14 @@ int pwdrecrypt(uint8_t *pwd, uint8_t len, char *oldsecret, char *newsecret, uint
     return 1;
 }
 
-int msmpprecrypt(uint8_t *msmpp, uint8_t len, char *oldsecret, char *newsecret, unsigned char *oldauth, char *newauth) {
+int msmpprecrypt(uint8_t *msmpp, uint8_t len, char *oldsecret, char *newsecret, uint8_t *oldauth, uint8_t *newauth) {
     if (len < 18)
        return 0;
-    if (!msmppdecrypt(msmpp + 2, len - 2, (unsigned char *)oldsecret, strlen(oldsecret), oldauth, msmpp)) {
+    if (!msmppdecrypt(msmpp + 2, len - 2, (uint8_t *)oldsecret, strlen(oldsecret), oldauth, msmpp)) {
        debug(DBG_WARN, "msmpprecrypt: failed to decrypt msppe key");
        return 0;
     }
-    if (!msmppencrypt(msmpp + 2, len - 2, (unsigned char *)newsecret, strlen(newsecret), (unsigned char *)newauth, msmpp)) {
+    if (!msmppencrypt(msmpp + 2, len - 2, (uint8_t *)newsecret, strlen(newsecret), newauth, msmpp)) {
        debug(DBG_WARN, "msmpprecrypt: failed to encrypt msppe key");
        return 0;
     }
@@ -1349,13 +1094,13 @@ int msmppe(unsigned char *attrs, int length, uint8_t type, char *attrtxt, struct
     
     for (attr = attrs; (attr = attrget(attr, length - (attr - attrs), type)); attr += ATTRLEN(attr)) {
        debug(DBG_DBG, "msmppe: Got %s", attrtxt);
-       if (!msmpprecrypt(ATTRVAL(attr), ATTRVALLEN(attr), oldsecret, newsecret, rq->buf + 4, rq->origauth))
+       if (!msmpprecrypt(ATTRVAL(attr), ATTRVALLEN(attr), oldsecret, newsecret, rq->buf + 4, rq->rqauth))
            return 0;
     }
     return 1;
 }
 
-int findvendorsubattr(uint32_t *attrs, uint32_t vendor, uint8_t subattr) {
+int findvendorsubattr(uint32_t *attrs, uint32_t vendor, uint32_t subattr) {
     if (!attrs)
        return 0;
     
@@ -1381,7 +1126,7 @@ int dovendorrewriterm(struct tlv *attr, uint32_t *removevendorattrs) {
     if (!*removevendorattrs)
        return 0;
     
-    if (findvendorsubattr(removevendorattrs, vendor, -1))
+    if (findvendorsubattr(removevendorattrs, vendor, 256))
        return 1; /* remove entire vendor attribute */
 
     sublen = attr->l - 4;
@@ -1547,6 +1292,100 @@ int rewriteusername(struct request *rq, struct tlv *attr) {
     return 1;
 }
 
+int addvendorattr(struct radmsg *msg, uint32_t vendor, struct tlv *attr) {
+    struct tlv *vattr;
+    uint8_t l, *v;
+
+    l = attr->l + 6;
+    v = malloc(l);
+    if (v) {
+       vendor = htonl(vendor);
+       memcpy(v, &vendor, 4);
+       tlv2buf(v + 4, attr);
+       v[5] += 2;
+       vattr = maketlv(RAD_Attr_Vendor_Specific, l, v);
+       if (vattr && radmsg_add(msg, vattr))
+           return 1;
+       freetlv(vattr);
+    }
+    return 0;
+}
+
+void addttlattr(struct radmsg *msg, uint32_t *attrtype, uint8_t addttl) {
+    uint8_t ttl[4];
+    struct tlv *attr;
+
+    memset(ttl, 0, 4);
+    ttl[3] = addttl;
+    
+    if (attrtype[1] == 256) { /* not vendor */
+       attr = maketlv(attrtype[0], 4, ttl);
+       if (attr && !radmsg_add(msg, attr))
+           freetlv(attr);
+    } else {
+       attr = maketlv(attrtype[1], 4, ttl);
+       if (attr) {
+           addvendorattr(msg, attrtype[0], attr);
+           freetlv(attr);
+       }
+    }
+}
+
+int decttl(uint8_t l, uint8_t *v) {
+    int i;
+
+    i = l - 1;
+    if (v[i]) {
+       if (--v[i--])
+           return 1;
+       while (i >= 0 && !v[i])
+           i--;
+       return i >= 0;
+    }
+    for (i--; i >= 0 && !v[i]; i--);
+    if (i < 0)
+       return 0;
+    v[i]--;
+    while (++i < l)
+       v[i] = 255;
+    return 1;
+}
+
+/* returns -1 if no ttl, 0 if exceeded, 1 if ok */
+int checkttl(struct radmsg *msg, uint32_t *attrtype) {
+    uint8_t alen, *subattrs;
+    struct tlv *attr;
+    struct list_node *node;
+    uint32_t vendor;
+    int sublen;
+    
+    if (attrtype[1] == 256) { /* not vendor */
+       attr = radmsg_gettype(msg, attrtype[0]);
+       if (attr)
+           return decttl(attr->l, attr->v);
+    } else
+       for (node = list_first(msg->attrs); node; node = list_next(node)) {
+           attr = (struct tlv *)node->data;
+           if (attr->t != RAD_Attr_Vendor_Specific || attr->l <= 4)
+               continue;
+           memcpy(&vendor, attr->v, 4);
+           if (ntohl(vendor) != attrtype[0])
+               continue;
+           sublen = attr->l - 4;
+           subattrs = attr->v + 4;  
+           if (!attrvalidate(subattrs, sublen))
+               continue;
+           while (sublen > 1) {
+               if (ATTRTYPE(subattrs) == attrtype[1])
+                   return decttl(ATTRVALLEN(subattrs), ATTRVAL(subattrs));
+               alen = ATTRLEN(subattrs);
+               sublen -= alen;
+               subattrs += alen;
+           }
+       }
+    return -1;
+}
+         
 const char *radmsgtype2string(uint8_t code) {
     static const char *rad_msg_names[] = {
        "", "Access-Request", "Access-Accept", "Access-Reject",
@@ -1611,59 +1450,29 @@ void acclog(struct radmsg *msg, char *host) {
     }
 }
 
-void respondaccounting(struct request *rq) {
-    unsigned char *resp;
-
-    resp = malloc(20);
-    if (!resp) {
-       debug(DBG_ERR, "respondaccounting: malloc failed");
-       return;
-    }
-    memcpy(resp, rq->buf, 20);
-    resp[0] = RAD_Accounting_Response;
-    resp[2] = 0;
-    resp[3] = 20;
-    debug(DBG_DBG, "respondaccounting: responding to %s", rq->from->conf->host);
-    sendreply(rq->from, resp, &rq->fromsa, rq->fromudpsock);
-}
-
-void respondstatusserver(struct request *rq) {
-    unsigned char *resp;
-
-    resp = malloc(20);
-    if (!resp) {
-       debug(DBG_ERR, "respondstatusserver: malloc failed");
-       return;
-    }
-    memcpy(resp, rq->buf, 20);
-    resp[0] = RAD_Access_Accept;
-    resp[2] = 0;
-    resp[3] = 20;
-    debug(DBG_DBG, "respondstatusserver: responding to %s", rq->from->conf->host);
-    sendreply(rq->from, resp, &rq->fromsa, rq->fromudpsock);
-}
-
-void respondreject(struct request *rq, char *message) {
-    unsigned char *resp;
-    int len = 20;
+void respond(struct request *rq, uint8_t code, char *message) {
+    struct radmsg *msg;
+    struct tlv *attr;
 
-    if (message && *message)
-       len += 2 + strlen(message);
-    
-    resp = malloc(len);
-    if (!resp) {
-       debug(DBG_ERR, "respondreject: malloc failed");
+    msg = radmsg_init(code, rq->msg->id, rq->msg->auth);
+    if (!msg) {
+       debug(DBG_ERR, "respond: malloc failed");
        return;
     }
-    memcpy(resp, rq->buf, 20);
-    resp[0] = RAD_Access_Reject;
-    *(uint16_t *)(resp + 2) = htons(len);
     if (message && *message) {
-       resp[20] = RAD_Attr_Reply_Message;
-       resp[21] = len - 20;
-       memcpy(resp + 22, message, len - 22);
+       attr = maketlv(RAD_Attr_Reply_Message, strlen(message), message);
+       if (!attr || !radmsg_add(msg, attr)) {
+           freetlv(attr);
+           radmsg_free(msg);
+           debug(DBG_ERR, "respond: malloc failed");
+           return;
+       }
     }
-    sendreply(rq->from, resp, &rq->fromsa, rq->fromudpsock);
+
+    radmsg_free(rq->msg);
+    rq->msg = msg;
+    debug(DBG_DBG, "respond: sending %s to %s", radmsgtype2string(msg->code), rq->from->conf->host);
+    sendreply(newrqref(rq));
 }
 
 struct clsrvconf *choosesrvconf(struct list *srvconfs) {
@@ -1676,7 +1485,7 @@ struct clsrvconf *choosesrvconf(struct list *srvconfs) {
            return server;
        if (!first)
            first = server;
-       if (!server->servers->connectionok)
+       if (!server->servers->connectionok && !server->servers->dynstartup)
            continue;
        if (!server->servers->lostrqs)
            return server;
@@ -1690,27 +1499,85 @@ struct clsrvconf *choosesrvconf(struct list *srvconfs) {
     return best ? best : first;
 }
 
+/* returns with lock on realm, protects from server changes while in use by radsrv/sendrq */
 struct server *findserver(struct realm **realm, struct tlv *username, uint8_t acc) {
     struct clsrvconf *srvconf;
+    struct realm *subrealm;
+    struct server *server = NULL;
     char *id = (char *)tlv2str(username);
     
     if (!id)
        return NULL;
+    /* returns with lock on realm */
     *realm = id2realm(realms, id);
-    if (!*realm) {
-       free(id);
-       return NULL;
-    }
+    if (!*realm)
+       goto exit;
     debug(DBG_DBG, "found matching realm: %s", (*realm)->name);
     srvconf = choosesrvconf(acc ? (*realm)->accsrvconfs : (*realm)->srvconfs);
-    if (!srvconf) {
-       free(id);
-       return NULL;
+    if (srvconf && !(*realm)->parent && !srvconf->servers && srvconf->dynamiclookupcommand) {
+       subrealm = adddynamicrealmserver(*realm, id);
+       if (subrealm) {
+           pthread_mutex_lock(&subrealm->mutex);
+           pthread_mutex_unlock(&(*realm)->mutex);
+           freerealm(*realm);
+           *realm = subrealm;
+           srvconf = choosesrvconf(acc ? (*realm)->accsrvconfs : (*realm)->srvconfs);
+       }
     }
-    if (!acc && !srvconf->servers)
-       adddynamicrealmserver(*realm, srvconf, id);
+    if (srvconf)
+       server = srvconf->servers;
+
+ exit:    
     free(id);
-    return srvconf->servers;
+    return server;
+}
+
+
+struct request *newrequest() {
+    struct request *rq;
+
+    rq = malloc(sizeof(struct request));
+    if (!rq) {
+       debug(DBG_ERR, "newrequest: malloc failed");
+       return NULL;
+    }
+    memset(rq, 0, sizeof(struct request));
+    rq->refcount = 1;
+    gettimeofday(&rq->created, NULL);
+    return rq;
+}
+
+int addclientrq(struct request *rq) {
+    struct request *r;
+    struct timeval now;
+    
+    r = rq->from->rqs[rq->rqid];
+    if (r) {
+       if (rq->udpport == r->udpport && !memcmp(rq->rqauth, r->rqauth, 16)) {
+           gettimeofday(&now, NULL);
+           if (now.tv_sec - r->created.tv_sec < r->from->conf->dupinterval) {
+               if (r->replybuf) {
+                   debug(DBG_INFO, "addclientrq: already sent reply to request with id %d from %s, resending", rq->rqid, addr2string(r->from->addr));
+                   sendreply(newrqref(r));
+               } else
+                   debug(DBG_INFO, "addclientrq: already got request with id %d from %s, ignoring", rq->rqid, addr2string(r->from->addr));
+               return 0;
+           }
+       }
+       freerq(r);
+    }
+    rq->from->rqs[rq->rqid] = newrqref(rq);
+    return 1;
+}
+
+void rmclientrq(struct request *rq, uint8_t id) {
+    struct request *r;
+
+    r = rq->from->rqs[id];
+    if (r) {
+       freerq(r);
+       rq->from->rqs[id] = NULL;
+    }
 }
 
 /* returns 0 if validation/authentication fails, else 1 */
@@ -1718,91 +1585,101 @@ int radsrv(struct request *rq) {
     struct radmsg *msg = NULL;
     struct tlv *attr;
     uint8_t *userascii = NULL;
-    unsigned char newauth[16];
     struct realm *realm = NULL;
     struct server *to = NULL;
+    struct client *from = rq->from;
+    int ttlres;
+    
+    msg = buf2radmsg(rq->buf, (uint8_t *)from->conf->secret, NULL);
+    free(rq->buf);
+    rq->buf = NULL;
 
-    msg = buf2radmsg(rq->buf, (uint8_t *)rq->from->conf->secret, NULL);
     if (!msg) {
        debug(DBG_WARN, "radsrv: message validation failed, ignoring packet");
-       freerqdata(rq);
+       freerq(rq);
        return 0;
     }
-    debug(DBG_DBG, "radsrv: code %d, id %d", msg->code, msg->id);
     
+    rq->msg = msg;
+    rq->rqid = msg->id;
+    memcpy(rq->rqauth, msg->auth, 16);
+
+    debug(DBG_DBG, "radsrv: code %d, id %d", msg->code, msg->id);
     if (msg->code != RAD_Access_Request && msg->code != RAD_Status_Server && msg->code != RAD_Accounting_Request) {
-       debug(DBG_INFO, "radsrv: server currently accepts only access-requests, accounting-requests and status-server, ignoring");
+       debug(DBG_INFO, "radsrv: server currently accepts only access-requests, accounting-requests and status-server, ignoring");      
        goto exit;
     }
+    
+    if (!addclientrq(rq))
+       goto exit;
 
     if (msg->code == RAD_Status_Server) {
-       respondstatusserver(rq);
+       respond(rq, RAD_Access_Accept, NULL);
        goto exit;
     }
 
     /* below: code == RAD_Access_Request || code == RAD_Accounting_Request */
 
-    if (rq->from->conf->rewritein && !dorewrite(msg, rq->from->conf->rewritein))
-       goto exit;
+    if (from->conf->rewritein && !dorewrite(msg, from->conf->rewritein))
+       goto rmclrqexit;
 
+    ttlres = checkttl(msg, options.ttlattrtype);
+    if (!ttlres) {
+       debug(DBG_WARN, "radsrv: ignoring request from client %s (%s), ttl exceeded", from->conf->name, addr2string(from->addr));
+       goto exit;
+    }
+       
     attr = radmsg_gettype(msg, RAD_Attr_User_Name);
     if (!attr) {
        if (msg->code == RAD_Accounting_Request) {
-           acclog(msg, rq->from->conf->host);
-           respondaccounting(rq);
+           acclog(msg, from->conf->host);
+           respond(rq, RAD_Accounting_Response, NULL);
        } else
            debug(DBG_WARN, "radsrv: ignoring access request, no username attribute");
        goto exit;
     }
     
-    if (rq->from->conf->rewriteusername && !rewriteusername(rq, attr)) {
+    if (from->conf->rewriteusername && !rewriteusername(rq, attr)) {
        debug(DBG_WARN, "radsrv: username malloc failed, ignoring request");
-       goto exit;
+       goto rmclrqexit;
     }
     
     userascii = radattr2ascii(attr);
     if (!userascii)
-       goto exit;
+       goto rmclrqexit;
     debug(DBG_DBG, "%s with username: %s", radmsgtype2string(msg->code), userascii);
 
+    /* will return with lock on the realm */
     to = findserver(&realm, attr, msg->code == RAD_Accounting_Request);
     if (!realm) {
        debug(DBG_INFO, "radsrv: ignoring request, don't know where to send it");
        goto exit;
     }
+
     if (!to) {
        if (realm->message && msg->code == RAD_Access_Request) {
-           debug(DBG_INFO, "radsrv: sending reject to %s for %s", rq->from->conf->host, userascii);
-           respondreject(rq, realm->message);
+           debug(DBG_INFO, "radsrv: sending reject to %s for %s", from->conf->host, userascii);
+           respond(rq, RAD_Access_Reject, realm->message);
        } else if (realm->accresp && msg->code == RAD_Accounting_Request) {
-           acclog(msg, rq->from->conf->host);
-           respondaccounting(rq);
+           acclog(msg, from->conf->host);
+           respond(rq, RAD_Accounting_Response, NULL);
        }
        goto exit;
     }
     
-    free(rq->buf);
-    rq->buf = NULL;
-    
-    if (options.loopprevention && !strcmp(rq->from->conf->name, to->conf->name)) {
-       debug(DBG_INFO, "radsrv: Loop prevented, not forwarding request from client %s to server %s, discarding",
-             rq->from->conf->name, to->conf->name);
+    if (options.loopprevention && !strcmp(from->conf->name, to->conf->name)) {
+       debug(DBG_INFO, "radsrv: Loop prevented, not forwarding request from client %s (%s) to server %s, discarding",
+             from->conf->name, addr2string(from->addr), to->conf->name);
        goto exit;
     }
 
-    if (rqinqueue(to, rq->from, msg->id, msg->code)) {
-       debug(DBG_INFO, "radsrv: already got %s from host %s with id %d, ignoring",
-             radmsgtype2string(msg->code), rq->from->conf->host, msg->id);
-       goto exit;
+    if (msg->code == RAD_Accounting_Request)
+       memset(msg->auth, 0, 16);
+    else if (!RAND_bytes(msg->auth, 16)) {
+       debug(DBG_WARN, "radsrv: failed to generate random auth");
+       goto rmclrqexit;
     }
     
-    if (msg->code != RAD_Accounting_Request) {
-       if (!RAND_bytes(newauth, 16)) {
-           debug(DBG_WARN, "radsrv: failed to generate random auth");
-           goto exit;
-       }
-    }
-
 #ifdef DEBUG
     printfchars(NULL, "auth", "%02x ", auth, 16);
 #endif
@@ -1810,43 +1687,48 @@ int radsrv(struct request *rq) {
     attr = radmsg_gettype(msg, RAD_Attr_User_Password);
     if (attr) {
        debug(DBG_DBG, "radsrv: found userpwdattr with value length %d", attr->l);
-       if (!pwdrecrypt(attr->v, attr->l, rq->from->conf->secret, to->conf->secret, msg->auth, newauth))
-           goto exit;
+       if (!pwdrecrypt(attr->v, attr->l, from->conf->secret, to->conf->secret, rq->rqauth, msg->auth))
+           goto rmclrqexit;
     }
 
     attr = radmsg_gettype(msg, RAD_Attr_Tunnel_Password);
     if (attr) {
        debug(DBG_DBG, "radsrv: found tunnelpwdattr with value length %d", attr->l);
-       if (!pwdrecrypt(attr->v, attr->l, rq->from->conf->secret, to->conf->secret, msg->auth, newauth))
-           goto exit;
+       if (!pwdrecrypt(attr->v, attr->l, from->conf->secret, to->conf->secret, rq->rqauth, msg->auth))
+           goto rmclrqexit;
     }
 
-    rq->origid = msg->id;
-    memcpy(rq->origauth, msg->auth, 16);
-    memcpy(msg->auth, newauth, 16);    
-
     if (to->conf->rewriteout && !dorewrite(msg, to->conf->rewriteout))
-       goto exit;
+       goto rmclrqexit;
+    
+    if (ttlres == -1 && (options.addttl || to->conf->addttl))
+       addttlattr(msg, options.ttlattrtype, to->conf->addttl ? to->conf->addttl : options.addttl);
     
     free(userascii);
-    rq->msg = msg;
-    sendrq(to, rq);
+    rq->to = to;
+    sendrq(rq);
+    pthread_mutex_unlock(&realm->mutex);
+    freerealm(realm);
     return 1;
     
+ rmclrqexit:
+    rmclientrq(rq, msg->id);
  exit:
+    freerq(rq);
     free(userascii);
-    radmsg_free(msg);
-    freerqdata(rq);
+    if (realm) {
+       pthread_mutex_unlock(&realm->mutex);
+       freerealm(realm);
+    }
     return 1;
 }
 
 void replyh(struct server *server, unsigned char *buf) {
     struct client *from;
-    struct request *rq;
-    int sublen;
+    struct rqout *rqout;
+    int sublen, ttlres;
     unsigned char *subattrs;
-    struct sockaddr_storage fromsa;
-    uint8_t *username, *stationid;
+    uint8_t *username, *stationid, *replymsg;
     struct radmsg *msg = NULL;
     struct tlv *attr;
     struct list_node *node;
@@ -1854,54 +1736,51 @@ void replyh(struct server *server, unsigned char *buf) {
     server->connectionok = 1;
     server->lostrqs = 0;
 
-    rq = server->requests + buf[1];
-    msg = buf2radmsg(buf, (uint8_t *)server->conf->secret, rq->msg->auth);
+    rqout = server->requests + buf[1];
+    pthread_mutex_lock(rqout->lock);
+    if (!rqout->tries) {
+       free(buf);
+       buf = NULL;
+       debug(DBG_INFO, "replyh: no outstanding request with this id, ignoring reply");
+       goto errunlock;
+    }
+       
+    msg = buf2radmsg(buf, (uint8_t *)server->conf->secret, rqout->rq->msg->auth);
     free(buf);
     buf = NULL;
     if (!msg) {
         debug(DBG_WARN, "replyh: message validation failed, ignoring packet");
-       return;
+       goto errunlock;
     }
     if (msg->code != RAD_Access_Accept && msg->code != RAD_Access_Reject && msg->code != RAD_Access_Challenge
        && msg->code != RAD_Accounting_Response) {
        debug(DBG_INFO, "replyh: discarding message type %s, accepting only access accept, access reject, access challenge and accounting response messages", radmsgtype2string(msg->code));
-       radmsg_free(msg);
-       return;
-    }
-    debug(DBG_DBG, "got %s message with id %d", radmsgtype2string(msg->code), msg->id);
-
-    pthread_mutex_lock(&server->newrq_mutex);
-    if (!rq->buf || !rq->tries) {
-       debug(DBG_INFO, "replyh: no matching request sent with this id, ignoring reply");
        goto errunlock;
     }
+    debug(DBG_DBG, "got %s message with id %d", radmsgtype2string(msg->code), msg->id);
 
-    if (rq->received) {
-       debug(DBG_INFO, "replyh: already received, ignoring reply");
-       goto errunlock;
-    }
-       
     gettimeofday(&server->lastrcv, NULL);
     
-    if (rq->msg->code == RAD_Status_Server) {
-       rq->received = 1;
+    if (rqout->rq->msg->code == RAD_Status_Server) {
+       freerqoutdata(rqout);
        debug(DBG_DBG, "replyh: got status server response from %s", server->conf->host);
        goto errunlock;
     }
 
     gettimeofday(&server->lastreply, NULL);
-    
-    from = rq->from;
-    if (!from) {
-       debug(DBG_INFO, "replyh: client gone, ignoring reply");
-       goto errunlock;
-    }
+    from = rqout->rq->from;
        
-    if (server->conf->rewritein && !dorewrite(msg, rq->from->conf->rewritein)) {
+    if (server->conf->rewritein && !dorewrite(msg, from->conf->rewritein)) {
        debug(DBG_WARN, "replyh: rewritein failed");
        goto errunlock;
     }
     
+    ttlres = checkttl(msg, options.ttlattrtype);
+    if (!ttlres) {    
+       debug(DBG_WARN, "replyh: ignoring reply from server %s, ttl exceeded", server->conf->host);
+       goto errunlock;
+    }
+    
     /* MS MPPE */
     for (node = list_first(msg->attrs); node; node = list_next(node)) {
        attr = (struct tlv *)node->data;
@@ -1916,9 +1795,9 @@ void replyh(struct server *server, unsigned char *buf) {
        subattrs = attr->v + 4;  
        if (!attrvalidate(subattrs, sublen) ||
            !msmppe(subattrs, sublen, RAD_VS_ATTR_MS_MPPE_Send_Key, "MS MPPE Send Key",
-                   rq, server->conf->secret, from->conf->secret) ||
+                   rqout->rq, server->conf->secret, from->conf->secret) ||
            !msmppe(subattrs, sublen, RAD_VS_ATTR_MS_MPPE_Recv_Key, "MS MPPE Recv Key",
-                   rq, server->conf->secret, from->conf->secret))
+                   rqout->rq, server->conf->secret, from->conf->secret))
            break;
     }
     if (node) {
@@ -1927,93 +1806,104 @@ void replyh(struct server *server, unsigned char *buf) {
     }
 
     if (msg->code == RAD_Access_Accept || msg->code == RAD_Access_Reject || msg->code == RAD_Accounting_Response) {
-       username = radattr2ascii(radmsg_gettype(rq->msg, RAD_Attr_User_Name));
+       username = radattr2ascii(radmsg_gettype(rqout->rq->msg, RAD_Attr_User_Name));
        if (username) {
-           stationid = radattr2ascii(radmsg_gettype(rq->msg, RAD_Attr_Calling_Station_Id));
+           stationid = radattr2ascii(radmsg_gettype(rqout->rq->msg, RAD_Attr_Calling_Station_Id));
+           replymsg = radattr2ascii(radmsg_gettype(msg, RAD_Attr_Reply_Message));
            if (stationid) {
-               debug(DBG_INFO, "%s for user %s stationid %s from %s",
-                     radmsgtype2string(msg->code), username, stationid, server->conf->host);
+               if (replymsg) {
+                   debug(DBG_INFO, "%s for user %s stationid %s from %s (%s)",
+                         radmsgtype2string(msg->code), username, stationid, server->conf->host, replymsg);
+                   free(replymsg);
+               } else
+                   debug(DBG_INFO, "%s for user %s stationid %s from %s",
+                         radmsgtype2string(msg->code), username, stationid, server->conf->host);
                free(stationid);
-           } else
-               debug(DBG_INFO, "%s for user %s from %s", radmsgtype2string(msg->code), username, server->conf->host);
+           } else {
+               if (replymsg) {
+                   debug(DBG_INFO, "%s for user %s from %s (%s)",
+                         radmsgtype2string(msg->code), username, server->conf->host, replymsg);
+                   free(replymsg);
+               } else
+                   debug(DBG_INFO, "%s for user %s from %s",
+                         radmsgtype2string(msg->code), username, server->conf->host);
+           }
            free(username);
        }
     }
 
-    msg->id = (char)rq->origid;
-    memcpy(msg->auth, rq->origauth, 16);
+    msg->id = (char)rqout->rq->rqid;
+    memcpy(msg->auth, rqout->rq->rqauth, 16);
 
 #ifdef DEBUG   
     printfchars(NULL, "origauth/buf+4", "%02x ", buf + 4, 16);
 #endif
 
-    if (rq->origusername && (attr = radmsg_gettype(msg, RAD_Attr_User_Name))) {
-       if (!resizeattr(attr, strlen(rq->origusername))) {
+    if (rqout->rq->origusername && (attr = radmsg_gettype(msg, RAD_Attr_User_Name))) {
+       if (!resizeattr(attr, strlen(rqout->rq->origusername))) {
            debug(DBG_WARN, "replyh: malloc failed, ignoring reply");
            goto errunlock;
        }
-       memcpy(attr->v, rq->origusername, strlen(rq->origusername));
+       memcpy(attr->v, rqout->rq->origusername, strlen(rqout->rq->origusername));
     }
 
     if (from->conf->rewriteout && !dorewrite(msg, from->conf->rewriteout)) {
        debug(DBG_WARN, "replyh: rewriteout failed");
        goto errunlock;
     }
+    
+    if (ttlres == -1 && (options.addttl || from->conf->addttl))
+       addttlattr(msg, options.ttlattrtype, from->conf->addttl ? from->conf->addttl : options.addttl);
 
-    buf = radmsg2buf(msg, (uint8_t *)from->conf->secret);
-    radmsg_free(msg);
-    msg = NULL;
-    if (!buf) {
-       debug(DBG_ERR, "replyh: malloc failed");
-       goto errunlock;
-    }
-
-    fromsa = rq->fromsa; /* only needed for UDP */
-    /* once we set received = 1, rq may be reused */
-    rq->received = 1;
-
-    debug(DBG_INFO, "replyh: passing reply to client %s", from->conf->name);
-    sendreply(from, buf, &fromsa, rq->fromudpsock);
-    pthread_mutex_unlock(&server->newrq_mutex);
+    debug(DBG_INFO, "replyh: passing reply to client %s (%s)", from->conf->name, addr2string(from->addr));
+    radmsg_free(rqout->rq->msg);
+    rqout->rq->msg = msg;
+    sendreply(newrqref(rqout->rq));
+    freerqoutdata(rqout);
+    pthread_mutex_unlock(rqout->lock);
     return;
 
  errunlock:
     radmsg_free(msg);
-    pthread_mutex_unlock(&server->newrq_mutex);
+    pthread_mutex_unlock(rqout->lock);
     return;
 }
 
-struct radmsg *createstatsrvmsg() {
-    struct radmsg *msg;
+struct request *createstatsrvrq() {
+    struct request *rq;
     struct tlv *attr;
 
-    msg = radmsg_init(RAD_Status_Server, 0, NULL);
-    if (!msg)
+    rq = newrequest();
+    if (!rq)
        return NULL;
-    
+    rq->msg = radmsg_init(RAD_Status_Server, 0, NULL);
+    if (!rq->msg)
+       goto exit;
     attr = maketlv(RAD_Attr_Message_Authenticator, 16, NULL);
-    if (!attr) {
-       radmsg_free(msg);
-       return NULL;
-    }
-    if (!radmsg_add(msg, attr)) {
+    if (!attr)
+       goto exit;
+    if (!radmsg_add(rq->msg, attr)) {
        freetlv(attr);
-       radmsg_free(msg);
-       return NULL;
+       goto exit;
     }
-    return msg;
+    return rq;
+
+ exit:
+    freerq(rq);
+    return NULL;
 }
 
 /* code for removing state not finished */
 void *clientwr(void *arg) {
     struct server *server = (struct server *)arg;
-    struct request *rq;
+    struct rqout *rqout = NULL;
     pthread_t clientrdth;
-    int i, secs, dynconffail = 0;
+    int i, dynconffail = 0;
+    time_t secs;
     uint8_t rnd;
     struct timeval now, laststatsrv;
     struct timespec timeout;
-    struct request statsrvrq;
+    struct request *statsrvrq;
     struct clsrvconf *conf;
     
     conf = server->conf;
@@ -2036,8 +1926,13 @@ void *clientwr(void *arg) {
     }
 
     if (conf->pdef->connecter) {
-       if (!conf->pdef->connecter(server, NULL, server->dynamiclookuparg ? 6 : 0, "clientwr"))
+       if (!conf->pdef->connecter(server, NULL, server->dynamiclookuparg ? 6 : 0, "clientwr")) {
+           if (server->dynamiclookuparg) {
+               server->dynstartup = 0;
+               sleep(900);
+           }
            goto errexit;
+       }
        server->connectionok = 1;
        if (pthread_create(&clientrdth, NULL, conf->pdef->clientconnreader, (void *)server)) {
            debug(DBG_ERR, "clientwr: pthread_create failed");
@@ -2045,6 +1940,7 @@ void *clientwr(void *arg) {
        }
     } else
        server->connectionok = 1;
+    server->dynstartup = 0;
     
     for (;;) {
        pthread_mutex_lock(&server->newrq_mutex);
@@ -2055,6 +1951,8 @@ void *clientwr(void *arg) {
            rnd /= 32;
            if (conf->statusserver) {
                secs = server->lastrcv.tv_sec > laststatsrv.tv_sec ? server->lastrcv.tv_sec : laststatsrv.tv_sec;
+               if (now.tv_sec - secs > STATUS_SERVER_PERIOD)
+                   secs = now.tv_sec;
                if (!timeout.tv_sec || timeout.tv_sec > secs + STATUS_SERVER_PERIOD + rnd)
                    timeout.tv_sec = secs + STATUS_SERVER_PERIOD + rnd;
            } else {
@@ -2083,39 +1981,32 @@ void *clientwr(void *arg) {
                pthread_join(clientrdth, NULL);
                goto errexit;
            }
-           pthread_mutex_lock(&server->newrq_mutex);
-           while (i < MAX_REQUESTS && !server->requests[i].buf)
-               i++;
-           if (i == MAX_REQUESTS) {
-               pthread_mutex_unlock(&server->newrq_mutex);
-               break;
-           }
-           rq = server->requests + i;
-
-            if (rq->received) {
-               debug(DBG_DBG, "clientwr: packet %d in queue is marked as received", i);
-               if (rq->buf) {
-                   debug(DBG_DBG, "clientwr: freeing received packet %d from queue", i);
-                   freerqdata(rq);
-                   /* setting this to NULL means that it can be reused */
-                   rq->buf = NULL;
+
+           for (; i < MAX_REQUESTS; i++) {
+               rqout = server->requests + i;
+               if (rqout->rq) {
+                   pthread_mutex_lock(rqout->lock);
+                   if (rqout->rq)
+                       break;
+                   pthread_mutex_unlock(rqout->lock);
                }
-                pthread_mutex_unlock(&server->newrq_mutex);
-                continue;
-            }
-           
+           }
+               
+           if (i == MAX_REQUESTS)
+               break;
+
            gettimeofday(&now, NULL);
-            if (now.tv_sec < rq->expiry.tv_sec) {
-               if (!timeout.tv_sec || rq->expiry.tv_sec < timeout.tv_sec)
-                   timeout.tv_sec = rq->expiry.tv_sec;
-               pthread_mutex_unlock(&server->newrq_mutex);
+            if (now.tv_sec < rqout->expiry.tv_sec) {
+               if (!timeout.tv_sec || rqout->expiry.tv_sec < timeout.tv_sec)
+                   timeout.tv_sec = rqout->expiry.tv_sec;
+                pthread_mutex_unlock(rqout->lock);
                continue;
            }
 
-           if (rq->tries == (*rq->buf == RAD_Status_Server ? 1 : conf->retrycount + 1)) {
+           if (rqout->tries == (*rqout->rq->buf == RAD_Status_Server ? 1 : conf->retrycount + 1)) {
                debug(DBG_DBG, "clientwr: removing expired packet from queue");
                if (conf->statusserver) {
-                   if (*rq->buf == RAD_Status_Server) {
+                   if (*rqout->rq->buf == RAD_Status_Server) {
                        debug(DBG_WARN, "clientwr: no status server response, %s dead?", conf->host);
                        if (server->lostrqs < 255)
                            server->lostrqs++;
@@ -2125,30 +2016,28 @@ void *clientwr(void *arg) {
                    if (server->lostrqs < 255)
                        server->lostrqs++;
                }
-               freerqdata(rq);
-               /* setting this to NULL means that it can be reused */
-               rq->buf = NULL;
-               pthread_mutex_unlock(&server->newrq_mutex);
+               freerqoutdata(rqout);
+                pthread_mutex_unlock(rqout->lock);
                continue;
            }
-            pthread_mutex_unlock(&server->newrq_mutex);
 
-           rq->expiry.tv_sec = now.tv_sec + conf->retryinterval;
-           if (!timeout.tv_sec || rq->expiry.tv_sec < timeout.tv_sec)
-               timeout.tv_sec = rq->expiry.tv_sec;
-           rq->tries++;
-           conf->pdef->clientradput(server, server->requests[i].buf);
+           rqout->expiry.tv_sec = now.tv_sec + conf->retryinterval;
+           if (!timeout.tv_sec || rqout->expiry.tv_sec < timeout.tv_sec)
+               timeout.tv_sec = rqout->expiry.tv_sec;
+           rqout->tries++;
+           conf->pdef->clientradput(server, rqout->rq->buf);
+           pthread_mutex_unlock(rqout->lock);
        }
-       if (conf->statusserver) {
+       if (conf->statusserver && server->connectionok) {
            secs = server->lastrcv.tv_sec > laststatsrv.tv_sec ? server->lastrcv.tv_sec : laststatsrv.tv_sec;
            gettimeofday(&now, NULL);
            if (now.tv_sec - secs > STATUS_SERVER_PERIOD) {
                laststatsrv = now;
-               memset(&statsrvrq, 0, sizeof(struct request));
-               statsrvrq.msg = createstatsrvmsg();
-               if (statsrvrq.msg) {
+               statsrvrq = createstatsrvrq();
+               if (statsrvrq) {
+                   statsrvrq->to = server;
                    debug(DBG_DBG, "clientwr: sending status server to %s", conf->host);
-                   sendrq(server, &statsrvrq);
+                   sendrq(statsrvrq);
                }
            }
        }
@@ -2173,7 +2062,7 @@ void createlistener(uint8_t type, char *arg) {
     struct addrinfo *res;
     int s = -1, on = 1, *sp = NULL;
     
-    listenres = resolve_hostport(type, arg, protodefs[type].portdefault);
+    listenres = resolve_hostport(type, arg, protodefs[type]->portdefault);
     if (!listenres)
        debugx(1, DBG_ERR, "createlistener: failed to resolve %s", arg);
     
@@ -2199,21 +2088,23 @@ void createlistener(uint8_t type, char *arg) {
         if (!sp)
             debugx(1, DBG_ERR, "malloc failed");
        *sp = s;
-       if (pthread_create(&th, NULL, protodefs[type].listener, (void *)sp))
+       if (pthread_create(&th, NULL, protodefs[type]->listener, (void *)sp))
             debugx(1, DBG_ERR, "pthread_create failed");
        pthread_detach(th);
     }
     if (!sp)
        debugx(1, DBG_ERR, "createlistener: socket/bind failed");
     
-    debug(DBG_WARN, "createlistener: listening for %s on %s:%s", protodefs[type].name,
+    debug(DBG_WARN, "createlistener: listening for %s on %s:%s", protodefs[type]->name,
          listenres->host ? listenres->host : "*", listenres->port);
     freeclsrvres(listenres);
 }
 
-void createlisteners(uint8_t type, char **args) {
+void createlisteners(uint8_t type) {
     int i;
+    char **args;
 
+    args = protodefs[type]->getlistenerargs();
     if (args)
        for (i = 0; args[i]; i++)
            createlistener(type, args[i]);
@@ -2221,152 +2112,29 @@ void createlisteners(uint8_t type, char **args) {
        createlistener(type, NULL);
 }
 
-#ifdef DEBUG
-void ssl_info_callback(const SSL *ssl, int where, int ret) {
-    const char *s;
-    int w;
-
-    w = where & ~SSL_ST_MASK;
-
-    if (w & SSL_ST_CONNECT)
-       s = "SSL_connect";
-    else if (w & SSL_ST_ACCEPT)
-       s = "SSL_accept";
-    else
-       s = "undefined";
-
-    if (where & SSL_CB_LOOP)
-       debug(DBG_DBG, "%s:%s\n", s, SSL_state_string_long(ssl));
-    else if (where & SSL_CB_ALERT) {
-       s = (where & SSL_CB_READ) ? "read" : "write";
-       debug(DBG_DBG, "SSL3 alert %s:%s:%s\n", s, SSL_alert_type_string_long(ret), SSL_alert_desc_string_long(ret));
-    }
-    else if (where & SSL_CB_EXIT) {
-       if (ret == 0)
-           debug(DBG_DBG, "%s:failed in %s\n", s, SSL_state_string_long(ssl));
-       else if (ret < 0)
-           debug(DBG_DBG, "%s:error in %s\n", s, SSL_state_string_long(ssl));
-    }
-}
-#endif
-
-SSL_CTX *tlscreatectx(uint8_t type, struct tls *conf) {
-    SSL_CTX *ctx = NULL;
-    STACK_OF(X509_NAME) *calist;
-    X509_STORE *x509_s;
+void sslinit() {
     int i;
-    unsigned long error;
-
-    if (!ssl_locks) {
-       ssl_locks = calloc(CRYPTO_num_locks(), sizeof(pthread_mutex_t));
-       ssl_lock_count = OPENSSL_malloc(CRYPTO_num_locks() * sizeof(long));
-       for (i = 0; i < CRYPTO_num_locks(); i++) {
-           ssl_lock_count[i] = 0;
-           pthread_mutex_init(&ssl_locks[i], NULL);
-       }
-       CRYPTO_set_id_callback(ssl_thread_id);
-       CRYPTO_set_locking_callback(ssl_locking_callback);
-
-       SSL_load_error_strings();
-       SSL_library_init();
-
-       while (!RAND_status()) {
-           time_t t = time(NULL);
-           pid_t pid = getpid();
-           RAND_seed((unsigned char *)&t, sizeof(time_t));
-           RAND_seed((unsigned char *)&pid, sizeof(pid));
-       }
-    }
-
-    switch (type) {
-    case RAD_TLS:
-       ctx = SSL_CTX_new(TLSv1_method());
-#ifdef DEBUG   
-       SSL_CTX_set_info_callback(ctx, ssl_info_callback);
-#endif 
-       break;
-    case RAD_DTLS:
-       ctx = SSL_CTX_new(DTLSv1_method());
-#ifdef DEBUG   
-       SSL_CTX_set_info_callback(ctx, ssl_info_callback);
-#endif 
-       SSL_CTX_set_read_ahead(ctx, 1);
-       break;
-    }
-    if (!ctx) {
-       debug(DBG_ERR, "tlscreatectx: Error initialising SSL/TLS in TLS context %s", conf->name);
-       return NULL;
-    }
-    
-    if (conf->certkeypwd) {
-       SSL_CTX_set_default_passwd_cb_userdata(ctx, conf->certkeypwd);
-       SSL_CTX_set_default_passwd_cb(ctx, pem_passwd_cb);
-    }
-    if (!SSL_CTX_use_certificate_chain_file(ctx, conf->certfile) ||
-       !SSL_CTX_use_PrivateKey_file(ctx, conf->certkeyfile, SSL_FILETYPE_PEM) ||
-       !SSL_CTX_check_private_key(ctx) ||
-       !SSL_CTX_load_verify_locations(ctx, conf->cacertfile, conf->cacertpath)) {
-       while ((error = ERR_get_error()))
-           debug(DBG_ERR, "SSL: %s", ERR_error_string(error, NULL));
-       debug(DBG_ERR, "tlscreatectx: Error initialising SSL/TLS in TLS context %s", conf->name);
-       SSL_CTX_free(ctx);
-       return NULL;
-    }
-
-    calist = conf->cacertfile ? SSL_load_client_CA_file(conf->cacertfile) : NULL;
-    if (!conf->cacertfile || calist) {
-       if (conf->cacertpath) {
-           if (!calist)
-               calist = sk_X509_NAME_new_null();
-           if (!SSL_add_dir_cert_subjects_to_stack(calist, conf->cacertpath)) {
-               sk_X509_NAME_free(calist);
-               calist = NULL;
-           }
-       }
-    }
-    if (!calist) {
-       while ((error = ERR_get_error()))
-           debug(DBG_ERR, "SSL: %s", ERR_error_string(error, NULL));
-       debug(DBG_ERR, "tlscreatectx: Error adding CA subjects in TLS context %s", conf->name);
-       SSL_CTX_free(ctx);
-       return NULL;
-    }
-    ERR_clear_error(); /* add_dir_cert_subj returns errors on success */
-    SSL_CTX_set_client_CA_list(ctx, calist);
+    time_t t;
+    pid_t pid;
     
-    SSL_CTX_set_verify(ctx, SSL_VERIFY_PEER | SSL_VERIFY_FAIL_IF_NO_PEER_CERT, verify_cb);
-    SSL_CTX_set_verify_depth(ctx, MAX_CERT_DEPTH + 1);
-
-    if (conf->crlcheck) {
-       x509_s = SSL_CTX_get_cert_store(ctx);
-       X509_STORE_set_flags(x509_s, X509_V_FLAG_CRL_CHECK | X509_V_FLAG_CRL_CHECK_ALL);
+    ssl_locks = calloc(CRYPTO_num_locks(), sizeof(pthread_mutex_t));
+    ssl_lock_count = OPENSSL_malloc(CRYPTO_num_locks() * sizeof(long));
+    for (i = 0; i < CRYPTO_num_locks(); i++) {
+       ssl_lock_count[i] = 0;
+       pthread_mutex_init(&ssl_locks[i], NULL);
     }
+    CRYPTO_set_id_callback(ssl_thread_id);
+    CRYPTO_set_locking_callback(ssl_locking_callback);
 
-    debug(DBG_DBG, "tlscreatectx: created TLS context %s", conf->name);
-    return ctx;
-}
-
-SSL_CTX *tlsgetctx(uint8_t type, char *alt1, char *alt2) {
-    struct tls *t;
-
-    t = hash_read(tlsconfs, alt1, strlen(alt1));
-    if (!t) {
-       t = hash_read(tlsconfs, alt2, strlen(alt2));
-       if (!t)
-           return NULL;
-    }
+    SSL_load_error_strings();
+    SSL_library_init();
 
-    switch (type) {
-    case RAD_TLS:
-       if (!t->tlsctx)
-           t->tlsctx = tlscreatectx(RAD_TLS, t);
-       return t->tlsctx;
-    case RAD_DTLS:
-       if (!t->dtlsctx)
-           t->dtlsctx = tlscreatectx(RAD_DTLS, t);
-       return t->dtlsctx;
+    while (!RAND_status()) {
+       t = time(NULL);
+       pid = getpid();
+       RAND_seed((unsigned char *)&t, sizeof(time_t));
+       RAND_seed((unsigned char *)&pid, sizeof(pid));
     }
-    return NULL;
 }
 
 struct list *addsrvconfs(char *value, char **names) {
@@ -2408,22 +2176,21 @@ struct list *addsrvconfs(char *value, char **names) {
 void freerealm(struct realm *realm) {
     if (!realm)
        return;
+    debug(DBG_DBG, "freerealm: called with refcount %d", realm->refcount);
+    if (--realm->refcount)
+       return;
+
     free(realm->name);
     free(realm->message);
     regfree(&realm->regex);
-    pthread_mutex_destroy(&realm->subrealms_mutex);
-    if (realm->subrealms)
-       list_destroy(realm->subrealms);
-    if (realm->srvconfs) {
-       /* emptying list without freeing data */
-       while (list_shift(realm->srvconfs));
-       list_destroy(realm->srvconfs);
-    }
-    if (realm->accsrvconfs) {
-       /* emptying list without freeing data */
-       while (list_shift(realm->accsrvconfs));
-       list_destroy(realm->accsrvconfs);
-    }
+    pthread_mutex_destroy(&realm->mutex);
+    /* if refcount == 0, all subrealms gone */
+    list_destroy(realm->subrealms);
+    /* if refcount == 0, all srvconfs gone */
+    list_destroy(realm->srvconfs);
+    /* if refcount == 0, all accsrvconfs gone */
+    list_destroy(realm->accsrvconfs);
+    freerealm(realm->parent);
     free(realm);
 }
 
@@ -2471,7 +2238,7 @@ struct realm *addrealm(struct list *realmlist, char *value, char **servers, char
     }
     memset(realm, 0, sizeof(struct realm));
     
-    if (pthread_mutex_init(&realm->subrealms_mutex, NULL)) {
+    if (pthread_mutex_init(&realm->mutex, NULL)) {
        debug(DBG_ERR, "mutex init failed");
        free(realm);
        realm = NULL;
@@ -2509,7 +2276,7 @@ struct realm *addrealm(struct list *realmlist, char *value, char **servers, char
 
     if (!list_push(realmlist, realm)) {
        debug(DBG_ERR, "malloc failed");
-       pthread_mutex_destroy(&realm->subrealms_mutex);
+       pthread_mutex_destroy(&realm->mutex);
        goto errexit;
     }
     
@@ -2517,101 +2284,102 @@ struct realm *addrealm(struct list *realmlist, char *value, char **servers, char
     goto exit;
 
  errexit:
+    while (list_shift(realm->srvconfs));
+    while (list_shift(realm->accsrvconfs));
     freerealm(realm);
     realm = NULL;
-    
  exit:
     free(regex);
     if (servers) {
-       for (n = 0; servers[n]; n++)
-           free(servers[n]);
-       free(servers);
+       if (realm)
+           for (n = 0; servers[n]; n++)
+               newrealmref(realm);
+       freegconfmstr(servers);
     }
     if (accservers) {
-       for (n = 0; accservers[n]; n++)
-           free(accservers[n]);
-       free(accservers);
+       if (realm)
+           for (n = 0; accservers[n]; n++)
+               newrealmref(realm);
+       freegconfmstr(accservers);
     }
-    return realm;
+    return newrealmref(realm);
 }
 
-void adddynamicrealmserver(struct realm *realm, struct clsrvconf *conf, char *id) {
-    struct clsrvconf *srvconf;
+struct list *createsubrealmservers(struct realm *realm, struct list *srvconfs) {
+    struct list_node *entry;
+    struct clsrvconf *conf, *srvconf;
+    struct list *subrealmservers = NULL;
+    pthread_t clientth;
+
+    if (list_first(srvconfs)) {
+       subrealmservers = list_create();
+       if (!subrealmservers)
+           return NULL;
+    }
+    
+    for (entry = list_first(srvconfs); entry; entry = list_next(entry)) {
+       conf = (struct clsrvconf *)entry->data;
+       if (!conf->servers && conf->dynamiclookupcommand) {
+           srvconf = malloc(sizeof(struct clsrvconf));
+           if (!srvconf) {
+               debug(DBG_ERR, "malloc failed");
+               continue;
+           }
+           *srvconf = *conf;
+           if (addserver(srvconf)) {
+               srvconf->servers->dynamiclookuparg = stringcopy(realm->name, 0);
+               srvconf->servers->dynstartup = 1;
+               if (pthread_create(&clientth, NULL, clientwr, (void *)(srvconf->servers))) {
+                   debug(DBG_ERR, "pthread_create failed");
+                   freeserver(srvconf->servers, 1);
+                   srvconf->servers = NULL;
+               } else
+                   pthread_detach(clientth);
+           }
+           conf = srvconf;
+       }
+       if (conf->servers) {
+           if (list_push(subrealmservers, conf))
+               newrealmref(realm);
+           else
+               debug(DBG_ERR, "malloc failed");
+       }
+    }
+    return subrealmservers;
+}
+    
+struct realm *adddynamicrealmserver(struct realm *realm, char *id) {
     struct realm *newrealm = NULL;
     char *realmname, *s;
-    pthread_t clientth;
     
-    if (!conf->dynamiclookupcommand)
-       return;
-
     /* create dynamic for the realm (string after last @, exit if nothing after @ */
     realmname = strrchr(id, '@');
     if (!realmname)
-       return;
+       return NULL;
     realmname++;
     if (!*realmname)
-       return;
+       return NULL;
     for (s = realmname; *s; s++)
        if (*s != '.' && *s != '-' && !isalnum((int)*s))
-           return;
+           return NULL;
     
-    pthread_mutex_lock(&realm->subrealms_mutex);
-    /* exit if we now already got a matching subrealm */
-    if (id2realm(realm->subrealms, id))
-       goto exit;
-    srvconf = malloc(sizeof(struct clsrvconf));
-    if (!srvconf) {
-       debug(DBG_ERR, "malloc failed");
-       goto exit;
-    }
-    *srvconf = *conf;
-    if (!addserver(srvconf))
-       goto errexit;
-
     if (!realm->subrealms)
        realm->subrealms = list_create();
     if (!realm->subrealms)
-       goto errexit;
-    newrealm = addrealm(realm->subrealms, realmname, NULL, NULL, NULL, 0);
-    if (!newrealm)
-       goto errexit;
-
-    /* add server and accserver to newrealm */
-    newrealm->srvconfs = list_create();
-    if (!newrealm->srvconfs || !list_push(newrealm->srvconfs, srvconf)) {
-       debug(DBG_ERR, "malloc failed");
-       goto errexit;
-    }
-    newrealm->accsrvconfs = list_create();
-    if (!newrealm->accsrvconfs || !list_push(newrealm->accsrvconfs, srvconf)) {
-       debug(DBG_ERR, "malloc failed");
-       goto errexit;
-    }
-
-    srvconf->servers->dynamiclookuparg = stringcopy(realmname, 0);
-
-    if (pthread_create(&clientth, NULL, clientwr, (void *)(srvconf->servers))) {
-       debug(DBG_ERR, "pthread_create failed");
-       goto errexit;
-    }
-    pthread_detach(clientth);
-    goto exit;
+       return NULL;
     
- errexit:
-    if (newrealm) {
-       list_removedata(realm->subrealms, newrealm);
-       freerealm(newrealm);
-       if (!list_first(realm->subrealms)) {
-           list_destroy(realm->subrealms);
-           realm->subrealms = NULL;
-       }
+    newrealm = addrealm(realm->subrealms, realmname, NULL, NULL, stringcopy(realm->message, 0), realm->accresp);
+    if (!newrealm) {
+       list_destroy(realm->subrealms);
+       realm->subrealms = NULL;
+       return NULL;
     }
-    freeserver(srvconf->servers, 1);
-    free(srvconf);
-    debug(DBG_ERR, "failed to create dynamic server");
 
- exit:
-    pthread_mutex_unlock(&realm->subrealms_mutex);
+    newrealm->parent = newrealmref(realm);
+    /* add server and accserver to newrealm */
+    newrealm->srvconfs = createsubrealmservers(newrealm, realm->srvconfs);
+    newrealm->accsrvconfs = createsubrealmservers(newrealm, realm->accsrvconfs);
+    return newrealm;
 }
 
 int dynamicconfig(struct server *server) {
@@ -2671,40 +2439,6 @@ int dynamicconfig(struct server *server) {
     return 0;
 }
 
-int addmatchcertattr(struct clsrvconf *conf) {
-    char *v;
-    regex_t **r;
-    
-    if (!strncasecmp(conf->matchcertattr, "CN:/", 4)) {
-       r = &conf->certcnregex;
-       v = conf->matchcertattr + 4;
-    } else if (!strncasecmp(conf->matchcertattr, "SubjectAltName:URI:/", 20)) {
-       r = &conf->certuriregex;
-       v = conf->matchcertattr + 20;
-    } else
-       return 0;
-    if (!*v)
-       return 0;
-    /* regexp, remove optional trailing / if present */
-    if (v[strlen(v) - 1] == '/')
-       v[strlen(v) - 1] = '\0';
-    if (!*v)
-       return 0;
-
-    *r = malloc(sizeof(regex_t));
-    if (!*r) {
-       debug(DBG_ERR, "malloc failed");
-       return 0;
-    }
-    if (regcomp(*r, v, REG_EXTENDED | REG_ICASE | REG_NOSUB)) {
-       free(*r);
-       *r = NULL;
-       debug(DBG_ERR, "failed to compile regular expression %s", v);
-       return 0;
-    }
-    return 1;
-}
-
 /* should accept both names and numeric values, only numeric right now */
 uint8_t attrname2val(char *attrname) {
     int val = 0;
@@ -2720,11 +2454,11 @@ int vattrname2val(char *attrname, uint32_t *vendor, uint32_t *type) {
     *vendor = atoi(attrname);
     s = strchr(attrname, ':');
     if (!s) {
-       *type = -1;
+       *type = 256;
        return 1;
     }
     *type = atoi(s + 1);
-    return *type >= 0 && *type < 256;
+    return *type < 256;
 }
 
 /* should accept both names and numeric values, only numeric right now */
@@ -2837,12 +2571,10 @@ void addrewrite(char *value, char **rmattrs, char **rmvattrs, char **addattrs, c
        if (!rma)
            debugx(1, DBG_ERR, "malloc failed");
     
-       for (i = 0; i < n; i++) {
+       for (i = 0; i < n; i++)
            if (!(rma[i] = attrname2val(rmattrs[i])))
                debugx(1, DBG_ERR, "addrewrite: invalid attribute %s", rmattrs[i]);
-           free(rmattrs[i]);
-       }
-       free(rmattrs);
+       freegconfmstr(rmattrs);
        rma[i] = 0;
     }
     
@@ -2852,12 +2584,10 @@ void addrewrite(char *value, char **rmattrs, char **rmvattrs, char **addattrs, c
        if (!rmva)
            debugx(1, DBG_ERR, "malloc failed");
     
-       for (p = rmva, i = 0; i < n; i++, p += 2) {
+       for (p = rmva, i = 0; i < n; i++, p += 2)
            if (!vattrname2val(rmvattrs[i], p, p + 1))
                debugx(1, DBG_ERR, "addrewrite: invalid vendor attribute %s", rmvattrs[i]);
-           free(rmvattrs[i]);
-       }
-       free(rmvattrs);
+       freegconfmstr(rmvattrs);
        *p = 0;
     }
     
@@ -2869,11 +2599,10 @@ void addrewrite(char *value, char **rmattrs, char **rmvattrs, char **addattrs, c
            a = extractattr(addattrs[i]);
            if (!a)
                debugx(1, DBG_ERR, "addrewrite: invalid attribute %s", addattrs[i]);
-           free(addattrs[i]);
            if (!list_push(adda, a))
                debugx(1, DBG_ERR, "malloc failed");
        }
-       free(addattrs);
+       freegconfmstr(addattrs);
     }
 
     if (modattrs) {
@@ -2884,11 +2613,10 @@ void addrewrite(char *value, char **rmattrs, char **rmvattrs, char **addattrs, c
            m = extractmodattr(modattrs[i]);
            if (!m)
                debugx(1, DBG_ERR, "addrewrite: invalid attribute %s", modattrs[i]);
-           free(modattrs[i]);
            if (!list_push(moda, m))
                debugx(1, DBG_ERR, "malloc failed");
        }
-       free(modattrs);
+       freegconfmstr(modattrs);
     }
        
     if (rma || rmva || adda || moda) {
@@ -2906,6 +2634,16 @@ void addrewrite(char *value, char **rmattrs, char **rmvattrs, char **addattrs, c
     debug(DBG_DBG, "addrewrite: added rewrite block %s", value);
 }
 
+int setttlattr(struct options *opts, char *defaultattr) {
+    char *ttlattr = opts->ttlattr ? opts->ttlattr : defaultattr;
+     
+    if (vattrname2val(ttlattr, opts->ttlattrtype, opts->ttlattrtype + 1) &&
+       (opts->ttlattrtype[1] != 256 || opts->ttlattrtype[0] < 256))
+       return 1;
+    debug(DBG_ERR, "setttlattr: invalid TTLAttribute value %s", ttlattr);
+    return 0;
+}
+
 void freeclsrvconf(struct clsrvconf *conf) {
     free(conf->name);
     free(conf->host);
@@ -2930,6 +2668,10 @@ void freeclsrvconf(struct clsrvconf *conf) {
     free(conf->rewriteout);
     if (conf->addrinfo)
        freeaddrinfo(conf->addrinfo);
+    if (conf->lock) {
+       pthread_mutex_destroy(conf->lock);
+       free(conf->lock);
+    }
     /* not touching ssl_ctx, clients and servers */
     free(conf);
 }
@@ -2979,27 +2721,32 @@ int mergesrvconf(struct clsrvconf *dst, struct clsrvconf *src) {
 int confclient_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
     struct clsrvconf *conf;
     char *conftype = NULL, *rewriteinalias = NULL;
+    long int dupinterval = LONG_MIN, addttl = LONG_MIN;
     
     debug(DBG_DBG, "confclient_cb called for %s", block);
 
     conf = malloc(sizeof(struct clsrvconf));
-    if (!conf || !list_push(clconfs, conf))
+    if (!conf)
        debugx(1, DBG_ERR, "malloc failed");
     memset(conf, 0, sizeof(struct clsrvconf));
     conf->certnamecheck = 1;
     
     if (!getgenericconfig(cf, block,
-                    "type", CONF_STR, &conftype,
-                    "host", CONF_STR, &conf->host,
-                    "secret", CONF_STR, &conf->secret,
-                    "tls", CONF_STR, &conf->tls,
-                    "matchcertificateattribute", CONF_STR, &conf->matchcertattr,
-                    "CertificateNameCheck", CONF_BLN, &conf->certnamecheck,
-                    "rewrite", CONF_STR, &rewriteinalias,
-                    "rewriteIn", CONF_STR, &conf->confrewritein,
-                    "rewriteOut", CONF_STR, &conf->confrewriteout,
-                    "rewriteattribute", CONF_STR, &conf->confrewriteusername,
-                    NULL
+                         "type", CONF_STR, &conftype,
+                         "host", CONF_STR, &conf->host,
+                         "secret", CONF_STR, &conf->secret,
+#if defined(RADPROT_TLS) || defined(RADPROT_DTLS)    
+                         "tls", CONF_STR, &conf->tls,
+                         "matchcertificateattribute", CONF_STR, &conf->matchcertattr,
+                         "CertificateNameCheck", CONF_BLN, &conf->certnamecheck,
+#endif                   
+                         "DuplicateInterval", CONF_LINT, &dupinterval,
+                         "addTTL", CONF_LINT, &addttl,
+                         "rewrite", CONF_STR, &rewriteinalias,
+                         "rewriteIn", CONF_STR, &conf->confrewritein,
+                         "rewriteOut", CONF_STR, &conf->confrewriteout,
+                         "rewriteattribute", CONF_STR, &conf->confrewriteusername,
+                         NULL
                          ))
        debugx(1, DBG_ERR, "configuration error");
     
@@ -3012,19 +2759,34 @@ int confclient_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
     if (!conftype)
        debugx(1, DBG_ERR, "error in block %s, option type missing", block);
     conf->type = protoname2int(conftype);
-    conf->pdef = &protodefs[conf->type];
-    if (!conf->pdef->name)
+    if (conf->type == 255)
        debugx(1, DBG_ERR, "error in block %s, unknown transport %s", block, conftype);
     free(conftype);
-    
+    conf->pdef = protodefs[conf->type];
+
+#if defined(RADPROT_TLS) || defined(RADPROT_DTLS)    
     if (conf->type == RAD_TLS || conf->type == RAD_DTLS) {
-       conf->ssl_ctx = conf->tls ? tlsgetctx(conf->type, conf->tls, NULL) : tlsgetctx(conf->type, "defaultclient", "default");
-       if (!conf->ssl_ctx)
+       conf->tlsconf = conf->tls ? tlsgettls(conf->tls, NULL) : tlsgettls("defaultclient", "default");
+       if (!conf->tlsconf)
            debugx(1, DBG_ERR, "error in block %s, no tls context defined", block);
        if (conf->matchcertattr && !addmatchcertattr(conf))
            debugx(1, DBG_ERR, "error in block %s, invalid MatchCertificateAttributeValue", block);
     }
-
+#endif
+    
+    if (dupinterval != LONG_MIN) {
+       if (dupinterval < 0 || dupinterval > 255)
+           debugx(1, DBG_ERR, "error in block %s, value of option DuplicateInterval is %d, must be 0-255", block, dupinterval);
+       conf->dupinterval = (uint8_t)dupinterval;
+    } else
+       conf->dupinterval = conf->pdef->duplicateintervaldefault;
+    
+    if (addttl != LONG_MIN) {
+       if (addttl < 1 || addttl > 255)
+           debugx(1, DBG_ERR, "error in block %s, value of option addTTL is %d, must be 1-255", block, addttl);
+       conf->addttl = (uint8_t)addttl;
+    }
+    
     if (!conf->confrewritein)
        conf->confrewritein = rewriteinalias;
     else
@@ -3049,13 +2811,22 @@ int confclient_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
        if (!conf->secret)
            debugx(1, DBG_ERR, "malloc failed");
     }
+
+    conf->lock = malloc(sizeof(pthread_mutex_t));
+    if (!conf->lock)
+       debugx(1, DBG_ERR, "malloc failed");
+
+    pthread_mutex_init(conf->lock, NULL);
+    if (!list_push(clconfs, conf))
+       debugx(1, DBG_ERR, "malloc failed");
     return 1;
 }
 
 int compileserverconfig(struct clsrvconf *conf, const char *block) {
+#if defined(RADPROT_TLS) || defined(RADPROT_DTLS)    
     if (conf->type == RAD_TLS || conf->type == RAD_DTLS) {
-       conf->ssl_ctx = conf->tls ? tlsgetctx(conf->type, conf->tls, NULL) : tlsgetctx(conf->type, "defaultserver", "default");
-       if (!conf->ssl_ctx) {
+       conf->tlsconf = conf->tls ? tlsgettls(conf->tls, NULL) : tlsgettls("defaultserver", "default");
+       if (!conf->tlsconf) {
            debug(DBG_ERR, "error in block %s, no tls context defined", block);
            return 0;
        }
@@ -3064,7 +2835,8 @@ int compileserverconfig(struct clsrvconf *conf, const char *block) {
            return 0;
        }
     }
-
+#endif
+    
     if (!conf->port) {
        conf->port = stringcopy(conf->pdef->portdefault, 0);
        if (!conf->port) {
@@ -3074,26 +2846,14 @@ int compileserverconfig(struct clsrvconf *conf, const char *block) {
     }
     
     if (conf->retryinterval == 255)
-       conf->retryinterval = protodefs[conf->type].retryintervaldefault;
+       conf->retryinterval = conf->pdef->retryintervaldefault;
     if (conf->retrycount == 255)
-       conf->retrycount = protodefs[conf->type].retrycountdefault;
+       conf->retrycount = conf->pdef->retrycountdefault;
     
     conf->rewritein = conf->confrewritein ? getrewrite(conf->confrewritein, NULL) : getrewrite("defaultserver", "default");
     if (conf->confrewriteout)
        conf->rewriteout = getrewrite(conf->confrewriteout, NULL);
 
-    if (!conf->secret) {
-       if (!conf->pdef->secretdefault) {
-           debug(DBG_ERR, "error in block %s, secret must be specified for transport type %s", block, conf->pdef->name);
-           return 0;
-       }
-       conf->secret = stringcopy(conf->pdef->secretdefault, 0);
-       if (!conf->secret) {
-           debug(DBG_ERR, "malloc failed");
-           return 0;
-       }
-    }
-    
     if (!conf->dynamiclookupcommand && !resolvepeer(conf, 0)) {
        debug(DBG_ERR, "failed to resolve host %s port %s, exiting", conf->host ? conf->host : "(null)", conf->port ? conf->port : "(null)");
        return 0;
@@ -3104,7 +2864,7 @@ int compileserverconfig(struct clsrvconf *conf, const char *block) {
 int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
     struct clsrvconf *conf, *resconf;
     char *conftype = NULL, *rewriteinalias = NULL;
-    long int retryinterval = LONG_MIN, retrycount = LONG_MIN;
+    long int retryinterval = LONG_MIN, retrycount = LONG_MIN, addttl = LONG_MIN;
     
     debug(DBG_DBG, "confserver_cb called for %s", block);
 
@@ -3126,15 +2886,18 @@ int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
                          "host", CONF_STR, &conf->host,
                          "port", CONF_STR, &conf->port,
                          "secret", CONF_STR, &conf->secret,
+#if defined(RADPROT_TLS) || defined(RADPROT_DTLS)    
                          "tls", CONF_STR, &conf->tls,
                          "MatchCertificateAttribute", CONF_STR, &conf->matchcertattr,
+                         "CertificateNameCheck", CONF_BLN, &conf->certnamecheck,
+#endif                   
+                         "addTTL", CONF_LINT, &addttl,
                          "rewrite", CONF_STR, &rewriteinalias,
                          "rewriteIn", CONF_STR, &conf->confrewritein,
                          "rewriteOut", CONF_STR, &conf->confrewriteout,
                          "StatusServer", CONF_BLN, &conf->statusserver,
                          "RetryInterval", CONF_LINT, &retryinterval,
                          "RetryCount", CONF_LINT, &retrycount,
-                         "CertificateNameCheck", CONF_BLN, &conf->certnamecheck,
                          "DynamicLookupCommand", CONF_STR, &conf->dynamiclookupcommand,
                          NULL
                          )) {
@@ -3155,16 +2918,19 @@ int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
         }
     }
 
-    if (!conftype)
-       debugx(1, DBG_ERR, "error in block %s, option type missing", block);
+    if (!conftype) {
+       debug(DBG_ERR, "error in block %s, option type missing", block);
+       goto errexit;
+    }
     conf->type = protoname2int(conftype);
-    conf->pdef = &protodefs[conf->type];
-    if (!conf->pdef->name) {
+    if (conf->type == 255) {
        debug(DBG_ERR, "error in block %s, unknown transport %s", block, conftype);
        goto errexit;
     }
     free(conftype);
     conftype = NULL;
+       
+    conf->pdef = protodefs[conf->type];
 
     if (!conf->confrewritein)
        conf->confrewritein = rewriteinalias;
@@ -3190,6 +2956,14 @@ int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
     } else
        conf->retrycount = 255;
     
+    if (addttl != LONG_MIN) {
+       if (addttl < 1 || addttl > 255) {
+           debug(DBG_ERR, "error in block %s, value of option addTTL is %d, must be 1-255", block, addttl);
+           goto errexit;
+       }
+       conf->addttl = (uint8_t)addttl;
+    }
+    
     if (resconf) {
        if (!mergesrvconf(resconf, conf))
            goto errexit;
@@ -3206,9 +2980,21 @@ int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
            goto errexit;
     }
     
+    if (!conf->secret) {
+       if (!conf->pdef->secretdefault) {
+           debug(DBG_ERR, "error in block %s, secret must be specified for transport type %s", block, conf->pdef->name);
+           return 0;
+       }
+       conf->secret = stringcopy(conf->pdef->secretdefault, 0);
+       if (!conf->secret) {
+           debug(DBG_ERR, "malloc failed");
+           return 0;
+       }
+    }
+    
     if (resconf)
        return 1;
-       
+
     if (!list_push(srvconfs, conf)) {
        debug(DBG_ERR, "malloc failed");
        goto errexit;
@@ -3229,11 +3015,11 @@ int confrealm_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
     debug(DBG_DBG, "confrealm_cb called for %s", block);
     
     if (!getgenericconfig(cf, block,
-                    "server", CONF_MSTR, &servers,
-                    "accountingServer", CONF_MSTR, &accservers,
-                    "ReplyMessage", CONF_STR, &msg,
-                    "AccountingResponse", CONF_BLN, &accresp,
-                    NULL
+                         "server", CONF_MSTR, &servers,
+                         "accountingServer", CONF_MSTR, &accservers,
+                         "ReplyMessage", CONF_STR, &msg,
+                         "AccountingResponse", CONF_BLN, &accresp,
+                         NULL
                          ))
        debugx(1, DBG_ERR, "configuration error");
 
@@ -3241,86 +3027,47 @@ int confrealm_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
     return 1;
 }
 
-int conftls_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
-    struct tls *conf;
-    
-    debug(DBG_DBG, "conftls_cb called for %s", block);
-    
-    conf = malloc(sizeof(struct tls));
-    if (!conf) {
-       debug(DBG_ERR, "conftls_cb: malloc failed");
-       return 0;
-    }
-    memset(conf, 0, sizeof(struct tls));
-    
-    if (!getgenericconfig(cf, block,
-                    "CACertificateFile", CONF_STR, &conf->cacertfile,
-                    "CACertificatePath", CONF_STR, &conf->cacertpath,
-                    "CertificateFile", CONF_STR, &conf->certfile,
-                    "CertificateKeyFile", CONF_STR, &conf->certkeyfile,
-                    "CertificateKeyPassword", CONF_STR, &conf->certkeypwd,
-                    "CRLCheck", CONF_BLN, &conf->crlcheck,
-                    NULL
-                         )) {
-       debug(DBG_ERR, "conftls_cb: configuration error in block %s", val);
-       goto errexit;
-    }
-    if (!conf->certfile || !conf->certkeyfile) {
-       debug(DBG_ERR, "conftls_cb: TLSCertificateFile and TLSCertificateKeyFile must be specified in block %s", val);
-       goto errexit;
-    }
-    if (!conf->cacertfile && !conf->cacertpath) {
-       debug(DBG_ERR, "conftls_cb: CA Certificate file or path need to be specified in block %s", val);
-       goto errexit;
-    }
-
-    conf->name = stringcopy(val, 0);
-    if (!conf->name) {
-       debug(DBG_ERR, "conftls_cb: malloc failed");
-       goto errexit;
-    }
-
-    if (!hash_insert(tlsconfs, val, strlen(val), conf)) {
-       debug(DBG_ERR, "conftls_cb: malloc failed");
-       goto errexit;
-    }
-           
-    debug(DBG_DBG, "conftls_cb: added TLS block %s", val);
-    return 1;
-
- errexit:
-    free(conf->cacertfile);
-    free(conf->cacertpath);
-    free(conf->certfile);
-    free(conf->certkeyfile);
-    free(conf->certkeypwd);
-    free(conf);
-    return 0;
-}
-
 int confrewrite_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
     char **rmattrs = NULL, **rmvattrs = NULL, **addattrs = NULL, **modattrs = NULL;
     
     debug(DBG_DBG, "confrewrite_cb called for %s", block);
     
     if (!getgenericconfig(cf, block,
-                    "removeAttribute", CONF_MSTR, &rmattrs,
-                    "removeVendorAttribute", CONF_MSTR, &rmvattrs,
-                    "addAttribute", CONF_MSTR, &addattrs,
-                    "modifyAttribute", CONF_MSTR, &modattrs,
-                    NULL
+                         "removeAttribute", CONF_MSTR, &rmattrs,
+                         "removeVendorAttribute", CONF_MSTR, &rmvattrs,
+                         "addAttribute", CONF_MSTR, &addattrs,
+                         "modifyAttribute", CONF_MSTR, &modattrs,
+                         NULL
                          ))
        debugx(1, DBG_ERR, "configuration error");
     addrewrite(val, rmattrs, rmvattrs, addattrs, modattrs);
     return 1;
 }
 
+int setprotoopts(uint8_t type, char **listenargs, char *sourcearg) {
+    struct commonprotoopts *protoopts;
+
+    protoopts = malloc(sizeof(struct commonprotoopts));
+    if (!protoopts)
+       return 0;
+    memset(protoopts, 0, sizeof(struct commonprotoopts));
+    protoopts->listenargs = listenargs;
+    protoopts->sourcearg = sourcearg;
+    protodefs[type]->setprotoopts(protoopts);
+    return 1;
+}
+
 void getmainconfig(const char *configfile) {
-    long int loglevel = LONG_MIN;
+    long int addttl = LONG_MIN, loglevel = LONG_MIN;
     struct gconffile *cfs;
-
+    char **listenargs[RAD_PROTOCOUNT];
+    char *sourcearg[RAD_PROTOCOUNT];
+    int i;
+    
     cfs = openconfigfile(configfile);
     memset(&options, 0, sizeof(options));
+    memset(&listenargs, 0, sizeof(listenargs));
+    memset(&sourcearg, 0, sizeof(sourcearg));
     
     clconfs = list_create();
     if (!clconfs)
@@ -3334,31 +3081,38 @@ void getmainconfig(const char *configfile) {
     if (!realms)
        debugx(1, DBG_ERR, "malloc failed");    
  
-    tlsconfs = hash_create();
-    if (!tlsconfs)
-       debugx(1, DBG_ERR, "malloc failed");
-    
     rewriteconfs = hash_create();
     if (!rewriteconfs)
        debugx(1, DBG_ERR, "malloc failed");    
  
     if (!getgenericconfig(&cfs, NULL,
-                         "ListenUDP", CONF_MSTR, &options.listenudp,
-                         "ListenTCP", CONF_MSTR, &options.listentcp,
-                         "ListenTLS", CONF_MSTR, &options.listentls,
-                         "ListenDTLS", CONF_MSTR, &options.listendtls,
-                         "ListenAccountingUDP", CONF_MSTR, &options.listenaccudp,
-                         "SourceUDP", CONF_STR, &options.sourceudp,
-                         "SourceTCP", CONF_STR, &options.sourcetcp,
-                         "SourceTLS", CONF_STR, &options.sourcetls,
-                         "SourceDTLS", CONF_STR, &options.sourcedtls,
+#ifdef RADPROT_UDP                       
+                         "ListenUDP", CONF_MSTR, &listenargs[RAD_UDP],
+                         "SourceUDP", CONF_STR, &sourcearg[RAD_UDP],
+#endif                   
+#ifdef RADPROT_TCP                       
+                         "ListenTCP", CONF_MSTR, &listenargs[RAD_TCP],
+                         "SourceTCP", CONF_STR, &sourcearg[RAD_TCP],
+#endif                   
+#ifdef RADPROT_TLS
+                         "ListenTLS", CONF_MSTR, &listenargs[RAD_TLS],
+                         "SourceTLS", CONF_STR, &sourcearg[RAD_TLS],
+#endif                   
+#ifdef RADPROT_DTLS
+                         "ListenDTLS", CONF_MSTR, &listenargs[RAD_DTLS],
+                         "SourceDTLS", CONF_STR, &sourcearg[RAD_DTLS],
+#endif                   
+                         "TTLAttribute", CONF_STR, &options.ttlattr,
+                         "addTTL", CONF_LINT, &addttl,
                          "LogLevel", CONF_LINT, &loglevel,
                          "LogDestination", CONF_STR, &options.logdestination,
                          "LoopPrevention", CONF_BLN, &options.loopprevention,
                          "Client", CONF_CBK, confclient_cb, NULL,
                          "Server", CONF_CBK, confserver_cb, NULL,
                          "Realm", CONF_CBK, confrealm_cb, NULL,
+#if defined(RADPROT_TLS) || defined(RADPROT_DTLS)                        
                          "TLS", CONF_CBK, conftls_cb, NULL,
+#endif                   
                          "Rewrite", CONF_CBK, confrewrite_cb, NULL,
                          NULL
                          ))
@@ -3369,6 +3123,17 @@ void getmainconfig(const char *configfile) {
            debugx(1, DBG_ERR, "error in %s, value of option LogLevel is %d, must be 1, 2, 3 or 4", configfile, loglevel);
        options.loglevel = (uint8_t)loglevel;
     }
+    if (addttl != LONG_MIN) {
+       if (addttl < 1 || addttl > 255)
+           debugx(1, DBG_ERR, "error in %s, value of option addTTL is %d, must be 1-255", configfile, addttl);
+       options.addttl = (uint8_t)addttl;
+    }
+    if (!setttlattr(&options, DEFAULT_TTL_ATTR))
+       debugx(1, DBG_ERR, "Failed to set TTLAttribute, exiting");
+
+    for (i = 0; i < RAD_PROTOCOUNT; i++)
+       if (listenargs[i] || sourcearg[i])
+           setprotoopts(i, listenargs[i], sourcearg[i]);
 }
 
 void getargs(int argc, char **argv, uint8_t *foreground, uint8_t *pretend, uint8_t *loglevel, char **configfile) {
@@ -3391,7 +3156,21 @@ void getargs(int argc, char **argv, uint8_t *foreground, uint8_t *pretend, uint8
            *pretend = 1;
            break;
        case 'v':
-               debugx(0, DBG_ERR, "radsecproxy revision $Rev$");
+               debug(DBG_ERR, "radsecproxy revision $Rev$");
+               debug(DBG_ERR, "This binary was built with support for the following transports:");
+#ifdef RADPROT_UDP
+               debug(DBG_ERR, "  UDP");
+#endif         
+#ifdef RADPROT_TCP
+               debug(DBG_ERR, "  TCP");
+#endif         
+#ifdef RADPROT_TLS
+               debug(DBG_ERR, "  TLS");
+#endif         
+#ifdef RADPROT_DTLS
+               debug(DBG_ERR, "  DTLS");
+#endif
+               exit(0);
        default:
            goto usage;
        }
@@ -3453,6 +3232,12 @@ int main(int argc, char **argv) {
     
     debug_init("radsecproxy");
     debug_set_level(DEBUG_LEVEL);
+
+    for (i = 0; i < RAD_PROTOCOUNT; i++)
+       protodefs[i] = protoinits[i](i);
+
+    /* needed even if no TLS/DTLS transport */
+    sslinit();
     
     getargs(argc, argv, &foreground, &pretend, &loglevel, &configfile);
     if (loglevel)
@@ -3477,6 +3262,7 @@ int main(int argc, char **argv) {
     if (!foreground && (daemon(0, 0) < 0))
        debugx(1, DBG_ERR, "daemon() failed: %s", strerror(errno));
     
+    debug_timestamp_on();
     debug(DBG_INFO, "radsecproxy revision $Rev$ starting");
 
     sigemptyset(&sigset);
@@ -3495,29 +3281,14 @@ int main(int argc, char **argv) {
                           (void *)(srvconf->servers)))
            debugx(1, DBG_ERR, "pthread_create failed");
     }
-    /* srcprotores for UDP no longer needed */
-    if (srcprotores[RAD_UDP]) {
-       freeaddrinfo(srcprotores[RAD_UDP]);
-       srcprotores[RAD_UDP] = NULL;
-    }
 
-    for (i = 0; protodefs[i].name; i++)
-       if (protodefs[i].initextra)
-           protodefs[i].initextra();
-    
-    if (find_clconf_type(RAD_TCP, NULL))
-       createlisteners(RAD_TCP, options.listentcp);
-    
-    if (find_clconf_type(RAD_TLS, NULL))
-       createlisteners(RAD_TLS, options.listentls);
-    
-    if (find_clconf_type(RAD_DTLS, NULL))
-       createlisteners(RAD_DTLS, options.listendtls);
-    
-    if (find_clconf_type(RAD_UDP, NULL)) {
-       createlisteners(RAD_UDP, options.listenudp);
-       if (options.listenaccudp)
-           createlisteners(RAD_UDP, options.listenaccudp);
+    for (i = 0; i < RAD_PROTOCOUNT; i++) {
+       if (!protodefs[i])
+           continue;
+       if (protodefs[i]->initextra)
+           protodefs[i]->initextra();
+        if (find_clconf_type(i, NULL))
+           createlisteners(i);
     }
     
     /* just hang around doing nothing, anything to do here? */