some code improvemetns, more efficiently removing outstanding requests when removing...
[radsecproxy.git] / radsecproxy.c
index 853b594..280cb41 100644 (file)
@@ -6,6 +6,11 @@
  * copyright notice and this permission notice appear in all copies.
  */
 
+/* Code contributions from:
+ *
+ * Arne Schwabe <schwabe at uni-paderborn.de>
+ */
+
 /* For UDP there is one server instance consisting of udpserverrd and udpserverth
  *              rd is responsible for init and launching wr
  * For TLS there is a server instance that launches tlsserverrd for each TLS peer
 */
 
 /* Bugs:
- * TCP accounting not yet supported
+ * May segfault when dtls connections go down? More testing needed
+ * Need to remove UDP clients when no activity for a while...
+ * Remove expired stuff from clients request list?
  * We are not removing client requests from dynamic servers, see removeclientrqs()
+ * Multiple outgoing connections if not enough IDs? (multiple servers per conf?)
+ * Useful for TCP accounting? Now we require separate server config for alt port
  */
 
 #include <signal.h>
@@ -88,7 +97,9 @@ int dynamicconfig(struct server *server);
 int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val);
 void freerealm(struct realm *realm);
 void freeclsrvconf(struct clsrvconf *conf);
-void freerqdata(struct request *rq);
+void freerq(struct request *rq);
+void freerqoutdata(struct rqout *rqout);
+void rmclientrq(struct request *rq, uint8_t id);
 
 static const struct protodefs protodefs[] = {
     {   "udp", /* UDP, assuming RAD_UDP defined as 0 */
@@ -99,6 +110,7 @@ static const struct protodefs protodefs[] = {
        10, /* retrycountmax */
        REQUEST_RETRY_INTERVAL, /* retryintervaldefault */
        60, /* retryintervalmax */
+       DUPLICATE_INTERVAL, /* duplicateintervaldefault */
        udpserverrd, /* listener */
        &options.sourceudp, /* srcaddrport */
        NULL, /* connecter */
@@ -116,6 +128,7 @@ static const struct protodefs protodefs[] = {
        0, /* retrycountmax */
        REQUEST_RETRY_INTERVAL * REQUEST_RETRY_COUNT, /* retryintervaldefault */
        60, /* retryintervalmax */
+       DUPLICATE_INTERVAL, /* duplicateintervaldefault */
        tlslistener, /* listener */
        &options.sourcetls, /* srcaddrport */
        tlsconnect, /* connecter */
@@ -133,6 +146,7 @@ static const struct protodefs protodefs[] = {
        0, /* retrycountmax */
        REQUEST_RETRY_INTERVAL * REQUEST_RETRY_COUNT, /* retryintervaldefault */
        60, /* retryintervalmax */
+       DUPLICATE_INTERVAL, /* duplicateintervaldefault */
        tcplistener, /* listener */
        &options.sourcetcp, /* srcaddrport */
        tcpconnect, /* connecter */
@@ -150,12 +164,13 @@ static const struct protodefs protodefs[] = {
        10, /* retrycountmax */
        REQUEST_RETRY_INTERVAL, /* retryintervaldefault */
        60, /* retryintervalmax */
+       DUPLICATE_INTERVAL, /* duplicateintervaldefault */
        udpdtlsserverrd, /* listener */
        &options.sourcedtls, /* srcaddrport */
        dtlsconnect, /* connecter */
        dtlsclientrd, /* clientconnreader */
        clientradputdtls, /* clientradput */
-       addclientdtls, /* addclient */
+       NULL, /* addclient */
        addserverextradtls, /* addserverextra */
        initextradtls /* initextra */
     },
@@ -271,16 +286,8 @@ int resolvepeer(struct clsrvconf *conf, int ai_flags) {
            debug(DBG_WARN, "resolvepeer: can't resolve (null) port (null)");
            return 0;
        }
-       for (res = addrinfo; res; res = res->ai_next) {
-           switch (res->ai_family) {
-           case AF_INET:
-               ((struct sockaddr_in *)res->ai_addr)->sin_port = 0;
-               break;
-           case AF_INET6:
-               ((struct sockaddr_in6 *)res->ai_addr)->sin6_port = 0;
-               break;
-           }
-       }
+       for (res = addrinfo; res; res = res->ai_next)
+           port_set(res->ai_addr, 0);
     } else {
        if (slash)
            hints.ai_flags |= AI_NUMERICHOST;
@@ -383,26 +390,6 @@ void freeclsrvres(struct clsrvconf *res) {
     free(res);
 }
 
-int connecttcp(struct addrinfo *addrinfo, struct addrinfo *src) {
-    int s;
-    struct addrinfo *res;
-
-    s = -1;
-    for (res = addrinfo; res; res = res->ai_next) {
-       s = bindtoaddr(src, res->ai_family, 1, 1);
-        if (s < 0) {
-            debug(DBG_WARN, "connecttoserver: socket failed");
-            continue;
-        }
-        if (connect(s, res->ai_addr, res->ai_addrlen) == 0)
-            break;
-        debug(DBG_WARN, "connecttoserver: connect failed");
-        close(s);
-        s = -1;
-    }
-    return s;
-}        
-
 /* returns 1 if the len first bits are equal, else 0 */
 int prefixmatch(void *a1, void *a2, uint8_t len) {
     static uint8_t mask[] = { 0, 0x80, 0xc0, 0xe0, 0xf0, 0xf8, 0xfc, 0xfe };
@@ -502,14 +489,17 @@ struct queue *newqueue() {
 
 void removequeue(struct queue *q) {
     struct list_node *entry;
-    
+
+    if (!q)
+       return;
     pthread_mutex_lock(&q->mutex);
     for (entry = list_first(q->entries); entry; entry = list_next(entry))
-       free(((struct reply *)entry)->buf);
+       freerq((struct request *)entry);
     list_destroy(q->entries);
     pthread_cond_destroy(&q->cond);
     pthread_mutex_unlock(&q->mutex);
     pthread_mutex_destroy(&q->mutex);
+    free(q);
 }
 
 void freebios(struct queue *q) {
@@ -522,16 +512,21 @@ void freebios(struct queue *q) {
     removequeue(q);
 }
 
-struct client *addclient(struct clsrvconf *conf) {
+struct client *addclient(struct clsrvconf *conf, uint8_t lock) {
     struct client *new = malloc(sizeof(struct client));
     
     if (!new) {
        debug(DBG_ERR, "malloc failed");
        return NULL;
     }
+
+    if (lock)
+       pthread_mutex_lock(conf->lock);
     if (!conf->clients) {
        conf->clients = list_create();
        if (!conf->clients) {
+           if (lock)
+               pthread_mutex_unlock(conf->lock);
            debug(DBG_ERR, "malloc failed");
            return NULL;
        }
@@ -544,54 +539,66 @@ struct client *addclient(struct clsrvconf *conf) {
     else
        new->replyq = newqueue();
     list_push(conf->clients, new);
+    if (lock)
+       pthread_mutex_unlock(conf->lock);
     return new;
 }
 
-void removeclient(struct client *client) {
-    if (!client || !client->conf->clients)
-       return;
-    removequeue(client->replyq);
-    if (client->rbios)
-       freebios(client->rbios);
-    list_removedata(client->conf->clients, client);
-    free(client);
-}
-
 void removeclientrqs(struct client *client) {
-    struct list_node *entry;
-    struct server *server;
     struct request *rq;
+    struct rqout *rqout;
     int i;
-    
-    for (entry = list_first(srvconfs); entry; entry = list_next(entry)) {
-       server = ((struct clsrvconf *)entry->data)->servers;
-       if (!server)
+
+    for (i = 0; i < MAX_REQUESTS; i++) {
+       rq = client->rqs[i];
+       if (!rq)
            continue;
-       pthread_mutex_lock(&server->newrq_mutex);
-       for (i = 0; i < MAX_REQUESTS; i++) {
-           rq = server->requests + i;
-           if (rq->from == client)
-               rq->from = NULL;
-       }
-       pthread_mutex_unlock(&server->newrq_mutex);
+       rqout = rq->to->requests + rq->newid;
+       pthread_mutex_lock(rqout->lock);
+       if (rqout->rq == rq) /* still pointing to our request */
+           freerqoutdata(rqout);
+       pthread_mutex_unlock(rqout->lock);                              
+       freerq(rq);
     }
 }
 
+void removeclient(struct client *client) {
+    struct clsrvconf *conf;
+    
+    if (!client)
+       return;
+    conf = client->conf;
+    pthread_mutex_lock(conf->lock);
+    if (conf->clients) {
+       removeclientrqs(client);
+       removequeue(client->replyq);
+       list_removedata(conf->clients, client);
+       free(client->addr);
+       free(client);
+    }
+    pthread_mutex_unlock(conf->lock);
+}
+
 void freeserver(struct server *server, uint8_t destroymutex) {
-    struct request *rq, *end;
+    struct rqout *rqout, *end;
 
     if (!server)
        return;
 
     if (server->requests) {
-       rq = server->requests;
-       for (end = rq + MAX_REQUESTS; rq < end; rq++)
-           freerqdata(rq);
+       rqout = server->requests;
+       for (end = rqout + MAX_REQUESTS; rqout < end; rqout++) {
+           freerqoutdata(rqout);
+           pthread_mutex_destroy(rqout->lock);
+           free(rqout->lock);
+       }
        free(server->requests);
     }
     if (server->rbios)
        freebios(server->rbios);
     free(server->dynamiclookuparg);
+    if (server->ssl)
+       SSL_free(server->ssl);
     if (destroymutex) {
        pthread_mutex_destroy(&server->lock);
        pthread_cond_destroy(&server->newrq_cond);
@@ -603,6 +610,7 @@ void freeserver(struct server *server, uint8_t destroymutex) {
 int addserver(struct clsrvconf *conf) {
     struct clsrvconf *res;
     uint8_t type;
+    int i;
     
     if (conf->servers) {
        debug(DBG_ERR, "addserver: currently works with just one server per conf");
@@ -631,11 +639,24 @@ int addserver(struct clsrvconf *conf) {
     if (conf->pdef->addserverextra)
        conf->pdef->addserverextra(conf);
     
-    conf->servers->requests = calloc(MAX_REQUESTS, sizeof(struct request));
+    conf->servers->requests = calloc(MAX_REQUESTS, sizeof(struct rqout));
     if (!conf->servers->requests) {
        debug(DBG_ERR, "malloc failed");
        goto errexit;
     }
+    for (i = 0; i < MAX_REQUESTS; i++) {
+       conf->servers->requests[i].lock = malloc(sizeof(pthread_mutex_t));
+       if (!conf->servers->requests[i].lock) {
+           debug(DBG_ERR, "malloc failed");
+           goto errexit;
+       }
+       if (pthread_mutex_init(conf->servers->requests[i].lock, NULL)) {
+           debug(DBG_ERR, "mutex init failed");
+           free(conf->servers->requests[i].lock);
+           conf->servers->requests[i].lock = NULL;
+           goto errexit;
+       }
+    }
     if (pthread_mutex_init(&conf->servers->lock, NULL)) {
        debug(DBG_ERR, "mutex init failed");
        goto errexit;
@@ -849,122 +870,6 @@ int verifyconfcert(X509 *cert, struct clsrvconf *conf) {
     return 1;
 }
 
-int radsign(unsigned char *rad, unsigned char *sec) {
-    static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
-    static unsigned char first = 1;
-    static EVP_MD_CTX mdctx;
-    unsigned int md_len;
-    int result;
-    
-    pthread_mutex_lock(&lock);
-    if (first) {
-       EVP_MD_CTX_init(&mdctx);
-       first = 0;
-    }
-
-    result = (EVP_DigestInit_ex(&mdctx, EVP_md5(), NULL) &&
-       EVP_DigestUpdate(&mdctx, rad, RADLEN(rad)) &&
-       EVP_DigestUpdate(&mdctx, sec, strlen((char *)sec)) &&
-       EVP_DigestFinal_ex(&mdctx, rad + 4, &md_len) &&
-       md_len == 16);
-    pthread_mutex_unlock(&lock);
-    return result;
-}
-
-int validauth(unsigned char *rad, unsigned char *reqauth, unsigned char *sec) {
-    static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
-    static unsigned char first = 1;
-    static EVP_MD_CTX mdctx;
-    unsigned char hash[EVP_MAX_MD_SIZE];
-    unsigned int len;
-    int result;
-    
-    pthread_mutex_lock(&lock);
-    if (first) {
-       EVP_MD_CTX_init(&mdctx);
-       first = 0;
-    }
-
-    len = RADLEN(rad);
-    
-    result = (EVP_DigestInit_ex(&mdctx, EVP_md5(), NULL) &&
-             EVP_DigestUpdate(&mdctx, rad, 4) &&
-             EVP_DigestUpdate(&mdctx, reqauth, 16) &&
-             (len <= 20 || EVP_DigestUpdate(&mdctx, rad + 20, len - 20)) &&
-             EVP_DigestUpdate(&mdctx, sec, strlen((char *)sec)) &&
-             EVP_DigestFinal_ex(&mdctx, hash, &len) &&
-             len == 16 &&
-             !memcmp(hash, rad + 4, 16));
-    pthread_mutex_unlock(&lock);
-    return result;
-}
-             
-int checkmessageauth(unsigned char *rad, uint8_t *authattr, char *secret) {
-    static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
-    static unsigned char first = 1;
-    static HMAC_CTX hmacctx;
-    unsigned int md_len;
-    uint8_t auth[16], hash[EVP_MAX_MD_SIZE];
-    
-    pthread_mutex_lock(&lock);
-    if (first) {
-       HMAC_CTX_init(&hmacctx);
-       first = 0;
-    }
-
-    memcpy(auth, authattr, 16);
-    memset(authattr, 0, 16);
-    md_len = 0;
-    HMAC_Init_ex(&hmacctx, secret, strlen(secret), EVP_md5(), NULL);
-    HMAC_Update(&hmacctx, rad, RADLEN(rad));
-    HMAC_Final(&hmacctx, hash, &md_len);
-    memcpy(authattr, auth, 16);
-    if (md_len != 16) {
-       debug(DBG_WARN, "message auth computation failed");
-       pthread_mutex_unlock(&lock);
-       return 0;
-    }
-
-    if (memcmp(auth, hash, 16)) {
-       debug(DBG_WARN, "message authenticator, wrong value");
-       pthread_mutex_unlock(&lock);
-       return 0;
-    }  
-       
-    pthread_mutex_unlock(&lock);
-    return 1;
-}
-
-int createmessageauth(unsigned char *rad, unsigned char *authattrval, char *secret) {
-    static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
-    static unsigned char first = 1;
-    static HMAC_CTX hmacctx;
-    unsigned int md_len;
-
-    if (!authattrval)
-       return 1;
-    
-    pthread_mutex_lock(&lock);
-    if (first) {
-       HMAC_CTX_init(&hmacctx);
-       first = 0;
-    }
-
-    memset(authattrval, 0, 16);
-    md_len = 0;
-    HMAC_Init_ex(&hmacctx, secret, strlen(secret), EVP_md5(), NULL);
-    HMAC_Update(&hmacctx, rad, RADLEN(rad));
-    HMAC_Final(&hmacctx, authattrval, &md_len);
-    if (md_len != 16) {
-       debug(DBG_WARN, "message auth computation failed");
-       pthread_mutex_unlock(&lock);
-       return 0;
-    }
-
-    pthread_mutex_unlock(&lock);
-    return 1;
-}
-
 unsigned char *attrget(unsigned char *attrs, int length, uint8_t type) {
     while (length > 1) {
        if (ATTRTYPE(attrs) == type)
@@ -975,92 +880,126 @@ unsigned char *attrget(unsigned char *attrs, int length, uint8_t type) {
     return NULL;
 }
 
-void freerqdata(struct request *rq) {
+void freerq(struct request *rq) {
+    if (!rq)
+       return;
+    debug(DBG_DBG, "freerq: called with refcount %d", rq->refcount);
+    if (--rq->refcount)
+       return;
     if (rq->origusername)
        free(rq->origusername);
     if (rq->buf)
        free(rq->buf);
+    if (rq->replybuf)
+       free(rq->replybuf);
+    if (rq->msg)
+       radmsg_free(rq->msg);
+    free(rq);
 }
 
-void sendrq(struct server *to, struct request *rq) {
-    int i;
-    uint8_t *attr;
+void freerqoutdata(struct rqout *rqout) {
+    if (!rqout)
+       return;
+    if (rqout->rq) {
+       freerq(rqout->rq);
+       rqout->rq = NULL;
+    }
+    rqout->tries = 0;
+    memset(&rqout->expiry, 0, sizeof(struct timeval));
+}
 
+void sendrq(struct request *rq) {
+    int i, start;
+    struct server *to = rq->to;
+    
+    start = to->conf->statusserver ? 1 : 0;
     pthread_mutex_lock(&to->newrq_mutex);
-    /* might simplify if only try nextid, might be ok */
-    for (i = to->nextid; i < MAX_REQUESTS; i++)
-       if (!to->requests[i].buf)
-           break;
-    if (i == MAX_REQUESTS) {
-       for (i = 0; i < to->nextid; i++)
-           if (!to->requests[i].buf)
-               break;
-       if (i == to->nextid) {
-           debug(DBG_WARN, "sendrq: no room in queue, dropping request");
-           freerqdata(rq);
-           goto exit;
+    if (start && rq->msg->code == RAD_Status_Server) {
+       pthread_mutex_lock(to->requests[0].lock);
+       if (to->requests[0].rq) {
+           pthread_mutex_unlock(to->requests[0].lock);
+           debug(DBG_WARN, "sendrq: status server already in queue, dropping request");
+           goto errexit;
+       }
+       i = 0;
+    } else {
+       if (!to->nextid)
+           to->nextid = start;
+       /* might simplify if only try nextid, might be ok */
+       for (i = to->nextid; i < MAX_REQUESTS; i++) {
+           if (!to->requests[i].rq) {
+               pthread_mutex_lock(to->requests[i].lock);
+               if (!to->requests[i].rq)
+                   break;
+               pthread_mutex_unlock(to->requests[i].lock);
+           }
+       }
+       if (i == MAX_REQUESTS) {
+           for (i = start; i < to->nextid; i++) {
+               if (!to->requests[i].rq) {
+                   pthread_mutex_lock(to->requests[i].lock);
+                   if (!to->requests[i].rq)
+                       break;
+                   pthread_mutex_unlock(to->requests[i].lock);
+               }
+           }
+           if (i == to->nextid) {
+               debug(DBG_WARN, "sendrq: no room in queue, dropping request");
+               goto errexit;
+           }
        }
     }
-    
-    rq->buf[1] = (char)i;
-
-    attr = attrget(rq->buf + 20, RADLEN(rq->buf) - 20, RAD_Attr_Message_Authenticator);
-    if (attr && !createmessageauth(rq->buf, ATTRVAL(attr), to->conf->secret)) {
-       freerqdata(rq);
-       goto exit;
+    rq->newid = (uint8_t)i;
+    rq->msg->id = (uint8_t)i;
+    rq->buf = radmsg2buf(rq->msg, (uint8_t *)to->conf->secret);
+    if (!rq->buf) {
+       pthread_mutex_unlock(to->requests[i].lock);
+       debug(DBG_ERR, "sendrq: radmsg2buf failed");
+       goto errexit;
     }
     
-    if (*rq->buf == RAD_Accounting_Request) {
-       if (!radsign(rq->buf, (unsigned char *)to->conf->secret)) {
-           debug(DBG_WARN, "sendrq: failed to sign Accounting-Request message");
-           freerqdata(rq);
-           goto exit;
-       }
-    }
-
     debug(DBG_DBG, "sendrq: inserting packet with id %d in queue for %s", i, to->conf->host);
-    to->requests[i] = *rq;
-    to->nextid = i + 1;
+    to->requests[i].rq = rq;
+    pthread_mutex_unlock(to->requests[i].lock);
+    if (i >= start) /* i is not reserved for statusserver */
+       to->nextid = i + 1;
 
     if (!to->newrq) {
        to->newrq = 1;
        debug(DBG_DBG, "sendrq: signalling client writer");
        pthread_cond_signal(&to->newrq_cond);
     }
- exit:
+
+    pthread_mutex_unlock(&to->newrq_mutex);
+    return;
+
+ errexit:
+    if (rq->from)
+       rmclientrq(rq, rq->msg->id);
+    freerq(rq);
     pthread_mutex_unlock(&to->newrq_mutex);
 }
 
-void sendreply(struct client *to, unsigned char *buf, struct sockaddr_storage *tosa, int toudpsock) {
-    struct reply *reply;
+void sendreply(struct request *rq) {
     uint8_t first;
-    
-    if (!radsign(buf, (unsigned char *)to->conf->secret)) {
-       free(buf);
-       debug(DBG_WARN, "sendreply: failed to sign message");
+    struct client *to = rq->from;
+    
+    if (!rq->replybuf)
+       rq->replybuf = radmsg2buf(rq->msg, (uint8_t *)to->conf->secret);
+    radmsg_free(rq->msg);
+    rq->msg = NULL;
+    if (!rq->replybuf) {
+       freerq(rq);
+       debug(DBG_ERR, "sendreply: radmsg2buf failed");
        return;
     }
 
-    reply = malloc(sizeof(struct reply));
-    if (!reply) {
-       free(buf);
-       debug(DBG_ERR, "sendreply: malloc failed");
-       return;
-    }
-    memset(reply, 0, sizeof(struct reply));
-    reply->buf = buf;
-    if (tosa)
-       reply->tosa = *tosa;
-    reply->toudpsock = toudpsock;
-    
     pthread_mutex_lock(&to->replyq->mutex);
-
     first = list_first(to->replyq->entries) == NULL;
     
-    if (!list_push(to->replyq->entries, reply)) {
+    if (!list_push(to->replyq->entries, rq)) {
        pthread_mutex_unlock(&to->replyq->mutex);
-       free(reply);
-       free(buf);
+       freerq(rq);
        debug(DBG_ERR, "sendreply: malloc failed");
        return;
     }
@@ -1343,18 +1282,6 @@ void removeserversubrealms(struct list *realmlist, struct clsrvconf *srv) {
     }
 }
                        
-int rqinqueue(struct server *to, struct client *from, uint8_t id, uint8_t code) {
-    struct request *rq = to->requests, *end;
-    
-    pthread_mutex_lock(&to->newrq_mutex);
-    for (end = rq + MAX_REQUESTS; rq < end; rq++)
-       if (rq->buf && !rq->received && rq->origid == id && rq->from == from && *rq->buf == code)
-           break;
-    pthread_mutex_unlock(&to->newrq_mutex);
-    
-    return rq < end;
-}
-
 int attrvalidate(unsigned char *attrs, int length) {
     while (length > 1) {
        if (ATTRLEN(attrs) < 2) {
@@ -1393,14 +1320,14 @@ int pwdrecrypt(uint8_t *pwd, uint8_t len, char *oldsecret, char *newsecret, uint
     return 1;
 }
 
-int msmpprecrypt(uint8_t *msmpp, uint8_t len, char *oldsecret, char *newsecret, unsigned char *oldauth, char *newauth) {
+int msmpprecrypt(uint8_t *msmpp, uint8_t len, char *oldsecret, char *newsecret, uint8_t *oldauth, uint8_t *newauth) {
     if (len < 18)
        return 0;
-    if (!msmppdecrypt(msmpp + 2, len - 2, (unsigned char *)oldsecret, strlen(oldsecret), oldauth, msmpp)) {
+    if (!msmppdecrypt(msmpp + 2, len - 2, (uint8_t *)oldsecret, strlen(oldsecret), oldauth, msmpp)) {
        debug(DBG_WARN, "msmpprecrypt: failed to decrypt msppe key");
        return 0;
     }
-    if (!msmppencrypt(msmpp + 2, len - 2, (unsigned char *)newsecret, strlen(newsecret), (unsigned char *)newauth, msmpp)) {
+    if (!msmppencrypt(msmpp + 2, len - 2, (uint8_t *)newsecret, strlen(newsecret), newauth, msmpp)) {
        debug(DBG_WARN, "msmpprecrypt: failed to encrypt msppe key");
        return 0;
     }
@@ -1413,7 +1340,7 @@ int msmppe(unsigned char *attrs, int length, uint8_t type, char *attrtxt, struct
     
     for (attr = attrs; (attr = attrget(attr, length - (attr - attrs), type)); attr += ATTRLEN(attr)) {
        debug(DBG_DBG, "msmppe: Got %s", attrtxt);
-       if (!msmpprecrypt(ATTRVAL(attr), ATTRVALLEN(attr), oldsecret, newsecret, rq->buf + 4, rq->origauth))
+       if (!msmpprecrypt(ATTRVAL(attr), ATTRVALLEN(attr), oldsecret, newsecret, rq->buf + 4, rq->rqauth))
            return 0;
     }
     return 1;
@@ -1429,126 +1356,109 @@ int findvendorsubattr(uint32_t *attrs, uint32_t vendor, uint8_t subattr) {
     return 0;
 }
 
-int dovendorrewrite(uint8_t *attrs, uint16_t length, uint32_t *removevendorattrs) {
-    uint8_t alen, sublen, rmlen = 0;
-    uint32_t vendor = *(uint32_t *)ATTRVAL(attrs);
+/* returns 1 if entire element is to be removed, else 0 */
+int dovendorrewriterm(struct tlv *attr, uint32_t *removevendorattrs) {
+    uint8_t alen, sublen;
+    uint32_t vendor;
     uint8_t *subattrs;
     
     if (!removevendorattrs)
        return 0;
 
+    memcpy(&vendor, attr->v, 4);
+    vendor = ntohl(vendor);
     while (*removevendorattrs && *removevendorattrs != vendor)
        removevendorattrs += 2;
     if (!*removevendorattrs)
        return 0;
     
-    alen = ATTRLEN(attrs);
-
-    if (findvendorsubattr(removevendorattrs, vendor, -1)) {
-       /* remove entire vendor attribute */
-       memmove(attrs, attrs + alen, length - alen);
-       return alen;
-    }
+    if (findvendorsubattr(removevendorattrs, vendor, -1))
+       return 1; /* remove entire vendor attribute */
 
-    sublen = alen - 4;
-    subattrs = ATTRVAL(attrs) + 4;
+    sublen = attr->l - 4;
+    subattrs = attr->v + 4;
     
     if (!attrvalidate(subattrs, sublen)) {
        debug(DBG_WARN, "dovendorrewrite: vendor attribute validation failed, no rewrite");
        return 0;
     }
 
-    length -= 6;
     while (sublen > 1) {
        alen = ATTRLEN(subattrs);
        sublen -= alen;
-       length -= alen;
        if (findvendorsubattr(removevendorattrs, vendor, ATTRTYPE(subattrs))) {
-           memmove(subattrs, subattrs + alen, length);
-           rmlen += alen;
+           memmove(subattrs, subattrs + alen, sublen);
+           attr->l -= alen;
        } else
            subattrs += alen;
     }
-
-    ATTRLEN(attrs) -= rmlen;
-    return rmlen;
+    return 0;
 }
 
-void dorewrite(uint8_t *buf, struct rewrite *rewrite) {
-    uint8_t *attrs, alen;
-    uint16_t len, rmlen = 0;
-    
-    if (!rewrite || (!rewrite->removeattrs && !rewrite->removevendorattrs))
-       return;
+void dorewriterm(struct radmsg *msg, uint8_t *rmattrs, uint32_t *rmvattrs) {
+    struct list_node *n, *p;
+    struct tlv *attr;
 
-    len = RADLEN(buf) - 20;
-    attrs = buf + 20;
-    while (len > 1) {
-       alen = ATTRLEN(attrs);
-       len -= alen;
-       if (rewrite->removeattrs && strchr((char *)rewrite->removeattrs, ATTRTYPE(attrs))) {
-           memmove(attrs, attrs + alen, len);
-           rmlen += alen;
-       } else if (ATTRTYPE(attrs) == RAD_Attr_Vendor_Specific && rewrite->removevendorattrs)
-           rmlen += dovendorrewrite(attrs, len, rewrite->removevendorattrs);
-       else
-           attrs += alen;
+    p = NULL;
+    n = list_first(msg->attrs);
+    while (n) {
+       attr = (struct tlv *)n->data;
+       if ((rmattrs && strchr((char *)rmattrs, attr->t)) ||
+           (rmvattrs && attr->t == RAD_Attr_Vendor_Specific && dovendorrewriterm(attr, rmvattrs))) {
+           list_removedata(msg->attrs, attr);
+           freetlv(attr);
+           n = p ? list_next(p) : list_first(msg->attrs);
+       } else
+           p = n;
+            n = list_next(n);
     }
-    if (rmlen)
-       ((uint16_t *)buf)[1] = htons(RADLEN(buf) - rmlen);
 }
 
-/* returns a pointer to the resized attribute value */
-uint8_t *resizeattr(uint8_t **buf, uint8_t newvallen, uint8_t type) {
-    uint8_t *attrs, *attr, vallen;
-    uint16_t len;
-    unsigned char *new;
+int dorewriteadd(struct radmsg *msg, struct list *addattrs) {
+    struct list_node *n;
+    struct tlv *a;
     
-    len = RADLEN(*buf) - 20;
-    attrs = *buf + 20;
+    for (n = list_first(addattrs); n; n = list_next(n)) {
+       a = copytlv((struct tlv *)n->data);
+       if (!a)
+           return 0;
+       if (!radmsg_add(msg, a)) {
+           freetlv(a);
+           return 0;
+       }
+    }
+    return 1;
+}
 
-    attr = attrget(attrs, len, type);
-    if (!attr)
-       return NULL;
+int resizeattr(struct tlv *attr, uint8_t newlen) {
+    uint8_t *newv;
     
-    vallen = ATTRVALLEN(attr);
-    if (vallen == newvallen)
-       return attr + 2;
-
-    len += newvallen - vallen;
-    if (newvallen > vallen) {
-       new = realloc(*buf, len + 20);
-       if (!new) {
-           debug(DBG_ERR, "resizeattr: malloc failed");
-           return NULL;
-       }
-       if (new != *buf) {
-           attr += new - *buf;
-           attrs = new + 20;
-           *buf = new;
-       }
+    if (newlen != attr->l) {
+       newv = realloc(attr->v, newlen);
+       if (!newv)
+           return 0;
+       attr->v = newv;
+       attr->l = newlen;
     }
-    memmove(attr + 2 + newvallen, attr + 2 + vallen, len - (attr - attrs + newvallen));
-    attr[1] = newvallen + 2;
-    ((uint16_t *)*buf)[1] = htons(len + 20);
-    return attr + 2;
+    return 1;
 }
-               
-int rewriteusername(struct request *rq, char *in) {
+
+int dorewritemodattr(struct tlv *attr, struct modattr *modattr) {
     size_t nmatch = 10, reslen = 0, start = 0;
     regmatch_t pmatch[10], *pfield;
     int i;
-    unsigned char *result;
-    char *out = rq->from->conf->rewriteattrreplacement;
+    char *in, *out;
+
+    in = stringcopy((char *)attr->v, attr->l);
+    if (!in)
+       return 0;
     
-    if (regexec(rq->from->conf->rewriteattrregex, in, nmatch, pmatch, 0)) {
-       debug(DBG_DBG, "rewriteattr: username not matching, no rewrite");
+    if (regexec(modattr->regex, in, nmatch, pmatch, 0)) {
+       free(in);
        return 1;
     }
     
-    rq->origusername = stringcopy(in, 0);
-    if (!rq->origusername)
-       return 0;
+    out = modattr->replacement;
     
     for (i = start; out[i]; i++) {
        if (out[i] == '\\' && out[i + 1] >= '1' && out[i + 1] <= '9') {
@@ -1561,20 +1471,26 @@ int rewriteusername(struct request *rq, char *in) {
        }
     }
     reslen += i - start;
+    if (reslen > 253) {
+       debug(DBG_WARN, "rewritten attribute length would be %d, max possible is 253, discarding message", reslen);
+       free(in);
+       return 0;
+    }
 
-    result = resizeattr(&rq->buf, reslen, RAD_Attr_User_Name);
-    if (!result)
+    if (!resizeattr(attr, reslen)) {
+       free(in);
        return 0;
-    
+    }
+
     start = 0;
     reslen = 0;
     for (i = start; out[i]; i++) {
        if (out[i] == '\\' && out[i + 1] >= '1' && out[i + 1] <= '9') {
            pfield = &pmatch[out[i + 1] - '0'];
            if (pfield->rm_so >= 0) {
-               memcpy(result + reslen, out + start, i - start);
+               memcpy(attr->v + reslen, out + start, i - start);
                reslen += i - start;
-               memcpy(result + reslen, in + pfield->rm_so, pfield->rm_eo - pfield->rm_so);
+               memcpy(attr->v + reslen, in + pfield->rm_so, pfield->rm_eo - pfield->rm_so);
                reslen += pfield->rm_eo - pfield->rm_so;
                start = i + 2;
            }
@@ -1582,10 +1498,43 @@ int rewriteusername(struct request *rq, char *in) {
        }
     }
 
-    memcpy(result + reslen, out + start, i - start);
-    reslen += i - start;
-    memcpy(in, result, reslen);
-    in[reslen] = '\0';
+    memcpy(attr->v + reslen, out + start, i - start);
+    return 1;
+}
+
+int dorewritemod(struct radmsg *msg, struct list *modattrs) {
+    struct list_node *n, *m;
+
+    for (n = list_first(msg->attrs); n; n = list_next(n))
+       for (m = list_first(modattrs); m; m = list_next(m))
+           if (((struct tlv *)n->data)->t == ((struct modattr *)m->data)->t &&
+               !dorewritemodattr((struct tlv *)n->data, (struct modattr *)m->data))
+               return 0;
+    return 1;
+}
+
+int dorewrite(struct radmsg *msg, struct rewrite *rewrite) {
+    if (!rewrite)
+       return 1;
+    if (rewrite->removeattrs || rewrite->removevendorattrs)
+       dorewriterm(msg, rewrite->removeattrs, rewrite->removevendorattrs);
+    if (rewrite->addattrs && !dorewriteadd(msg, rewrite->addattrs))
+       return 0;
+    if (rewrite->modattrs && !dorewritemod(msg, rewrite->modattrs))
+       return 0;
+    return 1;
+}
+
+int rewriteusername(struct request *rq, struct tlv *attr) {
+    char *orig = (char *)tlv2str(attr);
+    if (!dorewritemodattr(attr, rq->from->conf->rewriteusername)) {
+       free(orig);
+       return 0;
+    }
+    if (strlen(orig) != attr->l || memcmp(orig, attr->v, attr->l))
+       rq->origusername = (char *)orig;
+    else
+       free(orig);
     return 1;
 }
 
@@ -1607,104 +1556,76 @@ void char2hex(char *h, unsigned char c) {
     return;
 }
 
-char *radattr2ascii(char *ascii, size_t len, unsigned char *attr) {
+uint8_t *radattr2ascii(struct tlv *attr) {
     int i, l;
-    char *s, *d;
+    uint8_t *a, *d;
 
-    if (!attr || len == 1) {
-       *ascii = '\0';
-       return ascii;
-    }
+    if (!attr)
+       return NULL;
 
-    l = ATTRVALLEN(attr);
-    s = (char *)ATTRVAL(attr);
-    d = ascii;
+    l = attr->l;
+    for (i = 0; i < attr->l; i++)
+       if (attr->v[i] < 32 || attr->v[i] > 126)
+           l += 2;
+    if (l == attr->l)
+       return (uint8_t *)stringcopy((char *)attr->v, attr->l);
+    
+    a = malloc(l + 1);
+    if (!a)
+       return NULL;
 
-    for (i = 0; i < l; i++) {
-       if (s[i] > 31 && s[i] < 127) {
-           *d++ = s[i];
-           if (d - ascii == len - 1)
-               break;
-       } else {
-           if (d - ascii > len - 4)
-               break;
+    d = a;
+    for (i = 0; i < attr->l; i++)
+       if (attr->v[i] < 32 || attr->v[i] > 126) {
            *d++ = '%';
-           char2hex(d, s[i]);
+           char2hex((char *)d, attr->v[i]);
            d += 2;
-           if (d - ascii == len - 1)
-               break;
-       }
-    }
+       } else
+           *d++ = attr->v[i];
     *d = '\0';
-    return ascii;
+    return a;
 }
 
-void acclog(unsigned char *attrs, int length, char *host) {
-    unsigned char *attr;
-    char username[760];
+void acclog(struct radmsg *msg, char *host) {
+    struct tlv *attr;
+    uint8_t *username;
     
-    attr = attrget(attrs, length, RAD_Attr_User_Name);
+    attr = radmsg_gettype(msg, RAD_Attr_User_Name);
     if (!attr) {
        debug(DBG_INFO, "acclog: accounting-request from %s without username attribute", host);
        return;
     }
-    radattr2ascii(username, sizeof(username), attr);
-    debug(DBG_INFO, "acclog: accounting-request from %s with username: %s", host, username);
-}
-       
-void respondaccounting(struct request *rq) {
-    unsigned char *resp;
-
-    resp = malloc(20);
-    if (!resp) {
-       debug(DBG_ERR, "respondaccounting: malloc failed");
-       return;
+    username = radattr2ascii(attr);
+    if (username) {
+       debug(DBG_INFO, "acclog: accounting-request from %s with username: %s", host, username);
+       free(username);
     }
-    memcpy(resp, rq->buf, 20);
-    resp[0] = RAD_Accounting_Response;
-    resp[2] = 0;
-    resp[3] = 20;
-    debug(DBG_DBG, "respondaccounting: responding to %s", rq->from->conf->host);
-    sendreply(rq->from, resp, &rq->fromsa, rq->fromudpsock);
 }
 
-void respondstatusserver(struct request *rq) {
-    unsigned char *resp;
+void respond(struct request *rq, uint8_t code, char *message) {
+    struct radmsg *msg;
+    struct tlv *attr;
 
-    resp = malloc(20);
-    if (!resp) {
-       debug(DBG_ERR, "respondstatusserver: malloc failed");
+    msg = radmsg_init(code, rq->msg->id, rq->msg->auth);
+    if (!msg) {
+       debug(DBG_ERR, "respond: malloc failed");
        return;
     }
-    memcpy(resp, rq->buf, 20);
-    resp[0] = RAD_Access_Accept;
-    resp[2] = 0;
-    resp[3] = 20;
-    debug(DBG_DBG, "respondstatusserver: responding to %s", rq->from->conf->host);
-    sendreply(rq->from, resp, &rq->fromsa, rq->fromudpsock);
-}
-
-void respondreject(struct request *rq, char *message) {
-    unsigned char *resp;
-    int len = 20;
-
-    if (message && *message)
-       len += 2 + strlen(message);
-    
-    resp = malloc(len);
-    if (!resp) {
-       debug(DBG_ERR, "respondreject: malloc failed");
-       return;
-    }
-    memcpy(resp, rq->buf, 20);
-    resp[0] = RAD_Access_Reject;
-    *(uint16_t *)(resp + 2) = htons(len);
     if (message && *message) {
-       resp[20] = RAD_Attr_Reply_Message;
-       resp[21] = len - 20;
-       memcpy(resp + 22, message, len - 22);
+       attr = maketlv(RAD_Attr_Reply_Message, strlen(message), message);
+       if (!attr || !radmsg_add(msg, attr)) {
+           freetlv(attr);
+           radmsg_free(msg);
+           debug(DBG_ERR, "respond: malloc failed");
+           return;
+       }
     }
-    sendreply(rq->from, resp, &rq->fromsa, rq->fromudpsock);
+
+    radmsg_free(rq->msg);
+    rq->msg = msg;
+    debug(DBG_DBG, "respond: sending %s to %s", radmsgtype2string(msg->code), rq->from->conf->host);
+    rq->refcount++;
+    sendreply(rq);
 }
 
 struct clsrvconf *choosesrvconf(struct list *srvconfs) {
@@ -1731,348 +1652,378 @@ struct clsrvconf *choosesrvconf(struct list *srvconfs) {
     return best ? best : first;
 }
 
-struct server *findserver(struct realm **realm, char *id, uint8_t acc) {
+struct server *findserver(struct realm **realm, struct tlv *username, uint8_t acc) {
     struct clsrvconf *srvconf;
+    char *id = (char *)tlv2str(username);
     
+    if (!id)
+       return NULL;
     *realm = id2realm(realms, id);
-    if (!*realm)
+    if (!*realm) {
+       free(id);
        return NULL;
+    }
     debug(DBG_DBG, "found matching realm: %s", (*realm)->name);
     srvconf = choosesrvconf(acc ? (*realm)->accsrvconfs : (*realm)->srvconfs);
-    if (!srvconf)
+    if (!srvconf) {
+       free(id);
        return NULL;
+    }
     if (!acc && !srvconf->servers)
        adddynamicrealmserver(*realm, srvconf, id);
+    free(id);
     return srvconf->servers;
 }
 
-/* returns 0 if validation/authentication fails, else 1 */
-int radsrv(struct request *rq) {
-    uint8_t code, id, *auth, *attrs, *attr;
-    uint16_t len;
-    struct server *to = NULL;
-    char username[254], userascii[760];
-    unsigned char newauth[16];
-    struct realm *realm = NULL;
-    
-    code = *(uint8_t *)rq->buf;
-    id = *(uint8_t *)(rq->buf + 1);
-    len = RADLEN(rq->buf);
-    auth = (uint8_t *)(rq->buf + 4);
 
-    debug(DBG_DBG, "radsrv: code %d, id %d, length %d", code, id, len);
+struct request *newrequest() {
+    struct request *rq;
+
+    rq = malloc(sizeof(struct request));
+    if (!rq) {
+       debug(DBG_ERR, "newrequest: malloc failed");
+       return NULL;
+    }
+    memset(rq, 0, sizeof(struct request));
+    rq->refcount = 1;
+    gettimeofday(&rq->created, NULL);
+    return rq;
+}
+
+int addclientrq(struct request *rq) {
+    struct request *r;
+    struct timeval now;
     
-    if (code != RAD_Access_Request && code != RAD_Status_Server && code != RAD_Accounting_Request) {
-       debug(DBG_INFO, "radsrv: server currently accepts only access-requests, accounting-requests and status-server, ignoring");
-       goto exit;
+    r = rq->from->rqs[rq->rqid];
+    if (r) {
+       if (rq->udpport == r->udpport && !memcmp(rq->rqauth, r->rqauth, 16)) {
+           gettimeofday(&now, NULL);
+           if (now.tv_sec - r->created.tv_sec < r->from->conf->dupinterval) {
+               if (r->replybuf) {
+                   debug(DBG_INFO, "addclientrq: already sent reply to request with id %d from %s, resending", rq->rqid, addr2string(r->from->addr));
+                   r->refcount++;
+                   sendreply(r);
+               } else
+                   debug(DBG_INFO, "addclientrq: already got request with id %d from %s, ignoring", rq->rqid, addr2string(r->from->addr));
+               return 0;
+           }
+       }
+       freerq(r);
     }
+    rq->refcount++;
+    rq->from->rqs[rq->rqid] = rq;
+    return 1;
+}
 
-    len -= 20;
-    attrs = rq->buf + 20;
+void rmclientrq(struct request *rq, uint8_t id) {
+    struct request *r;
 
-    if (!attrvalidate(attrs, len)) {
-       debug(DBG_WARN, "radsrv: attribute validation failed, ignoring packet");
-       goto errvalauth;
+    r = rq->from->rqs[id];
+    if (r) {
+       freerq(r);
+       rq->from->rqs[id] = NULL;
     }
+}
 
-    attr = attrget(attrs, len, RAD_Attr_Message_Authenticator);
-    if (attr && (ATTRVALLEN(attr) != 16 || !checkmessageauth(rq->buf, ATTRVAL(attr), rq->from->conf->secret))) {
-       debug(DBG_WARN, "radsrv: message authentication failed");
-       goto errvalauth;
-    }
+/* returns 0 if validation/authentication fails, else 1 */
+int radsrv(struct request *rq) {
+    struct radmsg *msg = NULL;
+    struct tlv *attr;
+    uint8_t *userascii = NULL;
+    struct realm *realm = NULL;
+    struct server *to = NULL;
+    struct client *from = rq->from;
+    
+    msg = buf2radmsg(rq->buf, (uint8_t *)from->conf->secret, NULL);
+    free(rq->buf);
+    rq->buf = NULL;
 
-    if (code == RAD_Status_Server) {
-       respondstatusserver(rq);
-       goto exit;
+    if (!msg) {
+       debug(DBG_WARN, "radsrv: message validation failed, ignoring packet");
+       freerq(rq);
+       return 0;
     }
     
-    /* below: code == RAD_Access_Request || code == RAD_Accounting_Request */
+    rq->msg = msg;
+    rq->rqid = msg->id;
+    memcpy(rq->rqauth, msg->auth, 16);
 
-    if (code == RAD_Accounting_Request) {
-       memset(newauth, 0, 16);
-       if (!validauth(rq->buf, newauth, (unsigned char *)rq->from->conf->secret)) {
-           debug(DBG_WARN, "radsrv: Accounting-Request message authentication failed");
-           goto errvalauth;
-       }
+    debug(DBG_DBG, "radsrv: code %d, id %d", msg->code, msg->id);
+    if (msg->code != RAD_Access_Request && msg->code != RAD_Status_Server && msg->code != RAD_Accounting_Request) {
+       debug(DBG_INFO, "radsrv: server currently accepts only access-requests, accounting-requests and status-server, ignoring");      
+       goto exit;
     }
     
-    if (rq->from->conf->rewrite) {
-       dorewrite(rq->buf, rq->from->conf->rewrite);
-       len = RADLEN(rq->buf) - 20;
+    if (!addclientrq(rq))
+       goto exit;
+
+    if (msg->code == RAD_Status_Server) {
+       respond(rq, RAD_Access_Accept, NULL);
+       goto exit;
     }
-    
-    attr = attrget(attrs, len, RAD_Attr_User_Name);
+
+    /* below: code == RAD_Access_Request || code == RAD_Accounting_Request */
+
+    if (from->conf->rewritein && !dorewrite(msg, from->conf->rewritein))
+       goto rmclrqexit;
+
+    attr = radmsg_gettype(msg, RAD_Attr_User_Name);
     if (!attr) {
-       if (code == RAD_Accounting_Request) {
-           acclog(attrs, len, rq->from->conf->host);
-           respondaccounting(rq);
+       if (msg->code == RAD_Accounting_Request) {
+           acclog(msg, from->conf->host);
+           respond(rq, RAD_Accounting_Response, NULL);
        } else
            debug(DBG_WARN, "radsrv: ignoring access request, no username attribute");
        goto exit;
     }
-    memcpy(username, ATTRVAL(attr), ATTRVALLEN(attr));
-    username[ATTRVALLEN(attr)] = '\0';
-    radattr2ascii(userascii, sizeof(userascii), attr);
-
-    if (rq->from->conf->rewriteattrregex) {
-       if (!rewriteusername(rq, username)) {
-           debug(DBG_WARN, "radsrv: username malloc failed, ignoring request");
-           goto exit;
-       }
-       len = RADLEN(rq->buf) - 20;
-       auth = (uint8_t *)(rq->buf + 4);
-       attrs = rq->buf + 20;
+    
+    if (from->conf->rewriteusername && !rewriteusername(rq, attr)) {
+       debug(DBG_WARN, "radsrv: username malloc failed, ignoring request");
+       goto rmclrqexit;
     }
-
-    debug(DBG_DBG, "%s with username: %s", radmsgtype2string(code), userascii);
     
-    to = findserver(&realm, username, code == RAD_Accounting_Request);
+    userascii = radattr2ascii(attr);
+    if (!userascii)
+       goto rmclrqexit;
+    debug(DBG_DBG, "%s with username: %s", radmsgtype2string(msg->code), userascii);
+
+    to = findserver(&realm, attr, msg->code == RAD_Accounting_Request);
     if (!realm) {
        debug(DBG_INFO, "radsrv: ignoring request, don't know where to send it");
        goto exit;
     }
+
     if (!to) {
-       if (realm->message && code == RAD_Access_Request) {
-           debug(DBG_INFO, "radsrv: sending reject to %s for %s", rq->from->conf->host, userascii);
-           respondreject(rq, realm->message);
-       } else if (realm->accresp && code == RAD_Accounting_Request) {
-           acclog(attrs, len, rq->from->conf->host);
-           respondaccounting(rq);
+       if (realm->message && msg->code == RAD_Access_Request) {
+           debug(DBG_INFO, "radsrv: sending reject to %s for %s", from->conf->host, userascii);
+           respond(rq, RAD_Access_Reject, realm->message);
+       } else if (realm->accresp && msg->code == RAD_Accounting_Request) {
+           acclog(msg, from->conf->host);
+           respond(rq, RAD_Accounting_Response, NULL);
        }
        goto exit;
     }
     
-    if (options.loopprevention && !strcmp(rq->from->conf->name, to->conf->name)) {
+    if (options.loopprevention && !strcmp(from->conf->name, to->conf->name)) {
        debug(DBG_INFO, "radsrv: Loop prevented, not forwarding request from client %s to server %s, discarding",
-             rq->from->conf->name, to->conf->name);
+             from->conf->name, to->conf->name);
        goto exit;
     }
 
-    if (rqinqueue(to, rq->from, id, code)) {
-       debug(DBG_INFO, "radsrv: already got %s from host %s with id %d, ignoring",
-             radmsgtype2string(code), rq->from->conf->host, id);
-       goto exit;
+    if (msg->code == RAD_Accounting_Request)
+       memset(msg->auth, 0, 16);
+    else if (!RAND_bytes(msg->auth, 16)) {
+       debug(DBG_WARN, "radsrv: failed to generate random auth");
+       goto rmclrqexit;
     }
     
-    if (code != RAD_Accounting_Request) {
-       if (!RAND_bytes(newauth, 16)) {
-           debug(DBG_WARN, "radsrv: failed to generate random auth");
-           goto exit;
-       }
-    }
-
 #ifdef DEBUG
     printfchars(NULL, "auth", "%02x ", auth, 16);
 #endif
 
-    attr = attrget(attrs, len, RAD_Attr_User_Password);
+    attr = radmsg_gettype(msg, RAD_Attr_User_Password);
     if (attr) {
-       debug(DBG_DBG, "radsrv: found userpwdattr with value length %d", ATTRVALLEN(attr));
-       if (!pwdrecrypt(ATTRVAL(attr), ATTRVALLEN(attr), rq->from->conf->secret, to->conf->secret, auth, newauth))
-           goto exit;
+       debug(DBG_DBG, "radsrv: found userpwdattr with value length %d", attr->l);
+       if (!pwdrecrypt(attr->v, attr->l, from->conf->secret, to->conf->secret, rq->rqauth, msg->auth))
+           goto rmclrqexit;
     }
-    
-    attr = attrget(attrs, len, RAD_Attr_Tunnel_Password);
+
+    attr = radmsg_gettype(msg, RAD_Attr_Tunnel_Password);
     if (attr) {
-       debug(DBG_DBG, "radsrv: found tunnelpwdattr with value length %d", ATTRVALLEN(attr));
-       if (!pwdrecrypt(ATTRVAL(attr), ATTRVALLEN(attr), rq->from->conf->secret, to->conf->secret, auth, newauth))
-           goto exit;
+       debug(DBG_DBG, "radsrv: found tunnelpwdattr with value length %d", attr->l);
+       if (!pwdrecrypt(attr->v, attr->l, from->conf->secret, to->conf->secret, rq->rqauth, msg->auth))
+           goto rmclrqexit;
     }
 
-    rq->origid = id;
-    memcpy(rq->origauth, auth, 16);
-    memcpy(auth, newauth, 16);
-    sendrq(to, rq);
+    if (to->conf->rewriteout && !dorewrite(msg, to->conf->rewriteout))
+       goto rmclrqexit;
+    
+    free(userascii);
+    rq->to = to;
+    sendrq(rq);
     return 1;
     
+ rmclrqexit:
+    rmclientrq(rq, msg->id);
  exit:
-    freerqdata(rq);
+    freerq(rq);
+    free(userascii);
     return 1;
-
- errvalauth:
-    freerqdata(rq);
-    return 0;
 }
 
-int replyh(struct server *server, unsigned char *buf) {
+void replyh(struct server *server, unsigned char *buf) {
     struct client *from;
-    struct request *rq;
-    int i, len, sublen;
-    unsigned char *messageauth, *subattrs, *attrs, *attr, *username;
-    struct sockaddr_storage fromsa;
-    char tmp[760], stationid[760];
+    struct rqout *rqout;
+    int sublen;
+    unsigned char *subattrs;
+    uint8_t *username, *stationid, *replymsg;
+    struct radmsg *msg = NULL;
+    struct tlv *attr;
+    struct list_node *node;
     
     server->connectionok = 1;
     server->lostrqs = 0;
-       
-    i = buf[1]; /* i is the id */
-
-    if (*buf != RAD_Access_Accept && *buf != RAD_Access_Reject && *buf != RAD_Access_Challenge
-       && *buf != RAD_Accounting_Response) {
-       debug(DBG_INFO, "replyh: discarding message type %s, accepting only access accept, access reject, access challenge and accounting response messages", radmsgtype2string(*buf));
-       return 0;
-    }
-    debug(DBG_DBG, "got %s message with id %d", radmsgtype2string(*buf), i);
-
-    rq = server->requests + i;
 
-    pthread_mutex_lock(&server->newrq_mutex);
-    if (!rq->buf || !rq->tries) {
-       pthread_mutex_unlock(&server->newrq_mutex);
-       debug(DBG_INFO, "replyh: no matching request sent with this id, ignoring reply");
-       return 0;
-    }
-
-    if (rq->received) {
-       pthread_mutex_unlock(&server->newrq_mutex);
-       debug(DBG_INFO, "replyh: already received, ignoring reply");
-       return 0;
-    }
-       
-    if (!validauth(buf, rq->buf + 4, (unsigned char *)server->conf->secret)) {
-       pthread_mutex_unlock(&server->newrq_mutex);
-       debug(DBG_WARN, "replyh: invalid auth, ignoring reply");
-       return 0;
+    rqout = server->requests + buf[1];
+    pthread_mutex_lock(rqout->lock);
+    if (!rqout->tries) {
+       free(buf);
+       buf = NULL;
+       debug(DBG_INFO, "replyh: no outstanding request with this id, ignoring reply");
+       goto errunlock;
     }
        
-    len = RADLEN(buf) - 20;
-    attrs = buf + 20;
-
-    if (!attrvalidate(attrs, len)) {
-       pthread_mutex_unlock(&server->newrq_mutex);
-       debug(DBG_WARN, "replyh: attribute validation failed, ignoring reply");
-       return 0;
+    msg = buf2radmsg(buf, (uint8_t *)server->conf->secret, rqout->rq->msg->auth);
+    free(buf);
+    buf = NULL;
+    if (!msg) {
+        debug(DBG_WARN, "replyh: message validation failed, ignoring packet");
+       goto errunlock;
     }
-       
-    /* Message Authenticator */
-    messageauth = attrget(attrs, len, RAD_Attr_Message_Authenticator);
-    if (messageauth) {
-       if (ATTRVALLEN(messageauth) != 16) {
-           pthread_mutex_unlock(&server->newrq_mutex);
-           debug(DBG_WARN, "replyh: illegal message auth attribute length, ignoring reply");
-           return 0;
-       }
-       memcpy(tmp, buf + 4, 16);
-       memcpy(buf + 4, rq->buf + 4, 16);
-       if (!checkmessageauth(buf, ATTRVAL(messageauth), server->conf->secret)) {
-           pthread_mutex_unlock(&server->newrq_mutex);
-           debug(DBG_WARN, "replyh: message authentication failed, ignoring reply");
-           return 0;
-       }
-       memcpy(buf + 4, tmp, 16);
-       debug(DBG_DBG, "replyh: message auth ok");
+    if (msg->code != RAD_Access_Accept && msg->code != RAD_Access_Reject && msg->code != RAD_Access_Challenge
+       && msg->code != RAD_Accounting_Response) {
+       debug(DBG_INFO, "replyh: discarding message type %s, accepting only access accept, access reject, access challenge and accounting response messages", radmsgtype2string(msg->code));
+       goto errunlock;
     }
-    
+    debug(DBG_DBG, "got %s message with id %d", radmsgtype2string(msg->code), msg->id);
+
     gettimeofday(&server->lastrcv, NULL);
     
-    if (*rq->buf == RAD_Status_Server) {
-       rq->received = 1;
-       pthread_mutex_unlock(&server->newrq_mutex);
+    if (rqout->rq->msg->code == RAD_Status_Server) {
+       freerqoutdata(rqout);
        debug(DBG_DBG, "replyh: got status server response from %s", server->conf->host);
-       return 0;
+       goto errunlock;
     }
 
     gettimeofday(&server->lastreply, NULL);
-    
-    from = rq->from;
-    if (!from) {
-       pthread_mutex_unlock(&server->newrq_mutex);
-       debug(DBG_INFO, "replyh: client gone, ignoring reply");
-       return 0;
-    }
+    from = rqout->rq->from;
        
-    if (server->conf->rewrite) {
-       dorewrite(buf, server->conf->rewrite);
-       len = RADLEN(buf) - 20;
+    if (server->conf->rewritein && !dorewrite(msg, from->conf->rewritein)) {
+       debug(DBG_WARN, "replyh: rewritein failed");
+       goto errunlock;
     }
     
     /* MS MPPE */
-    for (attr = attrs; (attr = attrget(attr, len - (attr - attrs), RAD_Attr_Vendor_Specific)); attr += ATTRLEN(attr)) {
-       if (ATTRVALLEN(attr) <= 4)
+    for (node = list_first(msg->attrs); node; node = list_next(node)) {
+       attr = (struct tlv *)node->data;
+       if (attr->t != RAD_Attr_Vendor_Specific)
+           continue;
+       if (attr->l <= 4)
            break;
-           
-       if (attr[2] != 0 || attr[3] != 0 || attr[4] != 1 || attr[5] != 55)  /* 311 == MS */
+       if (attr->v[0] != 0 || attr->v[1] != 0 || attr->v[2] != 1 || attr->v[3] != 55)  /* 311 == MS */
            continue;
            
-       sublen = ATTRVALLEN(attr) - 4;
-       subattrs = ATTRVAL(attr) + 4;  
+       sublen = attr->l - 4;
+       subattrs = attr->v + 4;  
        if (!attrvalidate(subattrs, sublen) ||
            !msmppe(subattrs, sublen, RAD_VS_ATTR_MS_MPPE_Send_Key, "MS MPPE Send Key",
-                   rq, server->conf->secret, from->conf->secret) ||
+                   rqout->rq, server->conf->secret, from->conf->secret) ||
            !msmppe(subattrs, sublen, RAD_VS_ATTR_MS_MPPE_Recv_Key, "MS MPPE Recv Key",
-                   rq, server->conf->secret, from->conf->secret))
+                   rqout->rq, server->conf->secret, from->conf->secret))
            break;
     }
-    if (attr) {
-       pthread_mutex_unlock(&server->newrq_mutex);
+    if (node) {
        debug(DBG_WARN, "replyh: MS attribute handling failed, ignoring reply");
-       return 0;
-    }
-       
-    if (*buf == RAD_Access_Accept || *buf == RAD_Access_Reject || *buf == RAD_Accounting_Response) {
-       attr = attrget(rq->buf + 20, RADLEN(rq->buf) - 20, RAD_Attr_User_Name);
-       if (attr) {
-           radattr2ascii(tmp, sizeof(tmp), attr);
-           attr = attrget(rq->buf + 20, RADLEN(rq->buf) - 20, RAD_Attr_Calling_Station_Id);
-           if (attr) {
-               radattr2ascii(stationid, sizeof(stationid), attr);
-               debug(DBG_INFO, "%s for user %s stationid %s from %s",
-                     radmsgtype2string(*buf), tmp, stationid, server->conf->host);
-           } else
-               debug(DBG_INFO, "%s for user %s from %s", radmsgtype2string(*buf), tmp, server->conf->host);
+       goto errunlock;
+    }
+
+    if (msg->code == RAD_Access_Accept || msg->code == RAD_Access_Reject || msg->code == RAD_Accounting_Response) {
+       username = radattr2ascii(radmsg_gettype(rqout->rq->msg, RAD_Attr_User_Name));
+       if (username) {
+           stationid = radattr2ascii(radmsg_gettype(rqout->rq->msg, RAD_Attr_Calling_Station_Id));
+           replymsg = radattr2ascii(radmsg_gettype(msg, RAD_Attr_Reply_Message));
+           if (stationid) {
+               if (replymsg) {
+                   debug(DBG_INFO, "%s for user %s stationid %s from %s (%s)",
+                         radmsgtype2string(msg->code), username, stationid, server->conf->host, replymsg);
+                   free(replymsg);
+               } else
+                   debug(DBG_INFO, "%s for user %s stationid %s from %s",
+                         radmsgtype2string(msg->code), username, stationid, server->conf->host);
+               free(stationid);
+           } else {
+               if (replymsg) {
+                   debug(DBG_INFO, "%s for user %s from %s (%s)",
+                         radmsgtype2string(msg->code), username, server->conf->host, replymsg);
+                   free(replymsg);
+               } else
+                   debug(DBG_INFO, "%s for user %s from %s",
+                         radmsgtype2string(msg->code), username, server->conf->host);
+           }
+           free(username);
        }
     }
-       
-    buf[1] = (char)rq->origid;
-    memcpy(buf + 4, rq->origauth, 16);
+
+    msg->id = (char)rqout->rq->rqid;
+    memcpy(msg->auth, rqout->rq->rqauth, 16);
+
 #ifdef DEBUG   
     printfchars(NULL, "origauth/buf+4", "%02x ", buf + 4, 16);
 #endif
 
-    if (rq->origusername) {
-       username = resizeattr(&buf, strlen(rq->origusername), RAD_Attr_User_Name);
-       if (!username) {
-           pthread_mutex_unlock(&server->newrq_mutex);
+    if (rqout->rq->origusername && (attr = radmsg_gettype(msg, RAD_Attr_User_Name))) {
+       if (!resizeattr(attr, strlen(rqout->rq->origusername))) {
            debug(DBG_WARN, "replyh: malloc failed, ignoring reply");
-           return 0;
-       }
-       memcpy(username, rq->origusername, strlen(rq->origusername));
-       len = RADLEN(buf) - 20;
-       attrs = buf + 20;
-       if (messageauth)
-           messageauth = attrget(attrs, len, RAD_Attr_Message_Authenticator);
-    }
-       
-    if (messageauth) {
-       if (!createmessageauth(buf, ATTRVAL(messageauth), from->conf->secret)) {
-           pthread_mutex_unlock(&server->newrq_mutex);
-           debug(DBG_WARN, "replyh: failed to create authenticator, malloc failed?, ignoring reply");
-           return 0;
+           goto errunlock;
        }
-       debug(DBG_DBG, "replyh: computed messageauthattr");
+       memcpy(attr->v, rqout->rq->origusername, strlen(rqout->rq->origusername));
     }
 
-    fromsa = rq->fromsa; /* only needed for UDP */
-    /* once we set received = 1, rq may be reused */
-    rq->received = 1;
+    if (from->conf->rewriteout && !dorewrite(msg, from->conf->rewriteout)) {
+       debug(DBG_WARN, "replyh: rewriteout failed");
+       goto errunlock;
+    }
 
     debug(DBG_INFO, "replyh: passing reply to client %s", from->conf->name);
-    sendreply(from, buf, &fromsa, rq->fromudpsock);
-    pthread_mutex_unlock(&server->newrq_mutex);
-    return 1;
+    radmsg_free(rqout->rq->msg);
+    rqout->rq->msg = msg;
+    rqout->rq->refcount++;
+    sendreply(rqout->rq);
+    freerqoutdata(rqout);
+    pthread_mutex_unlock(rqout->lock);
+    return;
+
+ errunlock:
+    radmsg_free(msg);
+    pthread_mutex_unlock(rqout->lock);
+    return;
+}
+
+struct request *createstatsrvrq() {
+    struct request *rq;
+    struct tlv *attr;
+
+    rq = newrequest();
+    if (!rq)
+       return NULL;
+    rq->msg = radmsg_init(RAD_Status_Server, 0, NULL);
+    if (!rq->msg)
+       goto exit;
+    attr = maketlv(RAD_Attr_Message_Authenticator, 16, NULL);
+    if (!attr)
+       goto exit;
+    if (!radmsg_add(rq->msg, attr)) {
+       freetlv(attr);
+       goto exit;
+    }
+    return rq;
+
+ exit:
+    freerq(rq);
+    return NULL;
 }
 
 /* code for removing state not finished */
 void *clientwr(void *arg) {
     struct server *server = (struct server *)arg;
-    struct request *rq;
+    struct rqout *rqout = NULL;
     pthread_t clientrdth;
     int i, dynconffail = 0;
+    time_t secs;
     uint8_t rnd;
-    struct timeval now;
+    struct timeval now, laststatsrv;
     struct timespec timeout;
-    struct request statsrvrq;
-    unsigned char statsrvbuf[38];
+    struct request *statsrvrq;
     struct clsrvconf *conf;
     
     conf = server->conf;
@@ -2090,13 +2041,8 @@ void *clientwr(void *arg) {
     memset(&timeout, 0, sizeof(struct timespec));
     
     if (conf->statusserver) {
-       memset(&statsrvrq, 0, sizeof(struct request));
-       memset(statsrvbuf, 0, sizeof(statsrvbuf));
-       statsrvbuf[0] = RAD_Status_Server;
-       statsrvbuf[3] = 38;
-       statsrvbuf[20] = RAD_Attr_Message_Authenticator;
-       statsrvbuf[21] = 18;
        gettimeofday(&server->lastrcv, NULL);
+       gettimeofday(&laststatsrv, NULL);
     }
 
     if (conf->pdef->connecter) {
@@ -2118,13 +2064,16 @@ void *clientwr(void *arg) {
            RAND_bytes(&rnd, 1);
            rnd /= 32;
            if (conf->statusserver) {
-               if (!timeout.tv_sec || timeout.tv_sec > server->lastrcv.tv_sec + STATUS_SERVER_PERIOD + rnd)
-                   timeout.tv_sec = server->lastrcv.tv_sec + STATUS_SERVER_PERIOD + rnd;
+               secs = server->lastrcv.tv_sec > laststatsrv.tv_sec ? server->lastrcv.tv_sec : laststatsrv.tv_sec;
+               if (now.tv_sec - secs > STATUS_SERVER_PERIOD)
+                   secs = now.tv_sec;
+               if (!timeout.tv_sec || timeout.tv_sec > secs + STATUS_SERVER_PERIOD + rnd)
+                   timeout.tv_sec = secs + STATUS_SERVER_PERIOD + rnd;
            } else {
                if (!timeout.tv_sec || timeout.tv_sec > now.tv_sec + STATUS_SERVER_PERIOD + rnd)
                    timeout.tv_sec = now.tv_sec + STATUS_SERVER_PERIOD + rnd;
            }
-#if 0      
+#if 0
            if (timeout.tv_sec > now.tv_sec)
                debug(DBG_DBG, "clientwr: waiting up to %ld secs for new request", timeout.tv_sec - now.tv_sec);
 #endif     
@@ -2146,39 +2095,32 @@ void *clientwr(void *arg) {
                pthread_join(clientrdth, NULL);
                goto errexit;
            }
-           pthread_mutex_lock(&server->newrq_mutex);
-           while (i < MAX_REQUESTS && !server->requests[i].buf)
-               i++;
-           if (i == MAX_REQUESTS) {
-               pthread_mutex_unlock(&server->newrq_mutex);
-               break;
-           }
-           rq = server->requests + i;
-
-            if (rq->received) {
-               debug(DBG_DBG, "clientwr: packet %d in queue is marked as received", i);
-               if (rq->buf) {
-                   debug(DBG_DBG, "clientwr: freeing received packet %d from queue", i);
-                   freerqdata(rq);
-                   /* setting this to NULL means that it can be reused */
-                   rq->buf = NULL;
+
+           for (; i < MAX_REQUESTS; i++) {
+               rqout = server->requests + i;
+               if (rqout->rq) {
+                   pthread_mutex_lock(rqout->lock);
+                   if (rqout->rq)
+                       break;
+                   pthread_mutex_unlock(rqout->lock);
                }
-                pthread_mutex_unlock(&server->newrq_mutex);
-                continue;
-            }
-           
+           }
+               
+           if (i == MAX_REQUESTS)
+               break;
+
            gettimeofday(&now, NULL);
-            if (now.tv_sec < rq->expiry.tv_sec) {
-               if (!timeout.tv_sec || rq->expiry.tv_sec < timeout.tv_sec)
-                   timeout.tv_sec = rq->expiry.tv_sec;
-               pthread_mutex_unlock(&server->newrq_mutex);
+            if (now.tv_sec < rqout->expiry.tv_sec) {
+               if (!timeout.tv_sec || rqout->expiry.tv_sec < timeout.tv_sec)
+                   timeout.tv_sec = rqout->expiry.tv_sec;
+                pthread_mutex_unlock(rqout->lock);
                continue;
            }
 
-           if (rq->tries == (*rq->buf == RAD_Status_Server ? 1 : conf->retrycount + 1)) {
+           if (rqout->tries == (*rqout->rq->buf == RAD_Status_Server ? 1 : conf->retrycount + 1)) {
                debug(DBG_DBG, "clientwr: removing expired packet from queue");
                if (conf->statusserver) {
-                   if (*rq->buf == RAD_Status_Server) {
+                   if (*rqout->rq->buf == RAD_Status_Server) {
                        debug(DBG_WARN, "clientwr: no status server response, %s dead?", conf->host);
                        if (server->lostrqs < 255)
                            server->lostrqs++;
@@ -2188,35 +2130,29 @@ void *clientwr(void *arg) {
                    if (server->lostrqs < 255)
                        server->lostrqs++;
                }
-               freerqdata(rq);
-               /* setting this to NULL means that it can be reused */
-               rq->buf = NULL;
-               pthread_mutex_unlock(&server->newrq_mutex);
+               freerqoutdata(rqout);
+                pthread_mutex_unlock(rqout->lock);
                continue;
            }
-            pthread_mutex_unlock(&server->newrq_mutex);
 
-           rq->expiry.tv_sec = now.tv_sec + conf->retryinterval;
-           if (!timeout.tv_sec || rq->expiry.tv_sec < timeout.tv_sec)
-               timeout.tv_sec = rq->expiry.tv_sec;
-           rq->tries++;
-           conf->pdef->clientradput(server, server->requests[i].buf);
+           rqout->expiry.tv_sec = now.tv_sec + conf->retryinterval;
+           if (!timeout.tv_sec || rqout->expiry.tv_sec < timeout.tv_sec)
+               timeout.tv_sec = rqout->expiry.tv_sec;
+           rqout->tries++;
+           conf->pdef->clientradput(server, rqout->rq->buf);
+           pthread_mutex_unlock(rqout->lock);
        }
-       if (conf->statusserver) {
+       if (conf->statusserver && server->connectionok) {
+           secs = server->lastrcv.tv_sec > laststatsrv.tv_sec ? server->lastrcv.tv_sec : laststatsrv.tv_sec;
            gettimeofday(&now, NULL);
-           if (now.tv_sec - server->lastrcv.tv_sec >= STATUS_SERVER_PERIOD) {
-               if (!RAND_bytes(statsrvbuf + 4, 16)) {
-                   debug(DBG_WARN, "clientwr: failed to generate random auth");
-                   continue;
-               }
-               statsrvrq.buf = malloc(sizeof(statsrvbuf));
-               if (!statsrvrq.buf) {
-                   debug(DBG_ERR, "clientwr: malloc failed");
-                   continue;
+           if (now.tv_sec - secs > STATUS_SERVER_PERIOD) {
+               laststatsrv = now;
+               statsrvrq = createstatsrvrq();
+               if (statsrvrq) {
+                   statsrvrq->to = server;
+                   debug(DBG_DBG, "clientwr: sending status server to %s", conf->host);
+                   sendrq(statsrvrq);
                }
-               memcpy(statsrvrq.buf, statsrvbuf, sizeof(statsrvbuf));
-               debug(DBG_DBG, "clientwr: sending status server to %s", conf->host);
-               sendrq(server, &statsrvrq);
            }
        }
     }
@@ -2325,7 +2261,7 @@ SSL_CTX *tlscreatectx(uint8_t type, struct tls *conf) {
     unsigned long error;
 
     if (!ssl_locks) {
-       ssl_locks = malloc(CRYPTO_num_locks() * sizeof(pthread_mutex_t));
+       ssl_locks = calloc(CRYPTO_num_locks(), sizeof(pthread_mutex_t));
        ssl_lock_count = OPENSSL_malloc(CRYPTO_num_locks() * sizeof(long));
        for (i = 0; i < CRYPTO_num_locks(); i++) {
            ssl_lock_count[i] = 0;
@@ -2413,24 +2349,50 @@ SSL_CTX *tlscreatectx(uint8_t type, struct tls *conf) {
     return ctx;
 }
 
-SSL_CTX *tlsgetctx(uint8_t type, char *alt1, char *alt2) {
+struct tls *tlsgettls(char *alt1, char *alt2) {
     struct tls *t;
 
     t = hash_read(tlsconfs, alt1, strlen(alt1));
-    if (!t) {
+    if (!t)
        t = hash_read(tlsconfs, alt2, strlen(alt2));
-       if (!t)
-           return NULL;
-    }
+    return t;
+}
 
+SSL_CTX *tlsgetctx(uint8_t type, struct tls *t) {
+    struct timeval now;
+    
+    if (!t)
+       return NULL;
+    gettimeofday(&now, NULL);
+    
     switch (type) {
     case RAD_TLS:
-       if (!t->tlsctx)
+       if (t->tlsexpiry && t->tlsctx) {
+           if (t->tlsexpiry < now.tv_sec) {
+               t->tlsexpiry = now.tv_sec + t->cacheexpiry;
+               SSL_CTX_free(t->tlsctx);
+               return t->tlsctx = tlscreatectx(RAD_TLS, t);
+           }
+       }
+       if (!t->tlsctx) {
            t->tlsctx = tlscreatectx(RAD_TLS, t);
+           if (t->cacheexpiry)
+               t->tlsexpiry = now.tv_sec + t->cacheexpiry;
+       }
        return t->tlsctx;
     case RAD_DTLS:
-       if (!t->dtlsctx)
+       if (t->dtlsexpiry && t->dtlsctx) {
+           if (t->dtlsexpiry < now.tv_sec) {
+               t->dtlsexpiry = now.tv_sec + t->cacheexpiry;
+               SSL_CTX_free(t->dtlsctx);
+               return t->dtlsctx = tlscreatectx(RAD_DTLS, t);
+           }
+       }
+       if (!t->dtlsctx) {
            t->dtlsctx = tlscreatectx(RAD_DTLS, t);
+           if (t->cacheexpiry)
+               t->dtlsexpiry = now.tv_sec + t->cacheexpiry;
+       }
        return t->dtlsctx;
     }
     return NULL;
@@ -2557,7 +2519,7 @@ struct realm *addrealm(struct list *realmlist, char *value, char **servers, char
     realm->message = message;
     realm->accresp = accresp;
     
-    if (regcomp(&realm->regex, regex ? regex : value + 1, REG_ICASE | REG_NOSUB)) {
+    if (regcomp(&realm->regex, regex ? regex : value + 1, REG_EXTENDED | REG_ICASE | REG_NOSUB)) {
        debug(DBG_ERR, "addrealm: failed to compile regular expression %s", regex ? regex : value + 1);
        goto errexit;
     }
@@ -2763,7 +2725,7 @@ int addmatchcertattr(struct clsrvconf *conf) {
        debug(DBG_ERR, "malloc failed");
        return 0;
     }
-    if (regcomp(*r, v, REG_ICASE | REG_NOSUB)) {
+    if (regcomp(*r, v, REG_EXTENDED | REG_ICASE | REG_NOSUB)) {
        free(*r);
        *r = NULL;
        debug(DBG_ERR, "failed to compile regular expression %s", v);
@@ -2772,47 +2734,6 @@ int addmatchcertattr(struct clsrvconf *conf) {
     return 1;
 }
 
-int addrewriteattr(struct clsrvconf *conf) {
-    char *v, *w;
-    
-    v = conf->rewriteattr + 11;
-    if (strncasecmp(conf->rewriteattr, "User-Name:/", 11) || !*v)
-       return 0;
-    /* regexp, remove optional trailing / if present */
-    if (v[strlen(v) - 1] == '/')
-       v[strlen(v) - 1] = '\0';
-
-    w = strchr(v, '/');
-    if (!*w)
-       return 0;
-    *w = '\0';
-    w++;
-    
-    conf->rewriteattrregex = malloc(sizeof(regex_t));
-    if (!conf->rewriteattrregex) {
-       debug(DBG_ERR, "malloc failed");
-       return 0;
-    }
-
-    conf->rewriteattrreplacement = stringcopy(w, 0);
-    if (!conf->rewriteattrreplacement) {
-       free(conf->rewriteattrregex);
-       conf->rewriteattrregex = NULL;
-       return 0;
-    }
-    
-    if (regcomp(conf->rewriteattrregex, v, REG_ICASE | REG_EXTENDED)) {
-       free(conf->rewriteattrregex);
-       conf->rewriteattrregex = NULL;
-       free(conf->rewriteattrreplacement);
-       conf->rewriteattrreplacement = NULL;
-       debug(DBG_ERR, "failed to compile regular expression %s", v);
-       return 0;
-    }
-
-    return 1;
-}
-
 /* should accept both names and numeric values, only numeric right now */
 uint8_t attrname2val(char *attrname) {
     int val = 0;
@@ -2835,6 +2756,91 @@ int vattrname2val(char *attrname, uint32_t *vendor, uint32_t *type) {
     return *type >= 0 && *type < 256;
 }
 
+/* should accept both names and numeric values, only numeric right now */
+struct tlv *extractattr(char *nameval) {
+    int len, name = 0;
+    char *s;
+    struct tlv *a;
+    
+    s = strchr(nameval, ':');
+    name = atoi(nameval);
+    if (!s || name < 1 || name > 255)
+       return NULL;
+    len = strlen(s + 1);
+    if (len > 253)
+       return NULL;
+    a = malloc(sizeof(struct tlv));
+    if (!a)
+       return NULL;
+    a->v = (uint8_t *)stringcopy(s + 1, 0);
+    if (!a->v) {
+       free(a);
+       return NULL;
+    }
+    a->t = name;
+    a->l = len;
+    return a;
+}
+
+/* should accept both names and numeric values, only numeric right now */
+struct modattr *extractmodattr(char *nameval) {
+    int name = 0;
+    char *s, *t;
+    struct modattr *m;
+
+    if (!strncasecmp(nameval, "User-Name:/", 11)) {
+       s = nameval + 11;
+       name = 1;
+    } else {
+       s = strchr(nameval, ':');
+       name = atoi(nameval);
+       if (!s || name < 1 || name > 255 || s[1] != '/')
+           return NULL;
+       s += 2;
+    }
+    /* regexp, remove optional trailing / if present */
+    if (s[strlen(s) - 1] == '/')
+       s[strlen(s) - 1] = '\0';
+
+    t = strchr(s, '/');
+    if (!t)
+       return NULL;
+    *t = '\0';
+    t++;
+
+    m = malloc(sizeof(struct modattr));
+    if (!m) {
+       debug(DBG_ERR, "malloc failed");
+       return NULL;
+    }
+    m->t = name;
+
+    m->replacement = stringcopy(t, 0);
+    if (!m->replacement) {
+       free(m);
+       debug(DBG_ERR, "malloc failed");
+       return NULL;
+    }
+       
+    m->regex = malloc(sizeof(regex_t));
+    if (!m->regex) {
+       free(m->replacement);
+       free(m);
+       debug(DBG_ERR, "malloc failed");
+       return NULL;
+    }
+    
+    if (regcomp(m->regex, s, REG_ICASE | REG_EXTENDED)) {
+       free(m->regex);
+       free(m->replacement);
+       free(m);
+       debug(DBG_ERR, "failed to compile regular expression %s", s);
+       return NULL;
+    }
+
+    return m;
+}
+
 struct rewrite *getrewrite(char *alt1, char *alt2) {
     struct rewrite *r;
 
@@ -2845,50 +2851,83 @@ struct rewrite *getrewrite(char *alt1, char *alt2) {
     return NULL;
 }
 
-void addrewrite(char *value, char **attrs, char **vattrs) {
+void addrewrite(char *value, char **rmattrs, char **rmvattrs, char **addattrs, char **modattrs) {
     struct rewrite *rewrite = NULL;
     int i, n;
-    uint8_t *a = NULL;
-    uint32_t *p, *va = NULL;
-
-    if (attrs) {
-       n = 0;
-       for (; attrs[n]; n++);
-       a = malloc((n + 1) * sizeof(uint8_t));
-       if (!a)
+    uint8_t *rma = NULL;
+    uint32_t *p, *rmva = NULL;
+    struct list *adda = NULL, *moda = NULL;
+    struct tlv *a;
+    struct modattr *m;
+    
+    if (rmattrs) {
+       for (n = 0; rmattrs[n]; n++);
+       rma = calloc(n + 1, sizeof(uint8_t));
+       if (!rma)
            debugx(1, DBG_ERR, "malloc failed");
     
        for (i = 0; i < n; i++) {
-           if (!(a[i] = attrname2val(attrs[i])))
-               debugx(1, DBG_ERR, "addrewrite: invalid attribute %s", attrs[i]);
-           free(attrs[i]);
+           if (!(rma[i] = attrname2val(rmattrs[i])))
+               debugx(1, DBG_ERR, "addrewrite: invalid attribute %s", rmattrs[i]);
+           free(rmattrs[i]);
        }
-       free(attrs);
-       a[i] = 0;
+       free(rmattrs);
+       rma[i] = 0;
     }
     
-    if (vattrs) {
-       n = 0;
-       for (; vattrs[n]; n++);
-       va = malloc((2 * n + 1) * sizeof(uint32_t));
-       if (!va)
+    if (rmvattrs) {
+       for (n = 0; rmvattrs[n]; n++);
+       rmva = calloc(2 * n + 1, sizeof(uint32_t));
+       if (!rmva)
            debugx(1, DBG_ERR, "malloc failed");
     
-       for (p = va, i = 0; i < n; i++, p += 2) {
-           if (!vattrname2val(vattrs[i], p, p + 1))
-               debugx(1, DBG_ERR, "addrewrite: invalid vendor attribute %s", vattrs[i]);
-           free(vattrs[i]);
+       for (p = rmva, i = 0; i < n; i++, p += 2) {
+           if (!vattrname2val(rmvattrs[i], p, p + 1))
+               debugx(1, DBG_ERR, "addrewrite: invalid vendor attribute %s", rmvattrs[i]);
+           free(rmvattrs[i]);
        }
-       free(vattrs);
+       free(rmvattrs);
        *p = 0;
     }
     
-    if (a || va) {
+    if (addattrs) {
+       adda = list_create();
+       if (!adda)
+           debugx(1, DBG_ERR, "malloc failed");
+       for (i = 0; addattrs[i]; i++) {
+           a = extractattr(addattrs[i]);
+           if (!a)
+               debugx(1, DBG_ERR, "addrewrite: invalid attribute %s", addattrs[i]);
+           free(addattrs[i]);
+           if (!list_push(adda, a))
+               debugx(1, DBG_ERR, "malloc failed");
+       }
+       free(addattrs);
+    }
+
+    if (modattrs) {
+       moda = list_create();
+       if (!moda)
+           debugx(1, DBG_ERR, "malloc failed");
+       for (i = 0; modattrs[i]; i++) {
+           m = extractmodattr(modattrs[i]);
+           if (!m)
+               debugx(1, DBG_ERR, "addrewrite: invalid attribute %s", modattrs[i]);
+           free(modattrs[i]);
+           if (!list_push(moda, m))
+               debugx(1, DBG_ERR, "malloc failed");
+       }
+       free(modattrs);
+    }
+       
+    if (rma || rmva || adda || moda) {
        rewrite = malloc(sizeof(struct rewrite));
        if (!rewrite)
            debugx(1, DBG_ERR, "malloc failed");
-       rewrite->removeattrs = a;
-       rewrite->removevendorattrs = va;
+       rewrite->removeattrs = rma;
+       rewrite->removevendorattrs = rmva;
+       rewrite->addattrs = adda;
+       rewrite->modattrs = moda;
     }
     
     if (!hash_insert(rewriteconfs, value, strlen(value), rewrite))
@@ -2907,15 +2946,23 @@ void freeclsrvconf(struct clsrvconf *conf) {
        regfree(conf->certcnregex);
     if (conf->certuriregex)
        regfree(conf->certuriregex);
-    free(conf->confrewrite);
-    free(conf->rewriteattr);
-    if (conf->rewriteattrregex)
-       regfree(conf->rewriteattrregex);
-    free(conf->rewriteattrreplacement);
+    free(conf->confrewritein);
+    free(conf->confrewriteout);
+    if (conf->rewriteusername) {
+       if (conf->rewriteusername->regex)
+           regfree(conf->rewriteusername->regex);
+       free(conf->rewriteusername->replacement);
+       free(conf->rewriteusername);
+    }
     free(conf->dynamiclookupcommand);
-    free(conf->rewrite);
+    free(conf->rewritein);
+    free(conf->rewriteout);
     if (conf->addrinfo)
        freeaddrinfo(conf->addrinfo);
+    if (conf->lock) {
+       pthread_mutex_destroy(conf->lock);
+       free(conf->lock);
+    }
     /* not touching ssl_ctx, clients and servers */
     free(conf);
 }
@@ -2947,7 +2994,8 @@ int mergesrvconf(struct clsrvconf *dst, struct clsrvconf *src) {
        !mergeconfstring(&dst->secret, &src->secret) ||
        !mergeconfstring(&dst->tls, &src->tls) ||
        !mergeconfstring(&dst->matchcertattr, &src->matchcertattr) ||
-       !mergeconfstring(&dst->confrewrite, &src->confrewrite) ||
+       !mergeconfstring(&dst->confrewritein, &src->confrewritein) ||
+       !mergeconfstring(&dst->confrewriteout, &src->confrewriteout) ||
        !mergeconfstring(&dst->dynamiclookupcommand, &src->dynamiclookupcommand))
        return 0;
     if (src->pdef)
@@ -2963,12 +3011,13 @@ int mergesrvconf(struct clsrvconf *dst, struct clsrvconf *src) {
 
 int confclient_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
     struct clsrvconf *conf;
-    char *conftype = NULL;
+    char *conftype = NULL, *rewriteinalias = NULL;
+    long int dupinterval = LONG_MIN;
     
     debug(DBG_DBG, "confclient_cb called for %s", block);
 
     conf = malloc(sizeof(struct clsrvconf));
-    if (!conf || !list_push(clconfs, conf))
+    if (!conf)
        debugx(1, DBG_ERR, "malloc failed");
     memset(conf, 0, sizeof(struct clsrvconf));
     conf->certnamecheck = 1;
@@ -2980,8 +3029,11 @@ int confclient_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
                     "tls", CONF_STR, &conf->tls,
                     "matchcertificateattribute", CONF_STR, &conf->matchcertattr,
                     "CertificateNameCheck", CONF_BLN, &conf->certnamecheck,
-                    "rewrite", CONF_STR, &conf->confrewrite,
-                    "rewriteattribute", CONF_STR, &conf->rewriteattr,
+                    "DuplicateInterval", CONF_LINT, &dupinterval,
+                    "rewrite", CONF_STR, &rewriteinalias,
+                    "rewriteIn", CONF_STR, &conf->confrewritein,
+                    "rewriteOut", CONF_STR, &conf->confrewriteout,
+                    "rewriteattribute", CONF_STR, &conf->confrewriteusername,
                     NULL
                          ))
        debugx(1, DBG_ERR, "configuration error");
@@ -3001,17 +3053,31 @@ int confclient_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
     free(conftype);
     
     if (conf->type == RAD_TLS || conf->type == RAD_DTLS) {
-       conf->ssl_ctx = conf->tls ? tlsgetctx(conf->type, conf->tls, NULL) : tlsgetctx(conf->type, "defaultclient", "default");
-       if (!conf->ssl_ctx)
+       conf->tlsconf = conf->tls ? tlsgettls(conf->tls, NULL) : tlsgettls("defaultclient", "default");
+       if (!conf->tlsconf)
            debugx(1, DBG_ERR, "error in block %s, no tls context defined", block);
        if (conf->matchcertattr && !addmatchcertattr(conf))
            debugx(1, DBG_ERR, "error in block %s, invalid MatchCertificateAttributeValue", block);
     }
     
-    conf->rewrite = conf->confrewrite ? getrewrite(conf->confrewrite, NULL) : getrewrite("defaultclient", "default");
+    if (dupinterval != LONG_MIN) {
+       if (dupinterval < 0 || dupinterval > 255)
+           debugx(1, DBG_ERR, "error in block %s, value of option DuplicateInterval is %d, must be 0-255", block, dupinterval);
+       conf->dupinterval = (uint8_t)dupinterval;
+    } else
+       conf->dupinterval = conf->pdef->duplicateintervaldefault;
     
-    if (conf->rewriteattr) {
-       if (!addrewriteattr(conf))
+    if (!conf->confrewritein)
+       conf->confrewritein = rewriteinalias;
+    else
+       free(rewriteinalias);
+    conf->rewritein = conf->confrewritein ? getrewrite(conf->confrewritein, NULL) : getrewrite("defaultclient", "default");
+    if (conf->confrewriteout)
+       conf->rewriteout = getrewrite(conf->confrewriteout, NULL);
+    
+    if (conf->confrewriteusername) {
+       conf->rewriteusername = extractmodattr(conf->confrewriteusername);
+       if (!conf->rewriteusername)
            debugx(1, DBG_ERR, "error in block %s, invalid RewriteAttributeValue", block);
     }
     
@@ -3025,13 +3091,21 @@ int confclient_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
        if (!conf->secret)
            debugx(1, DBG_ERR, "malloc failed");
     }
+
+    conf->lock = malloc(sizeof(pthread_mutex_t));
+    if (!conf->lock)
+       debugx(1, DBG_ERR, "malloc failed");
+
+    pthread_mutex_init(conf->lock, NULL);
+    if (!list_push(clconfs, conf))
+       debugx(1, DBG_ERR, "malloc failed");
     return 1;
 }
 
 int compileserverconfig(struct clsrvconf *conf, const char *block) {
     if (conf->type == RAD_TLS || conf->type == RAD_DTLS) {
-       conf->ssl_ctx = conf->tls ? tlsgetctx(conf->type, conf->tls, NULL) : tlsgetctx(conf->type, "defaultserver", "default");
-       if (!conf->ssl_ctx) {
+       conf->tlsconf = conf->tls ? tlsgettls(conf->tls, NULL) : tlsgettls("defaultserver", "default");
+       if (!conf->tlsconf) {
            debug(DBG_ERR, "error in block %s, no tls context defined", block);
            return 0;
        }
@@ -3054,7 +3128,9 @@ int compileserverconfig(struct clsrvconf *conf, const char *block) {
     if (conf->retrycount == 255)
        conf->retrycount = protodefs[conf->type].retrycountdefault;
     
-    conf->rewrite = conf->confrewrite ? getrewrite(conf->confrewrite, NULL) : getrewrite("defaultserver", "default");
+    conf->rewritein = conf->confrewritein ? getrewrite(conf->confrewritein, NULL) : getrewrite("defaultserver", "default");
+    if (conf->confrewriteout)
+       conf->rewriteout = getrewrite(conf->confrewriteout, NULL);
 
     if (!conf->secret) {
        if (!conf->pdef->secretdefault) {
@@ -3077,7 +3153,7 @@ int compileserverconfig(struct clsrvconf *conf, const char *block) {
                        
 int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
     struct clsrvconf *conf, *resconf;
-    char *conftype = NULL;
+    char *conftype = NULL, *rewriteinalias = NULL;
     long int retryinterval = LONG_MIN, retrycount = LONG_MIN;
     
     debug(DBG_DBG, "confserver_cb called for %s", block);
@@ -3102,7 +3178,9 @@ int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
                          "secret", CONF_STR, &conf->secret,
                          "tls", CONF_STR, &conf->tls,
                          "MatchCertificateAttribute", CONF_STR, &conf->matchcertattr,
-                         "rewrite", CONF_STR, &conf->confrewrite,
+                         "rewrite", CONF_STR, &rewriteinalias,
+                         "rewriteIn", CONF_STR, &conf->confrewritein,
+                         "rewriteOut", CONF_STR, &conf->confrewriteout,
                          "StatusServer", CONF_BLN, &conf->statusserver,
                          "RetryInterval", CONF_LINT, &retryinterval,
                          "RetryCount", CONF_LINT, &retrycount,
@@ -3133,11 +3211,17 @@ int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
     conf->pdef = &protodefs[conf->type];
     if (!conf->pdef->name) {
        debug(DBG_ERR, "error in block %s, unknown transport %s", block, conftype);
-       free(conftype);
        goto errexit;
     }
     free(conftype);
-           
+    conftype = NULL;
+
+    if (!conf->confrewritein)
+       conf->confrewritein = rewriteinalias;
+    else
+       free(rewriteinalias);
+    rewriteinalias = NULL;
+
     if (retryinterval != LONG_MIN) {
        if (retryinterval < 1 || retryinterval > conf->pdef->retryintervalmax) {
            debug(DBG_ERR, "error in block %s, value of option RetryInterval is %d, must be 1-%d", block, retryinterval, conf->pdef->retryintervalmax);
@@ -3181,7 +3265,9 @@ int confserver_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
     }
     return 1;
 
- errexit:    
+ errexit:
+    free(conftype);
+    free(rewriteinalias);
     freeclsrvconf(conf);
     return 0;
 }
@@ -3207,6 +3293,7 @@ int confrealm_cb(struct gconffile **cf, void *arg, char *block, char *opt, char
 
 int conftls_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
     struct tls *conf;
+    long int expiry = LONG_MIN;
     
     debug(DBG_DBG, "conftls_cb called for %s", block);
     
@@ -3223,6 +3310,7 @@ int conftls_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *v
                     "CertificateFile", CONF_STR, &conf->certfile,
                     "CertificateKeyFile", CONF_STR, &conf->certkeyfile,
                     "CertificateKeyPassword", CONF_STR, &conf->certkeypwd,
+                    "CacheExpiry", CONF_LINT, &expiry,
                     "CRLCheck", CONF_BLN, &conf->crlcheck,
                     NULL
                          )) {
@@ -3237,6 +3325,13 @@ int conftls_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *v
        debug(DBG_ERR, "conftls_cb: CA Certificate file or path need to be specified in block %s", val);
        goto errexit;
     }
+    if (expiry != LONG_MIN) {
+       if (expiry < 0) {
+           debug(DBG_ERR, "error in block %s, value of option CacheExpiry is %ld, may not be negative", val, expiry);
+           goto errexit;
+       }
+       conf->cacheexpiry = expiry;
+    }    
 
     conf->name = stringcopy(val, 0);
     if (!conf->name) {
@@ -3263,17 +3358,19 @@ int conftls_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *v
 }
 
 int confrewrite_cb(struct gconffile **cf, void *arg, char *block, char *opt, char *val) {
-    char **attrs = NULL, **vattrs = NULL;
+    char **rmattrs = NULL, **rmvattrs = NULL, **addattrs = NULL, **modattrs = NULL;
     
     debug(DBG_DBG, "confrewrite_cb called for %s", block);
     
     if (!getgenericconfig(cf, block,
-                    "removeAttribute", CONF_MSTR, &attrs,
-                    "removeVendorAttribute", CONF_MSTR, &vattrs,
+                    "removeAttribute", CONF_MSTR, &rmattrs,
+                    "removeVendorAttribute", CONF_MSTR, &rmvattrs,
+                    "addAttribute", CONF_MSTR, &addattrs,
+                    "modifyAttribute", CONF_MSTR, &modattrs,
                     NULL
                          ))
        debugx(1, DBG_ERR, "configuration error");
-    addrewrite(val, attrs, vattrs);
+    addrewrite(val, rmattrs, rmvattrs, addattrs, modattrs);
     return 1;
 }
 
@@ -3439,6 +3536,7 @@ int main(int argc, char **argv) {
     if (!foreground && (daemon(0, 0) < 0))
        debugx(1, DBG_ERR, "daemon() failed: %s", strerror(errno));
     
+    debug_timestamp_on();
     debug(DBG_INFO, "radsecproxy revision $Rev$ starting");
 
     sigemptyset(&sigset);