make clientwr not try to connect (left to reader), changed some timing stuff, issue...
[radsecproxy.git] / dtls.c
1 /*
2  * Copyright (C) 2008 Stig Venaas <venaas@uninett.no>
3  *
4  * Permission to use, copy, modify, and distribute this software for any
5  * purpose with or without fee is hereby granted, provided that the above
6  * copyright notice and this permission notice appear in all copies.
7  */
8
9 #include <signal.h>
10 #include <sys/socket.h>
11 #include <netinet/in.h>
12 #include <netdb.h>
13 #include <string.h>
14 #include <unistd.h>
15 #include <limits.h>
16 #ifdef SYS_SOLARIS9
17 #include <fcntl.h>
18 #endif
19 #include <sys/time.h>
20 #include <sys/types.h>
21 #include <sys/select.h>
22 #include <ctype.h>
23 #include <sys/wait.h>
24 #include <arpa/inet.h>
25 #include <regex.h>
26 #include <pthread.h>
27 #include <openssl/ssl.h>
28 #include <openssl/err.h>
29 #include "debug.h"
30 #include "list.h"
31 #include "hash.h"
32 #include "util.h"
33 #include "radsecproxy.h"
34 #include "dtls.h"
35
36 static int client4_sock = -1;
37 static int client6_sock = -1;
38
39 struct sessioncacheentry {
40     pthread_mutex_t mutex;
41     struct queue *rbios;
42     struct timeval expiry;
43 };
44
45 struct dtlsservernewparams {
46     struct sessioncacheentry *sesscache;
47     int sock;
48     struct sockaddr_storage addr;    
49 };
50
51 int udp2bio(int s, struct queue *q, int cnt) {
52     unsigned char *buf;
53     BIO *rbio;
54
55     if (cnt < 1)
56         return 0;
57     
58     buf = malloc(cnt);
59     if (!buf) {
60         unsigned char err;
61         debug(DBG_ERR, "udp2bio: malloc failed");
62         recv(s, &err, 1, 0);
63         return 0;
64     }
65
66     cnt = recv(s, buf, cnt, 0);
67     if (cnt < 1) {
68         debug(DBG_WARN, "udp2bio: recv failed");
69         free(buf);
70         return 0;
71     }
72
73     rbio = BIO_new_mem_buf(buf, cnt);
74     BIO_set_mem_eof_return(rbio, -1);
75
76     pthread_mutex_lock(&q->mutex);
77     if (!list_push(q->entries, rbio)) {
78         BIO_free(rbio);
79         pthread_mutex_unlock(&q->mutex);
80         return 0;
81     }
82     pthread_cond_signal(&q->cond);
83     pthread_mutex_unlock(&q->mutex);
84     return 1;
85 }
86
87 BIO *getrbio(SSL *ssl, struct queue *q, int timeout) {
88     BIO *rbio;
89     struct timeval now;
90     struct timespec to;
91
92     pthread_mutex_lock(&q->mutex);
93     if (!(rbio = (BIO *)list_shift(q->entries))) {
94         if (timeout) {
95             gettimeofday(&now, NULL);
96             memset(&to, 0, sizeof(struct timespec));
97             to.tv_sec = now.tv_sec + timeout;
98             pthread_cond_timedwait(&q->cond, &q->mutex, &to);
99         } else
100             pthread_cond_wait(&q->cond, &q->mutex);
101         rbio = (BIO *)list_shift(q->entries);
102     }
103     pthread_mutex_unlock(&q->mutex);
104     return rbio;
105 }
106
107 int dtlsread(SSL *ssl, struct queue *q, unsigned char *buf, int num, int timeout) {
108     int len, cnt;
109     BIO *rbio;
110     
111     for (len = 0; len < num; len += cnt) {
112         cnt = SSL_read(ssl, buf + len, num - len);
113         if (cnt <= 0)
114             switch (cnt = SSL_get_error(ssl, cnt)) {
115             case SSL_ERROR_WANT_READ:
116                 rbio = getrbio(ssl, q, timeout);
117                 if (!rbio)
118                     return 0;
119                 BIO_free(ssl->rbio);            
120                 ssl->rbio = rbio;
121                 cnt = 0;
122                 continue;
123             case SSL_ERROR_WANT_WRITE:
124                 cnt = 0;
125                 continue;
126             case SSL_ERROR_ZERO_RETURN:
127                 /* remote end sent close_notify, send one back */
128                 SSL_shutdown(ssl);
129                 return -1;
130             default:
131                 return -1;
132             }
133     }
134     return num;
135 }
136
137 /* accept if acc == 1, else connect */
138 SSL *dtlsacccon(uint8_t acc, SSL_CTX *ctx, int s, struct sockaddr *addr, struct queue *rbios) {
139     SSL *ssl;
140     int i, res;
141     unsigned long error;
142     BIO *mem0bio, *wbio;
143
144     ssl = SSL_new(ctx);
145     if (!ssl)
146         return NULL;
147     
148     mem0bio = BIO_new(BIO_s_mem());
149     BIO_set_mem_eof_return(mem0bio, -1);
150     wbio = BIO_new_dgram(s, BIO_NOCLOSE);
151     i = BIO_dgram_set_peer(wbio, addr); /* i just to avoid warning */
152     SSL_set_bio(ssl, mem0bio, wbio);
153
154     for (i = 0; i < 5; i++) {
155         res = acc ? SSL_accept(ssl) : SSL_connect(ssl);
156         if (res > 0)
157             return ssl;
158         if (res == 0)
159             break;
160         if (SSL_get_error(ssl, res) == SSL_ERROR_WANT_READ) {
161             BIO_free(ssl->rbio);
162             ssl->rbio = getrbio(ssl, rbios, 5);
163             if (!ssl->rbio)
164                 break;
165         }
166         while ((error = ERR_get_error()))
167             debug(DBG_ERR, "dtls%st: DTLS: %s", acc ? "accep" : "connec", ERR_error_string(error, NULL));
168     }
169
170     SSL_free(ssl);
171     return NULL;
172 }
173
174 unsigned char *raddtlsget(SSL *ssl, struct queue *rbios, int timeout) {
175     int cnt, len;
176     unsigned char buf[4], *rad;
177
178     for (;;) {
179         cnt = dtlsread(ssl, rbios, buf, 4, timeout);
180         if (cnt < 1) {
181             debug(DBG_DBG, cnt ? "raddtlsget: connection lost" : "raddtlsget: timeout");
182             return NULL;
183         }
184
185         len = RADLEN(buf);
186         rad = malloc(len);
187         if (!rad) {
188             debug(DBG_ERR, "raddtlsget: malloc failed");
189             continue;
190         }
191         memcpy(rad, buf, 4);
192         
193         cnt = dtlsread(ssl, rbios, rad + 4, len - 4, timeout);
194         if (cnt < 1) {
195             debug(DBG_DBG, cnt ? "raddtlsget: connection lost" : "raddtlsget: timeout");
196             free(rad);
197             return NULL;
198         }
199         
200         if (len >= 20)
201             break;
202         
203         free(rad);
204         debug(DBG_WARN, "raddtlsget: packet smaller than minimum radius size");
205     }
206     
207     debug(DBG_DBG, "raddtlsget: got %d bytes", len);
208     return rad;
209 }
210
211 void *dtlsserverwr(void *arg) {
212     int cnt;
213     unsigned long error;
214     struct client *client = (struct client *)arg;
215     struct queue *replyq;
216     struct request *reply;
217     
218     debug(DBG_DBG, "dtlsserverwr: starting for %s", addr2string(client->addr));
219     replyq = client->replyq;
220     for (;;) {
221         pthread_mutex_lock(&replyq->mutex);
222         while (!list_first(replyq->entries)) {
223             if (client->ssl) {      
224                 debug(DBG_DBG, "dtlsserverwr: waiting for signal");
225                 pthread_cond_wait(&replyq->cond, &replyq->mutex);
226                 debug(DBG_DBG, "dtlsserverwr: got signal");
227             }
228             if (!client->ssl) {
229                 /* ssl might have changed while waiting */
230                 pthread_mutex_unlock(&replyq->mutex);
231                 debug(DBG_DBG, "dtlsserverwr: exiting as requested");
232                 ERR_remove_state(0);
233                 pthread_exit(NULL);
234             }
235         }
236         reply = (struct request *)list_shift(replyq->entries);
237         pthread_mutex_unlock(&replyq->mutex);
238         cnt = SSL_write(client->ssl, reply->replybuf, RADLEN(reply->replybuf));
239         if (cnt > 0)
240             debug(DBG_DBG, "dtlsserverwr: sent %d bytes, Radius packet of length %d to %s",
241                   cnt, RADLEN(reply->replybuf), addr2string(client->addr));
242         else
243             while ((error = ERR_get_error()))
244                 debug(DBG_ERR, "dtlsserverwr: SSL: %s", ERR_error_string(error, NULL));
245         freerq(reply);
246     }
247 }
248
249 void dtlsserverrd(struct client *client) {
250     struct request *rq;
251     uint8_t *buf;
252     pthread_t dtlsserverwrth;
253     
254     debug(DBG_DBG, "dtlsserverrd: starting for %s", addr2string(client->addr));
255
256     if (pthread_create(&dtlsserverwrth, NULL, dtlsserverwr, (void *)client)) {
257         debug(DBG_ERR, "dtlsserverrd: pthread_create failed");
258         return;
259     }
260
261     for (;;) {
262         buf = raddtlsget(client->ssl, client->rbios, IDLE_TIMEOUT);
263         if (!buf) {
264             debug(DBG_ERR, "dtlsserverrd: connection from %s lost", addr2string(client->addr));
265             break;
266         }
267         debug(DBG_DBG, "dtlsserverrd: got Radius message from %s", addr2string(client->addr));
268         rq = newrequest();
269         if (!rq) {
270             free(buf);
271             continue;
272         }
273         rq->buf = buf;
274         rq->from = client;
275         if (!radsrv(rq)) {
276             debug(DBG_ERR, "dtlsserverrd: message authentication/validation failed, closing connection from %s", addr2string(client->addr));
277             break;
278         }
279     }
280     
281     /* stop writer by setting ssl to NULL and give signal in case waiting for data */
282     client->ssl = NULL;
283
284     pthread_mutex_lock(&client->replyq->mutex);
285     pthread_cond_signal(&client->replyq->cond);
286     pthread_mutex_unlock(&client->replyq->mutex);
287     debug(DBG_DBG, "dtlsserverrd: waiting for writer to end");
288     pthread_join(dtlsserverwrth, NULL);
289     removeclientrqs(client);
290     debug(DBG_DBG, "dtlsserverrd: reader for %s exiting", addr2string(client->addr));
291 }
292
293 void *dtlsservernew(void *arg) {
294     struct dtlsservernewparams *params = (struct dtlsservernewparams *)arg;
295     struct client *client;
296     struct clsrvconf *conf;
297     struct list_node *cur = NULL;
298     SSL *ssl = NULL;
299     X509 *cert = NULL;
300     SSL_CTX *ctx = NULL;
301     uint8_t delay = 60;
302
303     debug(DBG_DBG, "dtlsservernew: starting");
304     conf = find_clconf(RAD_DTLS, (struct sockaddr *)&params->addr, NULL);
305     if (conf) {
306         ctx = tlsgetctx(RAD_DTLS, conf->tlsconf);
307         if (!ctx)
308             goto exit;
309         ssl = dtlsacccon(1, ctx, params->sock, (struct sockaddr *)&params->addr, params->sesscache->rbios);
310         if (!ssl)
311             goto exit;
312         cert = verifytlscert(ssl);
313         if (!cert)
314             goto exit;
315     }
316
317     while (conf) {
318         if (verifyconfcert(cert, conf)) {
319             X509_free(cert);
320             client = addclient(conf, 1);
321             if (client) {
322                 client->sock = params->sock;
323                 client->addr = addr_copy((struct sockaddr *)&params->addr);
324                 client->rbios = params->sesscache->rbios;
325                 client->ssl = ssl;
326                 dtlsserverrd(client);
327                 removeclient(client);
328                 delay = 0;
329             } else {
330                 debug(DBG_WARN, "dtlsservernew: failed to create new client instance");
331             }
332             goto exit;
333         }
334         conf = find_clconf(RAD_DTLS, (struct sockaddr *)&params->addr, &cur);
335     }
336     debug(DBG_WARN, "dtlsservernew: ignoring request, no matching TLS client");
337
338     if (cert)
339         X509_free(cert);
340
341  exit:
342     if (ssl) {
343         SSL_shutdown(ssl);
344         SSL_free(ssl);
345     }
346     pthread_mutex_lock(&params->sesscache->mutex);
347     freebios(params->sesscache->rbios);
348     params->sesscache->rbios = NULL;
349     gettimeofday(&params->sesscache->expiry, NULL);
350     params->sesscache->expiry.tv_sec += delay;
351     pthread_mutex_unlock(&params->sesscache->mutex);
352     free(params);
353     ERR_remove_state(0);
354     pthread_exit(NULL);
355     debug(DBG_DBG, "dtlsservernew: exiting");
356 }
357
358 void cacheexpire(struct hash *cache, struct timeval *last) {
359     struct timeval now;
360     struct hash_entry *he;
361     struct sessioncacheentry *e;
362     
363     gettimeofday(&now, NULL);
364     if (now.tv_sec - last->tv_sec < 19)
365         return;
366
367     for (he = hash_first(cache); he; he = hash_next(he)) {
368         e = (struct sessioncacheentry *)he->data;
369         pthread_mutex_lock(&e->mutex);
370         if (!e->expiry.tv_sec || e->expiry.tv_sec > now.tv_sec) {
371             pthread_mutex_unlock(&e->mutex);
372             continue;
373         }
374         debug(DBG_DBG, "cacheexpire: freeing entry");
375         hash_extract(cache, he->key, he->keylen);
376         if (e->rbios) {
377             freebios(e->rbios);
378             e->rbios = NULL;
379         }
380         pthread_mutex_unlock(&e->mutex);
381         pthread_mutex_destroy(&e->mutex);
382     }
383     last->tv_sec = now.tv_sec;
384 }
385
386 void *udpdtlsserverrd(void *arg) {
387     int ndesc, cnt, s = *(int *)arg;
388     unsigned char buf[4];
389     struct sockaddr_storage from;
390     socklen_t fromlen = sizeof(from);
391     struct dtlsservernewparams *params;
392     fd_set readfds;
393     struct timeval timeout, lastexpiry;
394     pthread_t dtlsserverth;
395     struct hash *sessioncache;
396     struct sessioncacheentry *cacheentry;
397     
398     sessioncache = hash_create();
399     if (!sessioncache)
400         debugx(1, DBG_ERR, "udpdtlsserverrd: malloc failed");
401     gettimeofday(&lastexpiry, NULL);
402     
403     for (;;) {
404         FD_ZERO(&readfds);
405         FD_SET(s, &readfds);
406         memset(&timeout, 0, sizeof(struct timeval));
407         timeout.tv_sec = 60;
408         ndesc = select(s + 1, &readfds, NULL, NULL, &timeout);
409         if (ndesc < 1) {
410             cacheexpire(sessioncache, &lastexpiry);
411             continue;
412         }
413         cnt = recvfrom(s, buf, 4, MSG_PEEK | MSG_TRUNC, (struct sockaddr *)&from, &fromlen);
414         if (cnt == -1) {
415             debug(DBG_WARN, "udpdtlsserverrd: recv failed");
416             cacheexpire(sessioncache, &lastexpiry);
417             continue;
418         }
419         cacheentry = hash_read(sessioncache, &from, fromlen);
420         if (cacheentry) {
421             debug(DBG_DBG, "udpdtlsserverrd: cache hit");
422             pthread_mutex_lock(&cacheentry->mutex);
423             if (cacheentry->rbios) {
424                 if (udp2bio(s, cacheentry->rbios, cnt))
425                     debug(DBG_DBG, "udpdtlsserverrd: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from));
426             } else
427                 recv(s, buf, 1, 0);
428             pthread_mutex_unlock(&cacheentry->mutex);
429             cacheexpire(sessioncache, &lastexpiry);
430             continue;
431         }
432
433         /* from new source */
434         debug(DBG_DBG, "udpdtlsserverrd: cache miss");
435         params = malloc(sizeof(struct dtlsservernewparams));
436         if (!params) {
437             cacheexpire(sessioncache, &lastexpiry);
438             recv(s, buf, 1, 0);
439             continue;
440         }
441         memset(params, 0, sizeof(struct dtlsservernewparams));
442         params->sesscache = malloc(sizeof(struct sessioncacheentry));
443         if (!params->sesscache) {
444             free(params);
445             cacheexpire(sessioncache, &lastexpiry);
446             recv(s, buf, 1, 0);
447             continue;
448         }
449         memset(params->sesscache, 0, sizeof(struct sessioncacheentry));
450         pthread_mutex_init(&params->sesscache->mutex, NULL);
451         params->sesscache->rbios = newqueue();
452         if (hash_insert(sessioncache, &from, fromlen, params->sesscache)) {
453             params->sock = s;
454             memcpy(&params->addr, &from, fromlen);
455
456             if (udp2bio(s, params->sesscache->rbios, cnt)) {
457                 debug(DBG_DBG, "udpdtlsserverrd: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from));
458                 if (!pthread_create(&dtlsserverth, NULL, dtlsservernew, (void *)params)) {
459                     pthread_detach(dtlsserverth);
460                     cacheexpire(sessioncache, &lastexpiry);
461                     continue;
462                 }
463                 debug(DBG_ERR, "udpdtlsserverrd: pthread_create failed");
464             }
465             hash_extract(sessioncache, &from, fromlen);
466         }
467         freebios(params->sesscache->rbios);
468         pthread_mutex_destroy(&params->sesscache->mutex);
469         free(params->sesscache);
470         free(params);
471         cacheexpire(sessioncache, &lastexpiry);
472     }
473 }
474
475 int dtlsconnect(struct server *server, struct timeval *when, int timeout, char *text) {
476     struct timeval now;
477     time_t elapsed;
478     X509 *cert;
479     SSL_CTX *ctx = NULL;
480
481     debug(DBG_DBG, "dtlsconnect: called from %s", text);
482     pthread_mutex_lock(&server->lock);
483     if (when && memcmp(&server->lastconnecttry, when, sizeof(struct timeval))) {
484         /* already reconnected, nothing to do */
485         debug(DBG_DBG, "dtlsconnect(%s): seems already reconnected", text);
486         pthread_mutex_unlock(&server->lock);
487         return 1;
488     }
489
490     for (;;) {
491         gettimeofday(&now, NULL);
492         elapsed = now.tv_sec - server->lastconnecttry.tv_sec;
493
494         if (timeout && server->lastconnecttry.tv_sec && elapsed > timeout) {
495             debug(DBG_DBG, "dtlsconnect: timeout");
496             SSL_free(server->ssl);
497             server->ssl = NULL;
498             pthread_mutex_unlock(&server->lock);
499             return 0;
500         }
501
502         if (server->connectionok) {
503             server->connectionok = 0;
504             sleep(2);
505         } else if (elapsed < 1)
506             sleep(2);
507         else if (elapsed < 60) {
508             debug(DBG_INFO, "dtlsconnect: sleeping %lds", elapsed);
509             sleep(elapsed);
510         } else if (elapsed < 100000) {
511             debug(DBG_INFO, "dtlsconnect: sleeping %ds", 60);
512             sleep(60);
513         } else
514             server->lastconnecttry.tv_sec = now.tv_sec;  /* no sleep at startup */
515         debug(DBG_WARN, "dtlsconnect: trying to open DTLS connection to %s port %s", server->conf->host, server->conf->port);
516
517         SSL_free(server->ssl);
518         server->ssl = NULL;
519         ctx = tlsgetctx(RAD_DTLS, server->conf->tlsconf);
520         if (!ctx)
521             continue;
522         server->ssl = dtlsacccon(0, ctx, server->sock, server->conf->addrinfo->ai_addr, server->rbios);
523         if (!server->ssl)
524             continue;
525         debug(DBG_DBG, "dtlsconnect: DTLS: ok");
526         
527         cert = verifytlscert(server->ssl);
528         if (!cert)
529             continue;
530         
531         if (verifyconfcert(cert, server->conf))
532             break;
533         X509_free(cert);
534     }
535     X509_free(cert);
536     debug(DBG_WARN, "dtlsconnect: DTLS connection to %s port %s up", server->conf->host, server->conf->port);
537     server->connectionok = 1;
538     gettimeofday(&server->lastconnecttry, NULL);
539     pthread_mutex_unlock(&server->lock);
540     return 1;
541 }
542
543 int clientradputdtls(struct server *server, unsigned char *rad) {
544     int cnt;
545     size_t len;
546     unsigned long error;
547     struct clsrvconf *conf = server->conf;
548
549     if (!server->connectionok)
550         return 0;
551     len = RADLEN(rad);
552     if ((cnt = SSL_write(server->ssl, rad, len)) <= 0) {
553         while ((error = ERR_get_error()))
554             debug(DBG_ERR, "clientradputdtls: DTLS: %s", ERR_error_string(error, NULL));
555         return 0;
556     }
557     debug(DBG_DBG, "clientradputdtls: Sent %d bytes, Radius packet of length %d to DTLS peer %s", cnt, len, conf->host);
558     return 1;
559 }
560
561 /* reads UDP containing DTLS and passes it on to dtlsclientrd */
562 void *udpdtlsclientrd(void *arg) {
563     int cnt, s = *(int *)arg;
564     unsigned char buf[4];
565     struct sockaddr_storage from;
566     socklen_t fromlen = sizeof(from);
567     struct clsrvconf *conf;
568     fd_set readfds;
569     
570     for (;;) {
571         FD_ZERO(&readfds);
572         FD_SET(s, &readfds);
573         if (select(s + 1, &readfds, NULL, NULL, NULL) < 1)
574             continue;
575         cnt = recvfrom(s, buf, 4, MSG_PEEK | MSG_TRUNC, (struct sockaddr *)&from, &fromlen);
576         if (cnt == -1) {
577             debug(DBG_WARN, "udpdtlsclientrd: recv failed");
578             continue;
579         }
580         
581         conf = find_srvconf(RAD_DTLS, (struct sockaddr *)&from, NULL);
582         if (!conf) {
583             debug(DBG_WARN, "udpdtlsclientrd: got packet from wrong or unknown DTLS peer %s, ignoring", addr2string((struct sockaddr *)&from));
584             recv(s, buf, 4, 0);
585             continue;
586         }
587         if (udp2bio(s, conf->servers->rbios, cnt))
588             debug(DBG_DBG, "radudpget: got DTLS in UDP from %s", addr2string((struct sockaddr *)&from));
589     }
590 }
591
592 void *dtlsclientrd(void *arg) {
593     struct server *server = (struct server *)arg;
594     unsigned char *buf;
595     struct timeval lastconnecttry;
596     int secs;
597     
598     for (;;) {
599         /* yes, lastconnecttry is really necessary */
600         lastconnecttry = server->lastconnecttry;
601         for (secs = 0; !(buf = raddtlsget(server->ssl, server->rbios, 10)) && !server->lostrqs && secs < IDLE_TIMEOUT; secs += 10);
602         if (!buf) {
603             dtlsconnect(server, &lastconnecttry, 0, "dtlsclientrd");
604             continue;
605         }
606         replyh(server, buf);
607     }
608     ERR_remove_state(0);
609     server->clientrdgone = 1;
610     return NULL;
611 }
612
613 void addserverextradtls(struct clsrvconf *conf) {
614     switch (conf->addrinfo->ai_family) {
615     case AF_INET:
616         if (client4_sock < 0) {
617             client4_sock = bindtoaddr(getsrcprotores(RAD_DTLS), AF_INET, 0, 1);
618             if (client4_sock < 0)
619                 debugx(1, DBG_ERR, "addserver: failed to create client socket for server %s", conf->host);
620         }
621         conf->servers->sock = client4_sock;
622         break;
623     case AF_INET6:
624         if (client6_sock < 0) {
625             client6_sock = bindtoaddr(getsrcprotores(RAD_DTLS), AF_INET6, 0, 1);
626             if (client6_sock < 0)
627                 debugx(1, DBG_ERR, "addserver: failed to create client socket for server %s", conf->host);
628         }
629         conf->servers->sock = client6_sock;
630         break;
631     default:
632         debugx(1, DBG_ERR, "addserver: unsupported address family");
633     }
634 }
635
636 void initextradtls() {
637     pthread_t cl4th, cl6th;
638     
639     if (client4_sock >= 0)
640         if (pthread_create(&cl4th, NULL, udpdtlsclientrd, (void *)&client4_sock))
641             debugx(1, DBG_ERR, "pthread_create failed");
642     if (client6_sock >= 0)
643         if (pthread_create(&cl6th, NULL, udpdtlsclientrd, (void *)&client6_sock))
644             debugx(1, DBG_ERR, "pthread_create failed");
645 }