tr/tr_trp.c

   1 /*
   2  * Copyright (c) 2016, JANET(UK)
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  *
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  *
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * 3. Neither the name of JANET(UK) nor the names of its contributors
  17  *    may be used to endorse or promote products derived from this software
  18  *    without specific prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  21  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  22  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  23  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE
  24  * COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT,
  25  * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  26  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  27  * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  29  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  30  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
  31  * OF THE POSSIBILITY OF SUCH DAMAGE.
  32  *
  33  */
  34
  35 #include <stdio.h>
  36 #include <pthread.h>
  37 #include <fcntl.h>
  38 #include <event2/event.h>
  39 #include <talloc.h>
  40 #include <errno.h>
  41 #include <unistd.h>
  42 #include <string.h>
  43 #include <sys/time.h>
  44 #include <time.h>
  45
  46 #include <gsscon.h>
  47 #include <tr.h>
  48 #include <tr_mq.h>
  49 #include <tr_rp.h>
  50 #include <trp_internal.h>
  51 #include <trp_ptable.h>
  52 #include <trp_rtable.h>
  53 #include <tr_config.h>
  54 #include <tr_event.h>
  55 #include <tr_msg.h>
  56 #include <tr_trp.h>
  57 #include <tr_debug.h>
  58
  59 /* data for event callbacks */
  60 struct tr_trps_event_cookie {
  61   TRPS_INSTANCE *trps;
  62   TR_CFG_MGR *cfg_mgr;
  63   struct event *ev;
  64 };
  65
  66 /* callback to schedule event to process messages */
  67 static void tr_trps_mq_cb(TR_MQ *mq, void *arg)
  68 {
  69   struct event *mq_ev=(struct event *)arg;
  70   event_active(mq_ev, 0, 0);
  71 }
  72
  73 static void msg_free_helper(void *p)
  74 {
  75   tr_msg_free_decoded((TR_MSG *)p);
  76 }
  77
  78 static void tr_free_name_helper(void *arg)
  79 {
  80   tr_free_name((TR_NAME *)arg);
  81 }
  82
  83 /* takes a TR_MSG and puts it in a TR_MQ_MSG for processing by the main thread */
  84 static TRP_RC tr_trps_msg_handler(TRPS_INSTANCE *trps,
  85                                   TRP_CONNECTION *conn,
  86                                   TR_MSG *tr_msg)
  87 {
  88   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
  89   TR_MQ_MSG *mq_msg=NULL;
  90
  91   /* n.b., conn is available here, but do not hold onto the reference
  92    * because it may be cleaned up if the originating connection goes
  93    * down before the message is processed */
  94   mq_msg=tr_mq_msg_new(tmp_ctx, TR_MQMSG_MSG_RECEIVED, TR_MQ_PRIO_NORMAL);
  95   if (mq_msg==NULL) {
  96     return TRP_NOMEM;
  97   }
  98   tr_mq_msg_set_payload(mq_msg, (void *)tr_msg, msg_free_helper);
  99   trps_mq_add(trps, mq_msg);
 100   talloc_free(tmp_ctx); /* cleans up the message if it did not get appended correctly */
 101   return TRP_SUCCESS;
 102 }
 103
 104
 105 static int tr_trps_gss_handler(gss_name_t client_name, gss_buffer_t gss_name,
 106                                void *cookie_in)
 107 {
 108   struct tr_trps_event_cookie *cookie=(struct tr_trps_event_cookie *)cookie_in;
 109   TRPS_INSTANCE *trps = cookie->trps;
 110   TR_CFG_MGR *cfg_mgr = cookie->cfg_mgr;
 111   TR_NAME name={gss_name->value, gss_name->length};
 112
 113   tr_debug("tr_trps_gss_handler()");
 114
 115   if ((!client_name) || (!gss_name) || (!trps) || (!cfg_mgr)) {
 116     tr_debug("tr_trps_gss_handler: Bad parameters.");
 117     return -1;
 118   }
 119
 120   /* look up the TRPS peer matching the GSS name */
 121   if (NULL==trps_get_peer_by_gssname(trps, &name)) {
 122     tr_warning("tr_trps_gss_handler: Connection attempt from unknown peer (GSS name: %.*s).", name.len, name.buf);
 123     return -1;
 124   }
 125
 126   tr_debug("Client's GSS Name: %.*s", name.len, name.buf);
 127   return 0;
 128 }
 129
 130 /* data passed to thread */
 131 struct trps_thread_data {
 132   TRP_CONNECTION *conn;
 133   TRPS_INSTANCE *trps;
 134 };
 135 /* thread to handle GSS connections from peers */
 136 static void *tr_trps_thread(void *arg)
 137 {
 138   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 139   struct trps_thread_data *thread_data=talloc_get_type_abort(arg, struct trps_thread_data);
 140   TRP_CONNECTION *conn=thread_data->conn;
 141   TRPS_INSTANCE *trps=thread_data->trps;
 142   TR_MQ_MSG *msg=NULL;
 143
 144   tr_debug("tr_trps_thread: started");
 145   if (trps_authorize_connection(trps, conn)!=TRP_SUCCESS)
 146     goto cleanup;
 147
 148   msg=tr_mq_msg_new(tmp_ctx, TR_MQMSG_TRPS_CONNECTED, TR_MQ_PRIO_HIGH);
 149   tr_mq_msg_set_payload(msg, (void *)tr_dup_name(trp_connection_get_peer(conn)), tr_free_name_helper);
 150   if (msg==NULL) {
 151     tr_err("tr_trps_thread: error allocating TR_MQ_MSG");
 152     goto cleanup;
 153   }
 154   trps_mq_add(trps, msg); /* steals msg context */
 155   msg=NULL;
 156
 157   trps_handle_connection(trps, conn);
 158
 159 cleanup:
 160   msg=tr_mq_msg_new(tmp_ctx, TR_MQMSG_TRPS_DISCONNECTED, TR_MQ_PRIO_HIGH);
 161   tr_mq_msg_set_payload(msg, (void *)conn, NULL); /* do not pass a free routine */
 162   if (msg==NULL)
 163     tr_err("tr_trps_thread: error allocating TR_MQ_MSG");
 164   else
 165     trps_mq_add(trps, msg);
 166   tr_debug("tr_trps_thread: exit");
 167   talloc_free(tmp_ctx);
 168   return NULL;
 169 }
 170
 171 /* called when a connection to the TRPS port is received */
 172 static void tr_trps_event_cb(int listener, short event, void *arg)
 173 {
 174   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 175   TRPS_INSTANCE *trps = talloc_get_type_abort(arg, TRPS_INSTANCE); /* aborts on wrong type */
 176   TRP_CONNECTION *conn=NULL;
 177   TR_NAME *gssname=NULL;
 178   char *name=NULL;
 179   struct trps_thread_data *thread_data=NULL;
 180
 181   if (0==(event & EV_READ)) {
 182     tr_debug("tr_trps_event_cb: unexpected event on TRPS socket (event=0x%X)", event);
 183   } else {
 184     /* create a thread to handle this connection */
 185     if (asprintf(&name, "trustrouter@%s", trps->hostname)==-1) {
 186       goto cleanup;
 187     }
 188     gssname=tr_new_name(name);
 189     free(name); name=NULL;
 190     conn=trp_connection_accept(tmp_ctx, listener, gssname);
 191     if (conn!=NULL) {
 192       /* need to monitor this fd and trigger events when read becomes possible */
 193       thread_data=talloc(conn, struct trps_thread_data);
 194       if (thread_data==NULL) {
 195         tr_err("tr_trps_event_cb: unable to allocate trps_thread_data");
 196         talloc_free(tmp_ctx);
 197         return;
 198       }
 199       thread_data->conn=conn;
 200       thread_data->trps=trps;
 201       trps_add_connection(trps, conn); /* remember the connection */
 202       pthread_create(trp_connection_get_thread(conn), NULL, tr_trps_thread, thread_data);
 203     }
 204   }
 205
 206  cleanup:
 207   talloc_free(tmp_ctx);
 208 }
 209
 210 static void tr_trps_cleanup_conn(TRPS_INSTANCE *trps, TRP_CONNECTION *conn)
 211 {
 212   /* everything belonging to the thread is in the TRP_CONNECTION
 213    * associated with it */
 214   tr_debug("tr_trps_cleanup_conn: freeing %p", conn);
 215   pthread_join(*trp_connection_get_thread(conn), NULL);
 216   trps_remove_connection(trps, conn);
 217   trp_connection_free(conn);
 218   tr_debug("tr_trps_cleanup_conn: deleted connection");
 219 }
 220
 221 static void tr_trps_cleanup_trpc(TRPS_INSTANCE *trps, TRPC_INSTANCE *trpc)
 222 {
 223   pthread_join(*trp_connection_get_thread(trpc_get_conn(trpc)), NULL);
 224   trps_remove_trpc(trps, trpc);
 225   trpc_free(trpc);
 226   tr_debug("tr_trps_cleanup_trpc: deleted connection");
 227 }
 228
 229 static void tr_trps_print_route_table(TRPS_INSTANCE *trps, FILE *f)
 230 {
 231   char *table=trp_rtable_to_str(NULL, trps->rtable, " | ", NULL);
 232   if (table==NULL)
 233     fprintf(f, "Unable to print route table.\n");
 234   else {
 235     fprintf(f, "%s\n", table);
 236     talloc_free(table);
 237   }
 238 }
 239
 240 static void tr_trps_print_comm_table(TRPS_INSTANCE *trps, FILE *f)
 241 {
 242   char *table=tr_comm_table_to_str(NULL, trps->ctable);
 243   if (table==NULL)
 244     fprintf(f, "Unable to print community table.\n");
 245   else {
 246     fprintf(f, "%s\n", table);
 247     talloc_free(table);
 248   }
 249 }
 250
 251 /**
 252  * Event handler to process TRP messages from connection threads. These
 253  * are added to the message queue (mq) in tr_trps_msg_handler(), which
 254  * runs in the other threads.
 255  *
 256  * @param socket Ignored
 257  * @param event Ignored
 258  * @param arg Pointer to the TRPS_INSTANCE
 259  */
 260 static void tr_trps_process_mq(int socket, short event, void *arg)
 261 {
 262   TRPS_INSTANCE *trps=talloc_get_type_abort(arg, TRPS_INSTANCE);
 263   TR_MQ_MSG *msg=NULL;
 264   const char *s=NULL;
 265
 266   msg=trps_mq_pop(trps);
 267   while (msg!=NULL) {
 268     s=tr_mq_msg_get_message(msg);
 269     if (0==strcmp(s, TR_MQMSG_TRPS_CONNECTED)) {
 270       TR_NAME *gssname=(TR_NAME *)tr_mq_msg_get_payload(msg);
 271       TRP_PEER *peer=trps_get_peer_by_gssname(trps, gssname);
 272       if (peer==NULL)
 273         tr_err("tr_trps_process_mq: incoming connection from unknown peer (%s) reported.", gssname->buf);
 274       else {
 275         trp_peer_set_incoming_status(peer, PEER_CONNECTED);
 276         tr_err("tr_trps_process_mq: incoming connection from %s established.", gssname->buf);
 277       }
 278     }
 279     else if (0==strcmp(s, TR_MQMSG_TRPS_DISCONNECTED)) {
 280       TRP_CONNECTION *conn=talloc_get_type_abort(tr_mq_msg_get_payload(msg), TRP_CONNECTION);
 281       TR_NAME *gssname=trp_connection_get_gssname(conn);
 282       TRP_PEER *peer=trps_get_peer_by_gssname(trps, gssname);
 283       if (peer==NULL) {
 284         tr_err("tr_trps_process_mq: incoming connection from unknown peer (%s) lost.",
 285                trp_connection_get_gssname(conn)->buf);
 286       } else {
 287         trp_peer_set_incoming_status(peer, PEER_DISCONNECTED);
 288         tr_trps_cleanup_conn(trps, conn);
 289         tr_err("tr_trps_process_mq: incoming connection from %s lost.", gssname->buf);
 290       }
 291     }
 292     else if (0==strcmp(s, TR_MQMSG_TRPC_CONNECTED)) {
 293       TR_NAME *svcname=(TR_NAME *)tr_mq_msg_get_payload(msg);
 294       TRP_PEER *peer=trps_get_peer_by_servicename(trps, svcname);
 295       if (peer==NULL)
 296         tr_err("tr_trps_process_mq: outgoing connection to unknown peer (%s) reported.", svcname->buf);
 297       else {
 298         trp_peer_set_outgoing_status(peer, PEER_CONNECTED);
 299         tr_err("tr_trps_process_mq: outgoing connection to %s established.", svcname->buf);
 300       }
 301     }
 302     else if (0==strcmp(s, TR_MQMSG_TRPC_DISCONNECTED)) {
 303       /* trpc connection died */
 304       TRPC_INSTANCE *trpc=talloc_get_type_abort(tr_mq_msg_get_payload(msg), TRPC_INSTANCE);
 305       TR_NAME *gssname=trpc_get_gssname(trpc);
 306       TRP_PEER *peer=trps_get_peer_by_servicename(trps, gssname);
 307       if (peer==NULL)
 308         tr_err("tr_trps_process_mq: outgoing connection to unknown peer (%s) lost.", gssname->buf);
 309       else {
 310         trp_peer_set_outgoing_status(peer, PEER_DISCONNECTED);
 311         tr_err("tr_trps_process_mq: outgoing connection to %s lost.", gssname->buf);
 312         tr_trps_cleanup_trpc(trps, trpc);
 313       }
 314     }
 315
 316     else if (0==strcmp(s, TR_MQMSG_MSG_RECEIVED)) {
 317       if (trps_handle_tr_msg(trps, tr_mq_msg_get_payload(msg))!=TRP_SUCCESS)
 318         tr_notice("tr_trps_process_mq: error handling message.");
 319       else {
 320         tr_trps_print_route_table(trps, stderr);
 321         tr_trps_print_comm_table(trps, stderr);
 322       }
 323     }
 324     else
 325       tr_notice("tr_trps_process_mq: unknown message '%s' received.", tr_mq_msg_get_message(msg));
 326
 327     tr_mq_msg_free(msg);
 328     msg=trps_mq_pop(trps);
 329   }
 330 }
 331
 332 static void tr_trps_update(int listener, short event, void *arg)
 333 {
 334   struct tr_trps_event_cookie *cookie=talloc_get_type_abort(arg, struct tr_trps_event_cookie);
 335   TRPS_INSTANCE *trps=cookie->trps;
 336   struct event *ev=cookie->ev;
 337
 338   tr_debug("tr_trps_update: sending scheduled route/community updates.");
 339   trps_update(trps, TRP_UPDATE_SCHEDULED);
 340   event_add(ev, &(trps->update_interval));
 341   tr_debug("tr_trps_update: update interval=%d", trps->update_interval.tv_sec);
 342 }
 343
 344 static void tr_trps_sweep(int listener, short event, void *arg)
 345 {
 346   struct tr_trps_event_cookie *cookie=talloc_get_type_abort(arg, struct tr_trps_event_cookie);
 347   TRPS_INSTANCE *trps=cookie->trps;
 348   struct event *ev=cookie->ev;
 349
 350   tr_debug("tr_trps_sweep: sweeping routes.");
 351   trps_sweep_routes(trps);
 352   tr_debug("tr_trps_sweep: sweeping communities.");
 353   trps_sweep_ctable(trps);
 354   tr_trps_print_route_table(trps, stderr);
 355   tr_trps_print_comm_table(trps, stderr);
 356   /* schedule the event to run again */
 357   event_add(ev, &(trps->sweep_interval));
 358 }
 359
 360 static void tr_connection_update(int listener, short event, void *arg)
 361 {
 362   struct tr_trps_event_cookie *cookie=talloc_get_type_abort(arg, struct tr_trps_event_cookie);
 363   TRPS_INSTANCE *trps=cookie->trps;
 364   struct event *ev=cookie->ev;
 365
 366   tr_debug("tr_connection_update: checking peer connections.");
 367   tr_connect_to_peers(trps, ev);
 368   /* schedule the event to run again */
 369   event_add(ev, &(trps->connect_interval));
 370 }
 371
 372 static int tr_trps_events_destructor(void *obj)
 373 {
 374   TR_TRPS_EVENTS *ev=talloc_get_type_abort(obj, TR_TRPS_EVENTS);
 375   if (ev->mq_ev!=NULL)
 376     event_free(ev->mq_ev);
 377   if (ev->connect_ev!=NULL)
 378     event_free(ev->connect_ev);
 379   if (ev->update_ev!=NULL)
 380     event_free(ev->update_ev);
 381   if (ev->sweep_ev!=NULL)
 382     event_free(ev->sweep_ev);
 383   return 0;
 384 }
 385 static TR_TRPS_EVENTS *tr_trps_events_new(TALLOC_CTX *mem_ctx)
 386 {
 387   TR_TRPS_EVENTS *ev=talloc(mem_ctx, TR_TRPS_EVENTS);
 388   if (ev!=NULL) {
 389     ev->listen_ev=talloc(ev, struct tr_socket_event);
 390     ev->mq_ev=NULL;
 391     ev->connect_ev=NULL;
 392     ev->update_ev=NULL;
 393     ev->sweep_ev=NULL;
 394     if (ev->listen_ev==NULL) {
 395       talloc_free(ev);
 396       ev=NULL;
 397     } else {
 398       talloc_set_destructor((void *)ev, tr_trps_events_destructor);
 399     }
 400   }
 401   return ev;
 402 }
 403
 404 static void tr_trps_events_free(TR_TRPS_EVENTS *ev)
 405 {
 406   talloc_free(ev);
 407 }
 408
 409 /* Configure the trps instance and set up its event handler.
 410  * Fills in trps_ev, which should be allocated by caller. */
 411 TRP_RC tr_trps_event_init(struct event_base *base, TR_INSTANCE *tr)
 412 {
 413   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 414   struct tr_socket_event *listen_ev=NULL;
 415   struct tr_trps_event_cookie *trps_cookie=NULL;
 416   struct tr_trps_event_cookie *connection_cookie=NULL;
 417   struct tr_trps_event_cookie *update_cookie=NULL;
 418   struct tr_trps_event_cookie *sweep_cookie=NULL;
 419   struct timeval zero_time={0,0};
 420   TRP_RC retval=TRP_ERROR;
 421   size_t ii=0;
 422
 423   if (tr->events != NULL) {
 424     tr_notice("tr_trps_event_init: tr->events was not null. Freeing before reallocating..");
 425     tr_trps_events_free(tr->events);
 426   }
 427
 428   tr->events=tr_trps_events_new(tmp_ctx);
 429   if (tr->events == NULL) {
 430     tr_debug("tr_trps_event_init: unable to allocate event handles.");
 431     retval=TRP_NOMEM;
 432     goto cleanup;
 433   }
 434
 435   /* get convenient handles */
 436   listen_ev=tr->events->listen_ev;
 437
 438   /* Create the cookie for callbacks. It will end up part of the trps context, so it will
 439    * be cleaned up when trps is freed by talloc_free. */
 440   trps_cookie=talloc(tr->events, struct tr_trps_event_cookie);
 441   if (trps_cookie == NULL) {
 442     tr_debug("tr_trps_event_init: Unable to allocate trps_cookie.");
 443     retval=TRP_NOMEM;
 444     tr_trps_events_free(tr->events);
 445     tr->events=NULL;
 446     goto cleanup;
 447   }
 448   trps_cookie->trps=tr->trps;
 449   trps_cookie->cfg_mgr=tr->cfg_mgr;
 450
 451   /* get a trps listener */
 452   listen_ev->n_sock_fd=trps_get_listener(tr->trps,
 453                                          tr_trps_msg_handler,
 454                                          tr_trps_gss_handler,
 455                                          tr->cfg_mgr->active->internal->hostname,
 456                                          tr->cfg_mgr->active->internal->trps_port,
 457                                          (void *)trps_cookie,
 458                                          listen_ev->sock_fd,
 459                                          TR_MAX_SOCKETS);
 460   if (listen_ev->n_sock_fd==0) {
 461     tr_crit("Error opening TRP server socket.");
 462     retval=TRP_ERROR;
 463     tr_trps_events_free(tr->events);
 464     tr->events=NULL;
 465     goto cleanup;
 466   }
 467
 468   /* Set up events for the sockets */
 469   for (ii=0; ii<listen_ev->n_sock_fd; ii++) {
 470     listen_ev->ev[ii]=event_new(base,
 471                                 listen_ev->sock_fd[ii],
 472                                 EV_READ|EV_PERSIST,
 473                                 tr_trps_event_cb,
 474                                 (void *)(tr->trps));
 475     event_add(listen_ev->ev[ii], NULL);
 476   }
 477
 478   /* now set up message queue processing event, only triggered by
 479    * tr_trps_mq_cb() */
 480   tr->events->mq_ev=event_new(base,
 481                               0,
 482                               EV_PERSIST,
 483                               tr_trps_process_mq,
 484                               (void *)(tr->trps));
 485   tr_mq_set_notify_cb(tr->trps->mq, tr_trps_mq_cb, tr->events->mq_ev);
 486
 487   /* now set up the peer connection timer event */
 488   connection_cookie=talloc(tr->events, struct tr_trps_event_cookie);
 489   if (connection_cookie == NULL) {
 490     tr_debug("tr_trps_event_init: Unable to allocate connection_cookie.");
 491     retval=TRP_NOMEM;
 492     tr_trps_events_free(tr->events);
 493     tr->events=NULL;
 494     goto cleanup;
 495   }
 496   connection_cookie->trps=tr->trps;
 497   connection_cookie->cfg_mgr=tr->cfg_mgr;
 498   tr->events->connect_ev=event_new(base, -1, EV_TIMEOUT, tr_connection_update, (void *)connection_cookie);
 499   connection_cookie->ev=tr->events->connect_ev; /* in case it needs to frob the event */
 500   /* The first time, do this immediately. Thereafter, it will retrigger every trps->connect_interval */
 501   event_add(tr->events->connect_ev, &zero_time);
 502
 503   /* now set up the route update timer event */
 504   update_cookie=talloc(tr->events, struct tr_trps_event_cookie);
 505   if (update_cookie == NULL) {
 506     tr_debug("tr_trps_event_init: Unable to allocate update_cookie.");
 507     retval=TRP_NOMEM;
 508     tr_trps_events_free(tr->events);
 509     tr->events=NULL;
 510     goto cleanup;
 511   }
 512   update_cookie->trps=tr->trps;
 513   update_cookie->cfg_mgr=tr->cfg_mgr;
 514   tr->events->update_ev=event_new(base, -1, EV_TIMEOUT, tr_trps_update, (void *)update_cookie);
 515   update_cookie->ev=tr->events->update_ev; /* in case it needs to frob the event */
 516   event_add(tr->events->update_ev, &(tr->trps->update_interval));
 517
 518   /* now set up the route table sweep timer event */
 519   sweep_cookie=talloc(tr->events, struct tr_trps_event_cookie);
 520   if (sweep_cookie == NULL) {
 521     tr_debug("tr_trps_event_init: Unable to allocate sweep_cookie.");
 522     retval=TRP_NOMEM;
 523     tr_trps_events_free(tr->events);
 524     tr->events=NULL;
 525     goto cleanup;
 526   }
 527   sweep_cookie->trps=tr->trps;
 528   sweep_cookie->cfg_mgr=tr->cfg_mgr;
 529   tr->events->sweep_ev=event_new(base, -1, EV_TIMEOUT, tr_trps_sweep, (void *)sweep_cookie);
 530   sweep_cookie->ev=tr->events->sweep_ev; /* in case it needs to frob the event */
 531   event_add(tr->events->sweep_ev, &(tr->trps->sweep_interval));
 532
 533   talloc_steal(tr, tr->events);
 534   retval=TRP_SUCCESS;
 535
 536 cleanup:
 537   talloc_free(tmp_ctx);
 538   return retval;
 539 }
 540
 541
 542 struct trpc_notify_cb_data {
 543   int msg_ready;
 544   pthread_cond_t cond;
 545   pthread_mutex_t mutex;
 546 };
 547
 548 static void tr_trpc_mq_cb(TR_MQ *mq, void *arg)
 549 {
 550   struct trpc_notify_cb_data *cb_data=(struct trpc_notify_cb_data *) arg;
 551   pthread_mutex_lock(&(cb_data->mutex));
 552   if (!cb_data->msg_ready) {
 553     cb_data->msg_ready=1;
 554     pthread_cond_signal(&(cb_data->cond));
 555   }
 556   pthread_mutex_unlock(&(cb_data->mutex));
 557 }
 558
 559 /* data passed to thread */
 560 struct trpc_thread_data {
 561   TRPC_INSTANCE *trpc;
 562   TRPS_INSTANCE *trps;
 563 };
 564 static void *tr_trpc_thread(void *arg)
 565 {
 566   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 567   struct trpc_thread_data *thread_data=talloc_get_type_abort(arg, struct trpc_thread_data);
 568   TRPC_INSTANCE *trpc=thread_data->trpc;
 569   TRPS_INSTANCE *trps=thread_data->trps;
 570   TRP_RC rc=TRP_ERROR;
 571   TR_MQ_MSG *msg=NULL;
 572   const char *msg_type=NULL;
 573   char *encoded_msg=NULL;
 574   TR_NAME *peer_gssname=NULL;
 575   int n_sent=0;
 576   int exit_loop=0;
 577
 578   struct trpc_notify_cb_data cb_data={0,
 579                                       PTHREAD_COND_INITIALIZER,
 580                                       PTHREAD_MUTEX_INITIALIZER};
 581
 582   tr_debug("tr_trpc_thread: started");
 583
 584   /* set up the mq for receiving */
 585   pthread_mutex_lock(&(cb_data.mutex)); /* hold this lock until we enter the main loop */
 586
 587   tr_mq_lock(trpc->mq);
 588   tr_mq_set_notify_cb(trpc->mq, tr_trpc_mq_cb, (void *) &cb_data);
 589   tr_mq_unlock(trpc->mq);
 590
 591   rc=trpc_connect(trpc);
 592   if (rc!=TRP_SUCCESS) {
 593     tr_notice("tr_trpc_thread: failed to initiate connection to %s:%d.",
 594               trpc_get_server(trpc),
 595               trpc_get_port(trpc));
 596   } else {
 597     peer_gssname=trp_connection_get_peer(trpc_get_conn(trpc));
 598     if (peer_gssname==NULL) {
 599       tr_err("tr_trpc_thread: could not duplicate peer_gssname.");
 600       talloc_free(tmp_ctx);
 601       return NULL;
 602     }
 603     tr_debug("tr_trpc_thread: connected to peer %s", peer_gssname->buf);
 604
 605     msg=tr_mq_msg_new(tmp_ctx, TR_MQMSG_TRPC_CONNECTED, TR_MQ_PRIO_HIGH);
 606     tr_mq_msg_set_payload(msg, (void *)tr_dup_name(peer_gssname), tr_free_name_helper);
 607     if (msg==NULL) {
 608       tr_err("tr_trpc_thread: error allocating TR_MQ_MSG");
 609       talloc_free(tmp_ctx);
 610       return NULL;
 611     }
 612     trps_mq_add(trps, msg); /* steals msg context */
 613     msg=NULL;
 614
 615     while(!exit_loop) {
 616       cb_data.msg_ready=0;
 617       pthread_cond_wait(&(cb_data.cond), &(cb_data.mutex));
 618       /* verify the condition */
 619       if (cb_data.msg_ready) {
 620         for (msg=trpc_mq_pop(trpc),n_sent=0; msg!=NULL; msg=trpc_mq_pop(trpc),n_sent++) {
 621           msg_type=tr_mq_msg_get_message(msg);
 622
 623           if (0==strcmp(msg_type, TR_MQMSG_ABORT)) {
 624             exit_loop=1;
 625             break;
 626           }
 627           else if (0==strcmp(msg_type, TR_MQMSG_TRPC_SEND)) {
 628             encoded_msg=tr_mq_msg_get_payload(msg);
 629             if (encoded_msg==NULL)
 630               tr_notice("tr_trpc_thread: null outgoing TRP message.");
 631             else {
 632               rc = trpc_send_msg(trpc, encoded_msg);
 633               if (rc!=TRP_SUCCESS) {
 634                 tr_notice("tr_trpc_thread: trpc_send_msg failed.");
 635                 exit_loop=1;
 636                 break;
 637               }
 638             }
 639           }
 640           else
 641             tr_notice("tr_trpc_thread: unknown message '%s' received.", msg_type);
 642
 643           tr_mq_msg_free(msg);
 644         }
 645         if (n_sent==0)
 646           tr_err("tr_trpc_thread: notified of msg, but queue empty");
 647         else
 648           tr_debug("tr_trpc_thread: sent %d messages.", n_sent);
 649       }
 650     }
 651   }
 652
 653   tr_debug("tr_trpc_thread: exiting.");
 654   msg=tr_mq_msg_new(tmp_ctx, TR_MQMSG_TRPC_DISCONNECTED, TR_MQ_PRIO_HIGH);
 655   tr_mq_msg_set_payload(msg, (void *)trpc, NULL); /* do not pass a free routine */
 656   if (msg==NULL)
 657     tr_err("tr_trpc_thread: error allocating TR_MQ_MSG");
 658   else
 659     trps_mq_add(trps, msg);
 660
 661   trpc_mq_clear(trpc); /* clear any queued messages */
 662
 663   talloc_free(tmp_ctx);
 664   return NULL;
 665 }
 666
 667 /* convert an IDP realm into routing table entries. Outputs number in *n_routes */
 668 static TRP_ROUTE **tr_make_local_routes(TALLOC_CTX *mem_ctx,
 669                                          TR_IDP_REALM *realm,
 670                                          char *trust_router,
 671                                          size_t *n_routes)
 672 {
 673   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 674   TR_APC *comm=NULL;
 675   TRP_ROUTE *new_entry=NULL;
 676   TRP_ROUTE **entries=NULL;
 677   size_t n_comms=0, ii=0;
 678
 679   *n_routes=0;
 680
 681   if ((realm==NULL) || (realm->origin!=TR_REALM_LOCAL))
 682     goto cleanup;
 683
 684   /* count comms */
 685   for (comm=realm->apcs, n_comms=0; comm!=NULL; comm=comm->next,n_comms++) {}
 686
 687   entries=talloc_array(tmp_ctx, TRP_ROUTE *, n_comms);
 688   for (comm=realm->apcs,ii=0; comm!=NULL; comm=comm->next, ii++) {
 689     new_entry=trp_route_new(entries);
 690     if (new_entry==NULL) {
 691       tr_crit("tr_make_local_routes: unable to allocate entry.");
 692       talloc_free(entries);
 693       goto cleanup;
 694     }
 695     trp_route_set_comm(new_entry, tr_dup_name(comm->id));
 696     trp_route_set_realm(new_entry, tr_dup_name(realm->realm_id));
 697     trp_route_set_peer(new_entry, tr_new_name("")); /* no peer, it's us */
 698     trp_route_set_metric(new_entry, 0);
 699     trp_route_set_trust_router(new_entry, tr_new_name(trust_router));
 700     trp_route_set_next_hop(new_entry, tr_new_name(""));
 701     trp_route_set_local(new_entry, 1);
 702     entries[ii]=new_entry;
 703   }
 704
 705   talloc_steal(mem_ctx, entries);
 706   *n_routes=n_comms;
 707  cleanup:
 708   talloc_free(tmp_ctx);
 709   return entries;
 710 }
 711
 712 void tr_peer_status_change(TRP_PEER *peer, void *cookie)
 713 {
 714   TRPS_INSTANCE *trps=talloc_get_type_abort(cookie, TRPS_INSTANCE);
 715
 716   if (TRP_SUCCESS!=trps_wildcard_route_req(trps, trp_peer_get_servicename(peer)))
 717     tr_err("tr_send_wildcard: error sending wildcard route request.");
 718 }
 719
 720 /* starts a trpc thread to connect to server:port */
 721 TRP_RC tr_trpc_initiate(TRPS_INSTANCE *trps, TRP_PEER *peer, struct event *ev)
 722 {
 723   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 724   TRPC_INSTANCE *trpc=NULL;
 725   TRP_CONNECTION *conn=NULL;
 726   struct trpc_thread_data *thread_data=NULL;
 727   TRP_RC rc=TRP_ERROR;
 728
 729   tr_debug("tr_trpc_initiate entered");
 730   trpc=trpc_new(tmp_ctx);
 731   if (trpc==NULL) {
 732     tr_crit("tr_trpc_initiate: could not allocate TRPC_INSTANCE.");
 733     rc=TRP_NOMEM;
 734     goto cleanup;
 735   }
 736   tr_debug("tr_trpc_initiate: allocated trpc");
 737
 738   conn=trp_connection_new(trpc);
 739   if (conn==NULL) {
 740     tr_crit("tr_trpc_initiate: could not allocate TRP_CONNECTION.");
 741     rc=TRP_NOMEM;
 742     goto cleanup;
 743   }
 744
 745   trpc_set_conn(trpc, conn);
 746   trpc_set_server(trpc, talloc_strdup(trpc, trp_peer_get_server(peer)));
 747   trpc_set_port(trpc, trp_peer_get_port(peer));
 748   trpc_set_gssname(trpc, trp_peer_dup_servicename(peer));
 749   tr_debug("tr_trpc_initiate: allocated connection");
 750
 751   /* start thread */
 752   thread_data=talloc(trpc, struct trpc_thread_data);
 753   if (thread_data==NULL) {
 754     tr_crit("tr_trpc_initiate: could not allocate struct trpc_thread_data.");
 755     rc=TRP_NOMEM;
 756     goto cleanup;
 757   }
 758   thread_data->trpc=trpc;
 759   thread_data->trps=trps;
 760
 761   trps_add_trpc(trps, trpc); /* must add before starting thread */
 762   pthread_create(trp_connection_get_thread(conn), NULL, tr_trpc_thread, thread_data);
 763
 764   tr_debug("tr_trpc_initiate: started trpc thread");
 765   rc=TRP_SUCCESS;
 766
 767  cleanup:
 768   talloc_free(tmp_ctx);
 769   return rc;
 770 }
 771
 772 /* Add local routes to the route table. */
 773 TRP_RC tr_add_local_routes(TRPS_INSTANCE *trps, TR_CFG *cfg)
 774 {
 775   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 776   TR_IDP_REALM *cur=NULL;
 777   TRP_ROUTE **local_routes=NULL;
 778   size_t n_routes=0;
 779   size_t ii=0;
 780   char *trust_router_name=talloc_asprintf(tmp_ctx, "%s:%d", cfg->internal->hostname, cfg->internal->trps_port);
 781
 782   /* determine our trust router name */
 783   if (trust_router_name==NULL)
 784     return TRP_NOMEM;
 785
 786   for (cur=cfg->ctable->idp_realms; cur!=NULL; cur=cur->next) {
 787     local_routes=tr_make_local_routes(tmp_ctx, cur, trust_router_name, &n_routes);
 788     for (ii=0; ii<n_routes; ii++)
 789       trps_add_route(trps, local_routes[ii]);
 790
 791     talloc_free(local_routes);
 792     local_routes=NULL;
 793     n_routes=0;
 794   }
 795
 796   talloc_free(tmp_ctx);
 797   return TRP_SUCCESS;
 798 }
 799
 800 /* decide how often to attempt to connect to a peer */
 801 static int tr_conn_attempt_due(TRPS_INSTANCE *trps, TRP_PEER *peer, struct timespec *when)
 802 {
 803   return 1; /* currently make an attempt every cycle */
 804 }
 805
 806 /* open missing connections to peers */
 807 TRP_RC tr_connect_to_peers(TRPS_INSTANCE *trps, struct event *ev)
 808 {
 809   TALLOC_CTX *tmp_ctx=talloc_new(NULL);
 810   TRP_PTABLE_ITER *iter=trp_ptable_iter_new(tmp_ctx);
 811   TRP_PEER *peer=NULL;
 812   struct timespec curtime={0,0};
 813   TRP_RC rc=TRP_ERROR;
 814
 815   if (clock_gettime(CLOCK_REALTIME, &curtime)) {
 816     tr_err("tr_connect_to_peers: failed to read time.");
 817     rc=TRP_CLOCKERR;
 818     goto cleanup;
 819   }
 820
 821   for (peer=trp_ptable_iter_first(iter, trps->ptable);
 822        peer!=NULL;
 823        peer=trp_ptable_iter_next(iter))
 824   {
 825     if (trps_find_trpc(trps, peer)==NULL) {
 826       TR_NAME *label=trp_peer_get_label(peer);
 827       tr_debug("tr_connect_to_peers: %.*s missing connection.",
 828                label->len, label->buf);
 829       /* has it been long enough since we last tried? */
 830       if (tr_conn_attempt_due(trps, peer, &curtime)) {
 831         trp_peer_set_last_conn_attempt(peer, &curtime); /* we are trying again now */
 832         if (tr_trpc_initiate(trps, peer, ev)!=TRP_SUCCESS) {
 833           tr_err("tr_connect_to_peers: unable to initiate TRP connection to %s:%u.",
 834                  trp_peer_get_server(peer),
 835                  trp_peer_get_port(peer));
 836         }
 837       }
 838     }
 839   }
 840   rc=TRP_SUCCESS;
 841
 842 cleanup:
 843   trp_ptable_iter_free(iter);
 844   talloc_free(tmp_ctx);
 845   return rc;
 846 }
 847
 848
 849 /* Called by the config manager after a change to the active configuration.
 850  * Updates configuration of objects that do not know about the config manager. */
 851 void tr_config_changed(TR_CFG *new_cfg, void *cookie)
 852 {
 853   TR_INSTANCE *tr=talloc_get_type_abort(cookie, TR_INSTANCE);
 854   TRPS_INSTANCE *trps=tr->trps;
 855
 856   tr->cfgwatch->poll_interval.tv_sec=new_cfg->internal->cfg_poll_interval;
 857   tr->cfgwatch->poll_interval.tv_usec=0;
 858
 859   tr->cfgwatch->settling_time.tv_sec=new_cfg->internal->cfg_settling_time;
 860   tr->cfgwatch->settling_time.tv_usec=0;
 861
 862   trps_set_connect_interval(trps, new_cfg->internal->trp_connect_interval);
 863   trps_set_update_interval(trps, new_cfg->internal->trp_update_interval);
 864   trps_set_sweep_interval(trps, new_cfg->internal->trp_sweep_interval);
 865   trps_set_ctable(trps, new_cfg->ctable);
 866   trps_set_ptable(trps, new_cfg->peers);
 867   trps_set_peer_status_callback(trps, tr_peer_status_change, (void *)trps);
 868   trps_clear_rtable(trps); /* should we do this every time??? */
 869   tr_add_local_routes(trps, new_cfg); /* should we do this every time??? */
 870   trps_update_active_routes(trps); /* find new routes */
 871   trps_update(trps, TRP_UPDATE_TRIGGERED); /* send any triggered routes */
 872   tr_print_config(new_cfg);
 873   tr_trps_print_route_table(trps, stderr);
 874   tr_trps_print_comm_table(trps, stderr);
 875 }
 876