Merge pull request #82 from painless-security/jennifer/pull_req_feedback

Incorporate feedback from monitoring code reviews

Rename TID count options to show

  * tid_req_count -> tid_reqs_processed
  * tid_req_pending -> tid_reqs_pending
  * tid_req_error_count -> tid_error_count

Remove unsupported 'reconfigure' monitoring command

Include trmon in RPM, nudge version to 3.4.0~2

Miscellaneous minor code cleanup for MRW's review comments

  * Remove generation of DH in trmon.c, it's not needed
  * Check return value of mon_req_add_option() in a few places it had
    been ignored
  * Spell out "Trust Router" in trmon version/help description
  * Rename _decode -> _encode after a copy/paste
  * Fix a few incorrect comments describing file contents
  * Fix function name in debug messages in tr_cfg_parse_config_files()
  * Include glib.h instead of gmodule.h in a few files

Move repeated #defines into tr_json_util.h and add documentation

Move DH record from TR_GSSC_INSTANCE to TIDC_INSTANCE, where it belongs

Treat TID req as error if a response is not sent

  * Return an error code from tr_gss_handle_connection()
  * When TID process terminates, send "OK" or "ERR" over the pipe
  * Refactor handling of the TID fork() and messaging

Update a tr_mq_msg_new() call that slipped through with a msg priority

Merge pull request #81 from painless-security/jennifer/no_mq_priorities

Remove TR_MQ message priorities

Merge branch 'milestone/monitoring' into jennifer/no_mq_priorities

Merge pull request #79 from painless-security/jennifer/memory_leaks

Clean up several memory leaks detected by valgrind

Merge pull request #76 from painless-security/jennifer/trpc_deadlock

Eliminate deadlock in TRPC messaging queueing

Merge pull request #72 from painless-security/jennifer/peer_label_for_updates

Use peer labels instead of GSS names when considering updates

Merge pull request #74 from painless-security/jennifer/set_realm_apcs

Handle APC correctly when a realm is discovered from an APC community update

Merge pull request #73 from painless-security/jennifer/expire_utc

Report expiration times in UTC instead of local time

Merge pull request #61 from painless-security/jennifer/request_id

Add a 'request_id' to TID requests and responses

Merge pull request #62 from painless-security/jennifer/report_incoming_ipaddr

Report incoming IP address when a connection comes in

Correct a comment

Merge remote-tracking branch 'github/milestone/monitoring' into jennifer/request_id

Merge branch 'milestone/monitoring' into jennifer/request_id

# Conflicts:
# include/trust_router/tid.h
# tid/tidc.c
# tr/tr_tid.c

Merge pull request #59 from painless-security/jennifer/datastructures

Replace fixed length arrays with dynamic lists

Merge pull request #48 from painless-security/jennifer/monitoring

Monitoring interface and back end support (pull request 10)

Merge pull request #57 from painless-security/jennifer/show_rp_clients

Add show rp_clients command (pull request 9)

Merge pull request #56 from painless-security/jennifer/show_realms

Add show realms command (pull request 8)

Merge pull request #55 from painless-security/jennifer/show_communities

Add show communities command (pull request 7)

Merge pull request #54 from painless-security/jennifer/show_peers

Add the show peers command (pull request 6)

Merge pull request #53 from painless-security/jennifer/show_routes

Add show routes message support (pull request 5)

Merge pull request #52 from painless-security/jennifer/subprocess_status

Report whether TID requests succeed and better clean up zombie TID / MON processes (pull request 4)

Merge pull request #51 from painless-security/jennifer/monitoring_client_and_server

First functioning monitoring client/server (pull request 3)

Merge pull request #50 from painless-security/jennifer/refactoring_tids

TID refactoring (pull request 2)

Merge pull request #49 from painless-security/jennifer/mon_msg_encoders

Add encoders for monitoring messages (pull request 1)

Eliminate message priority from TR_MQ / TR_MQ_MSG

This was an unnecessary feature that had caused several bugs, most
recently #80. Rather than debug that, this removes the priorities,
returning to a simple queue.

Do not allocate return array if there are no return values

Calling talloc_array() with length 0 still allocates memory to track
the zero-length chunk. Return NULL because that is what we mean.

Remove unused variable

Free GSS service name after a failed incoming connection

Fix memory leak when setting next hop for community inforecs

  * Return TRP_UNSUPPORTED when setting next hop on an inforec that
    does not accept it (i.e., community inforecs)
  * Free the next hop TR_NAME if it was not stored

Fix memory leak in gsscon_connect()

  * Check for failure to allocate service name
  * Free input name after importing to GSS

Remove last remnants of old trpc thread exit protocol, clear trpc queue

  * Remove the shutting_down status in the TRPC_INSTANCE
  * Clear the TRPC message queue after failed connections
  * Add a few comments

Eliminate deadlock in trpc message handling

  * Remove notify_cb for the trpc thread's TR_MQ
  * Use trpc_mq_pop() directly in the tr_trpc_thread() instead of
    trying to empty the queue every time
  * Eliminate the complicated thread shutdown protocol needed to avoid
    invalid accesses to data allocated in tr_trpc_thread()

This eliminates a deadlock that was possible due to misuse of the
callback mutex in conjunction with the TR_MQ mutex.

Fix JSON reference counting errors

Set APC correctly for community updates, reject routes for non-APC comms

When an APC community update is received, the "apcs" list is empty. The
APC for any realms described by that update should be the APC community
itself.

Also, the trust router previously accepted any realm/community pairs for
routing. That should have been APC communities only.

Finally, this also prevents configuring multiple communities with the
same ID.

Use peer_label instead of peer_gssname in community gathering

Currently this does nothing (loop prevention is done by the TR that
receives an update)

Properly check peer labels when finding alternate route to advertise

Consistently use peer label to ID peers when enforcing split horizon

We were incorrectly comparing the peer label (which is "hostname:port")
with the GSS name of our route's source (i.e., "credential@apc.x") when
checking whether we were about to advertise a route back to the trust
router that announced it to us. That broke split horizon enforcement.

Replace tr_comm_memb_iter_all methods with ones that actually work

The old iterator was completely broken, which was causing incomplete
cleanup of realms that should have been expired. This may have been
leaving the community membership table in an inconsistent state.

Add some comments, a bit of code clean up

Fix race condition on exit of trpc threads

The messaging between the main thread and the trpc (outgoing connection)
threads allowed the trpc data to be cleaned up before the message queue
was empty, causing incorrect mutex behavior and seg faults.

This is (I hope!) solved adding an additional shutdown phase in which
the main thread indicates that it has recognized that the trpc thread
is done and that the trpc thread can safely exit.

So far, I have not seen a failure of the system to handle a peer
disconnecting. Prior to these changes, it failed every time with my
current setup.

Don't display "last_connection_attempt" if there is not one

Correctly display RP realms in the 'show communities' response

Report community / route expiration times in UTC

  * add utility methods for timespec math
  * add method to convert between CLOCK_*

Log incoming IP address when accepting a connection

Add a 'request_id' to TID requests and responses

This adds a random hex string ID to each TID request. This is
propagated as the request is forwarded, then included in the response.
The field is not required, and is mostly an aid for debugging.

Adds two methods (tid_req_get_request_id and tid_resp_get_request_id)
to the public library interface.

Change -v/--validate-config to -C/--config-validate

There are enough things that use v, we'll accept Adam Bishop's hint and
copy FreeRADIUS's '-C' choice.

Merge pull request #60 from painless-security/jennifer/validate_config

Validate config with -v or --validate-config options

Validate config with -v or --validate-config options

Removes the -v short form for --version

Use TR_LIST for TR_GSS_NAMES

Change most while loops over TR_LISTs to for loops

The while loop patter (i = first(); while(i){blah; i = next()}) pattern
was error-prone -- too easy to overlook or forget the next() call.
Changed most of these to for loops to make the iteration more apparent.
Added a few comments. No intentional functional changes.

Add a few comments

Add missing %.*s so debug message includes GSS name

Use TR_LIST for domain/realm constraint matches

Use TR_LIST for TR_FILTER's 'flines' member

Use TR_LIST for TR_FLINE's 'fspec' member

  * Replace custom iterators with generic iterator
  * Add 'steal' option to steal (or not) an item's talloc context when
    adding it to a TR_LIST
  * Add tr_list_foreach() function to iterate over a TR_LIST

Add a generic TR_LIST type, use for TR_FILTER's 'lines' member

Refactor TR_FLINE using GPtrArray

Refactor TR_FSPEC using GPtrArray

Refactor TR_FILTER using a GPtrArray of filter lines

Reimplement TR_GSS_NAMES using GPtrArray

Add const modifier to TR_NAME functions

This should be backward compatible.

Bump versions to 3.4.0~1 (did not update ABI version yet)

Merge remote-tracking branch 'origin/v3.3.0' into jennifer/monitoring

# Conflicts:
# tr/tr_tid.c
# tr/tr_trp.c

Fix lines that were swapped accidentally

Check in changes that were accidentally omitted

Clean up monitoring format/naming

  * change show "serial" to "config_files" to reflect its function
  * suppress display of empty strings for unset / irrelevant values when
    returning routes / communities

Rename acceptor_realm/name to _hostname/service, add some debug output

Read GSS credentials for monitoring service

Some refactoring here and there, too.

Bump version number (but not shared library version yet). Now 3.3.1~1

Bump version number (but not shared library version yet). Now 3.3.1~1

Break tr_config.c into smaller chunks

No functional changes

Support 'show serial' monitoring request

Fix CoI to APC mapping

  * Route forwarded request based on mapped APC, not the original COI
  * Refactor COI/APC mapping code out of tr_tids_req_handler(), which
    remains in desperate need of refactoring for clarity
  * Use accessors instead of direct reference to structure elements in a
    few places (still more to convert)
  * Don't assume TR_NAME buf is null-terminated (it always is AFAIK, but
    is not required by the data structure). Still more of these to fix
  * Rename tid_req_set_rp_orig_coi() to _set_orig_coi(). It's not exported
    as part of the public API and was not used in our code. I think this
    was originally a copy/paste error.

This resolves https://bugs.launchpad.net/moonshot-tr/+bug/1765681

Update tids->hostname after configuration reload

This was also done in 3b59db3c5565b707e745d58f7ec1df1bdc7c1895.

Fixes https://bugs.launchpad.net/moonshot-tr/+bug/1765633

Add encoders for tr_filters, include in peer and rp_client encoders

Add support for "show rp_clients" monitoring request

Separate tr_rp and tr_rp_client into separate modules

No functional changes

Add support for "show realms" monitoring request

Improve structure of realm listings in 'show communities' response

Add support for show communities monitoring request

Add support for show peers monitoring request

Refactor trp_route_encoders for better style

Split trp_ptable into trp_ptable, trp_peer, and _encoders modules

No functional changes

Support "show routes" monitoring request

  * Separate _to_string and _to_json functions into _encoders.c files
    for trp_rtable and trp_route
  * Add monitoring handler to call trp_rtable_to_json()

Separate trp_route and trp_rtable, move timespec_to_str to tr_util.c

No functional changes

Make trmon into a usable command-line interface

  * accept monitoring request command/options on the command line
  * display response JSON to stdout
  * remove extraneous stdout output

Periodically call tids_sweep_procs() during trust router operation

Add better error checking for waitpid in tids_sweep_procs

Use pipe instead of exit status to determine whether TID req succeeded

The exit status of the TID process is not reliable --- with some
versions of moonshot-gss-eap, a segfault occurs during tear-down and
contaminates the process status returned by waitpid.

Track and clean up monitoring processes by pid, fix some debug msgs

Track TID processes and add TID req counts for success/error/pending

  * Track TID processes by pid
  * Add handlers for the TID req counts

Still only check for terminated TID processes after the next one comes
in, should either periodically sweep or check this after a child
terminates and sends SIGCHLD

Add TID_REQ_COUNT handler

  * Add a separate source file for TID-related monitoring handlers
  * Increment tids->req_count in the main process, otherwise it will
    always seem to be zero. This does mean any connection to the TID
    port is counted as a tid request, which is not perfect.
  *