Merge pull request #76 from painless-security/jennifer/trpc_deadlock

Eliminate deadlock in TRPC messaging queueing

Merge pull request #72 from painless-security/jennifer/peer_label_for_updates

Use peer labels instead of GSS names when considering updates

Merge pull request #74 from painless-security/jennifer/set_realm_apcs

Handle APC correctly when a realm is discovered from an APC community update

Merge pull request #73 from painless-security/jennifer/expire_utc

Report expiration times in UTC instead of local time

Merge pull request #61 from painless-security/jennifer/request_id

Add a 'request_id' to TID requests and responses

Merge pull request #62 from painless-security/jennifer/report_incoming_ipaddr

Report incoming IP address when a connection comes in

Correct a comment

Merge remote-tracking branch 'github/milestone/monitoring' into jennifer/request_id

Merge branch 'milestone/monitoring' into jennifer/request_id

# Conflicts:
# include/trust_router/tid.h
# tid/tidc.c
# tr/tr_tid.c

Merge pull request #59 from painless-security/jennifer/datastructures

Replace fixed length arrays with dynamic lists

Merge pull request #48 from painless-security/jennifer/monitoring

Monitoring interface and back end support (pull request 10)

Merge pull request #57 from painless-security/jennifer/show_rp_clients

Add show rp_clients command (pull request 9)

Merge pull request #56 from painless-security/jennifer/show_realms

Add show realms command (pull request 8)

Merge pull request #55 from painless-security/jennifer/show_communities

Add show communities command (pull request 7)

Merge pull request #54 from painless-security/jennifer/show_peers

Add the show peers command (pull request 6)

Merge pull request #53 from painless-security/jennifer/show_routes

Add show routes message support (pull request 5)

Merge pull request #52 from painless-security/jennifer/subprocess_status

Report whether TID requests succeed and better clean up zombie TID / MON processes (pull request 4)

Merge pull request #51 from painless-security/jennifer/monitoring_client_and_server

First functioning monitoring client/server (pull request 3)

Merge pull request #50 from painless-security/jennifer/refactoring_tids

TID refactoring (pull request 2)

Merge pull request #49 from painless-security/jennifer/mon_msg_encoders

Add encoders for monitoring messages (pull request 1)

Remove last remnants of old trpc thread exit protocol, clear trpc queue

  * Remove the shutting_down status in the TRPC_INSTANCE
  * Clear the TRPC message queue after failed connections
  * Add a few comments

Eliminate deadlock in trpc message handling

  * Remove notify_cb for the trpc thread's TR_MQ
  * Use trpc_mq_pop() directly in the tr_trpc_thread() instead of
    trying to empty the queue every time
  * Eliminate the complicated thread shutdown protocol needed to avoid
    invalid accesses to data allocated in tr_trpc_thread()

This eliminates a deadlock that was possible due to misuse of the
callback mutex in conjunction with the TR_MQ mutex.

Fix JSON reference counting errors

Set APC correctly for community updates, reject routes for non-APC comms

When an APC community update is received, the "apcs" list is empty. The
APC for any realms described by that update should be the APC community
itself.

Also, the trust router previously accepted any realm/community pairs for
routing. That should have been APC communities only.

Finally, this also prevents configuring multiple communities with the
same ID.

Use peer_label instead of peer_gssname in community gathering

Currently this does nothing (loop prevention is done by the TR that
receives an update)

Properly check peer labels when finding alternate route to advertise

Consistently use peer label to ID peers when enforcing split horizon

We were incorrectly comparing the peer label (which is "hostname:port")
with the GSS name of our route's source (i.e., "credential@apc.x") when
checking whether we were about to advertise a route back to the trust
router that announced it to us. That broke split horizon enforcement.

Replace tr_comm_memb_iter_all methods with ones that actually work

The old iterator was completely broken, which was causing incomplete
cleanup of realms that should have been expired. This may have been
leaving the community membership table in an inconsistent state.

Add some comments, a bit of code clean up

Fix race condition on exit of trpc threads

The messaging between the main thread and the trpc (outgoing connection)
threads allowed the trpc data to be cleaned up before the message queue
was empty, causing incorrect mutex behavior and seg faults.

This is (I hope!) solved adding an additional shutdown phase in which
the main thread indicates that it has recognized that the trpc thread
is done and that the trpc thread can safely exit.

So far, I have not seen a failure of the system to handle a peer
disconnecting. Prior to these changes, it failed every time with my
current setup.

Don't display "last_connection_attempt" if there is not one

Correctly display RP realms in the 'show communities' response

Report community / route expiration times in UTC

  * add utility methods for timespec math
  * add method to convert between CLOCK_*

Log incoming IP address when accepting a connection

Add a 'request_id' to TID requests and responses

This adds a random hex string ID to each TID request. This is
propagated as the request is forwarded, then included in the response.
The field is not required, and is mostly an aid for debugging.

Adds two methods (tid_req_get_request_id and tid_resp_get_request_id)
to the public library interface.

Change -v/--validate-config to -C/--config-validate

There are enough things that use v, we'll accept Adam Bishop's hint and
copy FreeRADIUS's '-C' choice.

Merge pull request #60 from painless-security/jennifer/validate_config

Validate config with -v or --validate-config options

Validate config with -v or --validate-config options

Removes the -v short form for --version

Use TR_LIST for TR_GSS_NAMES

Change most while loops over TR_LISTs to for loops

The while loop patter (i = first(); while(i){blah; i = next()}) pattern
was error-prone -- too easy to overlook or forget the next() call.
Changed most of these to for loops to make the iteration more apparent.
Added a few comments. No intentional functional changes.

Add a few comments

Add missing %.*s so debug message includes GSS name

Use TR_LIST for domain/realm constraint matches

Use TR_LIST for TR_FILTER's 'flines' member

Use TR_LIST for TR_FLINE's 'fspec' member

  * Replace custom iterators with generic iterator
  * Add 'steal' option to steal (or not) an item's talloc context when
    adding it to a TR_LIST
  * Add tr_list_foreach() function to iterate over a TR_LIST

Add a generic TR_LIST type, use for TR_FILTER's 'lines' member

Refactor TR_FLINE using GPtrArray

Refactor TR_FSPEC using GPtrArray

Refactor TR_FILTER using a GPtrArray of filter lines

Reimplement TR_GSS_NAMES using GPtrArray

Add const modifier to TR_NAME functions

This should be backward compatible.

Bump versions to 3.4.0~1 (did not update ABI version yet)

Merge remote-tracking branch 'origin/v3.3.0' into jennifer/monitoring

# Conflicts:
# tr/tr_tid.c
# tr/tr_trp.c

Fix lines that were swapped accidentally

Check in changes that were accidentally omitted

Clean up monitoring format/naming

  * change show "serial" to "config_files" to reflect its function
  * suppress display of empty strings for unset / irrelevant values when
    returning routes / communities

Rename acceptor_realm/name to _hostname/service, add some debug output

Read GSS credentials for monitoring service

Some refactoring here and there, too.

Bump version number (but not shared library version yet). Now 3.3.1~1

Bump version number (but not shared library version yet). Now 3.3.1~1

Break tr_config.c into smaller chunks

No functional changes

Support 'show serial' monitoring request

Fix CoI to APC mapping

  * Route forwarded request based on mapped APC, not the original COI
  * Refactor COI/APC mapping code out of tr_tids_req_handler(), which
    remains in desperate need of refactoring for clarity
  * Use accessors instead of direct reference to structure elements in a
    few places (still more to convert)
  * Don't assume TR_NAME buf is null-terminated (it always is AFAIK, but
    is not required by the data structure). Still more of these to fix
  * Rename tid_req_set_rp_orig_coi() to _set_orig_coi(). It's not exported
    as part of the public API and was not used in our code. I think this
    was originally a copy/paste error.

This resolves https://bugs.launchpad.net/moonshot-tr/+bug/1765681

Update tids->hostname after configuration reload

This was also done in 3b59db3c5565b707e745d58f7ec1df1bdc7c1895.

Fixes https://bugs.launchpad.net/moonshot-tr/+bug/1765633

Add encoders for tr_filters, include in peer and rp_client encoders

Add support for "show rp_clients" monitoring request

Separate tr_rp and tr_rp_client into separate modules

No functional changes

Add support for "show realms" monitoring request

Improve structure of realm listings in 'show communities' response

Add support for show communities monitoring request

Add support for show peers monitoring request

Refactor trp_route_encoders for better style

Split trp_ptable into trp_ptable, trp_peer, and _encoders modules

No functional changes

Support "show routes" monitoring request

  * Separate _to_string and _to_json functions into _encoders.c files
    for trp_rtable and trp_route
  * Add monitoring handler to call trp_rtable_to_json()

Separate trp_route and trp_rtable, move timespec_to_str to tr_util.c

No functional changes

Make trmon into a usable command-line interface

  * accept monitoring request command/options on the command line
  * display response JSON to stdout
  * remove extraneous stdout output

Periodically call tids_sweep_procs() during trust router operation

Add better error checking for waitpid in tids_sweep_procs

Use pipe instead of exit status to determine whether TID req succeeded

The exit status of the TID process is not reliable --- with some
versions of moonshot-gss-eap, a segfault occurs during tear-down and
contaminates the process status returned by waitpid.

Track and clean up monitoring processes by pid, fix some debug msgs

Track TID processes and add TID req counts for success/error/pending

  * Track TID processes by pid
  * Add handlers for the TID req counts

Still only check for terminated TID processes after the next one comes
in, should either periodically sweep or check this after a child
terminates and sends SIGCHLD

Add TID_REQ_COUNT handler

  * Add a separate source file for TID-related monitoring handlers
  * Increment tids->req_count in the main process, otherwise it will
    always seem to be zero. This does mean any connection to the TID
    port is counted as a tid request, which is not perfect.
  *

Collect return codes from monitoring handlers and indicate errors

Get rid of CLion warnings about undefined PACKAGE_* macros

Replace static monitor handler tables with dynamic handler registry

  * Keep a list of handlers as part of MONS_INSTANCE
    - each handles a command/opt_type pair
    - registered via mons_register_handler()
  * Scan the list of handlers when servicing a monitoring request
  * Add handlers for version and uptime, registered through tr_main.c
    (probably need to move these, but this works as a demo)

First functional monitoring server - can return the trust router version

First steps toward actually handling monitoring requests

Use TR_MSG instead of encoded strings in GSS request handler interface

Also some further cleanup of header files and data types.

Clean up TR_MSG, hopefully getting talloc context handling right

I had assumed in a few places that TR_MSGs and the various message
payload types were always allocated dynamically via talloc(). This is
not a safe assumption - in a few places, we use stack-allocated TR_MSGs
and these are all used outside our code via the libtr_tid library.
We now use talloc when we can (i.e., when we have encoded or decoded
a message and know we used talloc), but otherwise leave it to the calling
code to properly manage memory.

Fix makefile, full make now succeeds

Refactor tidc/monc to better share code

  * Implement minimal decoding of monitoring responses
  * Add tr_gss_client.[ch] to house GSS req/resp message exchange
  * Always use 'payload' as the key for MON_RESP payload, don't name it
    after the command that it is responding to
  * Use better reference count behavior for MON_RESP payload
  * Move typedefs out of mon_internal.h to mon.h to avoid cyclic header
    dependencies
  * Fix some minor integer type mismatches in option parser
  * Update various test programs to use extra argument to
    tr_msg_(en/de)code methods

Make better use of talloc for TR_MSG handling

Enclose macro arguments in parentheses

First pass at a trmon command-line interface; fix a few bugs

At this point, if you hack tr_mons_auth_handler() to always return 0
(success), then trmon can connect to the trust router's monitoring port
and retrieve a test message. That counts as first contact, I guess.
Actual functionality is still to come.

  * Create basic trmon utility based closely on tidc
  * Temporarily use void pointers for trps/tids handles in the MON_INSTANCE
    structure - there is a header file cycle that prevents compliation.
    Need to sort that out, but this works for the moment.
  * Fill in tr_msg handlers for monitoring message encoders/decoders
  * Revert to the monitoring msg decoder working from json, not a string,
    since that is what we need. This breaks the test programs for now.

Further work on tids and monitoring, tids appears to work again

  * Actually encode the TID response!
  * Do not directly send responses from tids_req_handler(), set the
    properties in the response and return with an error code
  * Add hostname to MONS_INSTANCE
  * Update tids hostname after configuration change
  * Add a tid_resp_cpy() function to duplicate a TID_RESP into a struct
    that already exists

Parse monitoring port from internal configuration

Refactor to eliminate repeated code in tr_cfg_parse_internal()

Move internal config parser to a separate file

Add stub of handler for monitoring requests

Trust router now builds and opens monitoring port

Remove several unused parameters and clean up some lint warnings