shibsp/impl/StorageServiceSessionCache.cpp

   1 /**
   2  * Licensed to the University Corporation for Advanced Internet
   3  * Development, Inc. (UCAID) under one or more contributor license
   4  * agreements. See the NOTICE file distributed with this work for
   5  * additional information regarding copyright ownership.
   6  *
   7  * UCAID licenses this file to you under the Apache License,
   8  * Version 2.0 (the "License"); you may not use this file except
   9  * in compliance with the License. You may obtain a copy of the
  10  * License at
  11  *
  12  * http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing,
  15  * software distributed under the License is distributed on an
  16  * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
  17  * either express or implied. See the License for the specific
  18  * language governing permissions and limitations under the License.
  19  */
  20
  21 /**
  22  * StorageServiceSessionCache.cpp
  23  *
  24  * StorageService-based SessionCache implementation.
  25  *
  26  * Instead of optimizing this plugin with a buffering scheme that keeps objects around
  27  * and avoids extra parsing steps, I'm assuming that systems that require such can
  28  * layer their own cache plugin on top of this version either by delegating to it
  29  * or using the remoting support. So this version will load sessions directly
  30  * from the StorageService, instantiate enough to expose the Session API,
  31  * and then delete everything when they're unlocked. All data in memory is always
  32  * kept in sync with the StorageService (no lazy updates).
  33  */
  34
  35 #include "internal.h"
  36 #include "Application.h"
  37 #include "exceptions.h"
  38 #include "ServiceProvider.h"
  39 #include "SessionCacheEx.h"
  40 #include "TransactionLog.h"
  41 #include "attribute/Attribute.h"
  42 #include "handler/RemotedHandler.h"
  43 #include "remoting/ListenerService.h"
  44 #include "util/SPConstants.h"
  45
  46 #include <algorithm>
  47 #include <xmltooling/io/HTTPRequest.h>
  48 #include <xmltooling/io/HTTPResponse.h>
  49 #include <xmltooling/util/DateTime.h>
  50 #include <xmltooling/util/NDC.h>
  51 #include <xmltooling/util/ParserPool.h>
  52 #include <xmltooling/util/Threads.h>
  53 #include <xmltooling/util/XMLHelper.h>
  54 #include <xercesc/util/XMLUniDefs.hpp>
  55
  56 #ifndef SHIBSP_LITE
  57 # include <saml/exceptions.h>
  58 # include <saml/SAMLConfig.h>
  59 # include <saml/saml2/core/Assertions.h>
  60 # include <saml/saml2/metadata/Metadata.h>
  61 # include <xmltooling/XMLToolingConfig.h>
  62 # include <xmltooling/util/StorageService.h>
  63 using namespace opensaml::saml2md;
  64 #else
  65 # include <ctime>
  66 # include <xmltooling/util/DateTime.h>
  67 #endif
  68
  69 using namespace shibsp;
  70 using namespace opensaml;
  71 using namespace xmltooling;
  72 using namespace std;
  73
  74 namespace shibsp {
  75
  76     class StoredSession;
  77     class SSCache : public SessionCacheEx
  78 #ifndef SHIBSP_LITE
  79         ,public virtual Remoted
  80 #endif
  81     {
  82     public:
  83         SSCache(const DOMElement* e);
  84         ~SSCache();
  85
  86 #ifndef SHIBSP_LITE
  87         void receive(DDF& in, ostream& out);
  88
  89         void insert(
  90             const Application& app,
  91             const HTTPRequest& httpRequest,
  92             HTTPResponse& httpResponse,
  93             time_t expires,
  94             const saml2md::EntityDescriptor* issuer=nullptr,
  95             const XMLCh* protocol=nullptr,
  96             const saml2::NameID* nameid=nullptr,
  97             const XMLCh* authn_instant=nullptr,
  98             const XMLCh* session_index=nullptr,
  99             const XMLCh* authncontext_class=nullptr,
 100             const XMLCh* authncontext_decl=nullptr,
 101             const vector<const Assertion*>* tokens=nullptr,
 102             const vector<Attribute*>* attributes=nullptr
 103             );
 104         vector<string>::size_type logout(
 105             const Application& app,
 106             const saml2md::EntityDescriptor* issuer,
 107             const saml2::NameID& nameid,
 108             const set<string>* indexes,
 109             time_t expires,
 110             vector<string>& sessions
 111             );
 112         bool matches(
 113             const Application& app,
 114             const HTTPRequest& request,
 115             const saml2md::EntityDescriptor* issuer,
 116             const saml2::NameID& nameid,
 117             const set<string>* indexes
 118             );
 119 #endif
 120         Session* find(const Application& app, const char* key, const char* client_addr=nullptr, time_t* timeout=nullptr);
 121         void remove(const Application& app, const char* key);
 122         void test();
 123
 124         string active(const Application& app, const HTTPRequest& request) {
 125             if (!m_inboundHeader.empty()) {
 126                 string session_id = request.getHeader(m_inboundHeader.c_str());
 127                 if (!session_id.empty())
 128                     return session_id;
 129             }
 130             pair<string,const char*> shib_cookie = app.getCookieNameProps("_shibsession_");
 131             const char* session_id = request.getCookie(shib_cookie.first.c_str());
 132             return (session_id ? session_id : "");
 133         }
 134
 135         Session* find(const Application& app, const HTTPRequest& request, const char* client_addr=nullptr, time_t* timeout=nullptr) {
 136             string id = active(app, request);
 137             if (!id.empty())
 138                 return find(app, id.c_str(), client_addr, timeout);
 139             return nullptr;
 140         }
 141
 142         Session* find(const Application& app, HTTPRequest& request, const char* client_addr=nullptr, time_t* timeout=nullptr);
 143         void remove(const Application& app, const HTTPRequest& request, HTTPResponse* response=nullptr);
 144
 145         unsigned long getCacheTimeout(const Application& app) {
 146             // Computes offset for adjusting expiration of sessions.
 147             // This can either be static, or dynamic based on the per-app session timeout.
 148             if (m_cacheTimeout)
 149                 return m_cacheTimeout;
 150             pair<bool,unsigned int> timeout = pair<bool,unsigned int>(false, 3600);
 151             const PropertySet* props = app.getPropertySet("Sessions");
 152             if (props) {
 153                 timeout = props->getUnsignedInt("timeout");
 154                 if (!timeout.first)
 155                     timeout.second = 3600;
 156             }
 157             return timeout.second + m_cacheAllowance;
 158         }
 159
 160         Category& m_log;
 161         bool inproc;
 162 #ifndef SHIBSP_LITE
 163         StorageService* m_storage;
 164         StorageService* m_storage_lite;
 165 #endif
 166
 167     private:
 168 #ifndef SHIBSP_LITE
 169         // maintain back-mappings of NameID/SessionIndex -> session key
 170         void insert(const char* key, time_t expires, const char* name, const char* index);
 171         bool stronglyMatches(const XMLCh* idp, const XMLCh* sp, const saml2::NameID& n1, const saml2::NameID& n2) const;
 172
 173         bool m_cacheAssertions;
 174 #endif
 175         const DOMElement* m_root;         // Only valid during initialization
 176         unsigned long m_inprocTimeout,m_cacheTimeout,m_cacheAllowance;
 177         string m_inboundHeader,m_outboundHeader;
 178
 179         // inproc means we buffer sessions in memory
 180         RWLock* m_lock;
 181         map<string,StoredSession*> m_hashtable;
 182
 183         // management of buffered sessions
 184        void dormant(const char* key);
 185        static void* cleanup_fn(void*);
 186
 187         bool shutdown;
 188         CondWait* shutdown_wait;
 189         Thread* cleanup_thread;
 190     };
 191
 192     class StoredSession : public virtual Session
 193     {
 194     public:
 195         StoredSession(SSCache* cache, DDF& obj) : m_obj(obj),
 196 #ifndef SHIBSP_LITE
 197                 m_nameid(nullptr),
 198 #endif
 199                 m_cache(cache), m_expires(0), m_lastAccess(time(nullptr)), m_lock(nullptr) {
 200             auto_ptr_XMLCh exp(m_obj["expires"].string());
 201             if (exp.get()) {
 202                 DateTime iso(exp.get());
 203                 iso.parseDateTime();
 204                 m_expires = iso.getEpoch();
 205             }
 206
 207 #ifndef SHIBSP_LITE
 208             const char* nameid = obj["nameid"].string();
 209             if (nameid) {
 210                 // Parse and bind the document into an XMLObject.
 211                 istringstream instr(nameid);
 212                 DOMDocument* doc = XMLToolingConfig::getConfig().getParser().parse(instr);
 213                 XercesJanitor<DOMDocument> janitor(doc);
 214                 auto_ptr<saml2::NameID> n(saml2::NameIDBuilder::buildNameID());
 215                 n->unmarshall(doc->getDocumentElement(), true);
 216                 janitor.release();
 217                 m_nameid = n.release();
 218             }
 219 #endif
 220             if (cache->inproc)
 221                 m_lock = Mutex::create();
 222         }
 223
 224         ~StoredSession() {
 225             delete m_lock;
 226             m_obj.destroy();
 227             for_each(m_attributes.begin(), m_attributes.end(), xmltooling::cleanup<Attribute>());
 228 #ifndef SHIBSP_LITE
 229             delete m_nameid;
 230             for_each(m_tokens.begin(), m_tokens.end(), cleanup_pair<string,Assertion>());
 231 #endif
 232         }
 233
 234         Lockable* lock() {
 235             if (m_lock)
 236                 m_lock->lock();
 237             return this;
 238         }
 239         void unlock() {
 240             if (m_lock)
 241                 m_lock->unlock();
 242             else
 243                 delete this;
 244         }
 245
 246         const char* getID() const {
 247             return m_obj.name();
 248         }
 249         const char* getApplicationID() const {
 250             return m_obj["application_id"].string();
 251         }
 252         const char* getClientAddress() const {
 253             return m_obj["client_addr"].string();
 254         }
 255         const char* getEntityID() const {
 256             return m_obj["entity_id"].string();
 257         }
 258         const char* getProtocol() const {
 259             return m_obj["protocol"].string();
 260         }
 261         const char* getAuthnInstant() const {
 262             return m_obj["authn_instant"].string();
 263         }
 264 #ifndef SHIBSP_LITE
 265         const saml2::NameID* getNameID() const {
 266             return m_nameid;
 267         }
 268 #endif
 269         const char* getSessionIndex() const {
 270             return m_obj["session_index"].string();
 271         }
 272         const char* getAuthnContextClassRef() const {
 273             return m_obj["authncontext_class"].string();
 274         }
 275         const char* getAuthnContextDeclRef() const {
 276             return m_obj["authncontext_decl"].string();
 277         }
 278         const vector<Attribute*>& getAttributes() const {
 279             if (m_attributes.empty())
 280                 unmarshallAttributes();
 281             return m_attributes;
 282         }
 283         const multimap<string,const Attribute*>& getIndexedAttributes() const {
 284             if (m_attributeIndex.empty()) {
 285                 if (m_attributes.empty())
 286                     unmarshallAttributes();
 287                 for (vector<Attribute*>::const_iterator a = m_attributes.begin(); a != m_attributes.end(); ++a) {
 288                     const vector<string>& aliases = (*a)->getAliases();
 289                     for (vector<string>::const_iterator alias = aliases.begin(); alias != aliases.end(); ++alias)
 290                         m_attributeIndex.insert(multimap<string,const Attribute*>::value_type(*alias, *a));
 291                 }
 292             }
 293             return m_attributeIndex;
 294         }
 295         const vector<const char*>& getAssertionIDs() const {
 296             if (m_ids.empty()) {
 297                 DDF ids = m_obj["assertions"];
 298                 DDF id = ids.first();
 299                 while (id.isstring()) {
 300                     m_ids.push_back(id.string());
 301                     id = ids.next();
 302                 }
 303             }
 304             return m_ids;
 305         }
 306
 307         void validate(const Application& application, const char* client_addr, time_t* timeout);
 308
 309 #ifndef SHIBSP_LITE
 310         void addAttributes(const vector<Attribute*>& attributes);
 311         const Assertion* getAssertion(const char* id) const;
 312         void addAssertion(Assertion* assertion);
 313 #endif
 314
 315         time_t getExpiration() const { return m_expires; }
 316         time_t getLastAccess() const { return m_lastAccess; }
 317
 318     private:
 319         void unmarshallAttributes() const;
 320
 321         DDF m_obj;
 322 #ifndef SHIBSP_LITE
 323         saml2::NameID* m_nameid;
 324         mutable map<string,Assertion*> m_tokens;
 325 #endif
 326         mutable vector<Attribute*> m_attributes;
 327         mutable multimap<string,const Attribute*> m_attributeIndex;
 328         mutable vector<const char*> m_ids;
 329
 330         SSCache* m_cache;
 331         time_t m_expires,m_lastAccess;
 332         Mutex* m_lock;
 333     };
 334
 335     SessionCache* SHIBSP_DLLLOCAL StorageServiceCacheFactory(const DOMElement* const & e)
 336     {
 337         return new SSCache(e);
 338     }
 339 }
 340
 341 Session* SessionCache::find(const Application& application, HTTPRequest& request, const char* client_addr, time_t* timeout)
 342 {
 343     return find(application, const_cast<const HTTPRequest&>(request), client_addr, timeout);
 344 }
 345
 346 void SHIBSP_API shibsp::registerSessionCaches()
 347 {
 348     SPConfig::getConfig().SessionCacheManager.registerFactory(STORAGESERVICE_SESSION_CACHE, StorageServiceCacheFactory);
 349 }
 350
 351 Session::Session()
 352 {
 353 }
 354
 355 Session::~Session()
 356 {
 357 }
 358
 359 void StoredSession::unmarshallAttributes() const
 360 {
 361     Attribute* attribute;
 362     DDF attrs = m_obj["attributes"];
 363     DDF attr = attrs.first();
 364     while (!attr.isnull()) {
 365         try {
 366             attribute = Attribute::unmarshall(attr);
 367             m_attributes.push_back(attribute);
 368             if (m_cache->m_log.isDebugEnabled())
 369                 m_cache->m_log.debug("unmarshalled attribute (ID: %s) with %d value%s",
 370                     attribute->getId(), attr.first().integer(), attr.first().integer()!=1 ? "s" : "");
 371         }
 372         catch (AttributeException& ex) {
 373             const char* id = attr.first().name();
 374             m_cache->m_log.error("error unmarshalling attribute (ID: %s): %s", id ? id : "none", ex.what());
 375         }
 376         attr = attrs.next();
 377     }
 378 }
 379
 380 void StoredSession::validate(const Application& app, const char* client_addr, time_t* timeout)
 381 {
 382     time_t now = time(nullptr);
 383
 384     // Basic expiration?
 385     if (m_expires > 0) {
 386         if (now > m_expires) {
 387             m_cache->m_log.info("session expired (ID: %s)", getID());
 388             throw RetryableProfileException("Your session has expired, and you must re-authenticate.");
 389         }
 390     }
 391
 392     // Address check?
 393     if (client_addr) {
 394         if (m_cache->m_log.isDebugEnabled())
 395             m_cache->m_log.debug("comparing client address %s against %s", client_addr, getClientAddress());
 396         if (!XMLString::equals(getClientAddress(),client_addr)) {
 397             m_cache->m_log.warn("client address mismatch");
 398             throw RetryableProfileException(
 399                 "Your IP address ($1) does not match the address recorded at the time the session was established.",
 400                 params(1,client_addr)
 401                 );
 402         }
 403     }
 404
 405     if (!timeout)
 406         return;
 407
 408     if (!SPConfig::getConfig().isEnabled(SPConfig::OutOfProcess)) {
 409         DDF in("touch::"STORAGESERVICE_SESSION_CACHE"::SessionCache"), out;
 410         DDFJanitor jin(in);
 411         in.structure();
 412         in.addmember("key").string(getID());
 413         in.addmember("version").integer(m_obj["version"].integer());
 414         in.addmember("application_id").string(app.getId());
 415         if (*timeout) {
 416             // On 64-bit Windows, time_t doesn't fit in a long, so I'm using ISO timestamps.
 417 #ifndef HAVE_GMTIME_R
 418             struct tm* ptime=gmtime(timeout);
 419 #else
 420             struct tm res;
 421             struct tm* ptime=gmtime_r(timeout,&res);
 422 #endif
 423             char timebuf[32];
 424             strftime(timebuf,32,"%Y-%m-%dT%H:%M:%SZ",ptime);
 425             in.addmember("timeout").string(timebuf);
 426         }
 427
 428         try {
 429             out=app.getServiceProvider().getListenerService()->send(in);
 430         }
 431         catch (...) {
 432             out.destroy();
 433             throw;
 434         }
 435
 436         if (out.isstruct()) {
 437             // We got an updated record back.
 438             m_ids.clear();
 439             for_each(m_attributes.begin(), m_attributes.end(), xmltooling::cleanup<Attribute>());
 440             m_attributes.clear();
 441             m_attributeIndex.clear();
 442             m_obj.destroy();
 443             m_obj = out;
 444         }
 445     }
 446     else {
 447 #ifndef SHIBSP_LITE
 448         if (!m_cache->m_storage)
 449             throw ConfigurationException("Session touch requires a StorageService.");
 450
 451         // Do a versioned read.
 452         string record;
 453         time_t lastAccess;
 454         int curver = m_obj["version"].integer();
 455         int ver = m_cache->m_storage->readText(getID(), "session", &record, &lastAccess, curver);
 456         if (ver == 0) {
 457             m_cache->m_log.warn("unsuccessful versioned read of session (ID: %s), cache out of sync?", getID());
 458             throw RetryableProfileException("Your session has expired, and you must re-authenticate.");
 459         }
 460
 461         // Adjust for expiration to recover last access time and check timeout.
 462         unsigned long cacheTimeout = m_cache->getCacheTimeout(app);
 463         lastAccess -= cacheTimeout;
 464         if (*timeout > 0 && now - lastAccess >= *timeout) {
 465             m_cache->m_log.info("session timed out (ID: %s)", getID());
 466             throw RetryableProfileException("Your session has expired, and you must re-authenticate.");
 467         }
 468
 469         // Update storage expiration, if possible.
 470         try {
 471             m_cache->m_storage->updateContext(getID(), now + cacheTimeout);
 472         }
 473         catch (exception& ex) {
 474             m_cache->m_log.error("failed to update session expiration: %s", ex.what());
 475         }
 476
 477         if (ver > curver) {
 478             // We got an updated record back.
 479             DDF newobj;
 480             istringstream in(record);
 481             in >> newobj;
 482             m_ids.clear();
 483             for_each(m_attributes.begin(), m_attributes.end(), xmltooling::cleanup<Attribute>());
 484             m_attributes.clear();
 485             m_attributeIndex.clear();
 486             m_obj.destroy();
 487             m_obj = newobj;
 488         }
 489 #else
 490         throw ConfigurationException("Session touch requires a StorageService.");
 491 #endif
 492     }
 493
 494     m_lastAccess = now;
 495 }
 496
 497 #ifndef SHIBSP_LITE
 498
 499 void StoredSession::addAttributes(const vector<Attribute*>& attributes)
 500 {
 501 #ifdef _DEBUG
 502     xmltooling::NDC ndc("addAttributes");
 503 #endif
 504
 505     if (!m_cache->m_storage)
 506         throw ConfigurationException("Session modification requires a StorageService.");
 507
 508     m_cache->m_log.debug("adding attributes to session (%s)", getID());
 509
 510     int ver;
 511     do {
 512         DDF attr;
 513         DDF attrs = m_obj["attributes"];
 514         if (!attrs.islist())
 515             attrs = m_obj.addmember("attributes").list();
 516         for (vector<Attribute*>::const_iterator a=attributes.begin(); a!=attributes.end(); ++a) {
 517             attr = (*a)->marshall();
 518             attrs.add(attr);
 519         }
 520
 521         // Tentatively increment the version.
 522         m_obj["version"].integer(m_obj["version"].integer()+1);
 523
 524         ostringstream str;
 525         str << m_obj;
 526         string record(str.str());
 527
 528         try {
 529             ver = m_cache->m_storage->updateText(getID(), "session", record.c_str(), 0, m_obj["version"].integer()-1);
 530         }
 531         catch (exception&) {
 532             // Roll back modification to record.
 533             m_obj["version"].integer(m_obj["version"].integer()-1);
 534             vector<Attribute*>::size_type count = attributes.size();
 535             while (count--)
 536                 attrs.last().destroy();
 537             throw;
 538         }
 539
 540         if (ver <= 0) {
 541             // Roll back modification to record.
 542             m_obj["version"].integer(m_obj["version"].integer()-1);
 543             vector<Attribute*>::size_type count = attributes.size();
 544             while (count--)
 545                 attrs.last().destroy();
 546         }
 547         if (!ver) {
 548             // Fatal problem with update.
 549             throw IOException("Unable to update stored session.");
 550         }
 551         else if (ver < 0) {
 552             // Out of sync.
 553             m_cache->m_log.warn("storage service indicates the record is out of sync, updating with a fresh copy...");
 554             ver = m_cache->m_storage->readText(getID(), "session", &record, nullptr);
 555             if (!ver) {
 556                 m_cache->m_log.error("readText failed on StorageService for session (%s)", getID());
 557                 throw IOException("Unable to read back stored session.");
 558             }
 559
 560             // Reset object.
 561             DDF newobj;
 562             istringstream in(record);
 563             in >> newobj;
 564
 565             m_ids.clear();
 566             for_each(m_attributes.begin(), m_attributes.end(), xmltooling::cleanup<Attribute>());
 567             m_attributes.clear();
 568             m_attributeIndex.clear();
 569             newobj["version"].integer(ver);
 570             m_obj.destroy();
 571             m_obj = newobj;
 572
 573             ver = -1;
 574         }
 575     } while (ver < 0);  // negative indicates a sync issue so we retry
 576
 577     TransactionLog* xlog = SPConfig::getConfig().getServiceProvider()->getTransactionLog();
 578     Locker locker(xlog);
 579     xlog->log.infoStream() <<
 580         "Added the following attributes to session (ID: " <<
 581             getID() <<
 582         ") for (applicationId: " <<
 583             m_obj["application_id"].string() <<
 584         ") {";
 585     for (vector<Attribute*>::const_iterator a=attributes.begin(); a!=attributes.end(); ++a)
 586         xlog->log.infoStream() << "\t" << (*a)->getId() << " (" << (*a)->valueCount() << " values)";
 587     xlog->log.info("}");
 588
 589     // We own them now, so clean them up.
 590     for_each(attributes.begin(), attributes.end(), xmltooling::cleanup<Attribute>());
 591 }
 592
 593 const Assertion* StoredSession::getAssertion(const char* id) const
 594 {
 595     if (!m_cache->m_storage)
 596         throw ConfigurationException("Assertion retrieval requires a StorageService.");
 597
 598     map<string,Assertion*>::const_iterator i = m_tokens.find(id);
 599     if (i!=m_tokens.end())
 600         return i->second;
 601
 602     string tokenstr;
 603     if (!m_cache->m_storage->readText(getID(), id, &tokenstr, nullptr))
 604         throw FatalProfileException("Assertion not found in cache.");
 605
 606     // Parse and bind the document into an XMLObject.
 607     istringstream instr(tokenstr);
 608     DOMDocument* doc = XMLToolingConfig::getConfig().getParser().parse(instr);
 609     XercesJanitor<DOMDocument> janitor(doc);
 610     auto_ptr<XMLObject> xmlObject(XMLObjectBuilder::buildOneFromElement(doc->getDocumentElement(), true));
 611     janitor.release();
 612
 613     Assertion* token = dynamic_cast<Assertion*>(xmlObject.get());
 614     if (!token)
 615         throw FatalProfileException("Request for cached assertion returned an unknown object type.");
 616
 617     // Transfer ownership to us.
 618     xmlObject.release();
 619     m_tokens[id]=token;
 620     return token;
 621 }
 622
 623 void StoredSession::addAssertion(Assertion* assertion)
 624 {
 625 #ifdef _DEBUG
 626     xmltooling::NDC ndc("addAssertion");
 627 #endif
 628
 629     if (!m_cache->m_storage)
 630         throw ConfigurationException("Session modification requires a StorageService.");
 631
 632     if (!assertion)
 633         throw FatalProfileException("Unknown object type passed to session for storage.");
 634
 635     auto_ptr_char id(assertion->getID());
 636
 637     m_cache->m_log.debug("adding assertion (%s) to session (%s)", id.get(), getID());
 638
 639     time_t exp;
 640     if (!m_cache->m_storage->readText(getID(), "session", nullptr, &exp))
 641         throw IOException("Unable to load expiration time for stored session.");
 642
 643     ostringstream tokenstr;
 644     tokenstr << *assertion;
 645     if (!m_cache->m_storage->createText(getID(), id.get(), tokenstr.str().c_str(), exp))
 646         throw IOException("Attempted to insert duplicate assertion ID into session.");
 647
 648     int ver;
 649     do {
 650         DDF token = DDF(nullptr).string(id.get());
 651         m_obj["assertions"].add(token);
 652
 653         // Tentatively increment the version.
 654         m_obj["version"].integer(m_obj["version"].integer()+1);
 655
 656         ostringstream str;
 657         str << m_obj;
 658         string record(str.str());
 659
 660         try {
 661             ver = m_cache->m_storage->updateText(getID(), "session", record.c_str(), 0, m_obj["version"].integer()-1);
 662         }
 663         catch (exception&) {
 664             token.destroy();
 665             m_obj["version"].integer(m_obj["version"].integer()-1);
 666             m_cache->m_storage->deleteText(getID(), id.get());
 667             throw;
 668         }
 669
 670         if (ver <= 0) {
 671             token.destroy();
 672             m_obj["version"].integer(m_obj["version"].integer()-1);
 673         }
 674         if (!ver) {
 675             // Fatal problem with update.
 676             m_cache->m_log.error("updateText failed on StorageService for session (%s)", getID());
 677             m_cache->m_storage->deleteText(getID(), id.get());
 678             throw IOException("Unable to update stored session.");
 679         }
 680         else if (ver < 0) {
 681             // Out of sync.
 682             m_cache->m_log.warn("storage service indicates the record is out of sync, updating with a fresh copy...");
 683             ver = m_cache->m_storage->readText(getID(), "session", &record, nullptr);
 684             if (!ver) {
 685                 m_cache->m_log.error("readText failed on StorageService for session (%s)", getID());
 686                 m_cache->m_storage->deleteText(getID(), id.get());
 687                 throw IOException("Unable to read back stored session.");
 688             }
 689
 690             // Reset object.
 691             DDF newobj;
 692             istringstream in(record);
 693             in >> newobj;
 694
 695             m_ids.clear();
 696             for_each(m_attributes.begin(), m_attributes.end(), xmltooling::cleanup<Attribute>());
 697             m_attributes.clear();
 698             m_attributeIndex.clear();
 699             newobj["version"].integer(ver);
 700             m_obj.destroy();
 701             m_obj = newobj;
 702
 703             ver = -1;
 704         }
 705     } while (ver < 0); // negative indicates a sync issue so we retry
 706
 707     m_ids.clear();
 708     delete assertion;
 709
 710     TransactionLog* xlog = SPConfig::getConfig().getServiceProvider()->getTransactionLog();
 711     Locker locker(xlog);
 712     xlog->log.info(
 713         "Added assertion (ID: %s) to session for (applicationId: %s) with (ID: %s)",
 714         id.get(), m_obj["application_id"].string(), getID()
 715         );
 716 }
 717
 718 #endif
 719
 720 SessionCache::SessionCache()
 721 {
 722 }
 723
 724 SessionCache::~SessionCache()
 725 {
 726 }
 727
 728 SessionCacheEx::SessionCacheEx()
 729 {
 730 }
 731
 732 SessionCacheEx::~SessionCacheEx()
 733 {
 734 }
 735
 736 SSCache::SSCache(const DOMElement* e)
 737     : m_log(Category::getInstance(SHIBSP_LOGCAT".SessionCache")), inproc(true),
 738 #ifndef SHIBSP_LITE
 739       m_storage(nullptr), m_storage_lite(nullptr), m_cacheAssertions(true),
 740 #endif
 741       m_root(e), m_inprocTimeout(900), m_cacheTimeout(0), m_cacheAllowance(0),
 742       m_lock(nullptr), shutdown(false), shutdown_wait(nullptr), cleanup_thread(nullptr)
 743 {
 744     SPConfig& conf = SPConfig::getConfig();
 745     inproc = conf.isEnabled(SPConfig::InProcess);
 746
 747     static const XMLCh cacheAllowance[] =   UNICODE_LITERAL_14(c,a,c,h,e,A,l,l,o,w,a,n,c,e);
 748     static const XMLCh cacheAssertions[] =  UNICODE_LITERAL_15(c,a,c,h,e,A,s,s,e,r,t,i,o,n,s);
 749     static const XMLCh cacheTimeout[] =     UNICODE_LITERAL_12(c,a,c,h,e,T,i,m,e,o,u,t);
 750     static const XMLCh inprocTimeout[] =    UNICODE_LITERAL_13(i,n,p,r,o,c,T,i,m,e,o,u,t);
 751     static const XMLCh inboundHeader[] =    UNICODE_LITERAL_13(i,n,b,o,u,n,d,H,e,a,d,e,r);
 752     static const XMLCh outboundHeader[] =   UNICODE_LITERAL_14(o,u,t,b,o,u,n,d,H,e,a,d,e,r);
 753     static const XMLCh _StorageService[] =  UNICODE_LITERAL_14(S,t,o,r,a,g,e,S,e,r,v,i,c,e);
 754     static const XMLCh _StorageServiceLite[] = UNICODE_LITERAL_18(S,t,o,r,a,g,e,S,e,r,v,i,c,e,L,i,t,e);
 755
 756     m_cacheTimeout = XMLHelper::getAttrInt(e, 0, cacheTimeout);
 757     m_cacheAllowance = XMLHelper::getAttrInt(e, 0, cacheAllowance);
 758     if (inproc)
 759         m_inprocTimeout = XMLHelper::getAttrInt(e, 900, inprocTimeout);
 760     m_inboundHeader = XMLHelper::getAttrString(e, nullptr, inboundHeader);
 761     if (!m_inboundHeader.empty())
 762         RemotedHandler::addRemotedHeader(m_inboundHeader.c_str());
 763     m_outboundHeader = XMLHelper::getAttrString(e, nullptr, outboundHeader);
 764
 765 #ifndef SHIBSP_LITE
 766     if (conf.isEnabled(SPConfig::OutOfProcess)) {
 767         string ssid(XMLHelper::getAttrString(e, nullptr, _StorageService));
 768         if (!ssid.empty()) {
 769             m_storage = conf.getServiceProvider()->getStorageService(ssid.c_str());
 770             if (m_storage)
 771                 m_log.info("bound to StorageService (%s)", ssid.c_str());
 772             else
 773                 m_log.warn("specified StorageService (%s) not found", ssid.c_str());
 774         }
 775         if (!m_storage) {
 776             m_storage = conf.getServiceProvider()->getStorageService(nullptr);
 777             if (m_storage)
 778                 m_log.info("bound to arbitrary StorageService");
 779             else
 780                 throw ConfigurationException("SessionCache unable to locate StorageService, check configuration.");
 781         }
 782
 783         ssid = XMLHelper::getAttrString(e, nullptr, _StorageServiceLite);
 784         if (!ssid.empty()) {
 785             m_storage_lite = conf.getServiceProvider()->getStorageService(ssid.c_str());
 786             if (m_storage_lite)
 787                 m_log.info("bound to 'lite' StorageService (%s)", ssid.c_str());
 788             else
 789                 m_log.warn("specified 'lite' StorageService (%s) not found", ssid.c_str());
 790         }
 791         if (!m_storage_lite) {
 792             m_log.info("StorageService for 'lite' use not set, using standard StorageService");
 793             m_storage_lite = m_storage;
 794         }
 795
 796         m_cacheAssertions = XMLHelper::getAttrBool(e, true, cacheAssertions);
 797     }
 798 #endif
 799
 800     ListenerService* listener=conf.getServiceProvider()->getListenerService(false);
 801     if (inproc) {
 802         if (!conf.isEnabled(SPConfig::OutOfProcess) && !listener)
 803             throw ConfigurationException("SessionCache requires a ListenerService, but none available.");
 804         m_lock = RWLock::create();
 805         shutdown_wait = CondWait::create();
 806         cleanup_thread = Thread::create(&cleanup_fn, this);
 807     }
 808 #ifndef SHIBSP_LITE
 809     else {
 810         if (listener && conf.isEnabled(SPConfig::OutOfProcess)) {
 811             listener->regListener("find::"STORAGESERVICE_SESSION_CACHE"::SessionCache",this);
 812             listener->regListener("remove::"STORAGESERVICE_SESSION_CACHE"::SessionCache",this);
 813             listener->regListener("touch::"STORAGESERVICE_SESSION_CACHE"::SessionCache",this);
 814         }
 815         else {
 816             m_log.info("no ListenerService available, cache remoting disabled");
 817         }
 818     }
 819 #endif
 820 }
 821
 822 SSCache::~SSCache()
 823 {
 824     if (inproc) {
 825         // Shut down the cleanup thread and let it know...
 826         shutdown = true;
 827         shutdown_wait->signal();
 828         cleanup_thread->join(nullptr);
 829
 830         for_each(m_hashtable.begin(),m_hashtable.end(),cleanup_pair<string,StoredSession>());
 831         delete m_lock;
 832
 833         delete cleanup_thread;
 834         delete shutdown_wait;
 835     }
 836 #ifndef SHIBSP_LITE
 837     else {
 838         SPConfig& conf = SPConfig::getConfig();
 839         ListenerService* listener=conf.getServiceProvider()->getListenerService(false);
 840         if (listener && conf.isEnabled(SPConfig::OutOfProcess)) {
 841             listener->unregListener("find::"STORAGESERVICE_SESSION_CACHE"::SessionCache",this);
 842             listener->unregListener("remove::"STORAGESERVICE_SESSION_CACHE"::SessionCache",this);
 843             listener->unregListener("touch::"STORAGESERVICE_SESSION_CACHE"::SessionCache",this);
 844         }
 845     }
 846 #endif
 847 }
 848
 849 #ifndef SHIBSP_LITE
 850
 851 void SSCache::test()
 852 {
 853     auto_ptr_char temp(SAMLConfig::getConfig().generateIdentifier());
 854     m_storage->createString("SessionCacheTest", temp.get(), "Test", time(nullptr) + 60);
 855     m_storage->deleteString("SessionCacheTest", temp.get());
 856 }
 857
 858 void SSCache::insert(const char* key, time_t expires, const char* name, const char* index)
 859 {
 860     string dup;
 861     if (strlen(name) > 255) {
 862         dup = string(name).substr(0,255);
 863         name = dup.c_str();
 864     }
 865
 866     DDF obj;
 867     DDFJanitor jobj(obj);
 868
 869     // Since we can't guarantee uniqueness, check for an existing record.
 870     string record;
 871     time_t recordexp;
 872     int ver = m_storage_lite->readText("NameID", name, &record, &recordexp);
 873     if (ver > 0) {
 874         // Existing record, so we need to unmarshall it.
 875         istringstream in(record);
 876         in >> obj;
 877     }
 878     else {
 879         // New record.
 880         obj = DDF(nullptr).structure();
 881     }
 882
 883     if (!index || !*index)
 884         index = "_shibnull";
 885     DDF sessions = obj.addmember(index);
 886     if (!sessions.islist())
 887         sessions.list();
 888     DDF session = DDF(nullptr).string(key);
 889     sessions.add(session);
 890
 891     // Remarshall the record.
 892     ostringstream out;
 893     out << obj;
 894
 895     // Try and store it back...
 896     if (ver > 0) {
 897         ver = m_storage_lite->updateText("NameID", name, out.str().c_str(), max(expires, recordexp), ver);
 898         if (ver <= 0) {
 899             // Out of sync, or went missing, so retry.
 900             return insert(key, expires, name, index);
 901         }
 902     }
 903     else if (!m_storage_lite->createText("NameID", name, out.str().c_str(), expires)) {
 904         // Hit a dup, so just retry, hopefully hitting the other branch.
 905         return insert(key, expires, name, index);
 906     }
 907 }
 908
 909 void SSCache::insert(
 910     const Application& app,
 911     const HTTPRequest& httpRequest,
 912     HTTPResponse& httpResponse,
 913     time_t expires,
 914     const saml2md::EntityDescriptor* issuer,
 915     const XMLCh* protocol,
 916     const saml2::NameID* nameid,
 917     const XMLCh* authn_instant,
 918     const XMLCh* session_index,
 919     const XMLCh* authncontext_class,
 920     const XMLCh* authncontext_decl,
 921     const vector<const Assertion*>* tokens,
 922     const vector<Attribute*>* attributes
 923     )
 924 {
 925 #ifdef _DEBUG
 926     xmltooling::NDC ndc("insert");
 927 #endif
 928     if (!m_storage)
 929         throw ConfigurationException("SessionCache insertion requires a StorageService.");
 930
 931     m_log.debug("creating new session");
 932
 933     time_t now = time(nullptr);
 934     auto_ptr_char index(session_index);
 935     auto_ptr_char entity_id(issuer ? issuer->getEntityID() : nullptr);
 936     auto_ptr_char name(nameid ? nameid->getName() : nullptr);
 937
 938     if (nameid) {
 939         // Check for a pending logout.
 940         char namebuf[256];
 941         strncpy(namebuf, name.get(), 255);
 942         namebuf[255] = 0;
 943         string pending;
 944         int ver = m_storage_lite->readText("Logout", namebuf, &pending);
 945         if (ver > 0) {
 946             DDF pendobj;
 947             DDFJanitor jpend(pendobj);
 948             istringstream pstr(pending);
 949             pstr >> pendobj;
 950             // IdP.SP.index contains logout expiration, if any.
 951             DDF deadmenwalking = pendobj[issuer ? entity_id.get() : "_shibnull"][app.getRelyingParty(issuer)->getString("entityID").second];
 952             const char* logexpstr = deadmenwalking[session_index ? index.get() : "_shibnull"].string();
 953             if (!logexpstr && session_index)    // we tried an exact session match, now try for nullptr
 954                 logexpstr = deadmenwalking["_shibnull"].string();
 955             if (logexpstr) {
 956                 auto_ptr_XMLCh dt(logexpstr);
 957                 DateTime dtobj(dt.get());
 958                 dtobj.parseDateTime();
 959                 time_t logexp = dtobj.getEpoch();
 960                 if (now - XMLToolingConfig::getConfig().clock_skew_secs < logexp)
 961                     throw FatalProfileException("A logout message from your identity provider has blocked your login attempt.");
 962             }
 963         }
 964     }
 965
 966     XMLCh* widekey = SAMLConfig::getConfig().generateIdentifier();
 967     auto_ptr_char key(widekey);
 968     XMLString::release(&widekey);
 969
 970     // Store session properties in DDF.
 971     DDF obj = DDF(key.get()).structure();
 972     DDFJanitor entryobj(obj);
 973     obj.addmember("version").integer(1);
 974     obj.addmember("application_id").string(app.getId());
 975
 976     // On 64-bit Windows, time_t doesn't fit in a long, so I'm using ISO timestamps.
 977 #ifndef HAVE_GMTIME_R
 978     struct tm* ptime=gmtime(&expires);
 979 #else
 980     struct tm res;
 981     struct tm* ptime=gmtime_r(&expires,&res);
 982 #endif
 983     char timebuf[32];
 984     strftime(timebuf,32,"%Y-%m-%dT%H:%M:%SZ",ptime);
 985     obj.addmember("expires").string(timebuf);
 986
 987     obj.addmember("client_addr").string(httpRequest.getRemoteAddr().c_str());
 988     if (issuer)
 989         obj.addmember("entity_id").string(entity_id.get());
 990     if (protocol) {
 991         auto_ptr_char prot(protocol);
 992         obj.addmember("protocol").string(prot.get());
 993     }
 994     if (authn_instant) {
 995         auto_ptr_char instant(authn_instant);
 996         obj.addmember("authn_instant").string(instant.get());
 997     }
 998     if (session_index)
 999         obj.addmember("session_index").string(index.get());
1000     if (authncontext_class) {
1001         auto_ptr_char ac(authncontext_class);
1002         obj.addmember("authncontext_class").string(ac.get());
1003     }
1004     if (authncontext_decl) {
1005         auto_ptr_char ad(authncontext_decl);
1006         obj.addmember("authncontext_decl").string(ad.get());
1007     }
1008
1009     if (nameid) {
1010         ostringstream namestr;
1011         namestr << *nameid;
1012         obj.addmember("nameid").string(namestr.str().c_str());
1013     }
1014
1015     if (tokens && m_cacheAssertions) {
1016         obj.addmember("assertions").list();
1017         for (vector<const Assertion*>::const_iterator t = tokens->begin(); t!=tokens->end(); ++t) {
1018             auto_ptr_char tokenid((*t)->getID());
1019             DDF tokid = DDF(nullptr).string(tokenid.get());
1020             obj["assertions"].add(tokid);
1021         }
1022     }
1023
1024     if (attributes) {
1025         DDF attr;
1026         DDF attrlist = obj.addmember("attributes").list();
1027         for (vector<Attribute*>::const_iterator a=attributes->begin(); a!=attributes->end(); ++a) {
1028             attr = (*a)->marshall();
1029             attrlist.add(attr);
1030         }
1031     }
1032
1033     ostringstream record;
1034     record << obj;
1035
1036     m_log.debug("storing new session...");
1037     unsigned long cacheTimeout = getCacheTimeout(app);
1038     if (!m_storage->createText(key.get(), "session", record.str().c_str(), now + cacheTimeout))
1039         throw FatalProfileException("Attempted to create a session with a duplicate key.");
1040
1041     // Store the reverse mapping for logout.
1042     try {
1043         if (nameid)
1044             insert(key.get(), expires, name.get(), index.get());
1045     }
1046     catch (exception& ex) {
1047         m_log.error("error storing back mapping of NameID for logout: %s", ex.what());
1048     }
1049
1050     if (tokens && m_cacheAssertions) {
1051         try {
1052             for (vector<const Assertion*>::const_iterator t = tokens->begin(); t!=tokens->end(); ++t) {
1053                 ostringstream tokenstr;
1054                 tokenstr << *(*t);
1055                 auto_ptr_char tokenid((*t)->getID());
1056                 if (!m_storage->createText(key.get(), tokenid.get(), tokenstr.str().c_str(), now + cacheTimeout))
1057                     throw IOException("duplicate assertion ID ($1)", params(1, tokenid.get()));
1058             }
1059         }
1060         catch (exception& ex) {
1061             m_log.error("error storing assertion along with session: %s", ex.what());
1062         }
1063     }
1064
1065     const char* pid = obj["entity_id"].string();
1066     const char* prot = obj["protocol"].string();
1067     m_log.info("new session created: ID (%s) IdP (%s) Protocol(%s) Address (%s)",
1068         key.get(), pid ? pid : "none", prot ? prot : "none", httpRequest.getRemoteAddr().c_str());
1069
1070     // Transaction Logging
1071     string primaryAssertionID("none");
1072     if (m_cacheAssertions) {
1073         if (tokens)
1074             primaryAssertionID = obj["assertions"].first().string();
1075     }
1076     else if (tokens) {
1077         auto_ptr_char tokenid(tokens->front()->getID());
1078         primaryAssertionID = tokenid.get();
1079     }
1080     TransactionLog* xlog = app.getServiceProvider().getTransactionLog();
1081     Locker locker(xlog);
1082     xlog->log.infoStream() <<
1083         "New session (ID: " <<
1084             key.get() <<
1085         ") with (applicationId: " <<
1086             app.getId() <<
1087         ") for principal from (IdP: " <<
1088             (pid ? pid : "none") <<
1089         ") at (ClientAddress: " <<
1090             httpRequest.getRemoteAddr() <<
1091         ") with (NameIdentifier: " <<
1092             (nameid ? name.get() : "none") <<
1093         ") using (Protocol: " <<
1094             (prot ? prot : "none") <<
1095         ") from (AssertionID: " <<
1096             primaryAssertionID <<
1097         ")";
1098
1099     if (attributes) {
1100         xlog->log.infoStream() <<
1101             "Cached the following attributes with session (ID: " <<
1102                 key.get() <<
1103             ") for (applicationId: " <<
1104                 app.getId() <<
1105             ") {";
1106         for (vector<Attribute*>::const_iterator a=attributes->begin(); a!=attributes->end(); ++a)
1107             xlog->log.infoStream() << "\t" << (*a)->getId() << " (" << (*a)->valueCount() << " values)";
1108         xlog->log.info("}");
1109     }
1110
1111     if (!m_outboundHeader.empty())
1112         httpResponse.setResponseHeader(m_outboundHeader.c_str(), key.get());
1113
1114     time_t cookieLifetime = 0;
1115     pair<string,const char*> shib_cookie = app.getCookieNameProps("_shibsession_", &cookieLifetime);
1116     string k(key.get());
1117     k += shib_cookie.second;
1118
1119     if (cookieLifetime > 0) {
1120         cookieLifetime += now;
1121 #ifndef HAVE_GMTIME_R
1122         ptime=gmtime(&cookieLifetime);
1123 #else
1124         ptime=gmtime_r(&cookieLifetime,&res);
1125 #endif
1126         char cookietimebuf[64];
1127         strftime(cookietimebuf,64,"; expires=%a, %d %b %Y %H:%M:%S GMT",ptime);
1128         k += cookietimebuf;
1129     }
1130
1131     httpResponse.setCookie(shib_cookie.first.c_str(), k.c_str());
1132 }
1133
1134 bool SSCache::matches(
1135     const Application& app,
1136     const xmltooling::HTTPRequest& request,
1137     const saml2md::EntityDescriptor* issuer,
1138     const saml2::NameID& nameid,
1139     const set<string>* indexes
1140     )
1141 {
1142     auto_ptr_char entityID(issuer ? issuer->getEntityID() : nullptr);
1143     try {
1144         Session* session = find(app, request);
1145         if (session) {
1146             Locker locker(session, false);
1147             if (XMLString::equals(session->getEntityID(), entityID.get()) && session->getNameID() &&
1148                     stronglyMatches(issuer->getEntityID(), app.getRelyingParty(issuer)->getXMLString("entityID").second, nameid, *session->getNameID())) {
1149                 return (!indexes || indexes->empty() || (session->getSessionIndex() ? (indexes->count(session->getSessionIndex())>0) : false));
1150             }
1151         }
1152     }
1153     catch (exception& ex) {
1154         m_log.error("error while matching session: %s", ex.what());
1155     }
1156     return false;
1157 }
1158
1159 vector<string>::size_type SSCache::logout(
1160     const Application& app,
1161     const saml2md::EntityDescriptor* issuer,
1162     const saml2::NameID& nameid,
1163     const set<string>* indexes,
1164     time_t expires,
1165     vector<string>& sessionsKilled
1166     )
1167 {
1168 #ifdef _DEBUG
1169     xmltooling::NDC ndc("logout");
1170 #endif
1171
1172     if (!m_storage)
1173         throw ConfigurationException("SessionCache insertion requires a StorageService.");
1174
1175     auto_ptr_char entityID(issuer ? issuer->getEntityID() : nullptr);
1176     auto_ptr_char name(nameid.getName());
1177
1178     m_log.info("request to logout sessions from (%s) for (%s)", entityID.get() ? entityID.get() : "unknown", name.get());
1179
1180     if (strlen(name.get()) > 255)
1181         const_cast<char*>(name.get())[255] = 0;
1182
1183     DDF obj;
1184     DDFJanitor jobj(obj);
1185     string record;
1186     int ver;
1187
1188     if (expires) {
1189         // Record the logout to prevent post-delivered assertions.
1190         // On 64-bit Windows, time_t doesn't fit in a long, so I'm using ISO timestamps.
1191 #ifndef HAVE_GMTIME_R
1192         struct tm* ptime=gmtime(&expires);
1193 #else
1194         struct tm res;
1195         struct tm* ptime=gmtime_r(&expires,&res);
1196 #endif
1197         char timebuf[32];
1198         strftime(timebuf,32,"%Y-%m-%dT%H:%M:%SZ",ptime);
1199
1200         time_t oldexp = 0;
1201         ver = m_storage_lite->readText("Logout", name.get(), &record, &oldexp);
1202         if (ver > 0) {
1203             istringstream lin(record);
1204             lin >> obj;
1205         }
1206         else {
1207             obj = DDF(nullptr).structure();
1208         }
1209
1210         // Structure is keyed by the IdP and SP, with a member per session index containing the expiration.
1211         DDF root = obj.addmember(issuer ? entityID.get() : "_shibnull").addmember(app.getRelyingParty(issuer)->getString("entityID").second);
1212         if (indexes) {
1213             for (set<string>::const_iterator x = indexes->begin(); x!=indexes->end(); ++x)
1214                 root.addmember(x->c_str()).string(timebuf);
1215         }
1216         else {
1217             root.addmember("_shibnull").string(timebuf);
1218         }
1219
1220         // Write it back.
1221         ostringstream lout;
1222         lout << obj;
1223
1224         if (ver > 0) {
1225             ver = m_storage_lite->updateText("Logout", name.get(), lout.str().c_str(), max(expires, oldexp), ver);
1226             if (ver <= 0) {
1227                 // Out of sync, or went missing, so retry.
1228                 return logout(app, issuer, nameid, indexes, expires, sessionsKilled);
1229             }
1230         }
1231         else if (!m_storage_lite->createText("Logout", name.get(), lout.str().c_str(), expires)) {
1232             // Hit a dup, so just retry, hopefully hitting the other branch.
1233             return logout(app, issuer, nameid, indexes, expires, sessionsKilled);
1234         }
1235
1236         obj.destroy();
1237         record.erase();
1238     }
1239
1240     // Read in potentially matching sessions.
1241     ver = m_storage_lite->readText("NameID", name.get(), &record);
1242     if (ver == 0) {
1243         m_log.debug("no active sessions to logout for supplied issuer and subject");
1244         return 0;
1245     }
1246
1247     istringstream in(record);
1248     in >> obj;
1249
1250     // The record contains child lists for each known session index.
1251     DDF key;
1252     DDF sessions = obj.first();
1253     while (sessions.islist()) {
1254         if (!indexes || indexes->empty() || indexes->count(sessions.name())) {
1255             key = sessions.first();
1256             while (key.isstring()) {
1257                 // Fetch the session for comparison.
1258                 Session* session = nullptr;
1259                 try {
1260                     session = find(app, key.string());
1261                 }
1262                 catch (exception& ex) {
1263                     m_log.error("error locating session (%s): %s", key.string(), ex.what());
1264                 }
1265
1266                 if (session) {
1267                     Locker locker(session, false);
1268                     // Same issuer?
1269                     if (XMLString::equals(session->getEntityID(), entityID.get())) {
1270                         // Same NameID?
1271                         if (stronglyMatches(issuer->getEntityID(), app.getRelyingParty(issuer)->getXMLString("entityID").second, nameid, *session->getNameID())) {
1272                             sessionsKilled.push_back(key.string());
1273                             key.destroy();
1274                         }
1275                         else {
1276                             m_log.debug("session (%s) contained a non-matching NameID, leaving it alone", key.string());
1277                         }
1278                     }
1279                     else {
1280                         m_log.debug("session (%s) established by different IdP, leaving it alone", key.string());
1281                     }
1282                 }
1283                 else {
1284                     // Session's gone, so...
1285                     sessionsKilled.push_back(key.string());
1286                     key.destroy();
1287                 }
1288                 key = sessions.next();
1289             }
1290
1291             // No sessions left for this index?
1292             if (sessions.first().isnull())
1293                 sessions.destroy();
1294         }
1295         sessions = obj.next();
1296     }
1297
1298     if (obj.first().isnull())
1299         obj.destroy();
1300
1301     // If possible, write back the mapping record (this isn't crucial).
1302     try {
1303         if (obj.isnull()) {
1304             m_storage_lite->deleteText("NameID", name.get());
1305         }
1306         else if (!sessionsKilled.empty()) {
1307             ostringstream out;
1308             out << obj;
1309             if (m_storage_lite->updateText("NameID", name.get(), out.str().c_str(), 0, ver) <= 0)
1310                 m_log.warn("logout mapping record changed behind us, leaving it alone");
1311         }
1312     }
1313     catch (exception& ex) {
1314         m_log.error("error updating logout mapping record: %s", ex.what());
1315     }
1316
1317     return sessionsKilled.size();
1318 }
1319
1320 bool SSCache::stronglyMatches(const XMLCh* idp, const XMLCh* sp, const saml2::NameID& n1, const saml2::NameID& n2) const
1321 {
1322     if (!XMLString::equals(n1.getName(), n2.getName()))
1323         return false;
1324
1325     const XMLCh* s1 = n1.getFormat();
1326     const XMLCh* s2 = n2.getFormat();
1327     if (!s1 || !*s1)
1328         s1 = saml2::NameID::UNSPECIFIED;
1329     if (!s2 || !*s2)
1330         s2 = saml2::NameID::UNSPECIFIED;
1331     if (!XMLString::equals(s1,s2))
1332         return false;
1333
1334     s1 = n1.getNameQualifier();
1335     s2 = n2.getNameQualifier();
1336     if (!s1 || !*s1)
1337         s1 = idp;
1338     if (!s2 || !*s2)
1339         s2 = idp;
1340     if (!XMLString::equals(s1,s2))
1341         return false;
1342
1343     s1 = n1.getSPNameQualifier();
1344     s2 = n2.getSPNameQualifier();
1345     if (!s1 || !*s1)
1346         s1 = sp;
1347     if (!s2 || !*s2)
1348         s2 = sp;
1349     if (!XMLString::equals(s1,s2))
1350         return false;
1351
1352     return true;
1353 }
1354
1355 #endif
1356
1357 Session* SSCache::find(const Application& app, const char* key, const char* client_addr, time_t* timeout)
1358 {
1359 #ifdef _DEBUG
1360     xmltooling::NDC ndc("find");
1361 #endif
1362     StoredSession* session=nullptr;
1363
1364     if (inproc) {
1365         m_log.debug("searching local cache for session (%s)", key);
1366         m_lock->rdlock();
1367         map<string,StoredSession*>::const_iterator i=m_hashtable.find(key);
1368         if (i!=m_hashtable.end()) {
1369             // Save off and lock the session.
1370             session = i->second;
1371             session->lock();
1372             m_lock->unlock();
1373             m_log.debug("session found locally, validating it for use");
1374         }
1375         else {
1376             m_lock->unlock();
1377         }
1378     }
1379
1380     if (!session) {
1381         if (!SPConfig::getConfig().isEnabled(SPConfig::OutOfProcess)) {
1382             m_log.debug("session not found locally, remoting the search");
1383             // Remote the request.
1384             DDF in("find::"STORAGESERVICE_SESSION_CACHE"::SessionCache"), out;
1385             DDFJanitor jin(in);
1386             in.structure();
1387             in.addmember("key").string(key);
1388             in.addmember("application_id").string(app.getId());
1389             if (timeout && *timeout) {
1390                 // On 64-bit Windows, time_t doesn't fit in a long, so I'm using ISO timestamps.
1391 #ifndef HAVE_GMTIME_R
1392                 struct tm* ptime=gmtime(timeout);
1393 #else
1394                 struct tm res;
1395                 struct tm* ptime=gmtime_r(timeout,&res);
1396 #endif
1397                 char timebuf[32];
1398                 strftime(timebuf,32,"%Y-%m-%dT%H:%M:%SZ",ptime);
1399                 in.addmember("timeout").string(timebuf);
1400             }
1401
1402             try {
1403                 out=app.getServiceProvider().getListenerService()->send(in);
1404                 if (!out.isstruct()) {
1405                     out.destroy();
1406                     m_log.debug("session not found in remote cache");
1407                     return nullptr;
1408                 }
1409
1410                 // Wrap the results in a local entry and save it.
1411                 session = new StoredSession(this, out);
1412                 // The remote end has handled timeout issues, we handle address and expiration checks.
1413                 timeout = nullptr;
1414             }
1415             catch (...) {
1416                 out.destroy();
1417                 throw;
1418             }
1419         }
1420         else {
1421             // We're out of process, so we can search the storage service directly.
1422 #ifndef SHIBSP_LITE
1423             if (!m_storage)
1424                 throw ConfigurationException("SessionCache lookup requires a StorageService.");
1425
1426             m_log.debug("searching for session (%s)", key);
1427
1428             DDF obj;
1429             time_t lastAccess;
1430             string record;
1431             int ver = m_storage->readText(key, "session", &record, &lastAccess);
1432             if (!ver)
1433                 return nullptr;
1434
1435             m_log.debug("reconstituting session and checking validity");
1436
1437             istringstream in(record);
1438             in >> obj;
1439
1440             unsigned long cacheTimeout = getCacheTimeout(app);
1441             lastAccess -= cacheTimeout;   // adjusts it back to the last time the record's timestamp was touched
1442             time_t now=time(nullptr);
1443
1444             if (timeout && *timeout > 0 && now - lastAccess >= *timeout) {
1445                 m_log.info("session timed out (ID: %s)", key);
1446                 remove(app, key);
1447                 const char* eid = obj["entity_id"].string();
1448                 if (!eid) {
1449                     obj.destroy();
1450                     throw RetryableProfileException("Your session has expired, and you must re-authenticate.");
1451                 }
1452                 string eid2(eid);
1453                 obj.destroy();
1454                 throw RetryableProfileException("Your session has expired, and you must re-authenticate.", namedparams(1, "entityID", eid2.c_str()));
1455             }
1456
1457             if (timeout) {
1458                 // Update storage expiration, if possible.
1459                 try {
1460                     m_storage->updateContext(key, now + cacheTimeout);
1461                 }
1462                 catch (exception& ex) {
1463                     m_log.error("failed to update session expiration: %s", ex.what());
1464                 }
1465             }
1466
1467             // Wrap the results in a local entry and save it.
1468             session = new StoredSession(this, obj);
1469             // We handled timeout issues, still need to handle address and expiration checks.
1470             timeout = nullptr;
1471 #else
1472             throw ConfigurationException("SessionCache search requires a StorageService.");
1473 #endif
1474         }
1475
1476         if (inproc) {
1477             // Lock for writing and repeat the search to avoid duplication.
1478             m_lock->wrlock();
1479             SharedLock shared(m_lock, false);
1480             if (m_hashtable.count(key)) {
1481                 // We're using an existing session entry.
1482                 delete session;
1483                 session = m_hashtable[key];
1484                 session->lock();
1485             }
1486             else {
1487                 m_hashtable[key]=session;
1488                 session->lock();
1489             }
1490         }
1491     }
1492
1493     if (!XMLString::equals(session->getApplicationID(), app.getId())) {
1494         m_log.error("an application (%s) tried to access another application's session", app.getId());
1495         session->unlock();
1496         return nullptr;
1497     }
1498
1499     // Verify currency and update the timestamp if indicated by caller.
1500     try {
1501         session->validate(app, client_addr, timeout);
1502     }
1503     catch (...) {
1504         session->unlock();
1505         remove(app, key);
1506         throw;
1507     }
1508
1509     return session;
1510 }
1511
1512 Session* SSCache::find(const Application& app, HTTPRequest& request, const char* client_addr, time_t* timeout)
1513 {
1514     string id = active(app, request);
1515     if (id.empty())
1516         return nullptr;
1517     try {
1518         Session* session = find(app, id.c_str(), client_addr, timeout);
1519         if (session)
1520             return session;
1521         HTTPResponse* response = dynamic_cast<HTTPResponse*>(&request);
1522         if (response) {
1523             if (!m_outboundHeader.empty())
1524                 response->setResponseHeader(m_outboundHeader.c_str(), nullptr);
1525             pair<string,const char*> shib_cookie = app.getCookieNameProps("_shibsession_");
1526             string exp(shib_cookie.second);
1527             exp += "; expires=Mon, 01 Jan 2001 00:00:00 GMT";
1528             response->setCookie(shib_cookie.first.c_str(), exp.c_str());
1529         }
1530     }
1531     catch (exception&) {
1532         HTTPResponse* response = dynamic_cast<HTTPResponse*>(&request);
1533         if (response) {
1534             if (!m_outboundHeader.empty())
1535                 response->setResponseHeader(m_outboundHeader.c_str(), nullptr);
1536             pair<string,const char*> shib_cookie = app.getCookieNameProps("_shibsession_");
1537             string exp(shib_cookie.second);
1538             exp += "; expires=Mon, 01 Jan 2001 00:00:00 GMT";
1539             response->setCookie(shib_cookie.first.c_str(), exp.c_str());
1540         }
1541         throw;
1542     }
1543     return nullptr;
1544 }
1545
1546 void SSCache::remove(const Application& app, const HTTPRequest& request, HTTPResponse* response)
1547 {
1548     string session_id;
1549     pair<string,const char*> shib_cookie = app.getCookieNameProps("_shibsession_");
1550
1551     if (!m_inboundHeader.empty())
1552         session_id = request.getHeader(m_inboundHeader.c_str());
1553     if (session_id.empty()) {
1554         const char* c = request.getCookie(shib_cookie.first.c_str());
1555         if (c && *c)
1556             session_id = c;
1557     }
1558
1559     if (!session_id.empty()) {
1560         if (response) {
1561             if (!m_outboundHeader.empty())
1562                 response->setResponseHeader(m_outboundHeader.c_str(), nullptr);
1563             string exp(shib_cookie.second);
1564             exp += "; expires=Mon, 01 Jan 2001 00:00:00 GMT";
1565             response->setCookie(shib_cookie.first.c_str(), exp.c_str());
1566         }
1567         remove(app, session_id.c_str());
1568     }
1569 }
1570
1571 void SSCache::remove(const Application& app, const char* key)
1572 {
1573 #ifdef _DEBUG
1574     xmltooling::NDC ndc("remove");
1575 #endif
1576     // Take care of local copy.
1577     if (inproc)
1578         dormant(key);
1579
1580     if (SPConfig::getConfig().isEnabled(SPConfig::OutOfProcess)) {
1581         // Remove the session from storage directly.
1582 #ifndef SHIBSP_LITE
1583         m_storage->deleteContext(key);
1584         m_log.info("removed session (%s)", key);
1585
1586         TransactionLog* xlog = app.getServiceProvider().getTransactionLog();
1587         Locker locker(xlog);
1588         xlog->log.info("Destroyed session (applicationId: %s) (ID: %s)", app.getId(), key);
1589 #else
1590         throw ConfigurationException("SessionCache removal requires a StorageService.");
1591 #endif
1592     }
1593     else {
1594         // Remote the request.
1595         DDF in("remove::"STORAGESERVICE_SESSION_CACHE"::SessionCache");
1596         DDFJanitor jin(in);
1597         in.structure();
1598         in.addmember("key").string(key);
1599         in.addmember("application_id").string(app.getId());
1600
1601         DDF out = app.getServiceProvider().getListenerService()->send(in);
1602         out.destroy();
1603     }
1604 }
1605
1606 void SSCache::dormant(const char* key)
1607 {
1608 #ifdef _DEBUG
1609     xmltooling::NDC ndc("dormant");
1610 #endif
1611
1612     m_log.debug("deleting local copy of session (%s)", key);
1613
1614     // lock the cache for writing, which means we know nobody is sitting in find()
1615     m_lock->wrlock();
1616
1617     // grab the entry from the table
1618     map<string,StoredSession*>::const_iterator i=m_hashtable.find(key);
1619     if (i==m_hashtable.end()) {
1620         m_lock->unlock();
1621         return;
1622     }
1623
1624     // ok, remove the entry and lock it
1625     StoredSession* entry=i->second;
1626     m_hashtable.erase(key);
1627     entry->lock();
1628
1629     // unlock the cache
1630     m_lock->unlock();
1631
1632     // we can release the cache entry lock because we know we're not in the cache anymore
1633     entry->unlock();
1634
1635     delete entry;
1636 }
1637
1638 void* SSCache::cleanup_fn(void* p)
1639 {
1640 #ifdef _DEBUG
1641     xmltooling::NDC ndc("cleanup");
1642 #endif
1643
1644     SSCache* pcache = reinterpret_cast<SSCache*>(p);
1645
1646 #ifndef WIN32
1647     // First, let's block all signals
1648     Thread::mask_all_signals();
1649 #endif
1650
1651     auto_ptr<Mutex> mutex(Mutex::create());
1652
1653     // Load our configuration details...
1654     static const XMLCh cleanupInterval[] = UNICODE_LITERAL_15(c,l,e,a,n,u,p,I,n,t,e,r,v,a,l);
1655     const XMLCh* tag=pcache->m_root ? pcache->m_root->getAttributeNS(nullptr, cleanupInterval) : nullptr;
1656     int rerun_timer = 900;
1657     if (tag && *tag) {
1658         rerun_timer = XMLString::parseInt(tag);
1659         if (rerun_timer <= 0)
1660             rerun_timer = 900;
1661     }
1662
1663     mutex->lock();
1664
1665     pcache->m_log.info("cleanup thread started...run every %d secs; timeout after %d secs", rerun_timer, pcache->m_inprocTimeout);
1666
1667     while (!pcache->shutdown) {
1668         pcache->shutdown_wait->timedwait(mutex.get(), rerun_timer);
1669         if (pcache->shutdown)
1670             break;
1671
1672         // Ok, let's run through the cleanup process and clean out
1673         // really old sessions.  This is a two-pass process.  The
1674         // first pass is done holding a read-lock while we iterate over
1675         // the cache.  The second pass doesn't need a lock because
1676         // the 'deletes' will lock the cache.
1677
1678         // Pass 1: iterate over the map and find all entries that have not been
1679         // used in the allotted timeout.
1680         vector<string> stale_keys;
1681         time_t stale = time(nullptr) - pcache->m_inprocTimeout;
1682
1683         pcache->m_log.debug("cleanup thread running");
1684
1685         pcache->m_lock->rdlock();
1686         for (map<string,StoredSession*>::const_iterator i=pcache->m_hashtable.begin(); i!=pcache->m_hashtable.end(); ++i) {
1687             // If the last access was BEFORE the stale timeout...
1688             i->second->lock();
1689             time_t last=i->second->getLastAccess();
1690             i->second->unlock();
1691             if (last < stale)
1692                 stale_keys.push_back(i->first);
1693         }
1694         pcache->m_lock->unlock();
1695
1696         if (!stale_keys.empty()) {
1697             pcache->m_log.info("purging %d old sessions", stale_keys.size());
1698
1699             // Pass 2: walk through the list of stale entries and remove them from the cache
1700             for (vector<string>::const_iterator j = stale_keys.begin(); j != stale_keys.end(); ++j)
1701                 pcache->dormant(j->c_str());
1702         }
1703
1704         pcache->m_log.debug("cleanup thread completed");
1705     }
1706
1707     pcache->m_log.info("cleanup thread exiting");
1708
1709     mutex->unlock();
1710     return nullptr;
1711 }
1712
1713 #ifndef SHIBSP_LITE
1714
1715 void SSCache::receive(DDF& in, ostream& out)
1716 {
1717 #ifdef _DEBUG
1718     xmltooling::NDC ndc("receive");
1719 #endif
1720     const Application* app = SPConfig::getConfig().getServiceProvider()->getApplication(in["application_id"].string());
1721     if (!app)
1722         throw ListenerException("Application not found, check configuration?");
1723
1724     if (!strcmp(in.name(),"find::"STORAGESERVICE_SESSION_CACHE"::SessionCache")) {
1725         const char* key=in["key"].string();
1726         if (!key)
1727             throw ListenerException("Required parameters missing for session lookup.");
1728
1729         // Do an unversioned read.
1730         string record;
1731         time_t lastAccess;
1732         if (!m_storage->readText(key, "session", &record, &lastAccess)) {
1733             DDF ret(nullptr);
1734             DDFJanitor jan(ret);
1735             out << ret;
1736             return;
1737         }
1738
1739         // Adjust for expiration to recover last access time and check timeout.
1740         unsigned long cacheTimeout = getCacheTimeout(*app);
1741         lastAccess -= cacheTimeout;
1742         time_t now=time(nullptr);
1743
1744         // See if we need to check for a timeout.
1745         if (in["timeout"].string()) {
1746             time_t timeout = 0;
1747             auto_ptr_XMLCh dt(in["timeout"].string());
1748             DateTime dtobj(dt.get());
1749             dtobj.parseDateTime();
1750             timeout = dtobj.getEpoch();
1751
1752             if (timeout > 0 && now - lastAccess >= timeout) {
1753                 m_log.info("session timed out (ID: %s)", key);
1754                 remove(*app, key);
1755                 throw RetryableProfileException("Your session has expired, and you must re-authenticate.");
1756             }
1757
1758             // Update storage expiration, if possible.
1759             try {
1760                 m_storage->updateContext(key, now + cacheTimeout);
1761             }
1762             catch (exception& ex) {
1763                 m_log.error("failed to update session expiration: %s", ex.what());
1764             }
1765         }
1766
1767         // Send the record back.
1768         out << record;
1769     }
1770     else if (!strcmp(in.name(),"touch::"STORAGESERVICE_SESSION_CACHE"::SessionCache")) {
1771         const char* key=in["key"].string();
1772         if (!key)
1773             throw ListenerException("Required parameters missing for session check.");
1774
1775         // Do a versioned read.
1776         string record;
1777         time_t lastAccess;
1778         int curver = in["version"].integer();
1779         int ver = m_storage->readText(key, "session", &record, &lastAccess, curver);
1780         if (ver == 0) {
1781             m_log.warn("unsuccessful versioned read of session (ID: %s), caches out of sync?", key);
1782             throw RetryableProfileException("Your session has expired, and you must re-authenticate.");
1783         }
1784
1785         // Adjust for expiration to recover last access time and check timeout.
1786         unsigned long cacheTimeout = getCacheTimeout(*app);
1787         lastAccess -= cacheTimeout;
1788         time_t now=time(nullptr);
1789
1790         // See if we need to check for a timeout.
1791         time_t timeout = 0;
1792         auto_ptr_XMLCh dt(in["timeout"].string());
1793         if (dt.get()) {
1794             DateTime dtobj(dt.get());
1795             dtobj.parseDateTime();
1796             timeout = dtobj.getEpoch();
1797         }
1798
1799         if (timeout > 0 && now - lastAccess >= timeout) {
1800             m_log.info("session timed out (ID: %s)", key);
1801             throw RetryableProfileException("Your session has expired, and you must re-authenticate.");
1802         }
1803
1804         // Update storage expiration, if possible.
1805         try {
1806             m_storage->updateContext(key, now + cacheTimeout);
1807         }
1808         catch (exception& ex) {
1809             m_log.error("failed to update session expiration: %s", ex.what());
1810         }
1811
1812         if (ver > curver) {
1813             // Send the record back.
1814             out << record;
1815         }
1816         else {
1817             DDF ret(nullptr);
1818             DDFJanitor jan(ret);
1819             out << ret;
1820         }
1821     }
1822     else if (!strcmp(in.name(),"remove::"STORAGESERVICE_SESSION_CACHE"::SessionCache")) {
1823         const char* key=in["key"].string();
1824         if (!key)
1825             throw ListenerException("Required parameter missing for session removal.");
1826
1827         remove(*app, key);
1828         DDF ret(nullptr);
1829         DDFJanitor jan(ret);
1830         out << ret;
1831     }
1832 }
1833
1834 #endif