https://bugs.internet2.edu/jira/browse/SSPCPP-162
[shibboleth/sp.git] / apache / mod_apache.cpp
1 /*
2  *  Copyright 2001-2007 Internet2
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  *     http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 /**
18  * mod_apache.cpp
19  *
20  * Apache module implementation
21  */
22
23 #define SHIBSP_LITE
24
25 #ifdef SOLARIS2
26 #undef _XOPEN_SOURCE    // causes gethostname conflict in unistd.h
27 #endif
28
29 #ifdef WIN32
30 # define _CRT_NONSTDC_NO_DEPRECATE 1
31 # define _CRT_SECURE_NO_DEPRECATE 1
32 #endif
33
34 #include <shibsp/AbstractSPRequest.h>
35 #include <shibsp/AccessControl.h>
36 #include <shibsp/exceptions.h>
37 #include <shibsp/RequestMapper.h>
38 #include <shibsp/SPConfig.h>
39 #include <shibsp/ServiceProvider.h>
40 #include <shibsp/SessionCache.h>
41 #include <shibsp/attribute/Attribute.h>
42 #include <xercesc/util/XMLUniDefs.hpp>
43 #include <xercesc/util/regx/RegularExpression.hpp>
44 #include <xmltooling/XMLToolingConfig.h>
45 #include <xmltooling/util/NDC.h>
46 #include <xmltooling/util/Threads.h>
47 #include <xmltooling/util/XMLConstants.h>
48 #include <xmltooling/util/XMLHelper.h>
49
50 #ifdef WIN32
51 # include <winsock.h>
52 #endif
53
54 #undef _XPG4_2
55
56 // Apache specific header files
57 #include <httpd.h>
58 #include <http_config.h>
59 #include <http_protocol.h>
60 #include <http_main.h>
61 #define CORE_PRIVATE
62 #include <http_core.h>
63 #include <http_log.h>
64 #include <http_request.h>
65
66 #ifndef SHIB_APACHE_13
67 #include <apr_buckets.h>
68 #include <apr_strings.h>
69 #include <apr_pools.h>
70 #endif
71
72 #include <memory>
73 #include <fstream>
74 #include <sstream>
75 #include <stdexcept>
76
77 #ifdef HAVE_UNISTD_H
78 #include <unistd.h>             // for getpid()
79 #endif
80
81 using namespace shibsp;
82 using namespace xmltooling;
83 using namespace std;
84 using xercesc::RegularExpression;
85 using xercesc::XMLException;
86
87 extern "C" module MODULE_VAR_EXPORT mod_shib;
88
89 namespace {
90     char* g_szSHIBConfig = NULL;
91     char* g_szSchemaDir = NULL;
92     char* g_szPrefix = NULL;
93     SPConfig* g_Config = NULL;
94     string g_unsetHeaderValue,g_spoofKey;
95     bool g_checkSpoofing = true;
96     bool g_catchAll = false;
97     static const char* g_UserDataKey = "_shib_check_user_";
98     static const XMLCh path[] = UNICODE_LITERAL_4(p,a,t,h);
99     static const XMLCh validate[] = UNICODE_LITERAL_8(v,a,l,i,d,a,t,e);
100 }
101
102 /* Apache 2.2.x headers must be accumulated and set in the output filter.
103    Apache 2.0.49+ supports the filter method.
104    Apache 1.3.x and lesser 2.0.x must write the headers directly. */
105
106 #if (defined(SHIB_APACHE_20) || defined(SHIB_APACHE_22)) && AP_MODULE_MAGIC_AT_LEAST(20020903,6)
107 #define SHIB_DEFERRED_HEADERS
108 #endif
109
110 /********************************************************************************/
111 // Basic Apache Configuration code.
112 //
113
114 // per-server module configuration structure
115 struct shib_server_config
116 {
117     char* szScheme;
118 };
119
120 // creates the per-server configuration
121 extern "C" void* create_shib_server_config(SH_AP_POOL* p, server_rec* s)
122 {
123     shib_server_config* sc=(shib_server_config*)ap_pcalloc(p,sizeof(shib_server_config));
124     sc->szScheme = NULL;
125     return sc;
126 }
127
128 // overrides server configuration in virtual servers
129 extern "C" void* merge_shib_server_config (SH_AP_POOL* p, void* base, void* sub)
130 {
131     shib_server_config* sc=(shib_server_config*)ap_pcalloc(p,sizeof(shib_server_config));
132     shib_server_config* parent=(shib_server_config*)base;
133     shib_server_config* child=(shib_server_config*)sub;
134
135     if (child->szScheme)
136         sc->szScheme=ap_pstrdup(p,child->szScheme);
137     else if (parent->szScheme)
138         sc->szScheme=ap_pstrdup(p,parent->szScheme);
139     else
140         sc->szScheme=NULL;
141
142     return sc;
143 }
144
145 // per-dir module configuration structure
146 struct shib_dir_config
147 {
148     SH_AP_TABLE* tSettings; // generic table of extensible settings
149
150     // RM Configuration
151     char* szAuthGrpFile;    // Auth GroupFile name
152     int bRequireAll;        // all "known" require directives must match, otherwise OR logic
153     int bAuthoritative;     // allow htaccess plugin to DECLINE when authz fails
154
155     // Content Configuration
156     char* szApplicationId;  // Shib applicationId value
157     char* szRequireWith;    // require a session using a specific initiator?
158     char* szRedirectToSSL;  // redirect non-SSL requests to SSL port
159     int bOff;               // flat-out disable all Shib processing
160     int bBasicHijack;       // activate for AuthType Basic?
161     int bRequireSession;    // require a session?
162     int bExportAssertion;   // export SAML assertion to the environment?
163     int bUseEnvVars;        // use environment?
164     int bUseHeaders;        // use headers?
165 };
166
167 // creates per-directory config structure
168 extern "C" void* create_shib_dir_config (SH_AP_POOL* p, char* d)
169 {
170     shib_dir_config* dc=(shib_dir_config*)ap_pcalloc(p,sizeof(shib_dir_config));
171     dc->tSettings = NULL;
172     dc->szAuthGrpFile = NULL;
173     dc->bRequireAll = -1;
174     dc->bAuthoritative = -1;
175     dc->szApplicationId = NULL;
176     dc->szRequireWith = NULL;
177     dc->szRedirectToSSL = NULL;
178     dc->bOff = -1;
179     dc->bBasicHijack = -1;
180     dc->bRequireSession = -1;
181     dc->bExportAssertion = -1;
182     dc->bUseEnvVars = -1;
183     dc->bUseHeaders = -1;
184     return dc;
185 }
186
187 // overrides server configuration in directories
188 extern "C" void* merge_shib_dir_config (SH_AP_POOL* p, void* base, void* sub)
189 {
190     shib_dir_config* dc=(shib_dir_config*)ap_pcalloc(p,sizeof(shib_dir_config));
191     shib_dir_config* parent=(shib_dir_config*)base;
192     shib_dir_config* child=(shib_dir_config*)sub;
193
194     // The child supersedes any matching table settings in the parent.
195     dc->tSettings = NULL;
196     if (parent->tSettings)
197         dc->tSettings = ap_copy_table(p, parent->tSettings);
198     if (child->tSettings) {
199         if (dc->tSettings)
200             ap_overlap_tables(dc->tSettings, child->tSettings, AP_OVERLAP_TABLES_SET);
201         else
202             dc->tSettings = ap_copy_table(p, child->tSettings);
203     }
204
205     if (child->szAuthGrpFile)
206         dc->szAuthGrpFile=ap_pstrdup(p,child->szAuthGrpFile);
207     else if (parent->szAuthGrpFile)
208         dc->szAuthGrpFile=ap_pstrdup(p,parent->szAuthGrpFile);
209     else
210         dc->szAuthGrpFile=NULL;
211
212     if (child->szApplicationId)
213         dc->szApplicationId=ap_pstrdup(p,child->szApplicationId);
214     else if (parent->szApplicationId)
215         dc->szApplicationId=ap_pstrdup(p,parent->szApplicationId);
216     else
217         dc->szApplicationId=NULL;
218
219     if (child->szRequireWith)
220         dc->szRequireWith=ap_pstrdup(p,child->szRequireWith);
221     else if (parent->szRequireWith)
222         dc->szRequireWith=ap_pstrdup(p,parent->szRequireWith);
223     else
224         dc->szRequireWith=NULL;
225
226     if (child->szRedirectToSSL)
227         dc->szRedirectToSSL=ap_pstrdup(p,child->szRedirectToSSL);
228     else if (parent->szRedirectToSSL)
229         dc->szRedirectToSSL=ap_pstrdup(p,parent->szRedirectToSSL);
230     else
231         dc->szRedirectToSSL=NULL;
232
233     dc->bOff=((child->bOff==-1) ? parent->bOff : child->bOff);
234     dc->bBasicHijack=((child->bBasicHijack==-1) ? parent->bBasicHijack : child->bBasicHijack);
235     dc->bRequireSession=((child->bRequireSession==-1) ? parent->bRequireSession : child->bRequireSession);
236     dc->bExportAssertion=((child->bExportAssertion==-1) ? parent->bExportAssertion : child->bExportAssertion);
237     dc->bRequireAll=((child->bRequireAll==-1) ? parent->bRequireAll : child->bRequireAll);
238     dc->bAuthoritative=((child->bAuthoritative==-1) ? parent->bAuthoritative : child->bAuthoritative);
239     dc->bUseEnvVars=((child->bUseEnvVars==-1) ? parent->bUseEnvVars : child->bUseEnvVars);
240     dc->bUseHeaders=((child->bUseHeaders==-1) ? parent->bUseHeaders : child->bUseHeaders);
241     return dc;
242 }
243
244 // per-request module structure
245 struct shib_request_config
246 {
247     SH_AP_TABLE *env;        // environment vars
248 #ifdef SHIB_DEFERRED_HEADERS
249     SH_AP_TABLE *hdr_out;    // headers to browser
250 #endif
251 };
252
253 // create a request record
254 static shib_request_config *init_request_config(request_rec *r)
255 {
256     shib_request_config* rc=(shib_request_config*)ap_pcalloc(r->pool,sizeof(shib_request_config));
257     ap_set_module_config (r->request_config, &mod_shib, rc);
258     memset(rc, 0, sizeof(shib_request_config));
259     ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r), "shib_init_rc");
260     return rc;
261 }
262
263 // generic global slot handlers
264 extern "C" const char* ap_set_global_string_slot(cmd_parms* parms, void*, const char* arg)
265 {
266     *((char**)(parms->info))=ap_pstrdup(parms->pool,arg);
267     return NULL;
268 }
269
270 extern "C" const char* shib_set_server_string_slot(cmd_parms* parms, void*, const char* arg)
271 {
272     char* base=(char*)ap_get_module_config(parms->server->module_config,&mod_shib);
273     size_t offset=(size_t)parms->info;
274     *((char**)(base + offset))=ap_pstrdup(parms->pool,arg);
275     return NULL;
276 }
277
278 extern "C" const char* shib_ap_set_file_slot(cmd_parms* parms,
279 #ifdef SHIB_APACHE_13
280                                              char* arg1, char* arg2
281 #else
282                                              void* arg1, const char* arg2
283 #endif
284                                              )
285 {
286   ap_set_file_slot(parms, arg1, arg2);
287   return DECLINE_CMD;
288 }
289
290 extern "C" const char* shib_table_set(cmd_parms* parms, shib_dir_config* dc, const char* arg1, const char* arg2)
291 {
292     if (!dc->tSettings)
293         dc->tSettings = ap_make_table(parms->pool, 4);
294     ap_table_set(dc->tSettings, arg1, arg2);
295     return NULL;
296 }
297
298 /********************************************************************************/
299 // Apache ShibTarget subclass(es) here.
300
301 class ShibTargetApache : public AbstractSPRequest
302 {
303   bool m_handler;
304   mutable string m_body;
305   mutable bool m_gotBody,m_firsttime;
306   mutable vector<string> m_certs;
307   set<string> m_allhttp;
308
309 public:
310   request_rec* m_req;
311   shib_dir_config* m_dc;
312   shib_server_config* m_sc;
313   shib_request_config* m_rc;
314
315   ShibTargetApache(request_rec* req, bool handler, bool shib_check_user)
316       : AbstractSPRequest(SHIBSP_LOGCAT".Apache"), m_handler(handler), m_gotBody(false),m_firsttime(true) {
317     m_sc = (shib_server_config*)ap_get_module_config(req->server->module_config, &mod_shib);
318     m_dc = (shib_dir_config*)ap_get_module_config(req->per_dir_config, &mod_shib);
319     m_rc = (shib_request_config*)ap_get_module_config(req->request_config, &mod_shib);
320     m_req = req;
321
322     setRequestURI(m_req->unparsed_uri);
323
324     if (shib_check_user && m_dc->bUseHeaders == 1) {
325         // Try and see if this request was already processed, to skip spoof checking.
326         if (!ap_is_initial_req(m_req)) {
327             m_firsttime = false;
328         }
329         else if (!g_spoofKey.empty()) {
330             const char* hdr = ap_table_get(m_req->headers_in, "Shib-Spoof-Check");
331             if (hdr && g_spoofKey == hdr)
332                 m_firsttime=false;
333         }
334
335         if (!m_firsttime)
336             log(SPDebug, "shib_check_user running more than once");
337     }
338   }
339   virtual ~ShibTargetApache() {}
340
341   const char* getScheme() const {
342     return m_sc->szScheme ? m_sc->szScheme : ap_http_method(m_req);
343   }
344   const char* getHostname() const {
345     return ap_get_server_name(m_req);
346   }
347   int getPort() const {
348     return ap_get_server_port(m_req);
349   }
350   const char* getMethod() const {
351     return m_req->method;
352   }
353   string getContentType() const {
354     const char* type = ap_table_get(m_req->headers_in, "Content-Type");
355     return type ? type : "";
356   }
357   long getContentLength() const {
358       return m_gotBody ? m_body.length() : m_req->remaining;
359   }
360   string getRemoteAddr() const {
361     return m_req->connection->remote_ip;
362   }
363   void log(SPLogLevel level, const string& msg) const {
364     AbstractSPRequest::log(level,msg);
365     ap_log_rerror(
366         APLOG_MARK,
367         (level == SPDebug ? APLOG_DEBUG :
368         (level == SPInfo ? APLOG_INFO :
369         (level == SPWarn ? APLOG_WARNING :
370         (level == SPError ? APLOG_ERR : APLOG_CRIT))))|APLOG_NOERRNO,
371         SH_AP_R(m_req),
372         msg.c_str()
373         );
374   }
375   const char* getQueryString() const { return m_req->args; }
376   const char* getRequestBody() const {
377     if (m_gotBody || m_req->method_number==M_GET)
378         return m_body.c_str();
379 #ifdef SHIB_APACHE_13
380     // Read the posted data
381     if (ap_setup_client_block(m_req, REQUEST_CHUNKED_DECHUNK) != OK) {
382         m_gotBody=true;
383         log(SPError, "Apache function (setup_client_block) failed while reading request body.");
384         return m_body.c_str();
385     }
386     if (!ap_should_client_block(m_req)) {
387         m_gotBody=true;
388         log(SPError, "Apache function (should_client_block) failed while reading request body.");
389         return m_body.c_str();
390     }
391     if (m_req->remaining > 1024*1024)
392         throw opensaml::SecurityPolicyException("Blocked request body larger than 1M size limit.");
393     m_gotBody=true;
394     int len;
395     char buff[HUGE_STRING_LEN];
396     ap_hard_timeout("[mod_shib] getRequestBody", m_req);
397     while ((len=ap_get_client_block(m_req, buff, sizeof(buff))) > 0) {
398       ap_reset_timeout(m_req);
399       m_body.append(buff, len);
400     }
401     ap_kill_timeout(m_req);
402 #else
403     const char *data;
404     apr_size_t len;
405     int seen_eos = 0;
406     apr_bucket_brigade* bb = apr_brigade_create(m_req->pool, m_req->connection->bucket_alloc);
407     do {
408         apr_bucket *bucket;
409         apr_status_t rv = ap_get_brigade(m_req->input_filters, bb, AP_MODE_READBYTES, APR_BLOCK_READ, HUGE_STRING_LEN);
410         if (rv != APR_SUCCESS) {
411             log(SPError, "Apache function (ap_get_brigade) failed while reading request body.");
412             break;
413         }
414
415         for (bucket = APR_BRIGADE_FIRST(bb); bucket != APR_BRIGADE_SENTINEL(bb); bucket = APR_BUCKET_NEXT(bucket)) {
416             if (APR_BUCKET_IS_EOS(bucket)) {
417                 seen_eos = 1;
418                 break;
419             }
420
421             /* We can't do much with this. */
422             if (APR_BUCKET_IS_FLUSH(bucket))
423                 continue;
424
425             /* read */
426             apr_bucket_read(bucket, &data, &len, APR_BLOCK_READ);
427             if (len > 0)
428                 m_body.append(data, len);
429         }
430         apr_brigade_cleanup(bb);
431     } while (!seen_eos);
432     apr_brigade_destroy(bb);
433     m_gotBody=true;
434 #endif
435     return m_body.c_str();
436   }
437   void clearHeader(const char* rawname, const char* cginame) {
438     if (m_dc->bUseHeaders == 1) {
439        // ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(m_req), "shib_clear_header: hdr\n");
440         if (g_checkSpoofing && m_firsttime) {
441             if (m_allhttp.empty()) {
442                 // First time, so populate set with "CGI" versions of client-supplied headers.
443 #ifdef SHIB_APACHE_13
444                 array_header *hdrs_arr = ap_table_elts(m_req->headers_in);
445                 table_entry *hdrs = (table_entry *) hdrs_arr->elts;
446 #else
447                 const apr_array_header_t *hdrs_arr = apr_table_elts(m_req->headers_in);
448                 const apr_table_entry_t *hdrs = (const apr_table_entry_t *) hdrs_arr->elts;
449 #endif
450                 for (int i = 0; i < hdrs_arr->nelts; ++i) {
451                     if (!hdrs[i].key)
452                         continue;
453                     string cgiversion("HTTP_");
454                     const char* pch = hdrs[i].key;
455                     while (*pch) {
456                         cgiversion += (isalnum(*pch) ? toupper(*pch) : '_');
457                         pch++;
458                     }
459                     m_allhttp.insert(cgiversion);
460                 }
461             }
462
463             if (m_allhttp.count(cginame) > 0)
464                 throw opensaml::SecurityPolicyException("Attempt to spoof header ($1) was detected.", params(1, rawname));
465         }
466         ap_table_unset(m_req->headers_in, rawname);
467         ap_table_set(m_req->headers_in, rawname, g_unsetHeaderValue.c_str());
468     }
469   }
470   void setHeader(const char* name, const char* value) {
471     if (m_dc->bUseEnvVars != 0) {
472        if (!m_rc) {
473           // this happens on subrequests
474           // ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(m_req), "shib_setheader: no_m_rc\n");
475           m_rc = init_request_config(m_req);
476        }
477        if (!m_rc->env)
478            m_rc->env = ap_make_table(m_req->pool, 10);
479        // ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(m_req), "shib_set_env: %s=%s\n", name, value?value:"Null");
480        ap_table_set(m_rc->env, name, value ? value : "");
481     }
482     if (m_dc->bUseHeaders == 1)
483        ap_table_set(m_req->headers_in, name, value);
484   }
485   string getHeader(const char* name) const {
486     const char* hdr = ap_table_get(m_req->headers_in, name);
487     return string(hdr ? hdr : "");
488   }
489   string getSecureHeader(const char* name) const {
490     if (m_dc->bUseEnvVars != 0) {
491        const char *hdr;
492        if (m_rc && m_rc->env)
493            hdr = ap_table_get(m_rc->env, name);
494        else
495            hdr = NULL;
496        return string(hdr ? hdr : "");
497     }
498     return getHeader(name);
499   }
500   void setRemoteUser(const char* user) {
501       SH_AP_USER(m_req) = user ? ap_pstrdup(m_req->pool, user) : NULL;
502       if (m_dc->bUseHeaders == 1) {
503           if (user) {
504               ap_table_set(m_req->headers_in, "REMOTE_USER", user);
505           }
506           else {
507               ap_table_unset(m_req->headers_in, "REMOTE_USER");
508               ap_table_set(m_req->headers_in, "REMOTE_USER", g_unsetHeaderValue.c_str());
509           }
510       }
511   }
512   string getRemoteUser() const {
513     return string(SH_AP_USER(m_req) ? SH_AP_USER(m_req) : "");
514   }
515   void setContentType(const char* type) {
516       m_req->content_type = ap_psprintf(m_req->pool, type);
517   }
518   void setResponseHeader(const char* name, const char* value) {
519 #ifdef SHIB_DEFERRED_HEADERS
520    if (!m_rc)
521       // this happens on subrequests
522       m_rc = init_request_config(m_req);
523     if (m_handler)
524         ap_table_add(m_rc->hdr_out, name, value);
525     else
526 #endif
527     ap_table_add(m_req->err_headers_out, name, value);
528   }
529   long sendResponse(istream& in, long status) {
530     if (status != XMLTOOLING_HTTP_STATUS_OK)
531         m_req->status = status;
532     ap_send_http_header(m_req);
533     char buf[1024];
534     while (in) {
535         in.read(buf,1024);
536         ap_rwrite(buf,in.gcount(),m_req);
537     }
538 #if (defined(SHIB_APACHE_20) || defined(SHIB_APACHE_22))
539     if (status != XMLTOOLING_HTTP_STATUS_OK && status != XMLTOOLING_HTTP_STATUS_ERROR)
540         return status;
541 #endif
542     return DONE;
543   }
544   long sendRedirect(const char* url) {
545     ap_table_set(m_req->headers_out, "Location", url);
546     return REDIRECT;
547   }
548   const vector<string>& getClientCertificates() const {
549       if (m_certs.empty()) {
550           const char* cert = ap_table_get(m_req->subprocess_env, "SSL_CLIENT_CERT");
551           if (cert)
552               m_certs.push_back(cert);
553           int i = 0;
554           do {
555               cert = ap_table_get(m_req->subprocess_env, ap_psprintf(m_req->pool, "SSL_CLIENT_CERT_CHAIN_%d", i++));
556               if (cert)
557                   m_certs.push_back(cert);
558           } while (cert);
559       }
560       return m_certs;
561   }
562   long returnDecline(void) { return DECLINED; }
563   long returnOK(void) { return OK; }
564 };
565
566 /********************************************************************************/
567 // Apache handlers
568
569 extern "C" int shib_check_user(request_rec* r)
570 {
571   // Short-circuit entirely?
572   if (((shib_dir_config*)ap_get_module_config(r->per_dir_config, &mod_shib))->bOff==1)
573     return DECLINED;
574
575   ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r), "shib_check_user(%d): ENTER", (int)getpid());
576
577   ostringstream threadid;
578   threadid << "[" << getpid() << "] shib_check_user" << '\0';
579   xmltooling::NDC ndc(threadid.str().c_str());
580
581   try {
582     ShibTargetApache sta(r,false,true);
583
584     // Check user authentication and export information, then set the handler bypass
585     pair<bool,long> res = sta.getServiceProvider().doAuthentication(sta,true);
586     apr_pool_userdata_setn((const void*)42,g_UserDataKey,NULL,r->pool);
587     // If directed, install a spoof key to recognize when we've already cleared headers.
588     if (!g_spoofKey.empty() && (((shib_dir_config*)ap_get_module_config(r->per_dir_config, &mod_shib))->bUseHeaders==1))
589         ap_table_set(r->headers_in, "Shib-Spoof-Check", g_spoofKey.c_str());
590     if (res.first) return res.second;
591
592     // user auth was okay -- export the assertions now
593     res = sta.getServiceProvider().doExport(sta);
594     if (res.first) return res.second;
595
596     // export happened successfully..  this user is ok.
597     return OK;
598   }
599   catch (exception& e) {
600     ap_log_rerror(APLOG_MARK, APLOG_ERR|APLOG_NOERRNO, SH_AP_R(r), "shib_check_user threw an exception: %s", e.what());
601     return SERVER_ERROR;
602   }
603   catch (...) {
604     ap_log_rerror(APLOG_MARK, APLOG_ERR|APLOG_NOERRNO, SH_AP_R(r), "shib_check_user threw an unknown exception!");
605     if (g_catchAll)
606       return SERVER_ERROR;
607     throw;
608   }
609 }
610
611 extern "C" int shib_handler(request_rec* r)
612 {
613   // Short-circuit entirely?
614   if (((shib_dir_config*)ap_get_module_config(r->per_dir_config, &mod_shib))->bOff==1)
615     return DECLINED;
616
617   ostringstream threadid;
618   threadid << "[" << getpid() << "] shib_handler" << '\0';
619   xmltooling::NDC ndc(threadid.str().c_str());
620
621 #ifndef SHIB_APACHE_13
622   // With 2.x, this handler always runs, though last.
623   // We check if shib_check_user ran, because it will detect a handler request
624   // and dispatch it directly.
625   void* data;
626   apr_pool_userdata_get(&data,g_UserDataKey,r->pool);
627   if (data==(const void*)42) {
628     ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r),"shib_handler skipped since check_user ran");
629     return DECLINED;
630   }
631 #endif
632
633   ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r),"shib_handler(%d): ENTER: %s", (int)getpid(), r->handler);
634
635   try {
636     ShibTargetApache sta(r,true,false);
637
638     pair<bool,long> res = sta.getServiceProvider().doHandler(sta);
639     if (res.first) return res.second;
640
641     ap_log_rerror(APLOG_MARK, APLOG_ERR|APLOG_NOERRNO, SH_AP_R(r), "doHandler() did not do anything.");
642     return SERVER_ERROR;
643   }
644   catch (exception& e) {
645     ap_log_rerror(APLOG_MARK, APLOG_ERR|APLOG_NOERRNO, SH_AP_R(r), "shib_handler threw an exception: %s", e.what());
646     return SERVER_ERROR;
647   }
648   catch (...) {
649     ap_log_rerror(APLOG_MARK, APLOG_ERR|APLOG_NOERRNO, SH_AP_R(r), "shib_handler threw an unknown exception!");
650     if (g_catchAll)
651       return SERVER_ERROR;
652     throw;
653   }
654 }
655
656 /*
657  * shib_auth_checker() -- a simple resource manager to
658  * process the .htaccess settings
659  */
660 extern "C" int shib_auth_checker(request_rec* r)
661 {
662   // Short-circuit entirely?
663   if (((shib_dir_config*)ap_get_module_config(r->per_dir_config, &mod_shib))->bOff==1)
664     return DECLINED;
665
666   ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r), "shib_auth_checker(%d): ENTER", (int)getpid());
667
668   ostringstream threadid;
669   threadid << "[" << getpid() << "] shib_auth_checker" << '\0';
670   xmltooling::NDC ndc(threadid.str().c_str());
671
672   try {
673     ShibTargetApache sta(r,false,false);
674
675     pair<bool,long> res = sta.getServiceProvider().doAuthorization(sta);
676     if (res.first) return res.second;
677
678     // The SP method should always return true, so if we get this far, something unusual happened.
679     // Just let Apache (or some other module) decide what to do.
680     return DECLINED;
681   }
682   catch (exception& e) {
683     ap_log_rerror(APLOG_MARK, APLOG_ERR|APLOG_NOERRNO, SH_AP_R(r), "shib_auth_checker threw an exception: %s", e.what());
684     return SERVER_ERROR;
685   }
686   catch (...) {
687     ap_log_rerror(APLOG_MARK, APLOG_ERR|APLOG_NOERRNO, SH_AP_R(r), "shib_auth_checker threw an unknown exception!");
688     if (g_catchAll)
689       return SERVER_ERROR;
690     throw;
691   }
692 }
693
694 // Access control plugin that enforces htaccess rules
695 class htAccessControl : virtual public AccessControl
696 {
697 public:
698     htAccessControl() {}
699     ~htAccessControl() {}
700     Lockable* lock() {return this;}
701     void unlock() {}
702     aclresult_t authorized(const SPRequest& request, const Session* session) const;
703 private:
704     bool checkAttribute(const SPRequest& request, const Attribute* attr, const char* toMatch, RegularExpression* re) const;
705 };
706
707 AccessControl* htAccessFactory(const xercesc::DOMElement* const & e)
708 {
709     return new htAccessControl();
710 }
711
712 class ApacheRequestMapper : public virtual RequestMapper, public virtual PropertySet
713 {
714 public:
715     ApacheRequestMapper(const xercesc::DOMElement* e);
716     ~ApacheRequestMapper() { delete m_mapper; delete m_htaccess; delete m_staKey; delete m_propsKey; }
717     Lockable* lock() { return m_mapper->lock(); }
718     void unlock() { m_staKey->setData(NULL); m_propsKey->setData(NULL); m_mapper->unlock(); }
719     Settings getSettings(const HTTPRequest& request) const;
720
721     const PropertySet* getParent() const { return NULL; }
722     void setParent(const PropertySet*) {}
723     pair<bool,bool> getBool(const char* name, const char* ns=NULL) const;
724     pair<bool,const char*> getString(const char* name, const char* ns=NULL) const;
725     pair<bool,const XMLCh*> getXMLString(const char* name, const char* ns=NULL) const;
726     pair<bool,unsigned int> getUnsignedInt(const char* name, const char* ns=NULL) const;
727     pair<bool,int> getInt(const char* name, const char* ns=NULL) const;
728     void getAll(map<string,const char*>& properties) const;
729     const PropertySet* getPropertySet(const char* name, const char* ns=shibspconstants::ASCII_SHIB2SPCONFIG_NS) const;
730     const xercesc::DOMElement* getElement() const;
731
732 private:
733     RequestMapper* m_mapper;
734     ThreadKey* m_staKey;
735     ThreadKey* m_propsKey;
736     AccessControl* m_htaccess;
737 };
738
739 RequestMapper* ApacheRequestMapFactory(const xercesc::DOMElement* const & e)
740 {
741     return new ApacheRequestMapper(e);
742 }
743
744 ApacheRequestMapper::ApacheRequestMapper(const xercesc::DOMElement* e) : m_mapper(NULL), m_staKey(NULL), m_propsKey(NULL), m_htaccess(NULL)
745 {
746     m_mapper=SPConfig::getConfig().RequestMapperManager.newPlugin(XML_REQUEST_MAPPER,e);
747     m_htaccess=new htAccessControl();
748     m_staKey=ThreadKey::create(NULL);
749     m_propsKey=ThreadKey::create(NULL);
750 }
751
752 RequestMapper::Settings ApacheRequestMapper::getSettings(const HTTPRequest& request) const
753 {
754     Settings s=m_mapper->getSettings(request);
755     m_staKey->setData((void*)dynamic_cast<const ShibTargetApache*>(&request));
756     m_propsKey->setData((void*)s.first);
757     return pair<const PropertySet*,AccessControl*>(this,s.second ? s.second : m_htaccess);
758 }
759
760 pair<bool,bool> ApacheRequestMapper::getBool(const char* name, const char* ns) const
761 {
762     const ShibTargetApache* sta=reinterpret_cast<const ShibTargetApache*>(m_staKey->getData());
763     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
764     if (sta && !ns) {
765         // Override Apache-settable boolean properties.
766         if (name && !strcmp(name,"requireSession") && sta->m_dc->bRequireSession != -1)
767             return make_pair(true, sta->m_dc->bRequireSession==1);
768         else if (name && !strcmp(name,"exportAssertion") && sta->m_dc->bExportAssertion != -1)
769             return make_pair(true, sta->m_dc->bExportAssertion==1);
770         else if (sta->m_dc->tSettings) {
771             const char* prop = ap_table_get(sta->m_dc->tSettings, name);
772             if (prop)
773                 return make_pair(true, !strcmp(prop, "true") || !strcmp(prop, "1") || !strcmp(prop, "On"));
774         }
775     }
776     return s ? s->getBool(name,ns) : make_pair(false,false);
777 }
778
779 pair<bool,const char*> ApacheRequestMapper::getString(const char* name, const char* ns) const
780 {
781     const ShibTargetApache* sta=reinterpret_cast<const ShibTargetApache*>(m_staKey->getData());
782     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
783     if (sta && !ns) {
784         // Override Apache-settable string properties.
785         if (name && !strcmp(name,"authType")) {
786             const char *auth_type=ap_auth_type(sta->m_req);
787             if (auth_type) {
788                 // Check for Basic Hijack
789                 if (!strcasecmp(auth_type, "basic") && sta->m_dc->bBasicHijack == 1)
790                     auth_type = "shibboleth";
791                 return make_pair(true,auth_type);
792             }
793         }
794         else if (name && !strcmp(name,"applicationId") && sta->m_dc->szApplicationId)
795             return pair<bool,const char*>(true,sta->m_dc->szApplicationId);
796         else if (name && !strcmp(name,"requireSessionWith") && sta->m_dc->szRequireWith)
797             return pair<bool,const char*>(true,sta->m_dc->szRequireWith);
798         else if (name && !strcmp(name,"redirectToSSL") && sta->m_dc->szRedirectToSSL)
799             return pair<bool,const char*>(true,sta->m_dc->szRedirectToSSL);
800         else if (sta->m_dc->tSettings) {
801             const char* prop = ap_table_get(sta->m_dc->tSettings, name);
802             if (prop)
803                 return make_pair(true, prop);
804         }
805     }
806     return s ? s->getString(name,ns) : pair<bool,const char*>(false,NULL);
807 }
808
809 pair<bool,const XMLCh*> ApacheRequestMapper::getXMLString(const char* name, const char* ns) const
810 {
811     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
812     return s ? s->getXMLString(name,ns) : pair<bool,const XMLCh*>(false,NULL);
813 }
814
815 pair<bool,unsigned int> ApacheRequestMapper::getUnsignedInt(const char* name, const char* ns) const
816 {
817     const ShibTargetApache* sta=reinterpret_cast<const ShibTargetApache*>(m_staKey->getData());
818     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
819     if (sta && !ns) {
820         // Override Apache-settable int properties.
821         if (name && !strcmp(name,"redirectToSSL") && sta->m_dc->szRedirectToSSL)
822             return pair<bool,unsigned int>(true, strtol(sta->m_dc->szRedirectToSSL, NULL, 10));
823         else if (sta->m_dc->tSettings) {
824             const char* prop = ap_table_get(sta->m_dc->tSettings, name);
825             if (prop)
826                 return pair<bool,unsigned int>(true, atoi(prop));
827         }
828     }
829     return s ? s->getUnsignedInt(name,ns) : pair<bool,unsigned int>(false,0);
830 }
831
832 pair<bool,int> ApacheRequestMapper::getInt(const char* name, const char* ns) const
833 {
834     const ShibTargetApache* sta=reinterpret_cast<const ShibTargetApache*>(m_staKey->getData());
835     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
836     if (sta && !ns) {
837         // Override Apache-settable int properties.
838         if (name && !strcmp(name,"redirectToSSL") && sta->m_dc->szRedirectToSSL)
839             return pair<bool,int>(true,atoi(sta->m_dc->szRedirectToSSL));
840         else if (sta->m_dc->tSettings) {
841             const char* prop = ap_table_get(sta->m_dc->tSettings, name);
842             if (prop)
843                 return make_pair(true, atoi(prop));
844         }
845     }
846     return s ? s->getInt(name,ns) : pair<bool,int>(false,0);
847 }
848
849 void ApacheRequestMapper::getAll(map<string,const char*>& properties) const
850 {
851     const ShibTargetApache* sta=reinterpret_cast<const ShibTargetApache*>(m_staKey->getData());
852     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
853
854     if (s)
855         s->getAll(properties);
856     if (!sta)
857         return;
858
859     const char* auth_type=ap_auth_type(sta->m_req);
860     if (auth_type) {
861         // Check for Basic Hijack
862         if (!strcasecmp(auth_type, "basic") && sta->m_dc->bBasicHijack == 1)
863             auth_type = "shibboleth";
864         properties["authType"] = auth_type;
865     }
866
867     if (sta->m_dc->szApplicationId)
868         properties["applicationId"] = sta->m_dc->szApplicationId;
869     if (sta->m_dc->szRequireWith)
870         properties["requireSessionWith"] = sta->m_dc->szRequireWith;
871     if (sta->m_dc->szRedirectToSSL)
872         properties["redirectToSSL"] = sta->m_dc->szRedirectToSSL;
873     if (sta->m_dc->bRequireSession != 0)
874         properties["requireSession"] = (sta->m_dc->bRequireSession==1) ? "true" : "false";
875     if (sta->m_dc->bExportAssertion != 0)
876         properties["exportAssertion"] = (sta->m_dc->bExportAssertion==1) ? "true" : "false";
877 }
878
879 const PropertySet* ApacheRequestMapper::getPropertySet(const char* name, const char* ns) const
880 {
881     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
882     return s ? s->getPropertySet(name,ns) : NULL;
883 }
884
885 const xercesc::DOMElement* ApacheRequestMapper::getElement() const
886 {
887     const PropertySet* s=reinterpret_cast<const PropertySet*>(m_propsKey->getData());
888     return s ? s->getElement() : NULL;
889 }
890
891 static SH_AP_TABLE* groups_for_user(request_rec* r, const char* user, char* grpfile)
892 {
893     SH_AP_CONFIGFILE* f;
894     SH_AP_TABLE* grps=ap_make_table(r->pool,15);
895     char l[MAX_STRING_LEN];
896     const char *group_name, *ll, *w;
897
898 #ifdef SHIB_APACHE_13
899     if (!(f=ap_pcfg_openfile(r->pool,grpfile))) {
900 #else
901     if (ap_pcfg_openfile(&f,r->pool,grpfile) != APR_SUCCESS) {
902 #endif
903         ap_log_rerror(APLOG_MARK,APLOG_DEBUG,SH_AP_R(r),"groups_for_user() could not open group file: %s\n",grpfile);
904         return NULL;
905     }
906
907     SH_AP_POOL* sp;
908 #ifdef SHIB_APACHE_13
909     sp=ap_make_sub_pool(r->pool);
910 #else
911     if (apr_pool_create(&sp,r->pool) != APR_SUCCESS) {
912         ap_log_rerror(APLOG_MARK,APLOG_ERR,0,r,
913             "groups_for_user() could not create a subpool");
914         return NULL;
915     }
916 #endif
917
918     while (!(ap_cfg_getline(l,MAX_STRING_LEN,f))) {
919         if ((*l=='#') || (!*l))
920             continue;
921         ll = l;
922         ap_clear_pool(sp);
923
924         group_name=ap_getword(sp,&ll,':');
925
926         while (*ll) {
927             w=ap_getword_conf(sp,&ll);
928             if (!strcmp(w,user)) {
929                 ap_table_setn(grps,ap_pstrdup(r->pool,group_name),"in");
930                 break;
931             }
932         }
933     }
934     ap_cfg_closefile(f);
935     ap_destroy_pool(sp);
936     return grps;
937 }
938
939 bool htAccessControl::checkAttribute(const SPRequest& request, const Attribute* attr, const char* toMatch, RegularExpression* re) const
940 {
941     bool caseSensitive = attr->isCaseSensitive();
942     const vector<string>& vals = attr->getSerializedValues();
943     for (vector<string>::const_iterator v=vals.begin(); v!=vals.end(); ++v) {
944         if (re) {
945             auto_arrayptr<XMLCh> trans(fromUTF8(v->c_str()));
946             if (re->matches(trans.get())) {
947                 if (request.isPriorityEnabled(SPRequest::SPDebug))
948                     request.log(SPRequest::SPDebug, string("htaccess: expecting regexp ") + toMatch + ", got " + *v + ": acccepted");
949                 return true;
950             }
951         }
952         else if ((caseSensitive && *v == toMatch) || (!caseSensitive && !strcasecmp(v->c_str(), toMatch))) {
953             if (request.isPriorityEnabled(SPRequest::SPDebug))
954                 request.log(SPRequest::SPDebug, string("htaccess: expecting ") + toMatch + ", got " + *v + ": accepted");
955             return true;
956         }
957         else if (request.isPriorityEnabled(SPRequest::SPDebug)) {
958             request.log(SPRequest::SPDebug, string("htaccess: expecting ") + toMatch + ", got " + *v + ": rejected");
959         }
960     }
961     return false;
962 }
963
964 AccessControl::aclresult_t htAccessControl::authorized(const SPRequest& request, const Session* session) const
965 {
966     // Make sure the object is our type.
967     const ShibTargetApache* sta=dynamic_cast<const ShibTargetApache*>(&request);
968     if (!sta)
969         throw ConfigurationException("Request wrapper object was not of correct type.");
970
971     // mod_auth clone
972
973     int m=sta->m_req->method_number;
974     bool method_restricted=false;
975     const char *t, *w;
976
977     const array_header* reqs_arr=ap_requires(sta->m_req);
978     if (!reqs_arr)
979         return shib_acl_indeterminate;  // should never happen
980
981     require_line* reqs=(require_line*)reqs_arr->elts;
982
983     for (int x=0; x<reqs_arr->nelts; x++) {
984         // This rule should be completely ignored, the method doesn't fit.
985         // The rule just doesn't exist for our purposes.
986         if (!(reqs[x].method_mask & (1 << m)))
987             continue;
988
989         method_restricted=true; // this lets us know at the end that at least one rule was potentially enforcable.
990
991         // Tracks status of this rule's evaluation.
992         bool status = false;
993
994         string remote_user = request.getRemoteUser();
995
996         t = reqs[x].requirement;
997         w = ap_getword_white(sta->m_req->pool, &t);
998
999         if (!strcasecmp(w,"shibboleth")) {
1000             // This is a dummy rule needed because Apache conflates authn and authz.
1001             // Without some require rule, AuthType is ignored and no check_user hooks run.
1002             status = true;  // treat it as an "accepted" rule
1003         }
1004         else if (!strcmp(w,"valid-user") && session) {
1005             request.log(SPRequest::SPDebug, "htaccess: accepting valid-user based on active session");
1006             status = true;
1007         }
1008         else if (!strcmp(w,"user") && !remote_user.empty()) {
1009             bool regexp=false,negate=false;
1010             while (*t) {
1011                 w=ap_getword_conf(sta->m_req->pool,&t);
1012                 if (*w=='~') {
1013                     regexp=true;
1014                     continue;
1015                 }
1016                 else if (*w=='!') {
1017                     negate=true;
1018                     if (*(w+1)=='~')
1019                         regexp=true;
1020                     continue;
1021                 }
1022
1023                 // Figure out if there's a match.
1024                 bool match = false;
1025                 if (regexp) {
1026                     try {
1027                         // To do regex matching, we have to convert from UTF-8.
1028                         auto_arrayptr<XMLCh> trans(fromUTF8(w));
1029                         RegularExpression re(trans.get());
1030                         auto_arrayptr<XMLCh> trans2(fromUTF8(remote_user.c_str()));
1031                         match = re.matches(trans2.get());
1032                     }
1033                     catch (XMLException& ex) {
1034                         auto_ptr_char tmp(ex.getMessage());
1035                         request.log(SPRequest::SPError,
1036                             string("htaccess plugin caught exception while parsing regular expression (") + w + "): " + tmp.get());
1037                     }
1038                 }
1039                 else if (remote_user==w) {
1040                     match = true;
1041                 }
1042
1043                 if (match) {
1044                     // If we matched, then we're done with this rule either way and status is set to reflect the outcome.
1045                     status = !negate;
1046                     if (request.isPriorityEnabled(SPRequest::SPDebug))
1047                         request.log(SPRequest::SPDebug,
1048                             string("htaccess: require user ") + (negate ? "rejecting (" : "accepting (") + remote_user + ")");
1049                     break;
1050                 }
1051             }
1052         }
1053         else if (!strcmp(w,"group")  && !remote_user.empty()) {
1054             SH_AP_TABLE* grpstatus=NULL;
1055             if (sta->m_dc->szAuthGrpFile) {
1056                 if (request.isPriorityEnabled(SPRequest::SPDebug))
1057                     request.log(SPRequest::SPDebug,string("htaccess plugin using groups file: ") + sta->m_dc->szAuthGrpFile);
1058                 grpstatus=groups_for_user(sta->m_req,remote_user.c_str(),sta->m_dc->szAuthGrpFile);
1059             }
1060
1061             bool negate=false;
1062             while (*t) {
1063                 w=ap_getword_conf(sta->m_req->pool,&t);
1064                 if (*w=='!') {
1065                     negate=true;
1066                     continue;
1067                 }
1068
1069                 if (grpstatus && ap_table_get(grpstatus,w)) {
1070                     // If we matched, then we're done with this rule either way and status is set to reflect the outcome.
1071                     status = !negate;
1072                     request.log(SPRequest::SPDebug, string("htaccess: require group ") + (negate ? "rejecting (" : "accepting (") + w + ")");
1073                     break;
1074                 }
1075             }
1076         }
1077         else if (!strcmp(w,"authnContextClassRef") || !strcmp(w,"authnContextDeclRef")) {
1078             const char* ref = !strcmp(w,"authnContextClassRef") ? session->getAuthnContextClassRef() : session->getAuthnContextDeclRef();
1079             bool regexp=false,negate=false;
1080             while (ref && *t) {
1081                 w=ap_getword_conf(sta->m_req->pool,&t);
1082                 if (*w=='~') {
1083                     regexp=true;
1084                     continue;
1085                 }
1086                 else if (*w=='!') {
1087                     negate=true;
1088                     if (*(w+1)=='~')
1089                         regexp=true;
1090                     continue;
1091                 }
1092
1093                 // Figure out if there's a match.
1094                 bool match = false;
1095                 if (regexp) {
1096                     try {
1097                         // To do regex matching, we have to convert from UTF-8.
1098                         RegularExpression re(w);
1099                         match = re.matches(ref);
1100                     }
1101                     catch (XMLException& ex) {
1102                         auto_ptr_char tmp(ex.getMessage());
1103                         request.log(SPRequest::SPError,
1104                             string("htaccess plugin caught exception while parsing regular expression (") + w + "): " + tmp.get());
1105                     }
1106                 }
1107                 else if (!strcmp(w,ref)) {
1108                     match = true;
1109                 }
1110
1111                 if (match) {
1112                     // If we matched, then we're done with this rule either way and status is set to reflect the outcome.
1113                     status = !negate;
1114                     if (request.isPriorityEnabled(SPRequest::SPDebug))
1115                         request.log(SPRequest::SPDebug,
1116                             string("htaccess: require authnContext ") + (negate ? "rejecting (" : "accepting (") + ref + ")");
1117                     break;
1118                 }
1119             }
1120         }
1121         else if (!session) {
1122             request.log(SPRequest::SPError, string("htaccess: require ") + w + " not given a valid session, are you using lazy sessions?");
1123         }
1124         else {
1125             // Find the attribute(s) matching the require rule.
1126             pair<multimap<string,const Attribute*>::const_iterator,multimap<string,const Attribute*>::const_iterator> attrs =
1127                 session->getIndexedAttributes().equal_range(w);
1128
1129             bool regexp=false;
1130             while (!status && attrs.first!=attrs.second && *t) {
1131                 w=ap_getword_conf(sta->m_req->pool,&t);
1132                 if (*w=='~') {
1133                     regexp=true;
1134                     continue;
1135                 }
1136
1137                 try {
1138                     auto_ptr<RegularExpression> re;
1139                     if (regexp) {
1140                         delete re.release();
1141                         auto_arrayptr<XMLCh> trans(fromUTF8(w));
1142                         auto_ptr<xercesc::RegularExpression> temp(new xercesc::RegularExpression(trans.get()));
1143                         re=temp;
1144                     }
1145
1146                     for (; !status && attrs.first!=attrs.second; ++attrs.first) {
1147                         if (checkAttribute(request, attrs.first->second, w, regexp ? re.get() : NULL)) {
1148                             status = true;
1149                         }
1150                     }
1151                 }
1152                 catch (XMLException& ex) {
1153                     auto_ptr_char tmp(ex.getMessage());
1154                     request.log(SPRequest::SPError,
1155                         string("htaccess plugin caught exception while parsing regular expression (") + w + "): " + tmp.get()
1156                         );
1157                 }
1158             }
1159         }
1160
1161         // If status is false, we found a rule we couldn't satisfy.
1162         // Could be an unknown rule to us, or it just didn't match.
1163
1164         if (status && sta->m_dc->bRequireAll != 1) {
1165             // If we're not insisting that all rules be met, then we're done.
1166             request.log(SPRequest::SPDebug, "htaccess: a rule was successful, granting access");
1167             return shib_acl_true;
1168         }
1169         else if (!status && sta->m_dc->bRequireAll == 1) {
1170             // If we're insisting that all rules be met, which is not something Apache really handles well,
1171             // then we either return false or indeterminate based on the authoritative option, which defaults on.
1172             if (sta->m_dc->bAuthoritative != 0) {
1173                 request.log(SPRequest::SPDebug, "htaccess: a rule was unsuccessful, denying access");
1174                 return shib_acl_false;
1175             }
1176
1177             request.log(SPRequest::SPDebug, "htaccess: a rule was unsuccessful but not authoritative, leaving it up to Apache");
1178             return shib_acl_indeterminate;
1179         }
1180
1181         // Otherwise, we keep going. If we're requring all, then we have to check every rule.
1182         // If not we just didn't find a successful rule yet, so we keep going anyway.
1183     }
1184
1185     // If we get here, we either "failed" or we're in require all mode (but not both).
1186     // If no rules possibly apply or we insisted that all rules check out, then we're good.
1187     if (!method_restricted) {
1188         request.log(SPRequest::SPDebug, "htaccess: no rules applied to this request method, granting access");
1189         return shib_acl_true;
1190     }
1191     else if (sta->m_dc->bRequireAll == 1) {
1192         request.log(SPRequest::SPDebug, "htaccess: all rules successful, granting access");
1193         return shib_acl_true;
1194     }
1195     else if (sta->m_dc->bAuthoritative != 0) {
1196         request.log(SPRequest::SPDebug, "htaccess: no rules were successful, denying access");
1197         return shib_acl_false;
1198     }
1199
1200     request.log(SPRequest::SPDebug, "htaccess: no rules were successful but not authoritative, leaving it up to Apache");
1201     return shib_acl_indeterminate;
1202 }
1203
1204
1205 // Initial look at a request - create the per-request structure
1206 static int shib_post_read(request_rec *r)
1207 {
1208     shib_request_config* rc = init_request_config(r);
1209
1210     ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r), "shib_post_read");
1211
1212 #ifdef SHIB_DEFERRED_HEADERS
1213     rc->hdr_out = ap_make_table(r->pool, 5);
1214 #endif
1215     return DECLINED;
1216 }
1217
1218 // fixups: set environment vars
1219
1220 extern "C" int shib_fixups(request_rec* r)
1221 {
1222   shib_request_config *rc = (shib_request_config*)ap_get_module_config(r->request_config, &mod_shib);
1223   shib_dir_config *dc = (shib_dir_config*)ap_get_module_config(r->per_dir_config, &mod_shib);
1224   if (dc->bOff==1 || dc->bUseEnvVars==0)
1225     return DECLINED;
1226
1227   ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r), "shib_fixup(%d): ENTER", (int)getpid());
1228
1229   if (rc==NULL || rc->env==NULL || ap_is_empty_table(rc->env))
1230         return DECLINED;
1231
1232   ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r), "shib_fixup adding %d vars", ap_table_elts(rc->env)->nelts);
1233   r->subprocess_env = ap_overlay_tables(r->pool, r->subprocess_env, rc->env);
1234
1235   return OK;
1236 }
1237
1238 #ifdef SHIB_APACHE_13
1239 /*
1240  * shib_child_exit()
1241  *  Cleanup the (per-process) pool info.
1242  */
1243 extern "C" void shib_child_exit(server_rec* s, SH_AP_POOL* p)
1244 {
1245     if (g_Config) {
1246         ap_log_error(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(s),"shib_child_exit(%d) dealing with g_Config..", (int)getpid());
1247         g_Config->term();
1248         g_Config = NULL;
1249         ap_log_error(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(s),"shib_child_exit() done");
1250     }
1251 }
1252 #else
1253 /*
1254  * shib_exit()
1255  *  Apache 2.x doesn't allow for per-child cleanup, causes CGI forks to hang.
1256  */
1257 extern "C" apr_status_t shib_exit(void* data)
1258 {
1259     if (g_Config) {
1260         g_Config->term();
1261         g_Config = NULL;
1262     }
1263     ap_log_error(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,0,NULL,"shib_exit() done");
1264     return OK;
1265 }
1266 #endif
1267
1268 /*
1269  * shire_child_init()
1270  *  Things to do when the child process is initialized.
1271  *  (or after the configs are read in apache-2)
1272  */
1273 #ifdef SHIB_APACHE_13
1274 extern "C" void shib_child_init(server_rec* s, SH_AP_POOL* p)
1275 #else
1276 extern "C" void shib_child_init(apr_pool_t* p, server_rec* s)
1277 #endif
1278 {
1279     // Initialize runtime components.
1280
1281     ap_log_error(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(s),"shib_child_init(%d) starting", (int)getpid());
1282
1283     if (g_Config) {
1284         ap_log_error(APLOG_MARK,APLOG_ERR|APLOG_NOERRNO,SH_AP_R(s),"shib_child_init() already initialized!");
1285         exit(1);
1286     }
1287
1288     g_Config=&SPConfig::getConfig();
1289     g_Config->setFeatures(
1290         SPConfig::Listener |
1291         SPConfig::Caching |
1292         SPConfig::RequestMapping |
1293         SPConfig::InProcess |
1294         SPConfig::Logging |
1295         SPConfig::Handlers
1296         );
1297     if (!g_Config->init(g_szSchemaDir, g_szPrefix)) {
1298         ap_log_error(APLOG_MARK,APLOG_CRIT|APLOG_NOERRNO,SH_AP_R(s),"shib_child_init() failed to initialize libraries");
1299         exit(1);
1300     }
1301     g_Config->AccessControlManager.registerFactory(HT_ACCESS_CONTROL,&htAccessFactory);
1302     g_Config->RequestMapperManager.registerFactory(NATIVE_REQUEST_MAPPER,&ApacheRequestMapFactory);
1303
1304     try {
1305         if (!g_Config->instantiate(g_szSHIBConfig, true))
1306             throw runtime_error("unknown error");
1307     }
1308     catch (exception& ex) {
1309         ap_log_error(APLOG_MARK,APLOG_CRIT|APLOG_NOERRNO,SH_AP_R(s),ex.what());
1310         ap_log_error(APLOG_MARK,APLOG_CRIT|APLOG_NOERRNO,SH_AP_R(s),"shib_child_init() failed to load configuration");
1311         exit(1);
1312     }
1313
1314     ServiceProvider* sp=g_Config->getServiceProvider();
1315     xmltooling::Locker locker(sp);
1316     const PropertySet* props=sp->getPropertySet("Local");
1317     if (props) {
1318         pair<bool,const char*> unsetValue=props->getString("unsetHeaderValue");
1319         if (unsetValue.first)
1320             g_unsetHeaderValue = unsetValue.second;
1321         pair<bool,bool> flag=props->getBool("checkSpoofing");
1322         g_checkSpoofing = !flag.first || flag.second;
1323         if (g_checkSpoofing) {
1324             unsetValue=props->getString("spoofKey");
1325             if (unsetValue.first)
1326                 g_spoofKey = unsetValue.second;
1327         }
1328         flag=props->getBool("catchAll");
1329         g_catchAll = flag.first && flag.second;
1330     }
1331
1332     // Set the cleanup handler
1333     apr_pool_cleanup_register(p, NULL, &shib_exit, apr_pool_cleanup_null);
1334
1335     ap_log_error(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(s),"shib_child_init() done");
1336 }
1337
1338 // Output filters
1339 #ifdef SHIB_DEFERRED_HEADERS
1340 static void set_output_filter(request_rec *r)
1341 {
1342    ap_add_output_filter("SHIB_HEADERS_OUT", NULL, r, r->connection);
1343 }
1344
1345 static void set_error_filter(request_rec *r)
1346 {
1347    ap_add_output_filter("SHIB_HEADERS_ERR", NULL, r, r->connection);
1348 }
1349
1350 static int _table_add(void *v, const char *key, const char *value)
1351 {
1352     apr_table_addn((apr_table_t*)v, key, value);
1353     return 1;
1354 }
1355
1356 static apr_status_t do_output_filter(ap_filter_t *f, apr_bucket_brigade *in)
1357 {
1358     request_rec *r = f->r;
1359     shib_request_config *rc = (shib_request_config*) ap_get_module_config(r->request_config, &mod_shib);
1360
1361     if (rc) {
1362         ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r),"shib_out_filter: merging %d headers", apr_table_elts(rc->hdr_out)->nelts);
1363         apr_table_do(_table_add,r->headers_out, rc->hdr_out,NULL);
1364         // can't use overlap call because it will collapse Set-Cookie headers
1365         //apr_table_overlap(r->headers_out, rc->hdr_out, APR_OVERLAP_TABLES_MERGE);
1366     }
1367
1368     /* remove ourselves from the filter chain */
1369     ap_remove_output_filter(f);
1370
1371     /* send the data up the stack */
1372     return ap_pass_brigade(f->next,in);
1373 }
1374
1375 static apr_status_t do_error_filter(ap_filter_t *f, apr_bucket_brigade *in)
1376 {
1377     request_rec *r = f->r;
1378     shib_request_config *rc = (shib_request_config*) ap_get_module_config(r->request_config, &mod_shib);
1379
1380     if (rc) {
1381         ap_log_rerror(APLOG_MARK,APLOG_DEBUG|APLOG_NOERRNO,SH_AP_R(r),"shib_err_filter: merging %d headers", apr_table_elts(rc->hdr_out)->nelts);
1382         apr_table_do(_table_add,r->err_headers_out, rc->hdr_out,NULL);
1383         // can't use overlap call because it will collapse Set-Cookie headers
1384         //apr_table_overlap(r->err_headers_out, rc->hdr_out, APR_OVERLAP_TABLES_MERGE);
1385     }
1386
1387     /* remove ourselves from the filter chain */
1388     ap_remove_output_filter(f);
1389
1390     /* send the data up the stack */
1391     return ap_pass_brigade(f->next,in);
1392 }
1393 #endif // SHIB_DEFERRED_HEADERS
1394
1395 typedef const char* (*config_fn_t)(void);
1396
1397 #ifdef SHIB_APACHE_13
1398
1399 // SHIB Module commands
1400
1401 static command_rec shire_cmds[] = {
1402   {"ShibPrefix", (config_fn_t)ap_set_global_string_slot, &g_szPrefix,
1403    RSRC_CONF, TAKE1, "Shibboleth installation directory"},
1404   {"ShibConfig", (config_fn_t)ap_set_global_string_slot, &g_szSHIBConfig,
1405    RSRC_CONF, TAKE1, "Path to shibboleth.xml config file"},
1406   {"ShibCatalogs", (config_fn_t)ap_set_global_string_slot, &g_szSchemaDir,
1407    RSRC_CONF, TAKE1, "Paths of XML schema catalogs"},
1408
1409   {"ShibURLScheme", (config_fn_t)shib_set_server_string_slot,
1410    (void *) XtOffsetOf (shib_server_config, szScheme),
1411    RSRC_CONF, TAKE1, "URL scheme to force into generated URLs for a vhost"},
1412
1413   {"ShibRequestSetting", (config_fn_t)shib_table_set, NULL,
1414    OR_AUTHCFG, TAKE2, "Set arbitrary Shibboleth request property for content"},
1415
1416   {"ShibDisable", (config_fn_t)ap_set_flag_slot,
1417    (void *) XtOffsetOf (shib_dir_config, bOff),
1418    OR_AUTHCFG, FLAG, "Disable all Shib module activity here to save processing effort"},
1419   {"ShibApplicationId", (config_fn_t)ap_set_string_slot,
1420    (void *) XtOffsetOf (shib_dir_config, szApplicationId),
1421    OR_AUTHCFG, TAKE1, "Set Shibboleth applicationId property for content"},
1422   {"ShibBasicHijack", (config_fn_t)ap_set_flag_slot,
1423    (void *) XtOffsetOf (shib_dir_config, bBasicHijack),
1424    OR_AUTHCFG, FLAG, "Respond to AuthType Basic and convert to shibboleth"},
1425   {"ShibRequireSession", (config_fn_t)ap_set_flag_slot,
1426    (void *) XtOffsetOf (shib_dir_config, bRequireSession),
1427    OR_AUTHCFG, FLAG, "Initiates a new session if one does not exist"},
1428   {"ShibRequireSessionWith", (config_fn_t)ap_set_string_slot,
1429    (void *) XtOffsetOf (shib_dir_config, szRequireWith),
1430    OR_AUTHCFG, TAKE1, "Initiates a new session if one does not exist using a specific SessionInitiator"},
1431   {"ShibExportAssertion", (config_fn_t)ap_set_flag_slot,
1432    (void *) XtOffsetOf (shib_dir_config, bExportAssertion),
1433    OR_AUTHCFG, FLAG, "Export SAML attribute assertion(s) to Shib-Attributes header"},
1434   {"ShibRedirectToSSL", (config_fn_t)ap_set_string_slot,
1435    (void *) XtOffsetOf (shib_dir_config, szRedirectToSSL),
1436    OR_AUTHCFG, TAKE1, "Redirect non-SSL requests to designated port" },
1437   {"AuthGroupFile", (config_fn_t)shib_ap_set_file_slot,
1438    (void *) XtOffsetOf (shib_dir_config, szAuthGrpFile),
1439    OR_AUTHCFG, TAKE1, "text file containing group names and member user IDs"},
1440   {"ShibRequireAll", (config_fn_t)ap_set_flag_slot,
1441    (void *) XtOffsetOf (shib_dir_config, bRequireAll),
1442    OR_AUTHCFG, FLAG, "All require directives must match"},
1443   {"AuthzShibAuthoritative", (config_fn_t)ap_set_flag_slot,
1444    (void *) XtOffsetOf (shib_dir_config, bAuthoritative),
1445    OR_AUTHCFG, FLAG, "Allow failed mod_shib htaccess authorization to fall through to other modules"},
1446   {"ShibUseEnvironment", (config_fn_t)ap_set_flag_slot,
1447    (void *) XtOffsetOf (shib_dir_config, bUseEnvVars),
1448    OR_AUTHCFG, FLAG, "Export attributes using environment variables (default)"},
1449   {"ShibUseHeaders", (config_fn_t)ap_set_flag_slot,
1450    (void *) XtOffsetOf (shib_dir_config, bUseHeaders),
1451    OR_AUTHCFG, FLAG, "Export attributes using custom HTTP headers"},
1452
1453   {NULL}
1454 };
1455
1456 extern "C"{
1457 handler_rec shib_handlers[] = {
1458   { "shib-handler", shib_handler },
1459   { NULL }
1460 };
1461
1462 module MODULE_VAR_EXPORT mod_shib = {
1463     STANDARD_MODULE_STUFF,
1464     NULL,                        /* initializer */
1465     create_shib_dir_config,     /* dir config creater */
1466     merge_shib_dir_config,      /* dir merger --- default is to override */
1467     create_shib_server_config, /* server config */
1468     merge_shib_server_config,   /* merge server config */
1469     shire_cmds,                 /* command table */
1470     shib_handlers,              /* handlers */
1471     NULL,                       /* filename translation */
1472     shib_check_user,            /* check_user_id */
1473     shib_auth_checker,          /* check auth */
1474     NULL,                       /* check access */
1475     NULL,                       /* type_checker */
1476     shib_fixups,                /* fixups */
1477     NULL,                       /* logger */
1478     NULL,                       /* header parser */
1479     shib_child_init,            /* child_init */
1480     shib_child_exit,            /* child_exit */
1481     shib_post_read              /* post read-request */
1482 };
1483
1484 #elif defined(SHIB_APACHE_20) || defined(SHIB_APACHE_22)
1485
1486 extern "C" void shib_register_hooks (apr_pool_t *p)
1487 {
1488 #ifdef SHIB_DEFERRED_HEADERS
1489   ap_register_output_filter("SHIB_HEADERS_OUT", do_output_filter, NULL, AP_FTYPE_CONTENT_SET);
1490   ap_hook_insert_filter(set_output_filter, NULL, NULL, APR_HOOK_LAST);
1491   ap_register_output_filter("SHIB_HEADERS_ERR", do_error_filter, NULL, AP_FTYPE_CONTENT_SET);
1492   ap_hook_insert_error_filter(set_error_filter, NULL, NULL, APR_HOOK_LAST);
1493   ap_hook_post_read_request(shib_post_read, NULL, NULL, APR_HOOK_MIDDLE);
1494 #endif
1495   ap_hook_child_init(shib_child_init, NULL, NULL, APR_HOOK_MIDDLE);
1496   ap_hook_check_user_id(shib_check_user, NULL, NULL, APR_HOOK_MIDDLE);
1497   ap_hook_auth_checker(shib_auth_checker, NULL, NULL, APR_HOOK_FIRST);
1498   ap_hook_handler(shib_handler, NULL, NULL, APR_HOOK_LAST);
1499   ap_hook_fixups(shib_fixups, NULL, NULL, APR_HOOK_MIDDLE);
1500 }
1501
1502 // SHIB Module commands
1503
1504 extern "C" {
1505 static command_rec shib_cmds[] = {
1506     AP_INIT_TAKE1("ShibPrefix", (config_fn_t)ap_set_global_string_slot, &g_szPrefix,
1507         RSRC_CONF, "Shibboleth installation directory"),
1508     AP_INIT_TAKE1("ShibConfig", (config_fn_t)ap_set_global_string_slot, &g_szSHIBConfig,
1509         RSRC_CONF, "Path to shibboleth.xml config file"),
1510     AP_INIT_TAKE1("ShibCatalogs", (config_fn_t)ap_set_global_string_slot, &g_szSchemaDir,
1511         RSRC_CONF, "Paths of XML schema catalogs"),
1512
1513     AP_INIT_TAKE1("ShibURLScheme", (config_fn_t)shib_set_server_string_slot,
1514         (void *) offsetof (shib_server_config, szScheme),
1515         RSRC_CONF, "URL scheme to force into generated URLs for a vhost"),
1516
1517     AP_INIT_TAKE2("ShibRequestSetting", (config_fn_t)shib_table_set, NULL,
1518         OR_AUTHCFG, "Set arbitrary Shibboleth request property for content"),
1519
1520     AP_INIT_FLAG("ShibDisable", (config_fn_t)ap_set_flag_slot,
1521         (void *) offsetof (shib_dir_config, bOff),
1522         OR_AUTHCFG, "Disable all Shib module activity here to save processing effort"),
1523     AP_INIT_TAKE1("ShibApplicationId", (config_fn_t)ap_set_string_slot,
1524         (void *) offsetof (shib_dir_config, szApplicationId),
1525         OR_AUTHCFG, "Set Shibboleth applicationId property for content"),
1526     AP_INIT_FLAG("ShibBasicHijack", (config_fn_t)ap_set_flag_slot,
1527         (void *) offsetof (shib_dir_config, bBasicHijack),
1528         OR_AUTHCFG, "Respond to AuthType Basic and convert to shibboleth"),
1529     AP_INIT_FLAG("ShibRequireSession", (config_fn_t)ap_set_flag_slot,
1530         (void *) offsetof (shib_dir_config, bRequireSession),
1531         OR_AUTHCFG, "Initiates a new session if one does not exist"),
1532     AP_INIT_TAKE1("ShibRequireSessionWith", (config_fn_t)ap_set_string_slot,
1533         (void *) offsetof (shib_dir_config, szRequireWith),
1534         OR_AUTHCFG, "Initiates a new session if one does not exist using a specific SessionInitiator"),
1535     AP_INIT_FLAG("ShibExportAssertion", (config_fn_t)ap_set_flag_slot,
1536         (void *) offsetof (shib_dir_config, bExportAssertion),
1537         OR_AUTHCFG, "Export SAML attribute assertion(s) to Shib-Attributes header"),
1538     AP_INIT_TAKE1("ShibRedirectToSSL", (config_fn_t)ap_set_string_slot,
1539         (void *) offsetof (shib_dir_config, szRedirectToSSL),
1540         OR_AUTHCFG, "Redirect non-SSL requests to designated port"),
1541     AP_INIT_TAKE1("AuthGroupFile", (config_fn_t)shib_ap_set_file_slot,
1542         (void *) offsetof (shib_dir_config, szAuthGrpFile),
1543         OR_AUTHCFG, "Text file containing group names and member user IDs"),
1544     AP_INIT_FLAG("ShibRequireAll", (config_fn_t)ap_set_flag_slot,
1545         (void *) offsetof (shib_dir_config, bRequireAll),
1546         OR_AUTHCFG, "All require directives must match"),
1547     AP_INIT_FLAG("AuthzShibAuthoritative", (config_fn_t)ap_set_flag_slot,
1548         (void *) offsetof (shib_dir_config, bAuthoritative),
1549         OR_AUTHCFG, "Allow failed mod_shib htaccess authorization to fall through to other modules"),
1550     AP_INIT_FLAG("ShibUseEnvironment", (config_fn_t)ap_set_flag_slot,
1551         (void *) offsetof (shib_dir_config, bUseEnvVars),
1552         OR_AUTHCFG, "Export attributes using environment variables (default)"),
1553     AP_INIT_FLAG("ShibUseHeaders", (config_fn_t)ap_set_flag_slot,
1554         (void *) offsetof (shib_dir_config, bUseHeaders),
1555         OR_AUTHCFG, "Export attributes using custom HTTP headers"),
1556
1557     {NULL}
1558 };
1559
1560 module AP_MODULE_DECLARE_DATA mod_shib = {
1561     STANDARD20_MODULE_STUFF,
1562     create_shib_dir_config,     /* create dir config */
1563     merge_shib_dir_config,      /* merge dir config --- default is to override */
1564     create_shib_server_config,  /* create server config */
1565     merge_shib_server_config,   /* merge server config */
1566     shib_cmds,                  /* command table */
1567     shib_register_hooks         /* register hooks */
1568 };
1569
1570 #else
1571 #error "unsupported Apache version"
1572 #endif
1573
1574 }