Fixes for Heimdal (macOS) builds from Stefan.
[mech_eap.git] / mech_eap / wrap_size_limit.c
1 /*
2  * Copyright (c) 2011, JANET(UK)
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  *
9  * 1. Redistributions of source code must retain the above copyright
10  *    notice, this list of conditions and the following disclaimer.
11  *
12  * 2. Redistributions in binary form must reproduce the above copyright
13  *    notice, this list of conditions and the following disclaimer in the
14  *    documentation and/or other materials provided with the distribution.
15  *
16  * 3. Neither the name of JANET(UK) nor the names of its contributors
17  *    may be used to endorse or promote products derived from this software
18  *    without specific prior written permission.
19  *
20  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
21  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
23  * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
30  * SUCH DAMAGE.
31  */
32
33 /*
34  * Message protection services: determine maximum input size.
35  */
36
37 #include "gssapiP_eap.h"
38
39 OM_uint32 GSSAPI_CALLCONV
40 gss_wrap_size_limit(OM_uint32 *minor,
41 #ifdef HAVE_HEIMDAL_VERSION
42                     gss_const_ctx_id_t ctx,
43 #else
44                     gss_ctx_id_t ctx,
45 #endif
46                     int conf_req_flag,
47                     gss_qop_t qop_req,
48                     OM_uint32 req_output_size,
49                     OM_uint32 *max_input_size)
50 {
51     gss_iov_buffer_desc iov[4];
52     OM_uint32 major, overhead;
53
54     if (ctx == GSS_C_NO_CONTEXT) {
55         *minor = EINVAL;
56         return GSS_S_CALL_INACCESSIBLE_READ | GSS_S_NO_CONTEXT;
57     }
58
59     *minor = 0;
60
61     GSSEAP_MUTEX_LOCK(&((gss_ctx_id_t)ctx)->mutex);
62
63     if (!CTX_IS_ESTABLISHED(ctx)) {
64         major = GSS_S_NO_CONTEXT;
65         *minor = GSSEAP_CONTEXT_INCOMPLETE;
66         goto cleanup;
67     }
68
69     iov[0].type = GSS_IOV_BUFFER_TYPE_HEADER;
70     iov[0].buffer.value = NULL;
71     iov[0].buffer.length = 0;
72
73     iov[1].type = GSS_IOV_BUFFER_TYPE_DATA;
74     iov[1].buffer.length = req_output_size;
75     iov[1].buffer.value = NULL;
76
77     iov[2].type = GSS_IOV_BUFFER_TYPE_PADDING;
78     iov[2].buffer.value = NULL;
79     iov[2].buffer.length = 0;
80
81     iov[3].type = GSS_IOV_BUFFER_TYPE_TRAILER;
82     iov[3].buffer.value = NULL;
83     iov[3].buffer.length = 0;
84
85     major = gssEapWrapIovLength(minor, ctx, conf_req_flag, qop_req,
86                                 NULL, iov, TOK_TYPE_WRAP, 4);
87     if (GSS_ERROR(major))
88         goto cleanup;
89
90     overhead = iov[0].buffer.length + iov[3].buffer.length;
91
92     if (iov[2].buffer.length == 0 && overhead < req_output_size)
93         *max_input_size = req_output_size - overhead;
94     else
95         *max_input_size = 0;
96
97 cleanup:
98     GSSEAP_MUTEX_UNLOCK(&((gss_ctx_id_t)ctx)->mutex);
99
100     return major;
101 }