Notes on embedded zeros in passwords
[freeradius.git] / src / main / xlat.c
1 /*
2  *   This program is free software; you can redistribute it and/or modify
3  *   it under the terms of the GNU General Public License as published by
4  *   the Free Software Foundation; either version 2 of the License, or
5  *   (at your option) any later version.
6  *
7  *   This program is distributed in the hope that it will be useful,
8  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
9  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  *   GNU General Public License for more details.
11  *
12  *   You should have received a copy of the GNU General Public License
13  *   along with this program; if not, write to the Free Software
14  *   Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
15  */
16
17 /**
18  * $Id$
19  *
20  * @file xlat.c
21  * @brief String expansion ("translation"). Implements %Attribute -> value
22  *
23  * @copyright 2000,2006  The FreeRADIUS server project
24  * @copyright 2000  Alan DeKok <aland@ox.org>
25  */
26
27 RCSID("$Id$")
28
29 #include <freeradius-devel/radiusd.h>
30 #include <freeradius-devel/parser.h>
31 #include <freeradius-devel/rad_assert.h>
32 #include <freeradius-devel/base64.h>
33
34 #include <ctype.h>
35
36 typedef struct xlat_t {
37         char                    name[MAX_STRING_LEN];   //!< Name of the xlat expansion.
38         int                     length;                 //!< Length of name.
39         void                    *instance;              //!< Module instance passed to xlat and escape functions.
40         xlat_func_t             func;                   //!< xlat function.
41         xlat_escape_t   escape;                 //!< Escape function to apply to dynamic input to func.
42         bool                    internal;               //!< If true, cannot be redefined.
43 } xlat_t;
44
45 typedef enum {
46         XLAT_LITERAL,           //!< Literal string
47         XLAT_PERCENT,           //!< Literal string with %v
48         XLAT_MODULE,            //!< xlat module
49         XLAT_VIRTUAL,           //!< virtual attribute
50         XLAT_ATTRIBUTE,         //!< xlat attribute
51 #ifdef HAVE_REGEX
52         XLAT_REGEX,             //!< regex reference
53 #endif
54         XLAT_ALTERNATE          //!< xlat conditional syntax :-
55 } xlat_state_t;
56
57 struct xlat_exp {
58         char const *fmt;        //!< The format string.
59         size_t len;             //!< Length of the format string.
60
61         xlat_state_t type;      //!< type of this expansion.
62         xlat_exp_t *next;       //!< Next in the list.
63
64         xlat_exp_t *child;      //!< Nested expansion.
65         xlat_exp_t *alternate;  //!< Alternative expansion if this one expanded to a zero length string.
66
67         vp_tmpl_t attr; //!< An attribute template.
68         xlat_t const *xlat;     //!< The xlat expansion to expand format with.
69 };
70
71 typedef struct xlat_out {
72         char const *out;        //!< Output data.
73         size_t len;             //!< Length of the output string.
74 } xlat_out_t;
75
76 static rbtree_t *xlat_root = NULL;
77
78 #ifdef WITH_UNLANG
79 static char const * const xlat_foreach_names[] = {"Foreach-Variable-0",
80                                                   "Foreach-Variable-1",
81                                                   "Foreach-Variable-2",
82                                                   "Foreach-Variable-3",
83                                                   "Foreach-Variable-4",
84                                                   "Foreach-Variable-5",
85                                                   "Foreach-Variable-6",
86                                                   "Foreach-Variable-7",
87                                                   "Foreach-Variable-8",
88                                                   "Foreach-Variable-9",
89                                                   NULL};
90 #endif
91
92
93 static int xlat_inst[] = { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 };      /* up to 10 for foreach */
94
95 /** Print length of its RHS.
96  *
97  */
98 static ssize_t xlat_strlen(UNUSED void *instance, UNUSED REQUEST *request,
99                            char const *fmt, char *out, size_t outlen)
100 {
101         snprintf(out, outlen, "%u", (unsigned int) strlen(fmt));
102         return strlen(out);
103 }
104
105 /** Print the size of the attribute in bytes.
106  *
107  */
108 static ssize_t xlat_length(UNUSED void *instance, REQUEST *request,
109                            char const *fmt, char *out, size_t outlen)
110 {
111         VALUE_PAIR *vp;
112         while (isspace((int) *fmt)) fmt++;
113
114         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
115                 *out = '\0';
116                 return 0;
117         }
118
119         snprintf(out, outlen, "%zu", vp->vp_length);
120         return strlen(out);
121 }
122
123 /** Print data as integer, not as VALUE.
124  *
125  */
126 static ssize_t xlat_integer(UNUSED void *instance, REQUEST *request,
127                             char const *fmt, char *out, size_t outlen)
128 {
129         VALUE_PAIR      *vp;
130
131         uint64_t        int64 = 0;      /* Needs to be initialised to zero */
132         uint32_t        int32 = 0;      /* Needs to be initialised to zero */
133
134         while (isspace((int) *fmt)) fmt++;
135
136         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
137                 *out = '\0';
138                 return 0;
139         }
140
141         switch (vp->da->type) {
142         case PW_TYPE_OCTETS:
143         case PW_TYPE_STRING:
144                 if (vp->vp_length > 8) {
145                         break;
146                 }
147
148                 if (vp->vp_length > 4) {
149                         memcpy(&int64, vp->vp_octets, vp->vp_length);
150                         return snprintf(out, outlen, "%" PRIu64, htonll(int64));
151                 }
152
153                 memcpy(&int32, vp->vp_octets, vp->vp_length);
154                 return snprintf(out, outlen, "%i", htonl(int32));
155
156         case PW_TYPE_INTEGER64:
157                 return snprintf(out, outlen, "%" PRIu64, vp->vp_integer64);
158
159         /*
160          *      IP addresses are treated specially, as parsing functions assume the value
161          *      is bigendian and will convert it for us.
162          */
163         case PW_TYPE_IPV4_ADDR:
164                 return snprintf(out, outlen, "%u", htonl(vp->vp_ipaddr));
165
166         case PW_TYPE_IPV4_PREFIX:
167                 return snprintf(out, outlen, "%u", htonl((*(uint32_t *)(vp->vp_ipv4prefix + 2))));
168
169         case PW_TYPE_INTEGER:
170                 return snprintf(out, outlen, "%u", vp->vp_integer);
171
172         case PW_TYPE_DATE:
173                 return snprintf(out, outlen, "%u", vp->vp_date);
174
175         case PW_TYPE_BYTE:
176                 return snprintf(out, outlen, "%u", (unsigned int) vp->vp_byte);
177
178         case PW_TYPE_SHORT:
179                 return snprintf(out, outlen, "%u", (unsigned int) vp->vp_short);
180
181         /*
182          *      Ethernet is weird... It's network related, so we assume to it should be
183          *      bigendian.
184          */
185         case PW_TYPE_ETHERNET:
186                 memcpy(&int64, vp->vp_ether, vp->vp_length);
187                 return snprintf(out, outlen, "%" PRIu64, htonll(int64));
188
189         case PW_TYPE_SIGNED:
190                 return snprintf(out, outlen, "%i", vp->vp_signed);
191
192         case PW_TYPE_IPV6_ADDR:
193                 return fr_prints_uint128(out, outlen, ntohlll(*(uint128_t const *) &vp->vp_ipv6addr));
194
195         case PW_TYPE_IPV6_PREFIX:
196                 return fr_prints_uint128(out, outlen, ntohlll(*(uint128_t const *) &vp->vp_ipv6prefix[2]));
197
198         default:
199                 break;
200         }
201
202         REDEBUG("Type '%s' of length %zu cannot be converted to integer",
203                 fr_int2str(dict_attr_types, vp->da->type, "???"), vp->vp_length);
204         *out = '\0';
205
206         return -1;
207 }
208
209 /** Print data as hex, not as VALUE.
210  *
211  */
212 static ssize_t xlat_hex(UNUSED void *instance, REQUEST *request,
213                         char const *fmt, char *out, size_t outlen)
214 {
215         size_t i;
216         VALUE_PAIR *vp;
217         uint8_t const *p;
218         ssize_t ret;
219         size_t  len;
220         value_data_t dst;
221         uint8_t const *buff = NULL;
222
223         while (isspace((int) *fmt)) fmt++;
224
225         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
226         error:
227                 *out = '\0';
228                 return -1;
229         }
230
231         /*
232          *      The easy case.
233          */
234         if (vp->da->type == PW_TYPE_OCTETS) {
235                 p = vp->vp_octets;
236                 len = vp->vp_length;
237         /*
238          *      Cast the value_data_t of the VP to an octets string and
239          *      print that as hex.
240          */
241         } else {
242                 ret = value_data_cast(request, &dst, PW_TYPE_OCTETS, NULL, vp->da->type,
243                                       NULL, &vp->data, vp->vp_length);
244                 if (ret < 0) {
245                         REDEBUG("%s", fr_strerror());
246                         goto error;
247                 }
248                 len = (size_t) ret;
249                 p = buff = dst.octets;
250         }
251
252         rad_assert(p);
253
254         /*
255          *      Don't truncate the data.
256          */
257         if (outlen < (len * 2)) {
258                 rad_const_free(buff);
259                 goto error;
260         }
261
262         for (i = 0; i < len; i++) {
263                 snprintf(out + 2*i, 3, "%02x", p[i]);
264         }
265         rad_const_free(buff);
266
267         return len * 2;
268 }
269
270 /** Return the tag of an attribute reference
271  *
272  */
273 static ssize_t xlat_tag(UNUSED void *instance, REQUEST *request,
274                         char const *fmt, char *out, size_t outlen)
275 {
276         VALUE_PAIR *vp;
277
278         while (isspace((int) *fmt)) fmt++;
279
280         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
281                 *out = '\0';
282                 return 0;
283         }
284
285         if (!vp->da->flags.has_tag || !TAG_VALID(vp->tag)) {
286                 *out = '\0';
287                 return 0;
288         }
289
290         return snprintf(out, outlen, "%u", vp->tag);
291 }
292
293 /** Return the vendor of an attribute reference
294  *
295  */
296 static ssize_t xlat_vendor(UNUSED void *instance, REQUEST *request,
297                            char const *fmt, char *out, size_t outlen)
298 {
299         VALUE_PAIR *vp;
300         DICT_VENDOR *vendor;
301
302         while (isspace((int) *fmt)) fmt++;
303
304         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
305                 *out = '\0';
306                 return 0;
307         }
308
309         vendor = dict_vendorbyvalue(vp->da->vendor);
310         if (!vendor) {
311                 *out = '\0';
312                 return 0;
313         }
314         strlcpy(out, vendor->name, outlen);
315
316         return vendor->length;
317 }
318
319 /** Return the vendor number of an attribute reference
320  *
321  */
322 static ssize_t xlat_vendor_num(UNUSED void *instance, REQUEST *request,
323                                char const *fmt, char *out, size_t outlen)
324 {
325         VALUE_PAIR *vp;
326
327         while (isspace((int) *fmt)) fmt++;
328
329         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
330                 *out = '\0';
331                 return 0;
332         }
333
334         return snprintf(out, outlen, "%u", vp->da->vendor);
335 }
336
337 /** Return the attribute name of an attribute reference
338  *
339  */
340 static ssize_t xlat_attr(UNUSED void *instance, REQUEST *request,
341                          char const *fmt, char *out, size_t outlen)
342 {
343         VALUE_PAIR *vp;
344
345         while (isspace((int) *fmt)) fmt++;
346
347         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
348                 *out = '\0';
349                 return 0;
350         }
351         strlcpy(out, vp->da->name, outlen);
352
353         return strlen(vp->da->name);
354 }
355
356 /** Return the attribute number of an attribute reference
357  *
358  */
359 static ssize_t xlat_attr_num(UNUSED void *instance, REQUEST *request,
360                              char const *fmt, char *out, size_t outlen)
361 {
362         VALUE_PAIR *vp;
363
364         while (isspace((int) *fmt)) fmt++;
365
366         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
367                 *out = '\0';
368                 return 0;
369         }
370
371         return snprintf(out, outlen, "%u", vp->da->attr);
372 }
373
374 /** Print out attribute info
375  *
376  * Prints out all instances of a current attribute, or all attributes in a list.
377  *
378  * At higher debugging levels, also prints out alternative decodings of the same
379  * value. This is helpful to determine types for unknown attributes of long
380  * passed vendors, or just crazy/broken NAS.
381  *
382  * This expands to a zero length string.
383  */
384 static ssize_t xlat_debug_attr(UNUSED void *instance, REQUEST *request, char const *fmt,
385                                char *out, UNUSED size_t outlen)
386 {
387         VALUE_PAIR *vp;
388         vp_cursor_t cursor;
389
390         vp_tmpl_t vpt;
391
392         if (!RDEBUG_ENABLED2) {
393                 *out = '\0';
394                 return -1;
395         }
396
397         while (isspace((int) *fmt)) fmt++;
398
399         if (tmpl_from_attr_str(&vpt, fmt, REQUEST_CURRENT, PAIR_LIST_REQUEST, false, false) <= 0) {
400                 RDEBUG("%s", fr_strerror());
401                 return -1;
402         }
403
404         RIDEBUG("Attributes matching \"%s\"", fmt);
405
406         RINDENT();
407         for (vp = tmpl_cursor_init(NULL, &cursor, request, &vpt);
408              vp;
409              vp = tmpl_cursor_next(&cursor, &vpt)) {
410                 FR_NAME_NUMBER const *type;
411                 char *value;
412
413                 value = vp_aprints_value(vp, vp, '\'');
414                 if (vp->da->flags.has_tag) {
415                         RIDEBUG2("&%s:%s:%i %s %s",
416                                 fr_int2str(pair_lists, vpt.tmpl_list, "<INVALID>"),
417                                 vp->da->name,
418                                 vp->tag,
419                                 fr_int2str(fr_tokens, vp->op, "<INVALID>"),
420                                 value);
421                 } else {
422                         RIDEBUG2("&%s:%s %s %s",
423                                 fr_int2str(pair_lists, vpt.tmpl_list, "<INVALID>"),
424                                 vp->da->name,
425                                 fr_int2str(fr_tokens, vp->op, "<INVALID>"),
426                                 value);
427                 }
428                 talloc_free(value);
429
430                 if (!RDEBUG_ENABLED3) continue;
431
432                 if (vp->da->vendor) {
433                         DICT_VENDOR *dv;
434
435                         dv = dict_vendorbyvalue(vp->da->vendor);
436                         RIDEBUG2("Vendor : %i (%s)", vp->da->vendor, dv ? dv->name : "unknown");
437                 }
438                 RIDEBUG2("Type   : %s", fr_int2str(dict_attr_types, vp->da->type, "<INVALID>"));
439                 RIDEBUG2("Length : %zu", vp->vp_length);
440
441                 if (!RDEBUG_ENABLED4) continue;
442
443                 type = dict_attr_types;
444                 while (type->name) {
445                         int pad;
446
447                         value_data_t *dst = NULL;
448
449                         ssize_t ret;
450
451                         if ((PW_TYPE) type->number == vp->da->type) {
452                                 goto next_type;
453                         }
454
455                         switch (type->number) {
456                         case PW_TYPE_INVALID:           /* Not real type */
457                         case PW_TYPE_MAX:               /* Not real type */
458                         case PW_TYPE_EXTENDED:          /* Not safe/appropriate */
459                         case PW_TYPE_LONG_EXTENDED:     /* Not safe/appropriate */
460                         case PW_TYPE_TLV:               /* Not safe/appropriate */
461                         case PW_TYPE_EVS:               /* Not safe/appropriate */
462                         case PW_TYPE_VSA:               /* @fixme We need special behaviour for these */
463                         case PW_TYPE_COMBO_IP_ADDR:     /* Covered by IPv4 address IPv6 address */
464                         case PW_TYPE_COMBO_IP_PREFIX:   /* Covered by IPv4 address IPv6 address */
465                         case PW_TYPE_TIMEVAL:           /* Not a VALUE_PAIR type */
466                                 goto next_type;
467
468                         default:
469                                 break;
470                         }
471
472                         dst = talloc_zero(vp, value_data_t);
473                         ret = value_data_cast(dst, dst, type->number, NULL, vp->da->type, vp->da,
474                                               &vp->data, vp->vp_length);
475                         if (ret < 0) goto next_type;    /* We expect some to fail */
476
477                         value = value_data_aprints(dst, type->number, NULL, dst, (size_t)ret, '\'');
478                         if (!value) goto next_type;
479
480                         if ((pad = (11 - strlen(type->name))) < 0) {
481                                 pad = 0;
482                         }
483
484                         RINDENT();
485                         RDEBUG2("as %s%*s: %s", type->name, pad, " ", value);
486                         REXDENT();
487
488                 next_type:
489                         talloc_free(dst);
490                         type++;
491                 }
492         }
493
494         *out = '\0';
495         return 0;
496 }
497
498 /** Processes fmt as a map string and applies it to the current request
499  *
500  * e.g. "%{map:&User-Name := 'foo'}"
501  *
502  * Allows sets of modifications to be cached and then applied.
503  * Useful for processing generic attributes from LDAP.
504  */
505 static ssize_t xlat_map(UNUSED void *instance, REQUEST *request,
506                         char const *fmt, char *out, size_t outlen)
507 {
508         vp_map_t *map = NULL;
509         int ret;
510
511         if (map_afrom_attr_str(request, &map, fmt,
512                                REQUEST_CURRENT, PAIR_LIST_REQUEST,
513                                REQUEST_CURRENT, PAIR_LIST_REQUEST) < 0) {
514                 REDEBUG("Failed parsing \"%s\" as map: %s", fmt, fr_strerror());
515                 return -1;
516         }
517
518         RINDENT();
519         ret = map_to_request(request, map, map_to_vp, NULL);
520         REXDENT();
521         talloc_free(map);
522         if (ret < 0) return strlcpy(out, "0", outlen);
523
524         return strlcpy(out, "1", outlen);
525 }
526
527 /** Prints the current module processing the request
528  *
529  */
530 static ssize_t xlat_module(UNUSED void *instance, REQUEST *request,
531                            UNUSED char const *fmt, char *out, size_t outlen)
532 {
533         strlcpy(out, request->module, outlen);
534
535         return strlen(out);
536 }
537
538 #if defined(HAVE_REGEX) && defined(HAVE_PCRE)
539 static ssize_t xlat_regex(UNUSED void *instance, REQUEST *request,
540                           char const *fmt, char *out, size_t outlen)
541 {
542         char *p;
543         size_t len;
544
545         if (regex_request_to_sub_named(request, &p, request, fmt) < 0) {
546                 *out = '\0';
547                 return 0;
548         }
549
550         len = talloc_array_length(p);
551         if (len > outlen) {
552                 RDEBUG("Insufficient buffer space to write subcapture value, needed %zu bytes, have %zu bytes",
553                        len, outlen);
554                 return -1;
555         }
556         strlcpy(out, p, outlen);
557
558         return len - 1; /* - \0 */
559 }
560 #endif
561
562 #ifdef WITH_UNLANG
563 /** Implements the Foreach-Variable-X
564  *
565  * @see modcall()
566  */
567 static ssize_t xlat_foreach(void *instance, REQUEST *request,
568                             UNUSED char const *fmt, char *out, size_t outlen)
569 {
570         VALUE_PAIR      **pvp;
571         size_t          len;
572
573         /*
574          *      See modcall, "FOREACH" for how this works.
575          */
576         pvp = (VALUE_PAIR **) request_data_reference(request, (void *)radius_get_vp, *(int*) instance);
577         if (!pvp || !*pvp) {
578                 *out = '\0';
579                 return 0;
580         }
581
582         len = vp_prints_value(out, outlen, *pvp, 0);
583         if (is_truncated(len, outlen)) {
584                 RDEBUG("Insufficient buffer space to write foreach value");
585                 return -1;
586         }
587
588         return len;
589 }
590 #endif
591
592 /** Print data as string, if possible.
593  *
594  * If attribute "Foo" is defined as "octets" it will normally
595  * be printed as 0x0a0a0a. The xlat "%{string:Foo}" will instead
596  * expand to "\n\n\n"
597  */
598 static ssize_t xlat_string(UNUSED void *instance, REQUEST *request,
599                            char const *fmt, char *out, size_t outlen)
600 {
601         size_t len;
602         ssize_t ret;
603         VALUE_PAIR *vp;
604         uint8_t const *p;
605
606         while (isspace((int) *fmt)) fmt++;
607
608         if (outlen < 3) {
609         nothing:
610                 *out = '\0';
611                 return 0;
612         }
613
614         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) goto nothing;
615
616         ret = rad_vp2data(&p, vp);
617         if (ret < 0) {
618                 return ret;
619         }
620
621         switch (vp->da->type) {
622         case PW_TYPE_OCTETS:
623                 len = fr_prints(out, outlen, (char const *) p, vp->vp_length, '"');
624                 break;
625
626                 /*
627                  *      Note that "%{string:...}" is NOT binary safe!
628                  *      It is explicitly used to get rid of embedded zeros.
629                  */
630         case PW_TYPE_STRING:
631                 len = strlcpy(out, vp->vp_strvalue, outlen);
632                 break;
633
634         default:
635                 len = fr_prints(out, outlen, (char const *) p, ret, '\0');
636                 break;
637         }
638
639         return len;
640 }
641
642 /** xlat expand string attribute value
643  *
644  */
645 static ssize_t xlat_xlat(UNUSED void *instance, REQUEST *request,
646                         char const *fmt, char *out, size_t outlen)
647 {
648         VALUE_PAIR *vp;
649
650         while (isspace((int) *fmt)) fmt++;
651
652         if (outlen < 3) {
653         nothing:
654                 *out = '\0';
655                 return 0;
656         }
657
658         if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) goto nothing;
659
660         return radius_xlat(out, outlen, request, vp->vp_strvalue, NULL, NULL);
661 }
662
663 /** Dynamically change the debugging level for the current request
664  *
665  * Example %{debug:3}
666  */
667 static ssize_t xlat_debug(UNUSED void *instance, REQUEST *request,
668                           char const *fmt, char *out, size_t outlen)
669 {
670         int level = 0;
671
672         /*
673          *  Expand to previous (or current) level
674          */
675         snprintf(out, outlen, "%d", request->log.lvl);
676
677         /*
678          *  Assume we just want to get the current value and NOT set it to 0
679          */
680         if (!*fmt)
681                 goto done;
682
683         level = atoi(fmt);
684         if (level == 0) {
685                 request->log.lvl = RAD_REQUEST_LVL_NONE;
686                 request->log.func = NULL;
687         } else {
688                 if (level > 4) level = 4;
689
690                 request->log.lvl = level;
691                 request->log.func = vradlog_request;
692         }
693
694         done:
695         return strlen(out);
696 }
697
698 /*
699  *      Compare two xlat_t structs, based ONLY on the module name.
700  */
701 static int xlat_cmp(void const *one, void const *two)
702 {
703         xlat_t const *a = one;
704         xlat_t const *b = two;
705
706         if (a->length != b->length) {
707                 return a->length - b->length;
708         }
709
710         return memcmp(a->name, b->name, a->length);
711 }
712
713
714 /*
715  *      find the appropriate registered xlat function.
716  */
717 static xlat_t *xlat_find(char const *name)
718 {
719         xlat_t my_xlat;
720
721         strlcpy(my_xlat.name, name, sizeof(my_xlat.name));
722         my_xlat.length = strlen(my_xlat.name);
723
724         return rbtree_finddata(xlat_root, &my_xlat);
725 }
726
727
728 /** Register an xlat function.
729  *
730  * @param[in] name xlat name.
731  * @param[in] func xlat function to be called.
732  * @param[in] escape function to sanitize any sub expansions passed to the xlat function.
733  * @param[in] instance of module that's registering the xlat function.
734  * @return 0 on success, -1 on failure
735  */
736 int xlat_register(char const *name, xlat_func_t func, xlat_escape_t escape, void *instance)
737 {
738         xlat_t  *c;
739         xlat_t  my_xlat;
740         rbnode_t *node;
741
742         if (!name || !*name) {
743                 DEBUG("xlat_register: Invalid xlat name");
744                 return -1;
745         }
746
747         /*
748          *      First time around, build up the tree...
749          *
750          *      FIXME: This code should be hoisted out of this function,
751          *      and into a global "initialization".  But it isn't critical...
752          */
753         if (!xlat_root) {
754 #ifdef WITH_UNLANG
755                 int i;
756 #endif
757
758                 xlat_root = rbtree_create(NULL, xlat_cmp, NULL, RBTREE_FLAG_REPLACE);
759                 if (!xlat_root) {
760                         DEBUG("xlat_register: Failed to create tree");
761                         return -1;
762                 }
763
764 #ifdef WITH_UNLANG
765                 for (i = 0; xlat_foreach_names[i] != NULL; i++) {
766                         xlat_register(xlat_foreach_names[i],
767                                       xlat_foreach, NULL, &xlat_inst[i]);
768                         c = xlat_find(xlat_foreach_names[i]);
769                         rad_assert(c != NULL);
770                         c->internal = true;
771                 }
772 #endif
773
774 #define XLAT_REGISTER(_x) xlat_register(STRINGIFY(_x), xlat_ ## _x, NULL, NULL); \
775                 c = xlat_find(STRINGIFY(_x)); \
776                 rad_assert(c != NULL); \
777                 c->internal = true
778
779                 XLAT_REGISTER(integer);
780                 XLAT_REGISTER(strlen);
781                 XLAT_REGISTER(length);
782                 XLAT_REGISTER(hex);
783                 XLAT_REGISTER(tag);
784                 XLAT_REGISTER(vendor);
785                 XLAT_REGISTER(vendor_num);
786                 XLAT_REGISTER(attr);
787                 XLAT_REGISTER(attr_num);
788                 XLAT_REGISTER(string);
789                 XLAT_REGISTER(xlat);
790                 XLAT_REGISTER(map);
791                 XLAT_REGISTER(module);
792                 XLAT_REGISTER(debug_attr);
793 #if defined(HAVE_REGEX) && defined(HAVE_PCRE)
794                 XLAT_REGISTER(regex);
795 #endif
796
797                 xlat_register("debug", xlat_debug, NULL, &xlat_inst[0]);
798                 c = xlat_find("debug");
799                 rad_assert(c != NULL);
800                 c->internal = true;
801         }
802
803         /*
804          *      If it already exists, replace the instance.
805          */
806         strlcpy(my_xlat.name, name, sizeof(my_xlat.name));
807         my_xlat.length = strlen(my_xlat.name);
808         c = rbtree_finddata(xlat_root, &my_xlat);
809         if (c) {
810                 if (c->internal) {
811                         DEBUG("xlat_register: Cannot re-define internal xlat");
812                         return -1;
813                 }
814
815                 c->func = func;
816                 c->escape = escape;
817                 c->instance = instance;
818                 return 0;
819         }
820
821         /*
822          *      Doesn't exist.  Create it.
823          */
824         c = talloc_zero(xlat_root, xlat_t);
825
826         c->func = func;
827         c->escape = escape;
828         strlcpy(c->name, name, sizeof(c->name));
829         c->length = strlen(c->name);
830         c->instance = instance;
831
832         node = rbtree_insert_node(xlat_root, c);
833         if (!node) {
834                 talloc_free(c);
835                 return -1;
836         }
837
838         /*
839          *      Ensure that the data is deleted when the node is
840          *      deleted.
841          *
842          *      @todo: Maybe this should be the other way around...
843          *      when a thing IN the tree is deleted, it's automatically
844          *      removed from the tree.  But for now, this works.
845          */
846         (void) talloc_steal(node, c);
847         return 0;
848 }
849
850 /** Unregister an xlat function
851  *
852  * We can only have one function to call per name, so the passing of "func"
853  * here is extraneous.
854  *
855  * @param[in] name xlat to unregister.
856  * @param[in] func unused.
857  * @param[in] instance data.
858  */
859 void xlat_unregister(char const *name, UNUSED xlat_func_t func, void *instance)
860 {
861         xlat_t  *c;
862         xlat_t          my_xlat;
863
864         if (!name || !xlat_root) return;
865
866         strlcpy(my_xlat.name, name, sizeof(my_xlat.name));
867         my_xlat.length = strlen(my_xlat.name);
868
869         c = rbtree_finddata(xlat_root, &my_xlat);
870         if (!c) return;
871
872         if (c->instance != instance) return;
873
874         rbtree_deletebydata(xlat_root, c);
875 }
876
877 static int xlat_unregister_callback(void *instance, void *data)
878 {
879         xlat_t *c = (xlat_t *) data;
880
881         if (c->instance != instance) return 0; /* keep walking */
882
883         return 2;               /* delete it */
884 }
885
886 void xlat_unregister_module(void *instance)
887 {
888         rbtree_walk(xlat_root, RBTREE_DELETE_ORDER, xlat_unregister_callback, instance);
889 }
890
891 /*
892  *      Internal redundant handler for xlats
893  */
894 typedef enum xlat_redundant_type_t {
895         XLAT_INVALID = 0,
896         XLAT_REDUNDANT,
897         XLAT_LOAD_BALANCE,
898         XLAT_REDUNDANT_LOAD_BALANCE,
899 } xlat_redundant_type_t;
900
901 typedef struct xlat_redundant_t {
902         xlat_redundant_type_t type;
903         uint32_t        count;
904         CONF_SECTION *cs;
905 } xlat_redundant_t;
906
907
908 static ssize_t xlat_redundant(void *instance, REQUEST *request,
909                               char const *fmt, char *out, size_t outlen)
910 {
911         xlat_redundant_t *xr = instance;
912         CONF_ITEM *ci;
913         char const *name;
914         xlat_t *xlat;
915
916         rad_assert(xr->type == XLAT_REDUNDANT);
917
918         /*
919          *      Pick the first xlat which succeeds
920          */
921         for (ci = cf_item_find_next(xr->cs, NULL);
922              ci != NULL;
923              ci = cf_item_find_next(xr->cs, ci)) {
924                 ssize_t rcode;
925
926                 if (!cf_item_is_pair(ci)) continue;
927
928                 name = cf_pair_attr(cf_item_to_pair(ci));
929                 rad_assert(name != NULL);
930
931                 xlat = xlat_find(name);
932                 if (!xlat) continue;
933
934                 rcode = xlat->func(xlat->instance, request, fmt, out, outlen);
935                 if (rcode <= 0) continue;
936                 return rcode;
937         }
938
939         /*
940          *      Everything failed.  Oh well.
941          */
942         *out  = 0;
943         return 0;
944 }
945
946
947 static ssize_t xlat_load_balance(void *instance, REQUEST *request,
948                               char const *fmt, char *out, size_t outlen)
949 {
950         uint32_t count = 0;
951         xlat_redundant_t *xr = instance;
952         CONF_ITEM *ci;
953         CONF_ITEM *found = NULL;
954         char const *name;
955         xlat_t *xlat;
956
957         /*
958          *      Choose a child at random.
959          */
960         for (ci = cf_item_find_next(xr->cs, NULL);
961              ci != NULL;
962              ci = cf_item_find_next(xr->cs, ci)) {
963                 if (!cf_item_is_pair(ci)) continue;
964                 count++;
965
966                 /*
967                  *      Replace the previously found one with a random
968                  *      new one.
969                  */
970                 if ((count * (fr_rand() & 0xffff)) < (uint32_t) 0x10000) {
971                         found = ci;
972                 }
973         }
974
975         /*
976          *      Plain load balancing: do one child, and only one child.
977          */
978         if (xr->type == XLAT_LOAD_BALANCE) {
979                 name = cf_pair_attr(cf_item_to_pair(found));
980                 rad_assert(name != NULL);
981
982                 xlat = xlat_find(name);
983                 if (!xlat) return -1;
984
985                 return xlat->func(xlat->instance, request, fmt, out, outlen);
986         }
987
988         rad_assert(xr->type == XLAT_REDUNDANT_LOAD_BALANCE);
989
990         /*
991          *      Try the random one we found.  If it fails, keep going
992          *      through the rest of the children.
993          */
994         ci = found;
995         do {
996                 name = cf_pair_attr(cf_item_to_pair(ci));
997                 rad_assert(name != NULL);
998
999                 xlat = xlat_find(name);
1000                 if (xlat) {
1001                         ssize_t rcode;
1002
1003                         rcode = xlat->func(xlat->instance, request, fmt, out, outlen);
1004                         if (rcode > 0) return rcode;
1005                 }
1006
1007                 /*
1008                  *      Go to the next one, wrapping around at the end.
1009                  */
1010                 ci = cf_item_find_next(xr->cs, ci);
1011                 if (!ci) ci = cf_item_find_next(xr->cs, NULL);
1012         } while (ci != found);
1013
1014         return -1;
1015 }
1016
1017
1018 bool xlat_register_redundant(CONF_SECTION *cs)
1019 {
1020         char const *name1, *name2;
1021         xlat_redundant_t *xr;
1022
1023         name1 = cf_section_name1(cs);
1024         name2 = cf_section_name2(cs);
1025
1026         if (!name2) return false;
1027
1028         if (xlat_find(name2)) {
1029                 cf_log_err_cs(cs, "An expansion is already registered for this name");
1030                 return false;
1031         }
1032
1033         xr = talloc_zero(cs, xlat_redundant_t);
1034         if (!xr) return false;
1035
1036         if (strcmp(name1, "redundant") == 0) {
1037                 xr->type = XLAT_REDUNDANT;
1038
1039         } else if (strcmp(name1, "redundant-load-balance") == 0) {
1040                 xr->type = XLAT_REDUNDANT_LOAD_BALANCE;
1041
1042         } else if (strcmp(name1, "load-balance") == 0) {
1043                 xr->type = XLAT_LOAD_BALANCE;
1044
1045         } else {
1046                 return false;
1047         }
1048
1049         xr->cs = cs;
1050
1051         /*
1052          *      Get the number of children for load balancing.
1053          */
1054         if (xr->type == XLAT_REDUNDANT) {
1055                 if (xlat_register(name2, xlat_redundant, NULL, xr) < 0) {
1056                         talloc_free(xr);
1057                         return false;
1058                 }
1059
1060         } else {
1061                 CONF_ITEM *ci;
1062
1063                 for (ci = cf_item_find_next(cs, NULL);
1064                      ci != NULL;
1065                      ci = cf_item_find_next(cs, ci)) {
1066                         if (!cf_item_is_pair(ci)) continue;
1067
1068                         if (!xlat_find(cf_pair_attr(cf_item_to_pair(ci)))) {
1069                                 talloc_free(xr);
1070                                 return false;
1071                         }
1072
1073                         xr->count++;
1074                 }
1075
1076                 if (xlat_register(name2, xlat_load_balance, NULL, xr) < 0) {
1077                         talloc_free(xr);
1078                         return false;
1079                 }
1080         }
1081
1082         return true;
1083 }
1084
1085
1086 /** Crappy temporary function to add attribute ref support to xlats
1087  *
1088  * This needs to die, and hopefully will die, when xlat functions accept
1089  * xlat node structures.
1090  *
1091  * Provides either a pointer to a buffer which contains the value of the reference VALUE_PAIR
1092  * in an architecture independent format. Or a pointer to the start of the fmt string.
1093  *
1094  * The pointer is only guaranteed to be valid between calls to xlat_fmt_to_ref,
1095  * and so long as the source VALUE_PAIR is not freed.
1096  *
1097  * @param out where to write a pointer to the buffer to the data the xlat function needs to work on.
1098  * @param request current request.
1099  * @param fmt string.
1100  * @returns the length of the data or -1 on error.
1101  */
1102 ssize_t xlat_fmt_to_ref(uint8_t const **out, REQUEST *request, char const *fmt)
1103 {
1104         VALUE_PAIR *vp;
1105
1106         while (isspace((int) *fmt)) fmt++;
1107
1108         if (fmt[0] == '&') {
1109                 if ((radius_get_vp(&vp, request, fmt) < 0) || !vp) {
1110                         *out = NULL;
1111                         return -1;
1112                 }
1113
1114                 return rad_vp2data(out, vp);
1115         }
1116
1117         *out = (uint8_t const *)fmt;
1118         return strlen(fmt);
1119 }
1120
1121 /** De-register all xlat functions, used mainly for debugging.
1122  *
1123  */
1124 void xlat_free(void)
1125 {
1126         rbtree_free(xlat_root);
1127 }
1128
1129 #ifdef DEBUG_XLAT
1130 #  define XLAT_DEBUG DEBUG3
1131 #else
1132 #  define XLAT_DEBUG(...)
1133 #endif
1134
1135 static ssize_t xlat_tokenize_expansion(TALLOC_CTX *ctx, char *fmt, xlat_exp_t **head,
1136                                        char const **error);
1137 static ssize_t xlat_tokenize_literal(TALLOC_CTX *ctx, char *fmt, xlat_exp_t **head,
1138                                      bool brace, char const **error);
1139 static size_t xlat_process(char **out, REQUEST *request, xlat_exp_t const * const head,
1140                            xlat_escape_t escape, void *escape_ctx);
1141
1142 static ssize_t xlat_tokenize_alternation(TALLOC_CTX *ctx, char *fmt, xlat_exp_t **head,
1143                                          char const **error)
1144 {
1145         ssize_t slen;
1146         char *p;
1147         xlat_exp_t *node;
1148
1149         rad_assert(fmt[0] == '%');
1150         rad_assert(fmt[1] == '{');
1151         rad_assert(fmt[2] == '%');
1152         rad_assert(fmt[3] == '{');
1153
1154         XLAT_DEBUG("ALTERNATE <-- %s", fmt);
1155
1156         node = talloc_zero(ctx, xlat_exp_t);
1157         node->type = XLAT_ALTERNATE;
1158
1159         p = fmt + 2;
1160         slen = xlat_tokenize_expansion(node, p, &node->child, error);
1161         if (slen <= 0) {
1162                 talloc_free(node);
1163                 return slen - (p - fmt);
1164         }
1165         p += slen;
1166
1167         if (p[0] != ':') {
1168                 talloc_free(node);
1169                 *error = "Expected ':' after first expansion";
1170                 return -(p - fmt);
1171         }
1172         p++;
1173
1174         if (p[0] != '-') {
1175                 talloc_free(node);
1176                 *error = "Expected '-' after ':'";
1177                 return -(p - fmt);
1178         }
1179         p++;
1180
1181         /*
1182          *      Allow the RHS to be empty as a special case.
1183          */
1184         if (*p == '}') {
1185                 /*
1186                  *      Hack up an empty string.
1187                  */
1188                 node->alternate = talloc_zero(node, xlat_exp_t);
1189                 node->alternate->type = XLAT_LITERAL;
1190                 node->alternate->fmt = talloc_typed_strdup(node->alternate, "");
1191                 *(p++) = '\0';
1192
1193         } else {
1194                 slen = xlat_tokenize_literal(node, p,  &node->alternate, true, error);
1195                 if (slen <= 0) {
1196                         talloc_free(node);
1197                         return slen - (p - fmt);
1198                 }
1199
1200                 if (!node->alternate) {
1201                         talloc_free(node);
1202                         *error = "Empty expansion is invalid";
1203                         return -(p - fmt);
1204                 }
1205                 p += slen;
1206         }
1207
1208         *head = node;
1209         return p - fmt;
1210 }
1211
1212 static ssize_t xlat_tokenize_expansion(TALLOC_CTX *ctx, char *fmt, xlat_exp_t **head,
1213                                        char const **error)
1214 {
1215         ssize_t slen;
1216         char *p, *q;
1217         xlat_exp_t *node;
1218         long num;
1219
1220         rad_assert(fmt[0] == '%');
1221         rad_assert(fmt[1] == '{');
1222
1223         /*
1224          *      %{%{...}:-bar}
1225          */
1226         if ((fmt[2] == '%') && (fmt[3] == '{')) return xlat_tokenize_alternation(ctx, fmt, head, error);
1227
1228         XLAT_DEBUG("EXPANSION <-- %s", fmt);
1229         node = talloc_zero(ctx, xlat_exp_t);
1230         node->fmt = fmt + 2;
1231         node->len = 0;
1232
1233 #ifdef HAVE_REGEX
1234         /*
1235          *      Handle regex's specially.
1236          */
1237         p = fmt + 2;
1238         num = strtol(p, &q, 10);
1239         if (p != q && (*q == '}')) {
1240                 XLAT_DEBUG("REGEX <-- %s", fmt);
1241                 *q = '\0';
1242
1243                 if ((num > REQUEST_MAX_REGEX) || (num < 0)) {
1244                         talloc_free(node);
1245                         *error = "Invalid regex reference.  Must be in range 0-" STRINGIFY(REQUEST_MAX_REGEX);
1246                         return -2;
1247                 }
1248                 node->attr.tmpl_num = num;
1249
1250                 node->type = XLAT_REGEX;
1251                 *head = node;
1252
1253                 return (q - fmt) + 1;
1254         }
1255 #endif /* HAVE_REGEX */
1256
1257         /*
1258          *      %{Attr-Name}
1259          *      %{Attr-Name[#]}
1260          *      %{Tunnel-Password:1}
1261          *      %{Tunnel-Password:1[#]}
1262          *      %{request:Attr-Name}
1263          *      %{request:Tunnel-Password:1}
1264          *      %{request:Tunnel-Password:1[#]}
1265          *      %{mod:foo}
1266          */
1267
1268         /*
1269          *      This is for efficiency, so we don't search for an xlat,
1270          *      when what's being referenced is obviously an attribute.
1271          */
1272         p = fmt + 2;
1273         for (q = p; *q != '\0'; q++) {
1274                 if (*q == ':') break;
1275
1276                 if (isspace((int) *q)) break;
1277
1278                 if (*q == '[') continue;
1279
1280                 if (*q == '}') break;
1281         }
1282
1283         /*
1284          *      Check for empty expressions %{}
1285          */
1286         if ((*q == '}') && (q == p)) {
1287                 talloc_free(node);
1288                 *error = "Empty expression is invalid";
1289                 return -(p - fmt);
1290         }
1291
1292         /*
1293          *      Might be a module name reference.
1294          *
1295          *      If it's not, it's an attribute or parse error.
1296          */
1297         if (*q == ':') {
1298                 *q = '\0';
1299                 node->xlat = xlat_find(node->fmt);
1300                 if (node->xlat) {
1301                         /*
1302                          *      %{mod:foo}
1303                          */
1304                         node->type = XLAT_MODULE;
1305
1306                         p = q + 1;
1307                         XLAT_DEBUG("MOD <-- %s ... %s", node->fmt, p);
1308
1309                         slen = xlat_tokenize_literal(node, p, &node->child, true, error);
1310                         if (slen < 0) {
1311                                 talloc_free(node);
1312                                 return slen - (p - fmt);
1313                         }
1314                         p += slen;
1315
1316                         *head = node;
1317                         rad_assert(node->next == NULL);
1318
1319                         return p - fmt;
1320                 }
1321                 *q = ':';       /* Avoids a strdup */
1322         }
1323
1324         /*
1325          *      The first token ends with:
1326          *      - '[' - Which is an attribute index, so it must be an attribute.
1327          *      - '}' - The end of the expansion, which means it was a bareword.
1328          */
1329         slen = tmpl_from_attr_substr(&node->attr, p, REQUEST_CURRENT, PAIR_LIST_REQUEST, true, true);
1330         if (slen <= 0) {
1331                 /*
1332                  *      If the parse error occurred before the ':'
1333                  *      then the error is changed to 'Unknown module',
1334                  *      as it was more likely to be a bad module name,
1335                  *      than a request qualifier.
1336                  */
1337                 if ((*q == ':') && ((p + (slen * -1)) < q)) {
1338                         *error = "Unknown module";
1339                 } else {
1340                         *error = fr_strerror();
1341                 }
1342
1343                 talloc_free(node);
1344                 return slen - (p - fmt);
1345         }
1346
1347         /*
1348          *      Might be a virtual XLAT attribute
1349          */
1350         if (node->attr.type == TMPL_TYPE_ATTR_UNDEFINED) {
1351                 node->xlat = xlat_find(node->attr.tmpl_unknown_name);
1352                 if (node->xlat && node->xlat->instance && !node->xlat->internal) {
1353                         talloc_free(node);
1354                         *error = "Missing content in expansion";
1355                         return -(p - fmt) - slen;
1356                 }
1357
1358                 if (node->xlat) {
1359                         node->type = XLAT_VIRTUAL;
1360                         node->fmt = node->attr.tmpl_unknown_name;
1361
1362                         XLAT_DEBUG("VIRTUAL <-- %s", node->fmt);
1363                         *head = node;
1364                         rad_assert(node->next == NULL);
1365                         q++;
1366                         return q - fmt;
1367                 }
1368
1369                 talloc_free(node);
1370                 *error = "Unknown attribute";
1371                 return -(p - fmt);
1372         }
1373
1374         node->type = XLAT_ATTRIBUTE;
1375         p += slen;
1376
1377         if (*p != '}') {
1378                 talloc_free(node);
1379                 *error = "No matching closing brace";
1380                 return -1;      /* second character of format string */
1381         }
1382         *p++ = '\0';
1383         *head = node;
1384         rad_assert(node->next == NULL);
1385
1386         return p - fmt;
1387 }
1388
1389
1390 static ssize_t xlat_tokenize_literal(TALLOC_CTX *ctx, char *fmt, xlat_exp_t **head,
1391                                      bool brace, char const **error)
1392 {
1393         char *p;
1394         xlat_exp_t *node;
1395
1396         if (!*fmt) return 0;
1397
1398         XLAT_DEBUG("LITERAL <-- %s", fmt);
1399
1400         node = talloc_zero(ctx, xlat_exp_t);
1401         node->fmt = fmt;
1402         node->len = 0;
1403         node->type = XLAT_LITERAL;
1404
1405         p = fmt;
1406
1407         while (*p) {
1408                 if (*p == '\\') {
1409                         if (!p[1]) {
1410                                 talloc_free(node);
1411                                 *error = "Invalid escape at end of string";
1412                                 return -(p - fmt);
1413                         }
1414
1415                         p += 2;
1416                         node->len += 2;
1417                         continue;
1418                 }
1419
1420                 /*
1421                  *      Process the expansion.
1422                  */
1423                 if ((p[0] == '%') && (p[1] == '{')) {
1424                         ssize_t slen;
1425
1426                         XLAT_DEBUG("EXPANSION-2 <-- %s", node->fmt);
1427
1428                         slen = xlat_tokenize_expansion(node, p, &node->next, error);
1429                         if (slen <= 0) {
1430                                 talloc_free(node);
1431                                 return slen - (p - fmt);
1432                         }
1433                         *p = '\0'; /* end the literal */
1434                         p += slen;
1435
1436                         rad_assert(node->next != NULL);
1437
1438                         /*
1439                          *      Short-circuit the recursive call.
1440                          *      This saves another function call and
1441                          *      memory allocation.
1442                          */
1443                         if (!*p) break;
1444
1445                         /*
1446                          *      "foo %{User-Name} bar"
1447                          *      LITERAL         "foo "
1448                          *      EXPANSION       User-Name
1449                          *      LITERAL         " bar"
1450                          */
1451                         slen = xlat_tokenize_literal(node->next, p, &(node->next->next), brace, error);
1452                         rad_assert(slen != 0);
1453                         if (slen < 0) {
1454                                 talloc_free(node);
1455                                 return slen - (p - fmt);
1456                         }
1457
1458                         brace = false; /* it was found above, or else the above code errored out */
1459                         p += slen;
1460                         break;  /* stop processing the string */
1461                 }
1462
1463                 /*
1464                  *      Check for valid single-character expansions.
1465                  */
1466                 if (p[0] == '%') {
1467                         ssize_t slen;
1468                         xlat_exp_t *next;
1469
1470                         if (!p[1] || !strchr("%}dlmntDGHISTYv", p[1])) {
1471                                 talloc_free(node);
1472                                 *error = "Invalid variable expansion";
1473                                 p++;
1474                                 return - (p - fmt);
1475                         }
1476
1477                         next = talloc_zero(node, xlat_exp_t);
1478                         next->len = 1;
1479
1480                         switch (p[1]) {
1481                         case '%':
1482                         case '}':
1483                                 next->fmt = talloc_strndup(next, p + 1, 1);
1484
1485                                 XLAT_DEBUG("LITERAL-ESCAPED <-- %s", next->fmt);
1486                                 next->type = XLAT_LITERAL;
1487                                 break;
1488
1489                         default:
1490                                 next->fmt = p + 1;
1491
1492                                 XLAT_DEBUG("PERCENT <-- %c", *next->fmt);
1493                                 next->type = XLAT_PERCENT;
1494                                 break;
1495                         }
1496
1497                         node->next = next;
1498                         *p = '\0';
1499                         p += 2;
1500
1501                         if (!*p) break;
1502
1503                         /*
1504                          *      And recurse.
1505                          */
1506                         slen = xlat_tokenize_literal(node->next, p, &(node->next->next), brace, error);
1507                         rad_assert(slen != 0);
1508                         if (slen < 0) {
1509                                 talloc_free(node);
1510                                 return slen - (p - fmt);
1511                         }
1512
1513                         brace = false; /* it was found above, or else the above code errored out */
1514                         p += slen;
1515                         break;  /* stop processing the string */
1516                 }
1517
1518                 /*
1519                  *      If required, eat the brace.
1520                  */
1521                 if (brace && (*p == '}')) {
1522                         brace = false;
1523                         *p = '\0';
1524                         p++;
1525                         break;
1526                 }
1527
1528                 p++;
1529                 node->len++;
1530         }
1531
1532         /*
1533          *      We were told to look for a brace, but we ran off of
1534          *      the end of the string before we found one.
1535          */
1536         if (brace) {
1537                 *error = "Missing closing brace at end of string";
1538                 return -(p - fmt);
1539         }
1540
1541         /*
1542          *      Squash zero-width literals
1543          */
1544         if (node->len > 0) {
1545                 *head = node;
1546
1547         } else {
1548                 (void) talloc_steal(ctx, node->next);
1549                 *head = node->next;
1550                 talloc_free(node);
1551         }
1552
1553         return p - fmt;
1554 }
1555
1556
1557 static char const xlat_tabs[] = "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               ";
1558
1559 static void xlat_tokenize_debug(xlat_exp_t const *node, int lvl)
1560 {
1561         rad_assert(node != NULL);
1562
1563         if (lvl >= (int) sizeof(xlat_tabs)) lvl = sizeof(xlat_tabs);
1564
1565         while (node) {
1566                 switch (node->type) {
1567                 case XLAT_LITERAL:
1568                         DEBUG("%.*sliteral --> %s", lvl, xlat_tabs, node->fmt);
1569                         break;
1570
1571                 case XLAT_PERCENT:
1572                         DEBUG("%.*spercent --> %c", lvl, xlat_tabs, node->fmt[0]);
1573                         break;
1574
1575                 case XLAT_ATTRIBUTE:
1576                         rad_assert(node->attr.tmpl_da != NULL);
1577                         DEBUG("%.*sattribute --> %s", lvl, xlat_tabs, node->attr.tmpl_da->name);
1578                         rad_assert(node->child == NULL);
1579                         if ((node->attr.tmpl_tag != TAG_ANY) || (node->attr.tmpl_num != NUM_ANY)) {
1580                                 DEBUG("%.*s{", lvl, xlat_tabs);
1581
1582                                 DEBUG("%.*sref  %d", lvl + 1, xlat_tabs, node->attr.tmpl_request);
1583                                 DEBUG("%.*slist %d", lvl + 1, xlat_tabs, node->attr.tmpl_list);
1584
1585                                 if (node->attr.tmpl_tag != TAG_ANY) {
1586                                         DEBUG("%.*stag %d", lvl + 1, xlat_tabs, node->attr.tmpl_tag);
1587                                 }
1588                                 if (node->attr.tmpl_num != NUM_ANY) {
1589                                         if (node->attr.tmpl_num == NUM_COUNT) {
1590                                                 DEBUG("%.*s[#]", lvl + 1, xlat_tabs);
1591                                         } else if (node->attr.tmpl_num == NUM_ALL) {
1592                                                 DEBUG("%.*s[*]", lvl + 1, xlat_tabs);
1593                                         } else {
1594                                                 DEBUG("%.*s[%d]", lvl + 1, xlat_tabs, node->attr.tmpl_num);
1595                                         }
1596                                 }
1597
1598                                 DEBUG("%.*s}", lvl, xlat_tabs);
1599                         }
1600                         break;
1601
1602                 case XLAT_VIRTUAL:
1603                         rad_assert(node->fmt != NULL);
1604                         DEBUG("%.*svirtual --> %s", lvl, xlat_tabs, node->fmt);
1605                         break;
1606
1607                 case XLAT_MODULE:
1608                         rad_assert(node->xlat != NULL);
1609                         DEBUG("%.*sxlat --> %s", lvl, xlat_tabs, node->xlat->name);
1610                         if (node->child) {
1611                                 DEBUG("%.*s{", lvl, xlat_tabs);
1612                                 xlat_tokenize_debug(node->child, lvl + 1);
1613                                 DEBUG("%.*s}", lvl, xlat_tabs);
1614                         }
1615                         break;
1616
1617 #ifdef HAVE_REGEX
1618                 case XLAT_REGEX:
1619                         DEBUG("%.*sregex-var --> %d", lvl, xlat_tabs, node->attr.tmpl_num);
1620                         break;
1621 #endif
1622
1623                 case XLAT_ALTERNATE:
1624                         DEBUG("%.*sif {", lvl, xlat_tabs);
1625                         xlat_tokenize_debug(node->child, lvl + 1);
1626                         DEBUG("%.*s}", lvl, xlat_tabs);
1627                         DEBUG("%.*selse {", lvl, xlat_tabs);
1628                         xlat_tokenize_debug(node->alternate, lvl + 1);
1629                         DEBUG("%.*s}", lvl, xlat_tabs);
1630                         break;
1631                 }
1632                 node = node->next;
1633         }
1634 }
1635
1636 size_t xlat_sprint(char *buffer, size_t bufsize, xlat_exp_t const *node)
1637 {
1638         size_t len;
1639         char *p, *end;
1640
1641         if (!node) {
1642                 *buffer = '\0';
1643                 return 0;
1644         }
1645
1646         p = buffer;
1647         end = buffer + bufsize;
1648
1649         while (node) {
1650                 switch (node->type) {
1651                 case XLAT_LITERAL:
1652                         strlcpy(p, node->fmt, end - p);
1653                         p += strlen(p);
1654                         break;
1655
1656                 case XLAT_PERCENT:
1657                         p[0] = '%';
1658                         p[1] = node->fmt[0];
1659                         p += 2;
1660                         break;
1661
1662                 case XLAT_ATTRIBUTE:
1663                         *(p++) = '%';
1664                         *(p++) = '{';
1665
1666                         if (node->attr.tmpl_request != REQUEST_CURRENT) {
1667                                 strlcpy(p, fr_int2str(request_refs, node->attr.tmpl_request, "??"), end - p);
1668                                 p += strlen(p);
1669                                 *(p++) = '.';
1670                         }
1671
1672                         if ((node->attr.tmpl_request != REQUEST_CURRENT) ||
1673                             (node->attr.tmpl_list != PAIR_LIST_REQUEST)) {
1674                                 strlcpy(p, fr_int2str(pair_lists, node->attr.tmpl_list, "??"), end - p);
1675                                 p += strlen(p);
1676                                 *(p++) = ':';
1677                         }
1678
1679                         strlcpy(p, node->attr.tmpl_da->name, end - p);
1680                         p += strlen(p);
1681
1682                         if (node->attr.tmpl_tag != TAG_ANY) {
1683                                 *(p++) = ':';
1684                                 snprintf(p, end - p, "%u", node->attr.tmpl_tag);
1685                                 p += strlen(p);
1686                         }
1687
1688                         if (node->attr.tmpl_num != NUM_ANY) {
1689                                 *(p++) = '[';
1690                                 switch (node->attr.tmpl_num) {
1691                                 case NUM_COUNT:
1692                                         *(p++) = '#';
1693                                         break;
1694
1695                                 case NUM_ALL:
1696                                         *(p++) = '*';
1697                                         break;
1698
1699                                 default:
1700                                         snprintf(p, end - p, "%i", node->attr.tmpl_num);
1701                                         p += strlen(p);
1702                                 }
1703                                 *(p++) = ']';
1704                         }
1705                         *(p++) = '}';
1706                         break;
1707 #ifdef HAVE_REGEX
1708                 case XLAT_REGEX:
1709                         snprintf(p, end - p, "%%{%i}", node->attr.tmpl_num);
1710                         p += strlen(p);
1711                         break;
1712 #endif
1713                 case XLAT_VIRTUAL:
1714                         *(p++) = '%';
1715                         *(p++) = '{';
1716                         strlcpy(p, node->fmt, end - p);
1717                         p += strlen(p);
1718                         *(p++) = '}';
1719                         break;
1720
1721                 case XLAT_MODULE:
1722                         *(p++) = '%';
1723                         *(p++) = '{';
1724                         strlcpy(p, node->xlat->name, end - p);
1725                         p += strlen(p);
1726                         *(p++) = ':';
1727                         rad_assert(node->child != NULL);
1728                         len = xlat_sprint(p, end - p, node->child);
1729                         p += len;
1730                         *(p++) = '}';
1731                         break;
1732
1733                 case XLAT_ALTERNATE:
1734                         *(p++) = '%';
1735                         *(p++) = '{';
1736
1737                         len = xlat_sprint(p, end - p, node->child);
1738                         p += len;
1739
1740                         *(p++) = ':';
1741                         *(p++) = '-';
1742
1743                         len = xlat_sprint(p, end - p, node->alternate);
1744                         p += len;
1745
1746                         *(p++) = '}';
1747                         break;
1748                 }
1749
1750
1751                 if (p == end) break;
1752
1753                 node = node->next;
1754         }
1755
1756         *p = '\0';
1757
1758         return p - buffer;
1759 }
1760
1761 ssize_t xlat_tokenize(TALLOC_CTX *ctx, char *fmt, xlat_exp_t **head,
1762                       char const **error)
1763 {
1764         return xlat_tokenize_literal(ctx, fmt, head, false, error);
1765 }
1766
1767
1768 /** Tokenize an xlat expansion
1769  *
1770  * @param[in] request the input request.  Memory will be attached here.
1771  * @param[in] fmt the format string to expand
1772  * @param[out] head the head of the xlat list / tree structure.
1773  */
1774 static ssize_t xlat_tokenize_request(REQUEST *request, char const *fmt, xlat_exp_t **head)
1775 {
1776         ssize_t slen;
1777         char *tokens;
1778         char const *error = NULL;
1779
1780         *head = NULL;
1781
1782         /*
1783          *      Copy the original format string to a buffer so that
1784          *      the later functions can mangle it in-place, which is
1785          *      much faster.
1786          */
1787         tokens = talloc_typed_strdup(request, fmt);
1788         if (!tokens) return -1;
1789
1790         slen = xlat_tokenize_literal(request, tokens, head, false, &error);
1791
1792         /*
1793          *      Zero length expansion, return a zero length node.
1794          */
1795         if (slen == 0) {
1796                 *head = talloc_zero(request, xlat_exp_t);
1797         }
1798
1799         /*
1800          *      Output something like:
1801          *
1802          *      "format string"
1803          *      "       ^ error was here"
1804          */
1805         if (slen < 0) {
1806                 talloc_free(tokens);
1807                 rad_assert(error != NULL);
1808
1809                 REMARKER(fmt, -slen, error);
1810                 return slen;
1811         }
1812
1813         if (*head && (rad_debug_lvl > 2)) {
1814                 DEBUG("%s", fmt);
1815                 DEBUG("Parsed xlat tree:");
1816                 xlat_tokenize_debug(*head, 0);
1817         }
1818
1819         /*
1820          *      All of the nodes point to offsets in the "tokens"
1821          *      string.  Let's ensure that free'ing head will free
1822          *      "tokens", too.
1823          */
1824         (void) talloc_steal(*head, tokens);
1825
1826         return slen;
1827 }
1828
1829
1830 static char *xlat_getvp(TALLOC_CTX *ctx, REQUEST *request, vp_tmpl_t const *vpt,
1831                         bool escape, bool return_null)
1832 {
1833         VALUE_PAIR *vp = NULL, *virtual = NULL;
1834         RADIUS_PACKET *packet = NULL;
1835         DICT_VALUE *dv;
1836         char *ret = NULL;
1837
1838         vp_cursor_t cursor;
1839         char quote = escape ? '"' : '\0';
1840
1841         rad_assert((vpt->type == TMPL_TYPE_ATTR) || (vpt->type == TMPL_TYPE_LIST));
1842
1843         /*
1844          *      We only support count and concatenate operations on lists.
1845          */
1846         if (vpt->type == TMPL_TYPE_LIST) {
1847                 vp = tmpl_cursor_init(NULL, &cursor, request, vpt);
1848                 goto do_print;
1849         }
1850
1851         /*
1852          *      See if we're dealing with an attribute in the request
1853          *
1854          *      This allows users to manipulate virtual attributes as if
1855          *      they were real ones.
1856          */
1857         vp = tmpl_cursor_init(NULL, &cursor, request, vpt);
1858         if (vp) goto do_print;
1859
1860         /*
1861          *      We didn't find the VP in a list.
1862          *      If it's not a virtual one, and we're not meant to
1863          *      be counting it, return.
1864          */
1865         if (!vpt->tmpl_da->flags.virtual) {
1866                 if (vpt->tmpl_num == NUM_COUNT) goto do_print;
1867                 return NULL;
1868         }
1869
1870         /*
1871          *      Switch out the request to the one specified by the template
1872          */
1873         if (radius_request(&request, vpt->tmpl_request) < 0) return NULL;
1874
1875         /*
1876          *      Some non-packet expansions
1877          */
1878         switch (vpt->tmpl_da->attr) {
1879         default:
1880                 break;          /* ignore them */
1881
1882         case PW_CLIENT_SHORTNAME:
1883                 if (vpt->tmpl_num == NUM_COUNT) goto count_virtual;
1884                 if (request->client && request->client->shortname) {
1885                         return talloc_typed_strdup(ctx, request->client->shortname);
1886                 }
1887                 return talloc_typed_strdup(ctx, "<UNKNOWN-CLIENT>");
1888
1889         case PW_REQUEST_PROCESSING_STAGE:
1890                 if (vpt->tmpl_num == NUM_COUNT) goto count_virtual;
1891                 if (request->component) {
1892                         return talloc_typed_strdup(ctx, request->component);
1893                 }
1894                 return talloc_typed_strdup(ctx, "server_core");
1895
1896         case PW_VIRTUAL_SERVER:
1897                 if (vpt->tmpl_num == NUM_COUNT) goto count_virtual;
1898                 if (!request->server) return NULL;
1899                 return talloc_typed_strdup(ctx, request->server);
1900
1901         case PW_MODULE_RETURN_CODE:
1902                 if (vpt->tmpl_num == NUM_COUNT) goto count_virtual;
1903                 if (!request->rcode) return NULL;
1904                 return talloc_typed_strdup(ctx, fr_int2str(modreturn_table, request->rcode, ""));
1905         }
1906
1907         /*
1908          *      All of the attributes must now refer to a packet.
1909          *      If there's no packet, we can't print any attribute
1910          *      referencing it.
1911          */
1912         packet = radius_packet(request, vpt->tmpl_list);
1913         if (!packet) {
1914                 if (return_null) return NULL;
1915                 return vp_aprints_type(ctx, vpt->tmpl_da->type);
1916         }
1917
1918         vp = NULL;
1919         switch (vpt->tmpl_da->attr) {
1920         default:
1921                 break;
1922
1923         case PW_PACKET_TYPE:
1924                 dv = dict_valbyattr(PW_PACKET_TYPE, 0, packet->code);
1925                 if (dv) return talloc_typed_strdup(ctx, dv->name);
1926                 return talloc_typed_asprintf(ctx, "%d", packet->code);
1927
1928         case PW_RESPONSE_PACKET_TYPE:
1929         {
1930                 int code = 0;
1931
1932 #ifdef WITH_PROXY
1933                 if (request->proxy_reply && (!request->reply || !request->reply->code)) {
1934                         code = request->proxy_reply->code;
1935                 } else
1936 #endif
1937                         if (request->reply) {
1938                                 code = request->reply->code;
1939                         }
1940
1941                 return talloc_typed_strdup(ctx, fr_packet_codes[code]);
1942         }
1943
1944         /*
1945          *      Virtual attributes which require a temporary VALUE_PAIR
1946          *      to be allocated. We can't use stack allocated memory
1947          *      because of the talloc checks sprinkled throughout the
1948          *      various VP functions.
1949          */
1950         case PW_PACKET_AUTHENTICATION_VECTOR:
1951                 virtual = fr_pair_afrom_da(ctx, vpt->tmpl_da);
1952                 fr_pair_value_memcpy(virtual, packet->vector, sizeof(packet->vector));
1953                 vp = virtual;
1954                 break;
1955
1956         case PW_CLIENT_IP_ADDRESS:
1957         case PW_PACKET_SRC_IP_ADDRESS:
1958                 if (packet->src_ipaddr.af == AF_INET) {
1959                         virtual = fr_pair_afrom_da(ctx, vpt->tmpl_da);
1960                         virtual->vp_ipaddr = packet->src_ipaddr.ipaddr.ip4addr.s_addr;
1961                         vp = virtual;
1962                 }
1963                 break;
1964
1965         case PW_PACKET_DST_IP_ADDRESS:
1966                 if (packet->dst_ipaddr.af == AF_INET) {
1967                         virtual = fr_pair_afrom_da(ctx, vpt->tmpl_da);
1968                         virtual->vp_ipaddr = packet->dst_ipaddr.ipaddr.ip4addr.s_addr;
1969                         vp = virtual;
1970                 }
1971                 break;
1972
1973         case PW_PACKET_SRC_IPV6_ADDRESS:
1974                 if (packet->src_ipaddr.af == AF_INET6) {
1975                         virtual = fr_pair_afrom_da(ctx, vpt->tmpl_da);
1976                         memcpy(&virtual->vp_ipv6addr,
1977                                &packet->src_ipaddr.ipaddr.ip6addr,
1978                                sizeof(packet->src_ipaddr.ipaddr.ip6addr));
1979                         vp = virtual;
1980                 }
1981                 break;
1982
1983         case PW_PACKET_DST_IPV6_ADDRESS:
1984                 if (packet->dst_ipaddr.af == AF_INET6) {
1985                         virtual = fr_pair_afrom_da(ctx, vpt->tmpl_da);
1986                         memcpy(&virtual->vp_ipv6addr,
1987                                &packet->dst_ipaddr.ipaddr.ip6addr,
1988                                sizeof(packet->dst_ipaddr.ipaddr.ip6addr));
1989                         vp = virtual;
1990                 }
1991                 break;
1992
1993         case PW_PACKET_SRC_PORT:
1994                 virtual = fr_pair_afrom_da(ctx, vpt->tmpl_da);
1995                 virtual->vp_integer = packet->src_port;
1996                 vp = virtual;
1997                 break;
1998
1999         case PW_PACKET_DST_PORT:
2000                 virtual = fr_pair_afrom_da(ctx, vpt->tmpl_da);
2001                 virtual->vp_integer = packet->dst_port;
2002                 vp = virtual;
2003                 break;
2004         }
2005
2006         /*
2007          *      Fake various operations for virtual attributes.
2008          */
2009         if (virtual) {
2010                 if (vpt->tmpl_num != NUM_ANY) switch (vpt->tmpl_num) {
2011                 /*
2012                  *      [n] is NULL (we only have [0])
2013                  */
2014                 default:
2015                         goto finish;
2016                 /*
2017                  *      [*] means only one.
2018                  */
2019                 case NUM_ALL:
2020                         break;
2021
2022                 /*
2023                  *      [#] means 1 (as there's only one)
2024                  */
2025                 case NUM_COUNT:
2026                 count_virtual:
2027                         ret = talloc_strdup(ctx, "1");
2028                         goto finish;
2029
2030                 /*
2031                  *      [0] is fine (get the first instance)
2032                  */
2033                 case 0:
2034                         break;
2035                 }
2036                 goto print;
2037         }
2038
2039 do_print:
2040         switch (vpt->tmpl_num) {
2041         /*
2042          *      Return a count of the VPs.
2043          */
2044         case NUM_COUNT:
2045         {
2046                 int count = 0;
2047
2048                 for (vp = tmpl_cursor_init(NULL, &cursor, request, vpt);
2049                      vp;
2050                      vp = tmpl_cursor_next(&cursor, vpt)) count++;
2051
2052                 return talloc_typed_asprintf(ctx, "%d", count);
2053         }
2054
2055
2056         /*
2057          *      Concatenate all values together,
2058          *      separated by commas.
2059          */
2060         case NUM_ALL:
2061         {
2062                 char *p, *q;
2063
2064                 if (!fr_cursor_current(&cursor)) return NULL;
2065                 p = vp_aprints_value(ctx, vp, quote);
2066                 if (!p) return NULL;
2067
2068                 while ((vp = tmpl_cursor_next(&cursor, vpt)) != NULL) {
2069                         q = vp_aprints_value(ctx, vp, quote);
2070                         if (!q) return NULL;
2071                         p = talloc_strdup_append(p, ",");
2072                         p = talloc_strdup_append(p, q);
2073                 }
2074
2075                 return p;
2076         }
2077
2078         default:
2079                 /*
2080                  *      The cursor was set to the correct
2081                  *      position above by tmpl_cursor_init.
2082                  */
2083                 vp = fr_cursor_current(&cursor);
2084                 break;
2085         }
2086
2087         if (!vp) {
2088                 if (return_null) return NULL;
2089                 return vp_aprints_type(ctx, vpt->tmpl_da->type);
2090         }
2091
2092 print:
2093         ret = vp_aprints_value(ctx, vp, quote);
2094
2095 finish:
2096         talloc_free(virtual);
2097         return ret;
2098 }
2099
2100 #ifdef DEBUG_XLAT
2101 static const char xlat_spaces[] = "                                                                                                                                                                                                                                                                ";
2102 #endif
2103
2104 static char *xlat_aprint(TALLOC_CTX *ctx, REQUEST *request, xlat_exp_t const * const node,
2105                          xlat_escape_t escape, void *escape_ctx, int lvl)
2106 {
2107         ssize_t rcode;
2108         char *str = NULL, *child;
2109         char const *p;
2110
2111         XLAT_DEBUG("%.*sxlat aprint %d %s", lvl, xlat_spaces, node->type, node->fmt);
2112
2113         switch (node->type) {
2114                 /*
2115                  *      Don't escape this.
2116                  */
2117         case XLAT_LITERAL:
2118                 XLAT_DEBUG("xlat_aprint LITERAL");
2119                 return talloc_typed_strdup(ctx, node->fmt);
2120
2121                 /*
2122                  *      Do a one-character expansion.
2123                  */
2124         case XLAT_PERCENT:
2125         {
2126                 char *nl;
2127                 size_t freespace = 256;
2128                 struct tm ts;
2129                 time_t when;
2130
2131                 XLAT_DEBUG("xlat_aprint PERCENT");
2132
2133                 str = talloc_array(ctx, char, freespace); /* @todo do better allocation */
2134                 p = node->fmt;
2135
2136                 when = request->timestamp;
2137                 if (request->packet) {
2138                         when = request->packet->timestamp.tv_sec;
2139                 }
2140
2141                 switch (*p) {
2142                 case '%':
2143                         str[0] = '%';
2144                         str[1] = '\0';
2145                         break;
2146
2147                 case 'd': /* request day */
2148                         if (!localtime_r(&when, &ts)) goto error;
2149                         strftime(str, freespace, "%d", &ts);
2150                         break;
2151
2152                 case 'l': /* request timestamp */
2153                         snprintf(str, freespace, "%lu",
2154                                  (unsigned long) when);
2155                         break;
2156
2157                 case 'm': /* request month */
2158                         if (!localtime_r(&when, &ts)) goto error;
2159                         strftime(str, freespace, "%m", &ts);
2160                         break;
2161
2162                 case 'n': /* Request Number*/
2163                         snprintf(str, freespace, "%u", request->number);
2164                         break;
2165
2166                 case 't': /* request timestamp */
2167                         CTIME_R(&when, str, freespace);
2168                         nl = strchr(str, '\n');
2169                         if (nl) *nl = '\0';
2170                         break;
2171
2172                 case 'D': /* request date */
2173                         if (!localtime_r(&when, &ts)) goto error;
2174                         strftime(str, freespace, "%Y%m%d", &ts);
2175                         break;
2176
2177                 case 'G': /* request minute */
2178                         if (!localtime_r(&when, &ts)) goto error;
2179                         strftime(str, freespace, "%M", &ts);
2180                         break;
2181
2182                 case 'H': /* request hour */
2183                         if (!localtime_r(&when, &ts)) goto error;
2184                         strftime(str, freespace, "%H", &ts);
2185                         break;
2186
2187                 case 'I': /* Request ID */
2188                         if (request->packet) {
2189                                 snprintf(str, freespace, "%i", request->packet->id);
2190                         }
2191                         break;
2192
2193                 case 'S': /* request timestamp in SQL format*/
2194                         if (!localtime_r(&when, &ts)) goto error;
2195                         strftime(str, freespace, "%Y-%m-%d %H:%M:%S", &ts);
2196                         break;
2197
2198                 case 'T': /* request timestamp */
2199                         if (!localtime_r(&when, &ts)) goto error;
2200                         strftime(str, freespace, "%Y-%m-%d-%H.%M.%S.000000", &ts);
2201                         break;
2202
2203                 case 'Y': /* request year */
2204                         if (!localtime_r(&when, &ts)) {
2205                                 error:
2206                                 REDEBUG("Failed converting packet timestamp to localtime: %s", fr_syserror(errno));
2207                                 talloc_free(str);
2208                                 return NULL;
2209                         }
2210                         strftime(str, freespace, "%Y", &ts);
2211                         break;
2212
2213                 case 'v': /* Version of code */
2214                         RWDEBUG("%%v is deprecated and will be removed.  Use ${version.freeradius-server}");
2215                         snprintf(str, freespace, "%s", radiusd_version_short);
2216                         break;
2217
2218                 default:
2219                         rad_assert(0 == 1);
2220                         break;
2221                 }
2222         }
2223                 break;
2224
2225         case XLAT_ATTRIBUTE:
2226                 XLAT_DEBUG("xlat_aprint ATTRIBUTE");
2227
2228                 /*
2229                  *      Some attributes are virtual <sigh>
2230                  */
2231                 str = xlat_getvp(ctx, request, &node->attr, escape ? false : true, true);
2232                 if (str) {
2233                         XLAT_DEBUG("EXPAND attr %s", node->attr.tmpl_da->name);
2234                         XLAT_DEBUG("       ---> %s", str);
2235                 }
2236                 break;
2237
2238         case XLAT_VIRTUAL:
2239                 XLAT_DEBUG("xlat_aprint VIRTUAL");
2240                 str = talloc_array(ctx, char, 2048); /* FIXME: have the module call talloc_typed_asprintf */
2241                 rcode = node->xlat->func(node->xlat->instance, request, NULL, str, 2048);
2242                 if (rcode < 0) {
2243                         talloc_free(str);
2244                         return NULL;
2245                 }
2246                 RDEBUG2("EXPAND %s", node->xlat->name);
2247                 RDEBUG2("   --> %s", str);
2248                 break;
2249
2250         case XLAT_MODULE:
2251                 XLAT_DEBUG("xlat_aprint MODULE");
2252
2253                 if (node->child) {
2254                         if (xlat_process(&child, request, node->child, node->xlat->escape, node->xlat->instance) == 0) {
2255                                 return NULL;
2256                         }
2257
2258                         XLAT_DEBUG("%.*sEXPAND mod %s %s", lvl, xlat_spaces, node->fmt, node->child->fmt);
2259                 } else {
2260                         XLAT_DEBUG("%.*sEXPAND mod %s", lvl, xlat_spaces, node->fmt);
2261                         child = talloc_typed_strdup(ctx, "");
2262                 }
2263
2264                 XLAT_DEBUG("%.*s      ---> %s", lvl, xlat_spaces, child);
2265
2266                 /*
2267                  *      Smash \n --> CR.
2268                  *
2269                  *      The OUTPUT of xlat is a "raw" string.  The INPUT is a printable string.
2270                  *
2271                  *      This is really the reverse of fr_prints().
2272                  */
2273                 if (cf_new_escape && *child) {
2274                         ssize_t slen;
2275                         PW_TYPE type;
2276                         value_data_t data;
2277
2278                         type = PW_TYPE_STRING;
2279                         slen = value_data_from_str(request, &data, &type, NULL, child, talloc_array_length(child) - 1, '"');
2280                         if (slen <= 0) {
2281                                 talloc_free(child);
2282                                 return NULL;
2283                         }
2284
2285                         talloc_free(child);
2286                         child = data.ptr;
2287
2288                 } else {
2289                         char *q;
2290
2291                         p = q = child;
2292                         while (*p) {
2293                                 if (*p == '\\') switch (p[1]) {
2294                                         default:
2295                                                 *(q++) = p[1];
2296                                                 p += 2;
2297                                                 continue;
2298
2299                                         case 'n':
2300                                                 *(q++) = '\n';
2301                                                 p += 2;
2302                                                 continue;
2303
2304                                         case 't':
2305                                                 *(q++) = '\t';
2306                                                 p += 2;
2307                                                 continue;
2308                                         }
2309
2310                                 *(q++) = *(p++);
2311                         }
2312                         *q = '\0';
2313                 }
2314
2315                 str = talloc_array(ctx, char, 2048); /* FIXME: have the module call talloc_typed_asprintf */
2316                 *str = '\0';    /* Be sure the string is NULL terminated, we now only free on error */
2317
2318                 rcode = node->xlat->func(node->xlat->instance, request, child, str, 2048);
2319                 talloc_free(child);
2320                 if (rcode < 0) {
2321                         talloc_free(str);
2322                         return NULL;
2323                 }
2324                 break;
2325
2326 #ifdef HAVE_REGEX
2327         case XLAT_REGEX:
2328                 XLAT_DEBUG("xlat_aprint REGEX");
2329                 if (regex_request_to_sub(ctx, &str, request, node->attr.tmpl_num) < 0) return NULL;
2330
2331                 break;
2332 #endif
2333
2334         case XLAT_ALTERNATE:
2335                 XLAT_DEBUG("xlat_aprint ALTERNATE");
2336                 rad_assert(node->child != NULL);
2337                 rad_assert(node->alternate != NULL);
2338
2339                 str = xlat_aprint(ctx, request, node->child, escape, escape_ctx, lvl);
2340                 if (str) {
2341                         XLAT_DEBUG("ALTERNATE got string: %s", str);
2342                         break;
2343                 }
2344
2345                 XLAT_DEBUG("ALTERNATE going to alternate");
2346                 str = xlat_aprint(ctx, request, node->alternate, escape, escape_ctx, lvl);
2347                 break;
2348
2349         }
2350
2351         /*
2352          *      If there's no data, return that, instead of an empty string.
2353          */
2354         if (str && !str[0]) {
2355                 talloc_free(str);
2356                 return NULL;
2357         }
2358
2359         /*
2360          *      Escape the non-literals we found above.
2361          */
2362         if (str && escape) {
2363                 char *escaped;
2364
2365                 escaped = talloc_array(ctx, char, 2048); /* FIXME: do something intelligent */
2366                 escape(request, escaped, 2038, str, escape_ctx);
2367                 talloc_free(str);
2368                 str = escaped;
2369         }
2370
2371         return str;
2372 }
2373
2374
2375 static size_t xlat_process(char **out, REQUEST *request, xlat_exp_t const * const head,
2376                            xlat_escape_t escape, void *escape_ctx)
2377 {
2378         int i, list;
2379         size_t total;
2380         char **array, *answer;
2381         xlat_exp_t const *node;
2382
2383         *out = NULL;
2384
2385         /*
2386          *      There are no nodes to process, so the result is a zero
2387          *      length string.
2388          */
2389         if (!head) {
2390                 *out = talloc_zero_array(request, char, 1);
2391                 return 0;
2392         }
2393
2394         /*
2395          *      Hack for speed.  If it's one expansion, just allocate
2396          *      that and return, instead of allocating an intermediary
2397          *      array.
2398          */
2399         if (!head->next) {
2400                 /*
2401                  *      Pass the MAIN escape function.  Recursive
2402                  *      calls will call node-specific escape
2403                  *      functions.
2404                  */
2405                 answer = xlat_aprint(request, request, head, escape, escape_ctx, 0);
2406                 if (!answer) {
2407                         *out = talloc_zero_array(request, char, 1);
2408                         return 0;
2409                 }
2410                 *out = answer;
2411                 return strlen(answer);
2412         }
2413
2414         list = 0;               /* FIXME: calculate this once */
2415         for (node = head; node != NULL; node = node->next) {
2416                 list++;
2417         }
2418
2419         array = talloc_array(request, char *, list);
2420         if (!array) return -1;
2421
2422         for (node = head, i = 0; node != NULL; node = node->next, i++) {
2423                 array[i] = xlat_aprint(array, request, node, escape, escape_ctx, 0); /* may be NULL */
2424         }
2425
2426         total = 0;
2427         for (i = 0; i < list; i++) {
2428                 if (array[i]) total += strlen(array[i]); /* FIXME: calculate strlen once */
2429         }
2430
2431         if (!total) {
2432                 talloc_free(array);
2433                 *out = talloc_zero_array(request, char, 1);
2434                 return 0;
2435         }
2436
2437         answer = talloc_array(request, char, total + 1);
2438
2439         total = 0;
2440         for (i = 0; i < list; i++) {
2441                 size_t len;
2442
2443                 if (array[i]) {
2444                         len = strlen(array[i]);
2445                         memcpy(answer + total, array[i], len);
2446                         total += len;
2447                 }
2448         }
2449         answer[total] = '\0';
2450         talloc_free(array);     /* and child entries */
2451
2452         *out = answer;
2453         return total;
2454 }
2455
2456
2457 /** Replace %whatever in a string.
2458  *
2459  * See 'doc/configuration/variables.rst' for more information.
2460  *
2461  * @param[out] out Where to write pointer to output buffer.
2462  * @param[in] outlen Size of out.
2463  * @param[in] request current request.
2464  * @param[in] node the xlat structure to expand
2465  * @param[in] escape function to escape final value e.g. SQL quoting.
2466  * @param[in] escape_ctx pointer to pass to escape function.
2467  * @return length of string written @bug should really have -1 for failure
2468  */
2469 static ssize_t xlat_expand_struct(char **out, size_t outlen, REQUEST *request, xlat_exp_t const *node,
2470                                   xlat_escape_t escape, void *escape_ctx)
2471 {
2472         char *buff;
2473         ssize_t len;
2474
2475         rad_assert(node != NULL);
2476
2477         len = xlat_process(&buff, request, node, escape, escape_ctx);
2478         if ((len < 0) || !buff) {
2479                 rad_assert(buff == NULL);
2480                 if (*out) *out[0] = '\0';
2481                 return len;
2482         }
2483
2484         len = strlen(buff);
2485
2486         /*
2487          *      If out doesn't point to an existing buffer
2488          *      copy the pointer to our buffer over.
2489          */
2490         if (!*out) {
2491                 *out = buff;
2492                 return len;
2493         }
2494
2495         /*
2496          *      Otherwise copy the malloced buffer to the fixed one.
2497          */
2498         strlcpy(*out, buff, outlen);
2499         talloc_free(buff);
2500         return len;
2501 }
2502
2503 static ssize_t xlat_expand(char **out, size_t outlen, REQUEST *request, char const *fmt,
2504                            xlat_escape_t escape, void *escape_ctx) CC_HINT(nonnull (1, 3, 4));
2505
2506 /** Replace %whatever in a string.
2507  *
2508  * See 'doc/configuration/variables.rst' for more information.
2509  *
2510  * @param[out] out Where to write pointer to output buffer.
2511  * @param[in] outlen Size of out.
2512  * @param[in] request current request.
2513  * @param[in] fmt string to expand.
2514  * @param[in] escape function to escape final value e.g. SQL quoting.
2515  * @param[in] escape_ctx pointer to pass to escape function.
2516  * @return length of string written @bug should really have -1 for failure
2517  */
2518 static ssize_t xlat_expand(char **out, size_t outlen, REQUEST *request, char const *fmt,
2519                            xlat_escape_t escape, void *escape_ctx)
2520 {
2521         ssize_t len;
2522         xlat_exp_t *node;
2523
2524         /*
2525          *      Give better errors than the old code.
2526          */
2527         len = xlat_tokenize_request(request, fmt, &node);
2528         if (len == 0) {
2529                 if (*out) {
2530                         *out[0] = '\0';
2531                 } else {
2532                         *out = talloc_zero_array(request, char, 1);
2533                 }
2534                 return 0;
2535         }
2536
2537         if (len < 0) {
2538                 if (*out) *out[0] = '\0';
2539                 return -1;
2540         }
2541
2542         len = xlat_expand_struct(out, outlen, request, node, escape, escape_ctx);
2543         talloc_free(node);
2544
2545         RDEBUG2("EXPAND %s", fmt);
2546         RDEBUG2("   --> %s", *out);
2547
2548         return len;
2549 }
2550
2551 /** Try to convert an xlat to a tmpl for efficiency
2552  *
2553  * @param ctx to allocate new vp_tmpl_t in.
2554  * @param node to convert.
2555  * @return NULL if unable to convert (not necessarily error), or a new vp_tmpl_t.
2556  */
2557 vp_tmpl_t *xlat_to_tmpl_attr(TALLOC_CTX *ctx, xlat_exp_t *node)
2558 {
2559         vp_tmpl_t *vpt;
2560
2561         if (node->next || (node->type != XLAT_ATTRIBUTE) || (node->attr.type != TMPL_TYPE_ATTR)) return NULL;
2562
2563         /*
2564          *   Concat means something completely different as an attribute reference
2565          *   Count isn't implemented.
2566          */
2567         if ((node->attr.tmpl_num == NUM_COUNT) || (node->attr.tmpl_num == NUM_ALL)) return NULL;
2568
2569         vpt = tmpl_alloc(ctx, TMPL_TYPE_ATTR, node->fmt, -1);
2570         if (!vpt) return NULL;
2571         memcpy(&vpt->data, &node->attr.data, sizeof(vpt->data));
2572
2573         VERIFY_TMPL(vpt);
2574
2575         return vpt;
2576 }
2577
2578 /** Try to convert attr tmpl to an xlat for &attr[*] and artificially constructing expansions
2579  *
2580  * @param ctx to allocate new xlat_expt_t in.
2581  * @param vpt to convert.
2582  * @return NULL if unable to convert (not necessarily error), or a new vp_tmpl_t.
2583  */
2584 xlat_exp_t *xlat_from_tmpl_attr(TALLOC_CTX *ctx, vp_tmpl_t *vpt)
2585 {
2586         xlat_exp_t *node;
2587
2588         if (vpt->type != TMPL_TYPE_ATTR) return NULL;
2589
2590         node = talloc_zero(ctx, xlat_exp_t);
2591         node->type = XLAT_ATTRIBUTE;
2592         node->fmt = talloc_bstrndup(node, vpt->name, vpt->len);
2593         tmpl_init(&node->attr, TMPL_TYPE_ATTR, node->fmt, talloc_array_length(node->fmt) - 1);
2594         memcpy(&node->attr.data, &vpt->data, sizeof(vpt->data));
2595
2596         return node;
2597 }
2598
2599 ssize_t radius_xlat(char *out, size_t outlen, REQUEST *request, char const *fmt, xlat_escape_t escape, void *ctx)
2600 {
2601         return xlat_expand(&out, outlen, request, fmt, escape, ctx);
2602 }
2603
2604 ssize_t radius_xlat_struct(char *out, size_t outlen, REQUEST *request, xlat_exp_t const *xlat, xlat_escape_t escape, void *ctx)
2605 {
2606         return xlat_expand_struct(&out, outlen, request, xlat, escape, ctx);
2607 }
2608
2609 ssize_t radius_axlat(char **out, REQUEST *request, char const *fmt, xlat_escape_t escape, void *ctx)
2610 {
2611         return xlat_expand(out, 0, request, fmt, escape, ctx);
2612 }
2613
2614 ssize_t radius_axlat_struct(char **out, REQUEST *request, xlat_exp_t const *xlat, xlat_escape_t escape, void *ctx)
2615 {
2616         return xlat_expand_struct(out, 0, request, xlat, escape, ctx);
2617 }