Add PW_TYPE_COMBO_IP_PREFIX (conffile parser only)
[freeradius.git] / src / lib / valuepair.c
1 /*
2  * valuepair.c  Functions to handle VALUE_PAIRs
3  *
4  * Version:     $Id$
5  *
6  *   This library is free software; you can redistribute it and/or
7  *   modify it under the terms of the GNU Lesser General Public
8  *   License as published by the Free Software Foundation; either
9  *   version 2.1 of the License, or (at your option) any later version.
10  *
11  *   This library is distributed in the hope that it will be useful,
12  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
13  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
14  *   Lesser General Public License for more details.
15  *
16  *   You should have received a copy of the GNU Lesser General Public
17  *   License along with this library; if not, write to the Free Software
18  *   Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
19  *
20  * Copyright 2000,2006  The FreeRADIUS server project
21  */
22
23 RCSID("$Id$")
24
25 #include <freeradius-devel/libradius.h>
26
27 #include <ctype.h>
28
29 #ifdef HAVE_PCREPOSIX_H
30 #  define WITH_REGEX
31 #  include <pcreposix.h>
32 #elif defined(HAVE_REGEX_H)
33 #  include <regex.h>
34 #  define WITH_REGEX
35
36 /*
37  *  For POSIX Regular expressions.
38  *  (0) Means no extended regular expressions.
39  *  REG_EXTENDED means use extended regular expressions.
40  */
41 #  ifndef REG_EXTENDED
42 #    define REG_EXTENDED (0)
43 #  endif
44
45 #  ifndef REG_NOSUB
46 #    define REG_NOSUB (0)
47 #  endif
48 #endif
49
50 #define attribute_eq(_x, _y) ((_x && _y) && (_x->da == _y->da) && (_x->tag == _y->tag))
51
52 /** Free a VALUE_PAIR
53  *
54  * @note Do not call directly, use talloc_free instead.
55  *
56  * @param vp to free.
57  * @return 0
58  */
59 static int _pairfree(VALUE_PAIR *vp) {
60         /*
61          *      The lack of DA means something has gone wrong
62          */
63         if (!vp->da) {
64                 fr_strerror_printf("VALUE_PAIR has NULL DICT_ATTR pointer (probably already freed)");
65         /*
66          *      Only free the DICT_ATTR if it was dynamically allocated
67          *      and was marked for free when the VALUE_PAIR is freed.
68          *
69          *      @fixme This is an awful hack and needs to be removed once DICT_ATTRs are allocated by talloc.
70          */
71         } else if (vp->da->flags.vp_free) {
72                 dict_attr_free(&(vp->da));
73         }
74
75 #ifndef NDEBUG
76         vp->vp_integer = 0xf4eef4ee;
77 #endif
78
79 #ifdef TALLOC_DEBUG
80         talloc_report_depth_cb(NULL, 0, -1, fr_talloc_verify_cb, NULL);
81 #endif
82         return 0;
83 }
84
85 /** Dynamically allocate a new attribute
86  *
87  * Allocates a new attribute and a new dictionary attr if no DA is provided.
88  *
89  * @param[in] ctx for allocated memory, usually a pointer to a RADIUS_PACKET
90  * @param[in] da Specifies the dictionary attribute to build the VP from.
91  * @return a new value pair or NULL if an error occurred.
92  */
93 VALUE_PAIR *pairalloc(TALLOC_CTX *ctx, DICT_ATTR const *da)
94 {
95         VALUE_PAIR *vp;
96
97         /*
98          *      Caller must specify a da else we don't know what the attribute type is.
99          */
100         if (!da) {
101                 fr_strerror_printf("Invalid arguments");
102                 return NULL;
103         }
104
105         vp = talloc_zero(ctx, VALUE_PAIR);
106         if (!vp) {
107                 fr_strerror_printf("Out of memory");
108                 return NULL;
109         }
110
111         vp->da = da;
112         vp->op = T_OP_EQ;
113         vp->tag = TAG_ANY;
114         vp->type = VT_NONE;
115
116         vp->length = da->flags.length;
117
118         talloc_set_destructor(vp, _pairfree);
119
120         return vp;
121 }
122
123 /** Create a new valuepair
124  *
125  * If attr and vendor match a dictionary entry then a VP with that DICT_ATTR
126  * will be returned.
127  *
128  * If attr or vendor are uknown will call dict_attruknown to create a dynamic
129  * DICT_ATTR of PW_TYPE_OCTETS.
130  *
131  * Which type of DICT_ATTR the VALUE_PAIR was created with can be determined by
132  * checking @verbatim vp->da->flags.is_unknown @endverbatim.
133  *
134  * @param[in] ctx for allocated memory, usually a pointer to a RADIUS_PACKET
135  * @param[in] attr number.
136  * @param[in] vendor number.
137  * @return the new valuepair or NULL on error.
138  */
139 VALUE_PAIR *paircreate(TALLOC_CTX *ctx, unsigned int attr, unsigned int vendor)
140 {
141         DICT_ATTR const *da;
142
143         da = dict_attrbyvalue(attr, vendor);
144         if (!da) {
145                 da = dict_attrunknown(attr, vendor, true);
146                 if (!da) {
147                         return NULL;
148                 }
149         }
150
151         return pairalloc(ctx, da);
152 }
153
154 /** Free memory used by a valuepair list.
155  *
156  * @todo TLV: needs to free all dependents of each VP freed.
157  */
158 void pairfree(VALUE_PAIR **vps)
159 {
160         VALUE_PAIR      *vp;
161         vp_cursor_t     cursor;
162
163         if (!vps || !*vps) {
164                 return;
165         }
166
167         for (vp = fr_cursor_init(&cursor, vps);
168              vp;
169              vp = fr_cursor_next(&cursor)) {
170                 VERIFY_VP(vp);
171                 talloc_free(vp);
172         }
173
174         *vps = NULL;
175 }
176
177 /** Mark malformed or unrecognised attributed as unknown
178  *
179  * @param vp to change DICT_ATTR of.
180  * @return 0 on success (or if already unknown) else -1 on error.
181  */
182 int pair2unknown(VALUE_PAIR *vp)
183 {
184         DICT_ATTR const *da;
185
186         VERIFY_VP(vp);
187         if (vp->da->flags.is_unknown) {
188                 return 0;
189         }
190
191         da = dict_attrunknown(vp->da->attr, vp->da->vendor, true);
192         if (!da) {
193                 return -1;
194         }
195
196         vp->da = da;
197
198         return 0;
199 }
200
201 /** Find the pair with the matching DAs
202  *
203  */
204 VALUE_PAIR *pairfind_da(VALUE_PAIR *vp, DICT_ATTR const *da, int8_t tag)
205 {
206         vp_cursor_t     cursor;
207         VALUE_PAIR      *i;
208
209         if(!fr_assert(da)) {
210                  return NULL;
211         }
212
213         for (i = fr_cursor_init(&cursor, &vp);
214              i;
215              i = fr_cursor_next(&cursor)) {
216                 VERIFY_VP(i);
217                 if ((i->da == da) && (!i->da->flags.has_tag || TAG_EQ(tag, i->tag))) {
218                         return i;
219                 }
220         }
221
222         return NULL;
223 }
224
225
226 /** Find the pair with the matching attribute
227  *
228  * @todo should take DAs and do a pointer comparison.
229  */
230 VALUE_PAIR *pairfind(VALUE_PAIR *vp, unsigned int attr, unsigned int vendor, int8_t tag)
231 {
232         vp_cursor_t     cursor;
233         VALUE_PAIR      *i;
234
235         VERIFY_LIST(vp);
236
237         for (i = fr_cursor_init(&cursor, &vp);
238              i;
239              i = fr_cursor_next(&cursor)) {
240                 if ((i->da->attr == attr) && (i->da->vendor == vendor) && \
241                     (!i->da->flags.has_tag || TAG_EQ(tag, i->tag))) {
242                         return i;
243                 }
244         }
245
246         return NULL;
247 }
248
249 /** Delete matching pairs
250  *
251  * Delete matching pairs from the attribute list.
252  *
253  * @param[in,out] first VP in list.
254  * @param[in] attr to match.
255  * @param[in] vendor to match.
256  * @param[in] tag to match. TAG_ANY matches any tag, TAG_NONE matches tagless VPs.
257  *
258  * @todo should take DAs and do a point comparison.
259  */
260 void pairdelete(VALUE_PAIR **first, unsigned int attr, unsigned int vendor,
261                 int8_t tag)
262 {
263         VALUE_PAIR *i, *next;
264         VALUE_PAIR **last = first;
265
266         for(i = *first; i; i = next) {
267                 VERIFY_VP(i);
268                 next = i->next;
269                 if ((i->da->attr == attr) && (i->da->vendor == vendor) &&
270                     (!i->da->flags.has_tag || TAG_EQ(tag, i->tag))) {
271                         *last = next;
272                         talloc_free(i);
273                 } else {
274                         last = &i->next;
275                 }
276         }
277 }
278
279 /** Add a VP to the end of the list.
280  *
281  * Locates the end of 'first', and links an additional VP 'add' at the end.
282  *
283  * @param[in] first VP in linked list. Will add new VP to the end of this list.
284  * @param[in] add VP to add to list.
285  */
286 void pairadd(VALUE_PAIR **first, VALUE_PAIR *add)
287 {
288         VALUE_PAIR *i;
289
290         if (!add) return;
291
292         VERIFY_VP(add);
293
294         if (*first == NULL) {
295                 *first = add;
296                 return;
297         }
298         for(i = *first; i->next; i = i->next)
299                 VERIFY_VP(i);
300         i->next = add;
301 }
302
303 /** Replace all matching VPs
304  *
305  * Walks over 'first', and replaces the first VP that matches 'replace'.
306  *
307  * @note Memory used by the VP being replaced will be freed.
308  * @note Will not work with unknown attributes.
309  *
310  * @param[in,out] first VP in linked list. Will search and replace in this list.
311  * @param[in] replace VP to replace.
312  */
313 void pairreplace(VALUE_PAIR **first, VALUE_PAIR *replace)
314 {
315         VALUE_PAIR *i, *next;
316         VALUE_PAIR **prev = first;
317
318         VERIFY_VP(replace);
319
320         if (*first == NULL) {
321                 *first = replace;
322                 return;
323         }
324
325         /*
326          *      Not an empty list, so find item if it is there, and
327          *      replace it. Note, we always replace the first one, and
328          *      we ignore any others that might exist.
329          */
330         for(i = *first; i; i = next) {
331                 VERIFY_VP(i);
332                 next = i->next;
333
334                 /*
335                  *      Found the first attribute, replace it,
336                  *      and return.
337                  */
338                 if ((i->da == replace->da) && (!i->da->flags.has_tag || TAG_EQ(replace->tag, i->tag))) {
339                         *prev = replace;
340
341                         /*
342                          *      Should really assert that replace->next == NULL
343                          */
344                         replace->next = next;
345                         talloc_free(i);
346                         return;
347                 }
348
349                 /*
350                  *      Point to where the attribute should go.
351                  */
352                 prev = &i->next;
353         }
354
355         /*
356          *      If we got here, we didn't find anything to replace, so
357          *      stopped at the last item, which we just append to.
358          */
359         *prev = replace;
360 }
361
362 int8_t attrtagcmp(void const *a, void const *b)
363 {
364         VALUE_PAIR const *my_a = a;
365         VALUE_PAIR const *my_b = b;
366
367         VERIFY_VP(my_a);
368         VERIFY_VP(my_b);
369
370         uint8_t cmp;
371
372         cmp = fr_pointer_cmp(my_a->da, my_b->da);
373
374         if (cmp != 0) return cmp;
375
376         if (my_a->tag < my_b->tag) {
377                 return -1;
378         }
379
380         if (my_a->tag > my_b->tag) {
381                 return 1;
382         }
383
384         return 0;
385 }
386
387 static void pairsort_split(VALUE_PAIR *source, VALUE_PAIR **front, VALUE_PAIR **back)
388 {
389         VALUE_PAIR *fast;
390         VALUE_PAIR *slow;
391
392         /*
393          *      Stopping condition - no more elements left to split
394          */
395         if (!source || !source->next) {
396                 *front = source;
397                 *back = NULL;
398
399                 return;
400         }
401
402         /*
403          *      Fast advances twice as fast as slow, so when it gets to the end,
404          *      slow will point to the middle of the linked list.
405          */
406         slow = source;
407         fast = source->next;
408
409         while (fast) {
410                 fast = fast->next;
411                 if (fast) {
412                         slow = slow->next;
413                         fast = fast->next;
414                 }
415         }
416
417         *front = source;
418         *back = slow->next;
419         slow->next = NULL;
420 }
421
422 static VALUE_PAIR *pairsort_merge(VALUE_PAIR *a, VALUE_PAIR *b, fr_cmp_t cmp)
423 {
424         VALUE_PAIR *result = NULL;
425
426         if (!a) return b;
427         if (!b) return a;
428
429         /*
430          *      Compare the DICT_ATTRs and tags
431          */
432         if (cmp(a, b) <= 0) {
433                 result = a;
434                 result->next = pairsort_merge(a->next, b, cmp);
435         } else {
436                 result = b;
437                 result->next = pairsort_merge(a, b->next, cmp);
438         }
439
440         return result;
441 }
442
443 /** Sort a linked list of VALUE_PAIRs using merge sort
444  *
445  * @param[in,out] vps List of VALUE_PAIRs to sort.
446  * @param[in] cmp to sort with
447  */
448 void pairsort(VALUE_PAIR **vps, fr_cmp_t cmp)
449 {
450         VALUE_PAIR *head = *vps;
451         VALUE_PAIR *a;
452         VALUE_PAIR *b;
453
454         /*
455          *      If there's 0-1 elements it must already be sorted.
456          */
457         if (!head || !head->next) {
458                 return;
459         }
460
461         pairsort_split(head, &a, &b);   /* Split into sublists */
462         pairsort(&a, cmp);              /* Traverse left */
463         pairsort(&b, cmp);              /* Traverse right */
464
465         /*
466          *      merge the two sorted lists together
467          */
468         *vps = pairsort_merge(a, b, cmp);
469 }
470
471 /** Write an error to the library errorbuff detailing the mismatch
472  *
473  * Retrieve output with fr_strerror();
474  *
475  * @todo add thread specific talloc contexts.
476  *
477  * @param ctx a hack until we have thread specific talloc contexts.
478  * @param failed pair of attributes which didn't match.
479  */
480 void pairvalidate_debug(TALLOC_CTX *ctx, VALUE_PAIR const *failed[2])
481 {
482         VALUE_PAIR const *filter = failed[0];
483         VALUE_PAIR const *list = failed[1];
484
485         char *value, *pair;
486
487         (void) fr_strerror();   /* Clear any existing messages */
488
489         if (!fr_assert(!(!filter && !list))) return;
490
491         if (!list) {
492                 if (!filter) return;
493                 fr_strerror_printf("Attribute \"%s\" not found in list", filter->da->name);
494                 return;
495         }
496
497         if (!filter || (filter->da != list->da)) {
498                 fr_strerror_printf("Attribute \"%s\" not found in filter", list->da->name);
499                 return;
500         }
501
502         if (TAG_EQ(filter->tag, list->tag)) {
503                 fr_strerror_printf("Attribute \"%s\" tag \"%i\" didn't match filter tag \"%i\"",
504                                    list->da->name, list->tag, filter->tag);
505                 return;
506         }
507
508         pair = vp_aprint(ctx, filter);
509         value = vp_aprint_value(ctx, list);
510
511         fr_strerror_printf("Attribute value \"%s\" didn't match filter \"%s\"", value, pair);
512
513         talloc_free(pair);
514         talloc_free(value);
515
516         return;
517 }
518
519 /** Uses paircmp to verify all VALUE_PAIRs in list match the filter defined by check
520  *
521  * @note will sort both filter and list in place.
522  *
523  * @param failed pointer to an array to write the pointers of the filter/list attributes that didn't match.
524  *        May be NULL.
525  * @param filter attributes to check list against.
526  * @param list attributes, probably a request or reply
527  */
528 bool pairvalidate(VALUE_PAIR const *failed[2], VALUE_PAIR *filter, VALUE_PAIR *list)
529 {
530         vp_cursor_t filter_cursor;
531         vp_cursor_t list_cursor;
532
533         VALUE_PAIR *check, *match;
534
535         if (!filter && !list) {
536                 return true;
537         }
538
539         /*
540          *      This allows us to verify the sets of validate and reply are equal
541          *      i.e. we have a validate rule which matches every reply attribute.
542          *
543          *      @todo this should be removed one we have sets and lists
544          */
545         pairsort(&filter, attrtagcmp);
546         pairsort(&list, attrtagcmp);
547
548         check = fr_cursor_init(&filter_cursor, &filter);
549         match = fr_cursor_init(&list_cursor, &list);
550
551         while (true) {
552                 if (!match && !check) goto mismatch;
553
554                 /*
555                  *      The lists are sorted, so if the first
556                  *      attributes aren't of the same type, then we're
557                  *      done.
558                  */
559                 if (!attribute_eq(check, match)) goto mismatch;
560
561                 /*
562                  *      They're of the same type, but don't have the
563                  *      same values.  This is a problem.
564                  *
565                  *      Note that the RFCs say that for attributes of
566                  *      the same type, order is important.
567                  */
568                 if (!paircmp(check, match)) goto mismatch;
569
570                 check = fr_cursor_next(&filter_cursor);
571                 match = fr_cursor_next(&list_cursor);
572
573                 /*
574                  *      One list ended earlier than the others, they
575                  *      didn't match.
576                  */
577                 if (!match || !check) break;
578         }
579
580         return true;
581
582 mismatch:
583         if (failed) {
584                 failed[0] = check;
585                 failed[1] = match;
586         }
587         return false;
588 }
589
590 /** Uses paircmp to verify all VALUE_PAIRs in list match the filter defined by check
591  *
592  * @note will sort both filter and list in place.
593  *
594  * @param failed pointer to an array to write the pointers of the filter/list attributes that didn't match.
595  *        May be NULL.
596  * @param filter attributes to check list against.
597  * @param list attributes, probably a request or reply
598  */
599 bool pairvalidate_relaxed(VALUE_PAIR const *failed[2], VALUE_PAIR *filter, VALUE_PAIR *list)
600 {
601         vp_cursor_t filter_cursor;
602         vp_cursor_t list_cursor;
603
604         VALUE_PAIR *check, *last_check = NULL, *match = NULL;
605
606         if (!filter && !list) {
607                 return true;
608         }
609
610         /*
611          *      This allows us to verify the sets of validate and reply are equal
612          *      i.e. we have a validate rule which matches every reply attribute.
613          *
614          *      @todo this should be removed one we have sets and lists
615          */
616         pairsort(&filter, attrtagcmp);
617         pairsort(&list, attrtagcmp);
618
619         fr_cursor_init(&list_cursor, &list);
620         for (check = fr_cursor_init(&filter_cursor, &filter);
621              check;
622              check = fr_cursor_next(&filter_cursor)) {
623                 /*
624                  *      Were processing check attributes of a new type.
625                  */
626                 if (!attribute_eq(last_check, check)) {
627                         /*
628                          *      Record the start of the matching attributes in the pair list
629                          *      For every other operator we require the match to be present
630                          */
631                         match = fr_cursor_next_by_da(&list_cursor, check->da, check->tag);
632                         if (!match) {
633                                 if (check->op == T_OP_CMP_FALSE) continue;
634                                 goto mismatch;
635                         }
636
637                         fr_cursor_init(&list_cursor, &match);
638                         last_check = check;
639                 }
640
641                 /*
642                  *      Now iterate over all attributes of the same type.
643                  */
644                 for (match = fr_cursor_first(&list_cursor);
645                      attribute_eq(match, check);
646                      match = fr_cursor_next(&list_cursor)) {
647                         /*
648                          *      This attribute passed the filter
649                          */
650                         if (!paircmp(check, match)) goto mismatch;
651                 }
652         }
653
654         return true;
655
656 mismatch:
657         if (failed) {
658                 failed[0] = check;
659                 failed[1] = match;
660         }
661         return false;
662 }
663
664 /** Copy a single valuepair
665  *
666  * Allocate a new valuepair and copy the da from the old vp.
667  *
668  * @param[in] ctx for talloc
669  * @param[in] vp to copy.
670  * @return a copy of the input VP or NULL on error.
671  */
672 VALUE_PAIR *paircopyvp(TALLOC_CTX *ctx, VALUE_PAIR const *vp)
673 {
674         VALUE_PAIR *n;
675
676         if (!vp) return NULL;
677
678         VERIFY_VP(vp);
679
680         n = pairalloc(ctx, vp->da);
681         if (!n) return NULL;
682
683         memcpy(n, vp, sizeof(*n));
684
685         /*
686          *      Now copy the value
687          */
688         if (vp->type == VT_XLAT) {
689                 n->value.xlat = talloc_typed_strdup(n, n->value.xlat);
690         }
691
692         n->da = dict_attr_copy(vp->da, true);
693         if (!n->da) {
694                 talloc_free(n);
695                 return NULL;
696         }
697
698         n->next = NULL;
699
700         switch (vp->da->type) {
701         case PW_TYPE_TLV:
702         case PW_TYPE_OCTETS:
703                 n->vp_octets = NULL;    /* else pairmemcpy will free vp's value */
704                 pairmemcpy(n, vp->vp_octets, n->length);
705                 break;
706
707         case PW_TYPE_STRING:
708                 n->vp_strvalue = NULL;  /* else pairstrnpy will free vp's value */
709                 pairstrncpy(n, vp->vp_strvalue, n->length);
710                 break;
711
712         default:
713                 break;
714         }
715
716         return n;
717 }
718
719 /** Copy data from one VP to another
720  *
721  * Allocate a new pair using da, and copy over the value from the specified
722  * vp.
723  *
724  * @todo Should be able to do type conversions.
725  *
726  * @param[in] ctx for talloc
727  * @param[in] da of new attribute to alloc.
728  * @param[in] vp to copy data from.
729  * @return the new valuepair.
730  */
731 VALUE_PAIR *paircopyvpdata(TALLOC_CTX *ctx, DICT_ATTR const *da, VALUE_PAIR const *vp)
732 {
733         VALUE_PAIR *n;
734
735         if (!vp) return NULL;
736
737         VERIFY_VP(vp);
738
739         /*
740          *      The types have to be identical, OR the "from" VP has
741          *      to be octets.
742          */
743         if (da->type != vp->da->type) {
744                 int length;
745                 uint8_t *p;
746                 VALUE_PAIR const **pvp;
747
748                 if (vp->da->type == PW_TYPE_OCTETS) {
749                         /*
750                          *      Decode the data.  It may be wrong!
751                          */
752                         if (rad_data2vp(da->attr, da->vendor, vp->vp_octets, vp->length, &n) < 0) {
753                                 return NULL;
754                         }
755
756                         n->type = VT_DATA;
757                         return n;
758                 }
759
760                 /*
761                  *      Else the destination type is octets
762                  */
763                 switch (vp->da->type) {
764                 default:
765                         return NULL; /* can't do it */
766
767                 case PW_TYPE_INTEGER:
768                 case PW_TYPE_IPADDR:
769                 case PW_TYPE_DATE:
770                 case PW_TYPE_IFID:
771                 case PW_TYPE_IPV6ADDR:
772                 case PW_TYPE_IPV6PREFIX:
773                 case PW_TYPE_BYTE:
774                 case PW_TYPE_SHORT:
775                 case PW_TYPE_ETHERNET:
776                 case PW_TYPE_SIGNED:
777                 case PW_TYPE_INTEGER64:
778                 case PW_TYPE_IPV4PREFIX:
779                         break;
780                 }
781
782                 n = pairalloc(ctx, da);
783                 if (!n) return NULL;
784
785                 p = talloc_array(n, uint8_t, dict_attr_sizes[vp->da->type][1] + 2);
786
787                 pvp = &vp;
788                 length = rad_vp2attr(NULL, NULL, NULL, pvp, p, dict_attr_sizes[vp->da->type][1]);
789                 if (length < 0) {
790                         pairfree(&n);
791                         return NULL;
792                 }
793
794                 pairmemcpy(n, p + 2, length - 2);
795                 talloc_free(p);
796                 return n;
797         }
798
799         n = pairalloc(ctx, da);
800         if (!n) return NULL;
801
802         memcpy(n, vp, sizeof(*n));
803         n->da = da;
804
805         if (n->type == VT_XLAT) {
806                 n->value.xlat = talloc_typed_strdup(n, n->value.xlat);
807         }
808
809         if (n->data.ptr) switch (n->da->type) {
810         case PW_TYPE_TLV:
811         case PW_TYPE_OCTETS:
812                 n->vp_octets = talloc_memdup(n, vp->vp_octets, n->length);
813                 talloc_set_type(n->vp_octets, uint8_t);
814                 break;
815
816         case PW_TYPE_STRING:
817                 n->vp_strvalue = talloc_memdup(n, vp->vp_strvalue, n->length + 1);      /* NULL byte */
818                 talloc_set_type(n->vp_strvalue, char);
819                 break;
820
821         default:
822                 break;
823         }
824
825         n->next = NULL;
826
827         return n;
828 }
829
830
831 /** Copy a pairlist.
832  *
833  * Copy all pairs from 'from' regardless of tag, attribute or vendor.
834  *
835  * @param[in] ctx for new VALUE_PAIRs to be allocated in.
836  * @param[in] from whence to copy VALUE_PAIRs.
837  * @return the head of the new VALUE_PAIR list or NULL on error.
838  */
839 VALUE_PAIR *paircopy(TALLOC_CTX *ctx, VALUE_PAIR *from)
840 {
841         vp_cursor_t src, dst;
842
843         VALUE_PAIR *out = NULL, *vp;
844
845         fr_cursor_init(&dst, &out);
846         for (vp = fr_cursor_init(&src, &from);
847              vp;
848              vp = fr_cursor_next(&src)) {
849                 VERIFY_VP(vp);
850                 vp = paircopyvp(ctx, vp);
851                 if (!vp) {
852                         pairfree(&out);
853                         return NULL;
854                 }
855                 fr_cursor_insert(&dst, vp); /* paircopy sets next pointer to NULL */
856         }
857
858         return out;
859 }
860
861 /** Copy matching pairs
862  *
863  * Copy pairs of a matching attribute number, vendor number and tag from the
864  * the input list to a new list, and returns the head of this list.
865  *
866  * @param[in] ctx for talloc
867  * @param[in] from whence to copy VALUE_PAIRs.
868  * @param[in] attr to match, if 0 input list will not be filtered by attr.
869  * @param[in] vendor to match.
870  * @param[in] tag to match, TAG_ANY matches any tag, TAG_NONE matches tagless VPs.
871  * @return the head of the new VALUE_PAIR list or NULL on error.
872  */
873 VALUE_PAIR *paircopy2(TALLOC_CTX *ctx, VALUE_PAIR *from,
874                       unsigned int attr, unsigned int vendor, int8_t tag)
875 {
876         vp_cursor_t src, dst;
877
878         VALUE_PAIR *out = NULL, *vp;
879
880         fr_cursor_init(&dst, &out);
881         for (vp = fr_cursor_init(&src, &from);
882              vp;
883              vp = fr_cursor_next(&src)) {
884                 VERIFY_VP(vp);
885
886                 if ((vp->da->attr != attr) || (vp->da->vendor != vendor)) {
887                         continue;
888                 }
889
890                 if (vp->da->flags.has_tag && TAG_EQ(tag, vp->tag)) {
891                         continue;
892                 }
893
894                 vp = paircopyvp(ctx, vp);
895                 if (!vp) {
896                         pairfree(&out);
897                         return NULL;
898                 }
899                 fr_cursor_insert(&dst, vp);
900         }
901
902         return out;
903 }
904
905 /** Steal all members of a VALUE_PAIR list
906  *
907  * @param[in] ctx to move VALUE_PAIRs into
908  * @param[in] from VALUE_PAIRs to move into the new context.
909  */
910 VALUE_PAIR *pairsteal(TALLOC_CTX *ctx, VALUE_PAIR *from)
911 {
912         vp_cursor_t cursor;
913         VALUE_PAIR *vp;
914
915         for (vp = fr_cursor_init(&cursor, &from);
916              vp;
917              vp = fr_cursor_next(&cursor)) {
918                 (void) talloc_steal(ctx, vp);
919         }
920
921         return from;
922 }
923
924 /** Move pairs from source list to destination list respecting operator
925  *
926  * @note This function does some additional magic that's probably not needed
927  *       in most places. Consider using radius_pairmove in server code.
928  *
929  * @note pairfree should be called on the head of the source list to free
930  *       unmoved attributes (if they're no longer needed).
931  *
932  * @note Does not respect tags when matching.
933  *
934  * @param[in] ctx for talloc
935  * @param[in,out] to destination list.
936  * @param[in,out] from source list.
937  *
938  * @see radius_pairmove
939  */
940 void pairmove(TALLOC_CTX *ctx, VALUE_PAIR **to, VALUE_PAIR **from)
941 {
942         VALUE_PAIR *i, *found;
943         VALUE_PAIR *head_new, **tail_new;
944         VALUE_PAIR **tail_from;
945
946         if (!to || !from || !*from) return;
947
948         /*
949          *      We're editing the "to" list while we're adding new
950          *      attributes to it.  We don't want the new attributes to
951          *      be edited, so we create an intermediate list to hold
952          *      them during the editing process.
953          */
954         head_new = NULL;
955         tail_new = &head_new;
956
957         /*
958          *      We're looping over the "from" list, moving some
959          *      attributes out, but leaving others in place.
960          */
961         tail_from = from;
962         while ((i = *tail_from) != NULL) {
963                 VERIFY_VP(i);
964
965                 /*
966                  *      We never move Fall-Through.
967                  */
968                 if (!i->da->vendor && i->da->attr == PW_FALL_THROUGH) {
969                         tail_from = &(i->next);
970                         continue;
971                 }
972
973                 /*
974                  *      Unlike previous versions, we treat all other
975                  *      attributes as normal.  i.e. there's no special
976                  *      treatment for passwords or Hint.
977                  */
978
979                 switch (i->op) {
980                         /*
981                          *      Anything else are operators which
982                          *      shouldn't occur.  We ignore them, and
983                          *      leave them in place.
984                          */
985                         default:
986                                 tail_from = &(i->next);
987                                 continue;
988
989                         /*
990                          *      Add it to the "to" list, but only if
991                          *      it doesn't already exist.
992                          */
993                         case T_OP_EQ:
994                                 found = pairfind(*to, i->da->attr, i->da->vendor, TAG_ANY);
995                                 if (!found) goto do_add;
996
997                                 tail_from = &(i->next);
998                                 continue;
999
1000                         /*
1001                          *      Add it to the "to" list, and delete any attribute
1002                          *      of the same vendor/attr which already exists.
1003                          */
1004                         case T_OP_SET:
1005                                 found = pairfind(*to, i->da->attr, i->da->vendor, TAG_ANY);
1006                                 if (!found) goto do_add;
1007
1008                                 /*
1009                                  *      Do NOT call pairdelete() here,
1010                                  *      due to issues with re-writing
1011                                  *      "request->username".
1012                                  *
1013                                  *      Everybody calls pairmove, and
1014                                  *      expects it to work.  We can't
1015                                  *      update request->username here,
1016                                  *      so instead we over-write the
1017                                  *      vp that it's pointing to.
1018                                  */
1019                                 switch (found->da->type) {
1020                                         VALUE_PAIR *j;
1021
1022                                         default:
1023                                                 j = found->next;
1024                                                 memcpy(found, i, sizeof(*found));
1025                                                 found->next = j;
1026                                                 break;
1027
1028                                         case PW_TYPE_TLV:
1029                                                 pairmemsteal(found, i->vp_tlv);
1030                                                 i->vp_tlv = NULL;
1031                                                 break;
1032
1033                                         case PW_TYPE_OCTETS:
1034                                                 pairmemsteal(found, i->vp_octets);
1035                                                 i->vp_octets = NULL;
1036                                                 break;
1037
1038                                         case PW_TYPE_STRING:
1039                                                 pairstrsteal(found, i->vp_strvalue);
1040                                                 i->vp_strvalue = NULL;
1041                                                 found->tag = i->tag;
1042                                                 break;
1043                                 }
1044
1045                                 /*
1046                                  *      Delete *all* of the attributes
1047                                  *      of the same number.
1048                                  */
1049                                 pairdelete(&found->next,
1050                                            found->da->attr,
1051                                            found->da->vendor, TAG_ANY);
1052
1053                                 /*
1054                                  *      Remove this attribute from the
1055                                  *      "from" list.
1056                                  */
1057                                 *tail_from = i->next;
1058                                 i->next = NULL;
1059                                 pairfree(&i);
1060                                 continue;
1061
1062                         /*
1063                          *      Move it from the old list and add it
1064                          *      to the new list.
1065                          */
1066                         case T_OP_ADD:
1067                 do_add:
1068                                 *tail_from = i->next;
1069                                 i->next = NULL;
1070                                 *tail_new = talloc_steal(ctx, i);
1071                                 tail_new = &(i->next);
1072                                 continue;
1073                 }
1074         } /* loop over the "from" list. */
1075
1076         /*
1077          *      Take the "new" list, and append it to the "to" list.
1078          */
1079         pairadd(to, head_new);
1080 }
1081
1082 /** Move matching pairs between VALUE_PAIR lists
1083  *
1084  * Move pairs of a matching attribute number, vendor number and tag from the
1085  * the input list to the output list.
1086  *
1087  * @note pairfree should be called on the head of the old list to free unmoved
1088          attributes (if they're no longer needed).
1089  *
1090  * @param[in] ctx for talloc
1091  * @param[in,out] to destination list.
1092  * @param[in,out] from source list.
1093  * @param[in] attr to match, if PW_VENDOR_SPECIFIC and vendor 0, only VSAs will
1094  *            be copied.  If 0 and 0, all attributes will match
1095  * @param[in] vendor to match.
1096  * @param[in] tag to match, TAG_ANY matches any tag, TAG_NONE matches tagless VPs.
1097  */
1098 void pairfilter(TALLOC_CTX *ctx, VALUE_PAIR **to, VALUE_PAIR **from, unsigned int attr, unsigned int vendor, int8_t tag)
1099 {
1100         VALUE_PAIR *to_tail, *i, *next;
1101         VALUE_PAIR *iprev = NULL;
1102
1103         /*
1104          *      Find the last pair in the "to" list and put it in "to_tail".
1105          *
1106          *      @todo: replace the "if" with "VALUE_PAIR **tail"
1107          */
1108         if (*to != NULL) {
1109                 to_tail = *to;
1110                 for(i = *to; i; i = i->next) {
1111                         VERIFY_VP(i);
1112                         to_tail = i;
1113                 }
1114         } else
1115                 to_tail = NULL;
1116
1117         /*
1118          *      Attr/vendor of 0 means "move them all".
1119          *      It's better than "pairadd(foo,bar);bar=NULL"
1120          */
1121         if ((vendor == 0) && (attr == 0)) {
1122                 if (*to) {
1123                         to_tail->next = *from;
1124                 } else {
1125                         *to = *from;
1126                 }
1127
1128                 for (i = *from; i; i = i->next) {
1129                         (void) talloc_steal(ctx, i);
1130                 }
1131
1132                 *from = NULL;
1133                 return;
1134         }
1135
1136         for(i = *from; i; i = next) {
1137                 VERIFY_VP(i);
1138                 next = i->next;
1139
1140                 if (i->da->flags.has_tag && TAG_EQ(tag, i->tag)) {
1141                         continue;
1142                 }
1143
1144                 /*
1145                  *      vendor=0, attr = PW_VENDOR_SPECIFIC means
1146                  *      "match any vendor attribute".
1147                  */
1148                 if ((vendor == 0) && (attr == PW_VENDOR_SPECIFIC)) {
1149                         /*
1150                          *      It's a VSA: move it over.
1151                          */
1152                         if (i->da->vendor != 0) goto move;
1153
1154                         /*
1155                          *      It's Vendor-Specific: move it over.
1156                          */
1157                         if (i->da->attr == attr) goto move;
1158
1159                         /*
1160                          *      It's not a VSA: ignore it.
1161                          */
1162                         iprev = i;
1163                         continue;
1164                 }
1165
1166                 /*
1167                  *      If it isn't an exact match, ignore it.
1168                  */
1169                 if (!((i->da->vendor == vendor) && (i->da->attr == attr))) {
1170                         iprev = i;
1171                         continue;
1172                 }
1173
1174         move:
1175                 /*
1176                  *      Remove the attribute from the "from" list.
1177                  */
1178                 if (iprev)
1179                         iprev->next = next;
1180                 else
1181                         *from = next;
1182
1183                 /*
1184                  *      Add the attribute to the "to" list.
1185                  */
1186                 if (to_tail)
1187                         to_tail->next = i;
1188                 else
1189                         *to = i;
1190                 to_tail = i;
1191                 i->next = NULL;
1192                 (void) talloc_steal(ctx, i);
1193         }
1194 }
1195
1196 static char const *hextab = "0123456789abcdef";
1197
1198 /** Convert string value to native attribute value
1199  *
1200  * @param vp to assign value to.
1201  * @param value string to convert. Binary safe for variable length values if len is provided.
1202  * @param inlen may be 0 in which case strlen(len) is used to determine length, else inline
1203  *        should be the length of the string or sub string to parse.
1204  * @return true on success, else false.
1205  */
1206 int pairparsevalue(VALUE_PAIR *vp, char const *value, size_t inlen)
1207 {
1208         DICT_VALUE      *dval;
1209         size_t          len;
1210         char            buffer[256];
1211
1212         if (!value) return -1;
1213         VERIFY_VP(vp);
1214
1215         /*
1216          *      It's a comparison, not a real VALUE_PAIR, copy the string over verbatim
1217          */
1218         if ((vp->op == T_OP_REG_EQ) || (vp->op == T_OP_REG_NE)) {
1219                 pairstrcpy(vp, value);  /* Icky hacky ewww */
1220                 goto finish;
1221         }
1222
1223         len = (inlen == 0) ? strlen(value) : inlen;
1224
1225         /*
1226          *      It's a variable length type so we just alloc a new buffer
1227          *      of size len and copy.
1228          */
1229         switch(vp->da->type) {
1230         case PW_TYPE_STRING:
1231         {
1232                 size_t          vp_len;
1233                 char const      *cp;
1234                 char            *p;
1235                 int             x;
1236
1237                 /*
1238                  *      Do escaping here
1239                  */
1240                 vp->vp_strvalue = p = talloc_memdup(vp, value, len + 1);
1241                 p[len] = '\0';
1242                 talloc_set_type(p, char);
1243
1244                 cp = value;
1245                 vp_len = 0;
1246                 while (*cp) {
1247                         char c = *cp++;
1248
1249                         if (c == '\\') switch (*cp) {
1250                         case 'r':
1251                                 c = '\r';
1252                                 cp++;
1253                                 break;
1254                         case 'n':
1255                                 c = '\n';
1256                                 cp++;
1257                                 break;
1258                         case 't':
1259                                 c = '\t';
1260                                 cp++;
1261                                 break;
1262                         case '"':
1263                                 c = '"';
1264                                 cp++;
1265                                 break;
1266                         case '\'':
1267                                 c = '\'';
1268                                 cp++;
1269                                 break;
1270                         case '\\':
1271                                 c = '\\';
1272                                 cp++;
1273                                 break;
1274                         case '`':
1275                                 c = '`';
1276                                 cp++;
1277                                 break;
1278                         case '\0':
1279                                 c = '\\'; /* no cp++ */
1280                                 break;
1281                         default:
1282                                 if ((cp[0] >= '0') &&
1283                                     (cp[0] <= '9') &&
1284                                     (cp[1] >= '0') &&
1285                                     (cp[1] <= '9') &&
1286                                     (cp[2] >= '0') &&
1287                                     (cp[2] <= '9') &&
1288                                     (sscanf(cp, "%3o", &x) == 1)) {
1289                                         c = x;
1290                                         cp += 3;
1291
1292                                 } else if (cp[0]) {
1293                                         /*
1294                                          *      \p --> p
1295                                          */
1296                                         c = *cp++;
1297                                 } /* else at EOL \ --> \ */
1298                         }
1299                         *p++ = c;
1300                         vp_len++;
1301                 }
1302                 *p = '\0';
1303                 vp->length = vp_len;
1304         }
1305                 goto finish;
1306
1307         /* raw octets: 0x01020304... */
1308         case PW_TYPE_VSA:
1309                 if (strcmp(value, "ANY") == 0) {
1310                         vp->length = 0;
1311                         goto finish;
1312                 } /* else it's hex */
1313
1314         case PW_TYPE_OCTETS:
1315         {
1316                 uint8_t *p;
1317
1318                 /*
1319                  *      No 0x prefix, just copy verbatim.
1320                  */
1321                 if ((len < 2) || (strncasecmp(value, "0x", 2) != 0)) {
1322                         pairmemcpy(vp, (uint8_t const *) value, len);
1323                         goto finish;
1324                 }
1325
1326
1327 #ifdef WITH_ASCEND_BINARY
1328         do_octets:
1329 #endif
1330                 len -= 2;
1331
1332                 /*
1333                  *      Invalid.
1334                  */
1335                 if ((len & 0x01) != 0) {
1336                         fr_strerror_printf("Length of Hex String is not even, got %zu bytes", vp->length);
1337                         return -1;
1338                 }
1339
1340                 vp->length = len >> 1;
1341                 p = talloc_array(vp, uint8_t, vp->length);
1342                 if (fr_hex2bin(p, value + 2, len) != vp->length) {
1343                         talloc_free(p);
1344                         fr_strerror_printf("Invalid hex data");
1345                         return -1;
1346                 }
1347
1348                 vp->vp_octets = p;
1349         }
1350                 goto finish;
1351
1352         case PW_TYPE_ABINARY:
1353 #ifdef WITH_ASCEND_BINARY
1354                 if ((len > 1) && (strncasecmp(value, "0x", 2) == 0)) goto do_octets;
1355
1356                 if (ascend_parse_filter(vp, value, len) < 0 ) {
1357                         /* Allow ascend_parse_filter's strerror to bubble up */
1358                         return -1;
1359                 }
1360                 goto finish;
1361 #else
1362                 /*
1363                  *      If Ascend binary is NOT defined,
1364                  *      then fall through to raw octets, so that
1365                  *      the user can at least make them by hand...
1366                  */
1367                 goto do_octets;
1368 #endif
1369
1370         /* don't use this! */
1371         case PW_TYPE_TLV:
1372         {
1373                 uint8_t *p;
1374
1375                 if ((len < 2) || (len & 0x01) || (strncasecmp(value, "0x", 2) != 0)) {
1376                         fr_strerror_printf("Invalid TLV specification");
1377                         return -1;
1378                 }
1379                 len -= 2;
1380
1381                 vp->length = len >> 1;
1382                 p = talloc_array(vp, uint8_t, vp->length);
1383                 if (!p) {
1384                         fr_strerror_printf("No memory");
1385                         return -1;
1386                 }
1387                 if (fr_hex2bin(p, value + 2, len) != vp->length) {
1388                         fr_strerror_printf("Invalid hex data in TLV");
1389                         return -1;
1390                 }
1391
1392                 vp->vp_tlv = p;
1393         }
1394                 goto finish;
1395
1396         case PW_TYPE_IPADDR:
1397         {
1398                 fr_ipaddr_t addr;
1399
1400                 if (fr_pton4(&addr, value, inlen, false, false) < 0) return -1;
1401
1402                 /*
1403                  *      We allow v4 addresses to have a /32 suffix as some databases (PostgreSQL)
1404                  *      print them this way.
1405                  */
1406                 if (addr.prefix != 32) {
1407                         fr_strerror_printf("Invalid IPv4 mask length \"/%i\".  Only \"/32\" permitted "
1408                                            "for non-prefix types", addr.prefix);
1409                         return -1;
1410                 }
1411
1412                 vp->vp_ipaddr = addr.ipaddr.ip4addr.s_addr;
1413                 vp->length = sizeof(vp->vp_ipaddr);
1414         }
1415                 goto finish;
1416
1417         case PW_TYPE_IPV4PREFIX:
1418         {
1419                 fr_ipaddr_t addr;
1420
1421                 if (fr_pton4(&addr, value, inlen, false, false) < 0) return -1;
1422
1423                 vp->vp_ipv4prefix[1] = addr.prefix;
1424                 memcpy(vp->vp_ipv4prefix + 2, &addr.ipaddr.ip4addr.s_addr, sizeof(vp->vp_ipv4prefix) - 2);
1425                 vp->length = sizeof(vp->vp_ipv4prefix);
1426         }
1427                 goto finish;
1428
1429         case PW_TYPE_IPV6ADDR:
1430         {
1431                 fr_ipaddr_t addr;
1432
1433                 if (fr_pton6(&addr, value, inlen, false, false) < 0) return -1;
1434
1435                 /*
1436                  *      We allow v6 addresses to have a /128 suffix as some databases (PostgreSQL)
1437                  *      print them this way.
1438                  */
1439                 if (addr.prefix != 128) {
1440                         fr_strerror_printf("Invalid IPv6 mask length \"/%i\".  Only \"/128\" permitted "
1441                                            "for non-prefix types", addr.prefix);
1442                         return -1;
1443                 }
1444
1445                 memcpy(&vp->vp_ipv6addr, &addr.ipaddr.ip6addr.s6_addr, sizeof(vp->vp_ipv6addr));
1446                 vp->length = sizeof(vp->vp_ipv6addr);
1447         }
1448                 goto finish;
1449
1450         case PW_TYPE_IPV6PREFIX:
1451         {
1452                 fr_ipaddr_t addr;
1453
1454                 if (fr_pton6(&addr, value, inlen, false, false) < 0) return -1;
1455
1456                 vp->vp_ipv6prefix[1] = addr.prefix;
1457                 memcpy(vp->vp_ipv6prefix + 2, &addr.ipaddr.ip6addr.s6_addr, sizeof(vp->vp_ipv6prefix) - 2);
1458                 vp->length = sizeof(vp->vp_ipv6prefix);
1459         }
1460                 goto finish;
1461
1462         default:
1463                 break;
1464         }
1465
1466         /*
1467          *      It's a fixed size type, copy to a temporary buffer and
1468          *      \0 terminate if insize >= 0.
1469          */
1470         if (inlen > 0) {
1471                 if (len >= sizeof(buffer)) {
1472                         fr_strerror_printf("Temporary buffer too small");
1473                         return -1;
1474                 }
1475
1476                 memcpy(buffer, value, inlen);
1477                 buffer[inlen] = '\0';
1478                 value = buffer;
1479         }
1480
1481         switch(vp->da->type) {
1482         case PW_TYPE_BYTE:
1483         {
1484                 char *p;
1485                 vp->length = 1;
1486
1487                 /*
1488                  *      Note that ALL integers are unsigned!
1489                  */
1490                 vp->vp_integer = fr_strtoul(value, &p);
1491                 if (!*p) {
1492                         if (vp->vp_integer > 255) {
1493                                 fr_strerror_printf("Byte value \"%s\" is larger than 255", value);
1494                                 return -1;
1495                         }
1496                         break;
1497                 }
1498                 if (is_whitespace(p)) break;
1499         }
1500                 goto check_for_value;
1501
1502         case PW_TYPE_SHORT:
1503         {
1504                 char *p;
1505
1506                 /*
1507                  *      Note that ALL integers are unsigned!
1508                  */
1509                 vp->vp_integer = fr_strtoul(value, &p);
1510                 vp->length = 2;
1511                 if (!*p) {
1512                         if (vp->vp_integer > 65535) {
1513                                 fr_strerror_printf("Byte value \"%s\" is larger than 65535", value);
1514                                 return -1;
1515                         }
1516                         break;
1517                 }
1518                 if (is_whitespace(p)) break;
1519         }
1520                 goto check_for_value;
1521
1522         case PW_TYPE_INTEGER:
1523         {
1524                 char *p;
1525
1526                 /*
1527                  *      Note that ALL integers are unsigned!
1528                  */
1529                 vp->vp_integer = fr_strtoul(value, &p);
1530                 vp->length = 4;
1531                 if (!*p) break;
1532                 if (is_whitespace(p)) break;
1533
1534         check_for_value:
1535                 /*
1536                  *      Look for the named value for the given
1537                  *      attribute.
1538                  */
1539                 if ((dval = dict_valbyname(vp->da->attr, vp->da->vendor, value)) == NULL) {
1540                         fr_strerror_printf("Unknown value '%s' for attribute '%s'", value, vp->da->name);
1541                         return -1;
1542                 }
1543                 vp->vp_integer = dval->value;
1544         }
1545                 break;
1546
1547         case PW_TYPE_INTEGER64:
1548         {
1549                 uint64_t y;
1550
1551                 /*
1552                  *      Note that ALL integers are unsigned!
1553                  */
1554                 if (sscanf(value, "%" PRIu64, &y) != 1) {
1555                         fr_strerror_printf("Invalid value '%s' for attribute '%s'",
1556                                            value, vp->da->name);
1557                         return -1;
1558                 }
1559                 vp->vp_integer64 = y;
1560                 vp->length = 8;
1561         }
1562                 break;
1563
1564         case PW_TYPE_DATE:
1565         {
1566                 /*
1567                  *      time_t may be 64 bits, whule vp_date
1568                  *      MUST be 32-bits.  We need an
1569                  *      intermediary variable to handle
1570                  *      the conversions.
1571                  */
1572                 time_t date;
1573
1574                 if (fr_get_time(value, &date) < 0) {
1575                         fr_strerror_printf("failed to parse time string "
1576                                    "\"%s\"", value);
1577                         return -1;
1578                 }
1579
1580                 vp->vp_date = date;
1581                 vp->length = 4;
1582         }
1583
1584                 break;
1585
1586         case PW_TYPE_IFID:
1587                 if (ifid_aton(value, (void *) &vp->vp_ifid) == NULL) {
1588                         fr_strerror_printf("Failed to parse interface-id string \"%s\"", value);
1589                         return -1;
1590                 }
1591                 vp->length = 8;
1592                 break;
1593
1594         case PW_TYPE_ETHERNET:
1595         {
1596                 char const *c1, *c2, *cp;
1597                 size_t vp_len = 0;
1598
1599                 /*
1600                  *      Convert things which are obviously integers to Ethernet addresses
1601                  *
1602                  *      We assume the number is the bigendian representation of the
1603                  *      ethernet address.
1604                  */
1605                 if (is_integer(value)) {
1606                         uint64_t integer = htonll(atoll(value));
1607
1608                         memcpy(&vp->vp_ether, &integer, sizeof(vp->vp_ether));
1609                         break;
1610                 }
1611
1612                 cp = value;
1613                 while (*cp) {
1614                         if (cp[1] == ':') {
1615                                 c1 = hextab;
1616                                 c2 = memchr(hextab, tolower((int) cp[0]), 16);
1617                                 cp += 2;
1618                         } else if ((cp[1] != '\0') && ((cp[2] == ':') || (cp[2] == '\0'))) {
1619                                 c1 = memchr(hextab, tolower((int) cp[0]), 16);
1620                                 c2 = memchr(hextab, tolower((int) cp[1]), 16);
1621                                 cp += 2;
1622                                 if (*cp == ':') cp++;
1623                         } else {
1624                                 c1 = c2 = NULL;
1625                         }
1626                         if (!c1 || !c2 || (vp_len >= sizeof(vp->vp_ether))) {
1627                                 fr_strerror_printf("failed to parse Ethernet address \"%s\"", value);
1628                                 return -1;
1629                         }
1630                         vp->vp_ether[vp_len] = ((c1-hextab)<<4) + (c2-hextab);
1631                         vp_len++;
1632                 }
1633
1634                 vp->length = 6;
1635         }
1636                 break;
1637
1638         /*
1639          *      Crazy polymorphic (IPv4/IPv6) attribute type for WiMAX.
1640          *
1641          *      We try and make is saner by replacing the original
1642          *      da, with either an IPv4 or IPv6 da type.
1643          *
1644          *      These are not dynamic da, and will have the same vendor
1645          *      and attribute as the original.
1646          */
1647         case PW_TYPE_COMBO_IP:
1648         {
1649                 DICT_ATTR const *da;
1650
1651                 if (inet_pton(AF_INET6, value, &vp->vp_ipv6addr) > 0) {
1652                         da = dict_attrbytype(vp->da->attr, vp->da->vendor, PW_TYPE_IPV6ADDR);
1653                         if (!da) {
1654                                 fr_strerror_printf("Cannot find ipv6addr for %s", vp->da->name);
1655                                 return -1;
1656                         }
1657
1658                         vp->length = 16; /* length of IPv6 address */
1659                 } else {
1660                         fr_ipaddr_t ipaddr;
1661
1662                         da = dict_attrbytype(vp->da->attr, vp->da->vendor,
1663                                              PW_TYPE_IPADDR);
1664                         if (!da) {
1665                                 fr_strerror_printf("Cannot find ipaddr for %s", vp->da->name);
1666                                 return -1;
1667                         }
1668
1669                         if (ip_hton(&ipaddr, AF_INET, value, false) < 0) {
1670                                 fr_strerror_printf("Failed to find IPv4 address for %s", value);
1671                                 return -1;
1672                         }
1673
1674                         vp->vp_ipaddr = ipaddr.ipaddr.ip4addr.s_addr;
1675                         vp->length = 4;
1676                 }
1677
1678                 vp->da = da;
1679         }
1680                 break;
1681
1682         case PW_TYPE_SIGNED:
1683                 /* Damned code for 1 WiMAX attribute */
1684                 vp->vp_signed = (int32_t) strtol(value, NULL, 10);
1685                 vp->length = 4;
1686                 break;
1687
1688                 /*
1689                  *  Anything else.
1690                  */
1691         default:
1692                 fr_strerror_printf("unknown attribute type %d", vp->da->type);
1693                 return -1;
1694         }
1695
1696 finish:
1697         vp->type = VT_DATA;
1698         return 0;
1699 }
1700
1701 /** Use simple heuristics to create an VALUE_PAIR from an unknown address string
1702  *
1703  * If a DICT_ATTR is not provided for the address type, parsing will fail with
1704  * and error.
1705  *
1706  * @param ctx to allocate VP in.
1707  * @param value IPv4/IPv6 address/prefix string.
1708  * @param ipv4 dictionary attribute to use for an IPv4 address.
1709  * @param ipv6 dictionary attribute to use for an IPv6 address.
1710  * @param ipv4_prefix dictionary attribute to use for an IPv4 prefix.
1711  * @param ipv6_prefix dictionary attribute to use for an IPv6 prefix.
1712  * @return NULL on error, or new VALUE_PAIR.
1713  */
1714 VALUE_PAIR *pairmake_ip(TALLOC_CTX *ctx, char const *value, DICT_ATTR *ipv4, DICT_ATTR *ipv6,
1715                         DICT_ATTR *ipv4_prefix, DICT_ATTR *ipv6_prefix)
1716 {
1717         VALUE_PAIR *vp;
1718         DICT_ATTR *da = NULL;
1719
1720         if (!fr_assert(ipv4 || ipv6 || ipv4_prefix || ipv6_prefix)) {
1721                 return NULL;
1722         }
1723
1724         /* No point in repeating the work of pairparsevalue */
1725         if (strchr(value, ':')) {
1726                 if (strchr(value, '/')) {
1727                         da = ipv6_prefix;
1728                         goto finish;
1729                 }
1730
1731                 da = ipv6;
1732                 goto finish;
1733         }
1734
1735         if (strchr(value, '/')) {
1736                 da = ipv4_prefix;
1737                 goto finish;
1738         }
1739
1740         if (ipv4) {
1741                 da = ipv4;
1742                 goto finish;
1743         }
1744
1745         fr_strerror_printf("Invalid IP value specified, allowed types are %s%s%s%s",
1746                            ipv4 ? "ipaddr " : "", ipv6 ? "ipv6addr " : "",
1747                            ipv4_prefix ? "ipv4prefix " : "", ipv6_prefix ? "ipv6prefix" : "");
1748
1749 finish:
1750         vp = pairalloc(ctx, da);
1751         if (!vp) return NULL;
1752         if (pairparsevalue(vp, value, 0) < 0) {
1753                 talloc_free(vp);
1754                 return NULL;
1755         }
1756
1757         return vp;
1758 }
1759
1760
1761 /** Create a valuepair from an ASCII attribute and value
1762  *
1763  * Where the attribute name is in the form:
1764  *  - Attr-%d
1765  *  - Attr-%d.%d.%d...
1766  *  - Vendor-%d-Attr-%d
1767  *  - VendorName-Attr-%d
1768  *
1769  * @param ctx for talloc
1770  * @param attribute name to parse.
1771  * @param value to parse (must be a hex string).
1772  * @param op to assign to new valuepair.
1773  * @return new valuepair or NULL on error.
1774  */
1775 static VALUE_PAIR *pairmake_any(TALLOC_CTX *ctx,
1776                                 char const *attribute, char const *value,
1777                                 FR_TOKEN op)
1778 {
1779         VALUE_PAIR      *vp;
1780         DICT_ATTR const *da;
1781
1782         uint8_t         *data;
1783         size_t          size;
1784
1785         da = dict_attrunknownbyname(attribute, true);
1786         if (!da) return NULL;
1787
1788         /*
1789          *      Unknown attributes MUST be of type 'octets'
1790          */
1791         if (value && (strncasecmp(value, "0x", 2) != 0)) {
1792                 fr_strerror_printf("Unknown attribute \"%s\" requires a hex "
1793                                    "string, not \"%s\"", attribute, value);
1794
1795                 dict_attr_free(&da);
1796                 return NULL;
1797         }
1798
1799         /*
1800          *      We've now parsed the attribute properly, Let's create
1801          *      it.  This next stop also looks the attribute up in the
1802          *      dictionary, and creates the appropriate type for it.
1803          */
1804         vp = pairalloc(ctx, da);
1805         if (!vp) {
1806                 dict_attr_free(&da);
1807                 return NULL;
1808         }
1809
1810         vp->op = (op == 0) ? T_OP_EQ : op;
1811
1812         if (!value) return vp;
1813
1814         size = strlen(value + 2);
1815         vp->length = size >> 1;
1816         data = talloc_array(vp, uint8_t, vp->length);
1817
1818         if (fr_hex2bin(data, value + 2, size) != vp->length) {
1819                 fr_strerror_printf("Invalid hex string");
1820                 talloc_free(vp);
1821                 return NULL;
1822         }
1823
1824         vp->vp_octets = data;
1825         vp->type = VT_DATA;
1826         return vp;
1827 }
1828
1829
1830 /** Create a VALUE_PAIR from ASCII strings
1831  *
1832  * Converts an attribute string identifier (with an optional tag qualifier)
1833  * and value string into a VALUE_PAIR.
1834  *
1835  * The string value is parsed according to the type of VALUE_PAIR being created.
1836  *
1837  * @param[in] ctx for talloc
1838  * @param[in] vps list where the attribute will be added (optional)
1839  * @param[in] attribute name.
1840  * @param[in] value attribute value (may be NULL if value will be set later).
1841  * @param[in] op to assign to new VALUE_PAIR.
1842  * @return a new VALUE_PAIR.
1843  */
1844 VALUE_PAIR *pairmake(TALLOC_CTX *ctx, VALUE_PAIR **vps,
1845                      char const *attribute, char const *value, FR_TOKEN op)
1846 {
1847         DICT_ATTR const *da;
1848         VALUE_PAIR      *vp;
1849         char            *tc, *ts;
1850         int8_t          tag;
1851         bool            found_tag;
1852         char            buffer[256];
1853         char const      *attrname = attribute;
1854
1855         /*
1856          *    Check for tags in 'Attribute:Tag' format.
1857          */
1858         found_tag = false;
1859         tag = TAG_ANY;
1860
1861         ts = strrchr(attribute, ':');
1862         if (ts && !ts[1]) {
1863                 fr_strerror_printf("Invalid tag for attribute %s", attribute);
1864                 return NULL;
1865         }
1866
1867         if (ts && ts[1]) {
1868                 strlcpy(buffer, attribute, sizeof(buffer));
1869                 attrname = buffer;
1870                 ts = strrchr(attrname, ':');
1871                 if (!ts) return NULL;
1872
1873                  /* Colon found with something behind it */
1874                  if (ts[1] == '*' && ts[2] == 0) {
1875                          /* Wildcard tag for check items */
1876                          tag = TAG_ANY;
1877                          *ts = '\0';
1878                  } else if ((ts[1] >= '0') && (ts[1] <= '9')) {
1879                          /* It's not a wild card tag */
1880                          tag = strtol(ts + 1, &tc, 0);
1881                          if (tc && !*tc && TAG_VALID_ZERO(tag))
1882                                  *ts = '\0';
1883                          else tag = TAG_ANY;
1884                  } else {
1885                          fr_strerror_printf("Invalid tag for attribute %s", attribute);
1886                          return NULL;
1887                  }
1888                  found_tag = true;
1889         }
1890
1891         /*
1892          *      It's not found in the dictionary, so we use
1893          *      another method to create the attribute.
1894          */
1895         da = dict_attrbyname(attrname);
1896         if (!da) {
1897                 vp = pairmake_any(ctx, attrname, value, op);
1898                 if (vp && vps) pairadd(vps, vp);
1899                 return vp;
1900         }
1901
1902         /*      Check for a tag in the 'Merit' format of:
1903          *      :Tag:Value.  Print an error if we already found
1904          *      a tag in the Attribute.
1905          */
1906
1907         if (value && (*value == ':' && da->flags.has_tag)) {
1908                 /* If we already found a tag, this is invalid */
1909                 if(found_tag) {
1910                         fr_strerror_printf("Duplicate tag %s for attribute %s",
1911                                    value, da->name);
1912                         DEBUG("Duplicate tag %s for attribute %s\n",
1913                                    value, da->name);
1914                         return NULL;
1915                 }
1916                 /* Colon found and attribute allows a tag */
1917                 if (value[1] == '*' && value[2] == ':') {
1918                        /* Wildcard tag for check items */
1919                        tag = TAG_ANY;
1920                        value += 3;
1921                 } else {
1922                        /* Real tag */
1923                        tag = strtol(value + 1, &tc, 0);
1924                        if (tc && *tc==':' && TAG_VALID_ZERO(tag))
1925                             value = tc + 1;
1926                        else tag = 0;
1927                 }
1928         }
1929
1930         vp = pairalloc(ctx, da);
1931         if (!vp) return NULL;
1932         vp->op = (op == 0) ? T_OP_EQ : op;
1933         vp->tag = tag;
1934
1935         switch (vp->op) {
1936         case T_OP_CMP_TRUE:
1937         case T_OP_CMP_FALSE:
1938                 vp->vp_strvalue = NULL;
1939                 vp->length = 0;
1940                 value = NULL;   /* ignore it! */
1941                 break;
1942
1943                 /*
1944                  *      Regular expression comparison of integer attributes
1945                  *      does a STRING comparison of the names of their
1946                  *      integer attributes.
1947                  */
1948         case T_OP_REG_EQ:       /* =~ */
1949         case T_OP_REG_NE:       /* !~ */
1950         {
1951
1952                 int compare;
1953                 regex_t reg;
1954 #ifndef WITH_REGEX
1955                 fr_strerror_printf("Regular expressions are not supported");
1956                 return NULL;
1957
1958 #else
1959
1960                 /*
1961                  *      Someone else will fill in the value.
1962                  */
1963                 if (!value) break;
1964
1965                 talloc_free(vp);
1966
1967                 compare = regcomp(&reg, value, REG_EXTENDED);
1968                 if (compare != 0) {
1969                         regerror(compare, &reg, buffer, sizeof(buffer));
1970                         fr_strerror_printf("Illegal regular expression in attribute: %s: %s",
1971                                            attribute, buffer);
1972                         return NULL;
1973                 }
1974                 regfree(&reg);
1975
1976                 vp = pairmake(ctx, NULL, attribute, NULL, op);
1977                 if (!vp) return NULL;
1978
1979                 if (pairmark_xlat(vp, value) < 0) {
1980                         talloc_free(vp);
1981                         return NULL;
1982                 }
1983
1984                 value = NULL;   /* ignore it */
1985                 break;
1986 #endif
1987         }
1988         default:
1989                 break;
1990         }
1991
1992         /*
1993          *      FIXME: if (strcasecmp(attribute, vp->da->name) != 0)
1994          *      then the user MAY have typed in the attribute name
1995          *      as Vendor-%d-Attr-%d, and the value MAY be octets.
1996          *
1997          *      We probably want to fix pairparsevalue to accept
1998          *      octets as values for any attribute.
1999          */
2000         if (value && (pairparsevalue(vp, value, 0) < 0)) {
2001                 talloc_free(vp);
2002                 return NULL;
2003         }
2004
2005         if (vps) pairadd(vps, vp);
2006         return vp;
2007 }
2008
2009 /** Mark a valuepair for xlat expansion
2010  *
2011  * Copies xlat source (unprocessed) string to valuepair value,
2012  * and sets value type.
2013  *
2014  * @param vp to mark for expansion.
2015  * @param value to expand.
2016  * @return 0 if marking succeeded or -1 if vp already had a value, or OOM.
2017  */
2018 int pairmark_xlat(VALUE_PAIR *vp, char const *value)
2019 {
2020         char *raw;
2021
2022         /*
2023          *      valuepair should not already have a value.
2024          */
2025         if (vp->type != VT_NONE) {
2026                 return -1;
2027         }
2028
2029         raw = talloc_typed_strdup(vp, value);
2030         if (!raw) {
2031                 return -1;
2032         }
2033
2034         vp->type = VT_XLAT;
2035         vp->value.xlat = raw;
2036         vp->length = 0;
2037
2038         return 0;
2039 }
2040
2041 /** Read a single valuepair from a buffer, and advance the pointer
2042  *
2043  * Sets *eol to T_EOL if end of line was encountered.
2044  *
2045  * @param[in,out] ptr to read from and update.
2046  * @param[out] raw The struct to write the raw VALUE_PAIR to.
2047  * @return the last token read.
2048  */
2049 FR_TOKEN pairread(char const **ptr, VALUE_PAIR_RAW *raw)
2050 {
2051         char const      *p;
2052         char *q;
2053         FR_TOKEN        ret = T_OP_INVALID, next, quote;
2054         char            buf[8];
2055
2056         if (!ptr || !*ptr || !raw) {
2057                 fr_strerror_printf("Invalid arguments");
2058                 return T_OP_INVALID;
2059         }
2060
2061         /*
2062          *      Skip leading spaces
2063          */
2064         p = *ptr;
2065         while ((*p == ' ') || (*p == '\t')) p++;
2066
2067         if (!*p) {
2068                 fr_strerror_printf("No token read where we expected "
2069                                    "an attribute name");
2070                 return T_OP_INVALID;
2071         }
2072
2073         if (*p == '#') {
2074                 fr_strerror_printf("Read a comment instead of a token");
2075
2076                 return T_HASH;
2077         }
2078
2079         /*
2080          *      Try to get the attribute name.
2081          */
2082         q = raw->l_opand;
2083         *q = '\0';
2084         while (*p) {
2085                 uint8_t const *t = (uint8_t const *) p;
2086
2087                 if (q >= (raw->l_opand + sizeof(raw->l_opand))) {
2088                 too_long:
2089                         fr_strerror_printf("Attribute name too long");
2090                         return T_OP_INVALID;
2091                 }
2092
2093                 /*
2094                  *      Only ASCII is allowed, and only a subset of that.
2095                  */
2096                 if ((*t < 32) || (*t >= 128)) {
2097                 invalid:
2098                         fr_strerror_printf("Invalid attribute name");
2099                         return T_OP_INVALID;
2100                 }
2101
2102                 /*
2103                  *      This is arguably easier than trying to figure
2104                  *      out which operators come after the attribute
2105                  *      name.  Yes, our "lexer" is bad.
2106                  */
2107                 if (!dict_attr_allowed_chars[(int) *t]) {
2108                         break;
2109                 }
2110
2111                 *(q++) = *(p++);
2112         }
2113
2114         /*
2115          *      ASCII, but not a valid attribute name.
2116          */
2117         if (!*raw->l_opand) goto invalid;
2118
2119         /*
2120          *      Look for tag (:#).  This is different from :=, which
2121          *      is an operator.
2122          */
2123         if ((*p == ':') && (isdigit((int) p[1]))) {
2124                 if (q >= (raw->l_opand + sizeof(raw->l_opand))) {
2125                         goto too_long;
2126                 }
2127                 *(q++) = *(p++);
2128
2129                 while (isdigit((int) *p)) {
2130                         if (q >= (raw->l_opand + sizeof(raw->l_opand))) {
2131                                 goto too_long;
2132                         }
2133                         *(q++) = *(p++);
2134                 }
2135         }
2136
2137         *q = '\0';
2138         *ptr = p;
2139
2140         /* Now we should have an operator here. */
2141         raw->op = gettoken(ptr, buf, sizeof(buf), false);
2142         if (raw->op  < T_EQSTART || raw->op  > T_EQEND) {
2143                 fr_strerror_printf("Expecting operator");
2144
2145                 return T_OP_INVALID;
2146         }
2147
2148         /*
2149          *      Read value.  Note that empty string values are allowed
2150          */
2151         quote = gettoken(ptr, raw->r_opand, sizeof(raw->r_opand), false);
2152         if (quote == T_EOL) {
2153                 fr_strerror_printf("Failed to get value");
2154
2155                 return T_OP_INVALID;
2156         }
2157
2158         /*
2159          *      Peek at the next token. Must be T_EOL, T_COMMA, or T_HASH
2160          */
2161         p = *ptr;
2162
2163         next = gettoken(&p, buf, sizeof(buf), false);
2164         switch (next) {
2165         case T_EOL:
2166         case T_HASH:
2167                 break;
2168
2169         case T_COMMA:
2170                 *ptr = p;
2171                 break;
2172
2173         default:
2174                 fr_strerror_printf("Expected end of line or comma");
2175                 return T_OP_INVALID;
2176         }
2177         ret = next;
2178
2179         switch (quote) {
2180         /*
2181          *      Perhaps do xlat's
2182          */
2183         case T_DOUBLE_QUOTED_STRING:
2184                 /*
2185                  *      Only report as double quoted if it contained valid
2186                  *      a valid xlat expansion.
2187                  */
2188                 p = strchr(raw->r_opand, '%');
2189                 if (p && (p[1] == '{')) {
2190                         raw->quote = quote;
2191                 } else {
2192                         raw->quote = T_SINGLE_QUOTED_STRING;
2193                 }
2194
2195                 break;
2196         default:
2197                 raw->quote = quote;
2198
2199                 break;
2200         }
2201
2202         return ret;
2203 }
2204
2205 /** Read one line of attribute/value pairs into a list.
2206  *
2207  * The line may specify multiple attributes separated by commas.
2208  *
2209  * @note If the function returns T_OP_INVALID, an error has occurred and
2210  * @note the valuepair list should probably be freed.
2211  *
2212  * @param ctx for talloc
2213  * @param buffer to read valuepairs from.
2214  * @param list where the parsed VALUE_PAIRs will be appended.
2215  * @return the last token parsed, or T_OP_INVALID
2216  */
2217 FR_TOKEN userparse(TALLOC_CTX *ctx, char const *buffer, VALUE_PAIR **list)
2218 {
2219         VALUE_PAIR      *vp, *head, **tail;
2220         char const      *p;
2221         FR_TOKEN        last_token = T_OP_INVALID;
2222         FR_TOKEN        previous_token;
2223         VALUE_PAIR_RAW  raw;
2224
2225         /*
2226          *      We allow an empty line.
2227          */
2228         if (buffer[0] == 0) {
2229                 return T_EOL;
2230         }
2231
2232         head = NULL;
2233         tail = &head;
2234
2235         p = buffer;
2236         do {
2237                 raw.l_opand[0] = '\0';
2238                 raw.r_opand[0] = '\0';
2239
2240                 previous_token = last_token;
2241
2242                 last_token = pairread(&p, &raw);
2243                 if (last_token == T_OP_INVALID) break;
2244
2245                 if (raw.quote == T_DOUBLE_QUOTED_STRING) {
2246                         vp = pairmake(ctx, NULL, raw.l_opand, NULL, raw.op);
2247                         if (!vp) {
2248                                 last_token = T_OP_INVALID;
2249                                 break;
2250                         }
2251                         if (pairmark_xlat(vp, raw.r_opand) < 0) {
2252                                 talloc_free(vp);
2253                                 last_token = T_OP_INVALID;
2254                                 break;
2255                         }
2256                 } else {
2257                         vp = pairmake(ctx, NULL, raw.l_opand, raw.r_opand, raw.op);
2258                         if (!vp) {
2259                                 last_token = T_OP_INVALID;
2260                                 break;
2261                         }
2262                 }
2263
2264                 *tail = vp;
2265                 tail = &((*tail)->next);
2266         } while (*p && (last_token == T_COMMA));
2267
2268         /*
2269          *      Don't tell the caller that there was a comment.
2270          */
2271         if (last_token == T_HASH) {
2272                 last_token = previous_token;
2273         }
2274
2275         if (last_token == T_OP_INVALID) {
2276                 pairfree(&head);
2277         } else {
2278                 pairadd(list, head);
2279         }
2280
2281         /*
2282          *      And return the last token which we read.
2283          */
2284         return last_token;
2285 }
2286
2287 /*
2288  *      Read valuepairs from the fp up to End-Of-File.
2289  */
2290 int readvp2(VALUE_PAIR **out, TALLOC_CTX *ctx, FILE *fp, bool *pfiledone)
2291 {
2292         char buf[8192];
2293         FR_TOKEN last_token = T_EOL;
2294
2295         vp_cursor_t cursor;
2296
2297         VALUE_PAIR *vp = NULL;
2298
2299         fr_cursor_init(&cursor, out);
2300
2301         while (fgets(buf, sizeof(buf), fp) != NULL) {
2302                 /*
2303                  *      If we get a '\n' by itself, we assume that's
2304                  *      the end of that VP
2305                  */
2306                 if (buf[0] == '\n') {
2307                         if (vp) return 0;
2308                         continue;
2309                 }
2310
2311                 /*
2312                  *      Comments get ignored
2313                  */
2314                 if (buf[0] == '#') continue;
2315
2316                 /*
2317                  *      Read all of the attributes on the current line.
2318                  */
2319                 vp = NULL;
2320                 last_token = userparse(ctx, buf, &vp);
2321                 if (!vp) {
2322                         if (last_token != T_EOL) goto error;
2323                         break;
2324                 }
2325
2326                 fr_cursor_insert(&cursor, vp);
2327                 buf[0] = '\0';
2328         }
2329
2330         *pfiledone = true;
2331
2332         return 0;
2333
2334 error:
2335         vp = fr_cursor_first(&cursor);
2336         if (vp) pairfree(&vp);
2337
2338         return -1;
2339 }
2340
2341 /** Compare two attribute values
2342  *
2343  * @param[in] one the first attribute.
2344  * @param[in] two the second attribute.
2345  * @return -1 if one is less than two, 0 if both are equal, 1 if one is more than two, < -1 on error.
2346  */
2347 int8_t paircmp_value(VALUE_PAIR const *one, VALUE_PAIR const *two)
2348 {
2349         int64_t compare = 0;
2350
2351         VERIFY_VP(one);
2352         VERIFY_VP(two);
2353
2354         if (one->da->type != two->da->type) {
2355                 fr_strerror_printf("Can't compare attribute values of different types");
2356                 return -2;
2357         }
2358
2359         /*
2360          *      After doing the previous check for special comparisons,
2361          *      do the per-type comparison here.
2362          */
2363         switch (one->da->type) {
2364         case PW_TYPE_ABINARY:
2365         case PW_TYPE_OCTETS:
2366         {
2367                 size_t length;
2368
2369                 if (one->length > two->length) {
2370                         length = one->length;
2371                 } else {
2372                         length = two->length;
2373                 }
2374
2375                 if (length) {
2376                         compare = memcmp(one->vp_octets, two->vp_octets, length);
2377                         if (compare != 0) break;
2378                 }
2379
2380                 /*
2381                  *      Contents are the same.  The return code
2382                  *      is therefore the difference in lengths.
2383                  *
2384                  *      i.e. "0x00" is smaller than "0x0000"
2385                  */
2386                 compare = one->length - two->length;
2387         }
2388                 break;
2389
2390         case PW_TYPE_STRING:
2391                 fr_assert(one->vp_strvalue);
2392                 fr_assert(two->vp_strvalue);
2393                 compare = strcmp(one->vp_strvalue, two->vp_strvalue);
2394                 break;
2395
2396         case PW_TYPE_BOOLEAN:
2397         case PW_TYPE_BYTE:
2398         case PW_TYPE_SHORT:
2399         case PW_TYPE_INTEGER:
2400         case PW_TYPE_DATE:
2401                 compare = (int64_t) one->vp_integer - (int64_t) two->vp_integer;
2402                 break;
2403
2404         case PW_TYPE_SIGNED:
2405                 compare = one->vp_signed - two->vp_signed;
2406                 break;
2407
2408         case PW_TYPE_INTEGER64:
2409                 /*
2410                  *      Don't want integer overflow!
2411                  */
2412                 if (one->vp_integer64 < two->vp_integer64) {
2413                         compare = -1;
2414                 } else if (one->vp_integer64 > two->vp_integer64) {
2415                         compare = 1;
2416                 }
2417                 break;
2418
2419         case PW_TYPE_ETHERNET:
2420                 compare = memcmp(&one->vp_ether, &two->vp_ether, sizeof(one->vp_ether));
2421                 break;
2422
2423         case PW_TYPE_IPADDR:
2424                 compare = (int64_t) ntohl(one->vp_ipaddr) - (int64_t) ntohl(two->vp_ipaddr);
2425                 break;
2426
2427         case PW_TYPE_IPV6ADDR:
2428                 compare = memcmp(&one->vp_ipv6addr, &two->vp_ipv6addr, sizeof(one->vp_ipv6addr));
2429                 break;
2430
2431         case PW_TYPE_IPV6PREFIX:
2432                 compare = memcmp(&one->vp_ipv6prefix, &two->vp_ipv6prefix, sizeof(one->vp_ipv6prefix));
2433                 break;
2434
2435         case PW_TYPE_IPV4PREFIX:
2436                 compare = memcmp(&one->vp_ipv4prefix, &two->vp_ipv4prefix, sizeof(one->vp_ipv4prefix));
2437                 break;
2438
2439         case PW_TYPE_IFID:
2440                 compare = memcmp(&one->vp_ifid, &two->vp_ifid, sizeof(one->vp_ifid));
2441                 break;
2442
2443         /*
2444          *      None of the types below should be in the REQUEST
2445          */
2446         case PW_TYPE_INVALID:           /* We should never see these */
2447         case PW_TYPE_COMBO_IP:          /* This should of been converted into IPADDR/IPV6ADDR */
2448         case PW_TYPE_COMBO_IPPREFIX:    /* This should of been converted into IPADDR/IPV6ADDR */
2449         case PW_TYPE_TLV:
2450         case PW_TYPE_EXTENDED:
2451         case PW_TYPE_LONG_EXTENDED:
2452         case PW_TYPE_EVS:
2453         case PW_TYPE_VSA:
2454         case PW_TYPE_TIMEVAL:
2455         case PW_TYPE_MAX:
2456                 fr_assert(0);   /* unknown type */
2457                 return -2;
2458
2459         /*
2460          *      Do NOT add a default here, as new types are added
2461          *      static analysis will warn us they're not handled
2462          */
2463         }
2464
2465         if (compare > 0) {
2466                 return 1;
2467         } else if (compare < 0) {
2468                 return -1;
2469         }
2470         return 0;
2471 }
2472
2473 /*
2474  *      We leverage the fact that IPv4 and IPv6 prefixes both
2475  *      have the same format:
2476  *
2477  *      reserved, prefix-len, data...
2478  */
2479 static int paircmp_op_cidr(FR_TOKEN op, int bytes,
2480                            uint8_t one_net, uint8_t const *one,
2481                            uint8_t two_net, uint8_t const *two)
2482 {
2483         int i, common;
2484         uint32_t mask;
2485
2486         /*
2487          *      Handle the case of netmasks being identical.
2488          */
2489         if (one_net == two_net) {
2490                 int compare;
2491
2492                 compare = memcmp(one, two, bytes);
2493
2494                 /*
2495                  *      If they're identical return true for
2496                  *      identical.
2497                  */
2498                 if ((compare == 0) &&
2499                     ((op == T_OP_CMP_EQ) ||
2500                      (op == T_OP_LE) ||
2501                      (op == T_OP_GE))) {
2502                         return true;
2503                 }
2504
2505                 /*
2506                  *      Everything else returns false.
2507                  *
2508                  *      10/8 == 24/8  --> false
2509                  *      10/8 <= 24/8  --> false
2510                  *      10/8 >= 24/8  --> false
2511                  */
2512                 return false;
2513         }
2514
2515         /*
2516          *      Netmasks are different.  That limits the
2517          *      possible results, based on the operator.
2518          */
2519         switch (op) {
2520         case T_OP_CMP_EQ:
2521                 return false;
2522
2523         case T_OP_NE:
2524                 return true;
2525
2526         case T_OP_LE:
2527         case T_OP_LT:   /* 192/8 < 192.168/16 --> false */
2528                 if (one_net < two_net) {
2529                         return false;
2530                 }
2531                 break;
2532
2533         case T_OP_GE:
2534         case T_OP_GT:   /* 192/16 > 192.168/8 --> false */
2535                 if (one_net > two_net) {
2536                         return false;
2537                 }
2538                 break;
2539
2540         default:
2541                 return false;
2542         }
2543
2544         if (one_net < two_net) {
2545                 common = one_net;
2546         } else {
2547                 common = two_net;
2548         }
2549
2550         /*
2551          *      Do the check byte by byte.  If the bytes are
2552          *      identical, it MAY be a match.  If they're different,
2553          *      it is NOT a match.
2554          */
2555         i = 0;
2556         while (i < bytes) {
2557                 /*
2558                  *      All leading bytes are identical.
2559                  */
2560                 if (common == 0) return true;
2561
2562                 /*
2563                  *      Doing bitmasks takes more work.
2564                  */
2565                 if (common < 8) break;
2566
2567                 if (one[i] != two[i]) return false;
2568
2569                 common -= 8;
2570                 i++;
2571                 continue;
2572         }
2573
2574         mask = 1;
2575         mask <<= (8 - common);
2576         mask--;
2577         mask = ~mask;
2578
2579         if ((one[i] & mask) == ((two[i] & mask))) {
2580                 return true;
2581         }
2582
2583         return false;
2584 }
2585
2586 /** Compare two attributes using an operator
2587  *
2588  * @param[in] a the first attribute
2589  * @param[in] op the operator for comparison.
2590  * @param[in] b the second attribute
2591  * @return 1 if true, 0 if false, -1 on error.
2592  */
2593 int8_t paircmp_op(VALUE_PAIR const *a, FR_TOKEN op, VALUE_PAIR const *b)
2594 {
2595         int compare;
2596
2597         if (!a || !b) return -1;
2598
2599         switch (a->da->type) {
2600         case PW_TYPE_IPADDR:
2601                 switch (b->da->type) {
2602                 case PW_TYPE_IPADDR:            /* IPv4 and IPv4 */
2603                         goto cmp;
2604
2605                 case PW_TYPE_IPV4PREFIX:        /* IPv4 and IPv4 Prefix */
2606                         return paircmp_op_cidr(op, 4, 32, (uint8_t const *) &a->vp_ipaddr,
2607                                                b->vp_ipv4prefix[1], (uint8_t const *) &b->vp_ipv4prefix + 2);
2608
2609                 default:
2610                         fr_strerror_printf("Cannot compare IPv4 with IPv6 address");
2611                         return -1;
2612                 }
2613                 break;
2614
2615         case PW_TYPE_IPV4PREFIX:                /* IPv4 and IPv4 Prefix */
2616                 switch (b->da->type) {
2617                 case PW_TYPE_IPADDR:
2618                         return paircmp_op_cidr(op, 4, a->vp_ipv4prefix[1],
2619                                                (uint8_t const *) &a->vp_ipv4prefix + 2,
2620                                                32, (uint8_t const *) &b->vp_ipaddr);
2621
2622                 case PW_TYPE_IPV4PREFIX:        /* IPv4 Prefix and IPv4 Prefix */
2623                         return paircmp_op_cidr(op, 4, a->vp_ipv4prefix[1],
2624                                                (uint8_t const *) &a->vp_ipv4prefix + 2,
2625                                                b->vp_ipv4prefix[1], (uint8_t const *) &b->vp_ipv4prefix + 2);
2626
2627                 default:
2628                         fr_strerror_printf("Cannot compare IPv4 with IPv6 address");
2629                         return -1;
2630                 }
2631                 break;
2632
2633         case PW_TYPE_IPV6ADDR:
2634                 switch (b->da->type) {
2635                 case PW_TYPE_IPV6ADDR:          /* IPv6 and IPv6 */
2636                         goto cmp;
2637
2638                 case PW_TYPE_IPV6PREFIX:        /* IPv6 and IPv6 Preifx */
2639                         return paircmp_op_cidr(op, 16, 128, (uint8_t const *) &a->vp_ipv6addr,
2640                                                b->vp_ipv6prefix[1], (uint8_t const *) &b->vp_ipv6prefix + 2);
2641                         break;
2642
2643                 default:
2644                         fr_strerror_printf("Cannot compare IPv6 with IPv4 address");
2645                         return -1;
2646                 }
2647                 break;
2648
2649         case PW_TYPE_IPV6PREFIX:
2650                 switch (b->da->type) {
2651                 case PW_TYPE_IPV6ADDR:          /* IPv6 Prefix and IPv6 */
2652                         return paircmp_op_cidr(op, 16, a->vp_ipv6prefix[1],
2653                                                (uint8_t const *) &a->vp_ipv6prefix + 2,
2654                                                128, (uint8_t const *) &b->vp_ipv6addr);
2655
2656                 case PW_TYPE_IPV6PREFIX:        /* IPv6 Prefix and IPv6 */
2657                         return paircmp_op_cidr(op, 16, a->vp_ipv6prefix[1],
2658                                                (uint8_t const *) &a->vp_ipv6prefix + 2,
2659                                                b->vp_ipv6prefix[1], (uint8_t const *) &b->vp_ipv6prefix + 2);
2660
2661                 default:
2662                         fr_strerror_printf("Cannot compare IPv6 with IPv4 address");
2663                         return -1;
2664                 }
2665                 break;
2666
2667         default:
2668         cmp:
2669                 compare = paircmp_value(a, b);
2670                 if (compare < -1) {     /* comparison error */
2671                         return -1;
2672                 }
2673         }
2674
2675         /*
2676          *      Now do the operator comparison.
2677          */
2678         switch (op) {
2679         case T_OP_CMP_EQ:
2680                 return (compare == 0);
2681
2682         case T_OP_NE:
2683                 return (compare != 0);
2684
2685         case T_OP_LT:
2686                 return (compare < 0);
2687
2688         case T_OP_GT:
2689                 return (compare > 0);
2690
2691         case T_OP_LE:
2692                 return (compare <= 0);
2693
2694         case T_OP_GE:
2695                 return (compare >= 0);
2696
2697         default:
2698                 return 0;
2699         }
2700 }
2701
2702 /** Compare two pairs, using the operator from "a"
2703  *
2704  *      i.e. given two attributes, it does:
2705  *
2706  *      (b->data) (a->operator) (a->data)
2707  *
2708  *      e.g. "foo" != "bar"
2709  *
2710  * @param[in] a the first attribute
2711  * @param[in] b the second attribute
2712  * @return 1 if true, 0 if false, -1 on error.
2713  */
2714 int8_t paircmp(VALUE_PAIR *a, VALUE_PAIR *b)
2715 {
2716         if (!a) return -1;
2717
2718         VERIFY_VP(a);
2719         if (b) VERIFY_VP(b);
2720
2721         switch (a->op) {
2722         case T_OP_CMP_TRUE:
2723                 return (b != NULL);
2724
2725         case T_OP_CMP_FALSE:
2726                 return (b == NULL);
2727
2728                 /*
2729                  *      a is a regex, compile it, print b to a string,
2730                  *      and then do string comparisons.
2731                  */
2732         case T_OP_REG_EQ:
2733         case T_OP_REG_NE:
2734 #ifndef WITH_REGEX
2735                 return -1;
2736 #else
2737                 {
2738                         int compare;
2739                         regex_t reg;
2740                         char buffer[MAX_STRING_LEN * 4 + 1];
2741
2742                         compare = regcomp(&reg, a->vp_strvalue, REG_EXTENDED);
2743                         if (compare != 0) {
2744                                 regerror(compare, &reg, buffer, sizeof(buffer));
2745                                 fr_strerror_printf("Illegal regular expression in attribute: %s: %s",
2746                                                    a->da->name, buffer);
2747                                 return -1;
2748                         }
2749
2750                         if (!b) {
2751                                 regfree(&reg);
2752                                 return -1;
2753                         }
2754
2755                         vp_prints_value(buffer, sizeof(buffer), b, 0);
2756
2757                         /*
2758                          *      Don't care about substring matches,
2759                          *      oh well...
2760                          */
2761                         compare = regexec(&reg, buffer, 0, NULL, 0);
2762
2763                         regfree(&reg);
2764                         if (a->op == T_OP_REG_EQ) {
2765                                 return (compare == 0);
2766                         }
2767
2768                         return (compare != 0);
2769                 }
2770 #endif
2771
2772         default:                /* we're OK */
2773                 break;
2774         }
2775
2776         return paircmp_op(b, a->op, a);
2777 }
2778
2779 /** Determine equality of two lists
2780  *
2781  * This is useful for comparing lists of attributes inserted into a binary tree.
2782  *
2783  * @param a first list of VALUE_PAIRs.
2784  * @param b second list of VALUE_PAIRs.
2785  * @return -1 if a < b, 0 if the two lists are equal, 1 if a > b, -2 on error.
2786  */
2787 int8_t pairlistcmp(VALUE_PAIR *a, VALUE_PAIR *b)
2788 {
2789         vp_cursor_t a_cursor, b_cursor;
2790         VALUE_PAIR *a_p, *b_p;
2791         int ret;
2792
2793         for (a_p = fr_cursor_init(&a_cursor, &a), b_p = fr_cursor_init(&b_cursor, &b);
2794              a_p && b_p;
2795              a_p = fr_cursor_next(&a_cursor), b_p = fr_cursor_next(&b_cursor)) {
2796                 /* Same VP, no point doing expensive checks */
2797                 if (a_p == b_p) {
2798                         continue;
2799                 }
2800
2801                 if (a_p->da < b_p->da) {
2802                         return -1;
2803                 }
2804                 if (a_p->da > b_p->da) {
2805                         return 1;
2806                 }
2807
2808                 if (a_p->tag < b_p->tag) {
2809                         return -1;
2810                 }
2811                 if (a_p->tag > b_p->tag) {
2812                         return 1;
2813                 }
2814
2815                 ret = paircmp_value(a_p, b_p);
2816                 if (ret != 0) {
2817                         fr_assert(ret >= -1);   /* Comparison error */
2818                         return ret;
2819                 }
2820         }
2821
2822         if (!a_p && !b_p) {
2823                 return 0;
2824         }
2825
2826         if (!a_p) {
2827                 return -1;
2828         }
2829
2830         /* if(!b_p) */
2831         return 1;
2832 }
2833
2834 /** Set the type of the VALUE_PAIR value buffer to match it's DICT_ATTR
2835  *
2836  * @param vp to fixup.
2837  */
2838 static void pairtypeset(VALUE_PAIR *vp)
2839 {
2840         if (!vp->data.ptr) return;
2841
2842         switch(vp->da->type) {
2843         case PW_TYPE_OCTETS:
2844         case PW_TYPE_TLV:
2845                 talloc_set_type(vp->data.ptr, uint8_t);
2846                 return;
2847
2848         case PW_TYPE_STRING:
2849                 talloc_set_type(vp->data.ptr, char);
2850                 return;
2851
2852         default:
2853                 return;
2854         }
2855 }
2856
2857 /** Copy data into an "octets" data type.
2858  *
2859  * @param[in,out] vp to update
2860  * @param[in] src data to copy
2861  * @param[in] size of the data, may be 0 in which case previous value will be freed.
2862  */
2863 void pairmemcpy(VALUE_PAIR *vp, uint8_t const *src, size_t size)
2864 {
2865         uint8_t *p = NULL, *q;
2866
2867         VERIFY_VP(vp);
2868
2869         if (size > 0) {
2870                 p = talloc_memdup(vp, src, size);
2871                 if (!p) return;
2872                 talloc_set_type(p, uint8_t);
2873         }
2874
2875         memcpy(&q, &vp->vp_octets, sizeof(q));
2876         TALLOC_FREE(q);
2877
2878         vp->vp_octets = p;
2879         vp->length = size;
2880
2881         if (size > 0) pairtypeset(vp);
2882 }
2883
2884 /** Reparent an allocated octet buffer to a VALUE_PAIR
2885  *
2886  * @param[in,out] vp to update
2887  * @param[in] src buffer to steal.
2888  */
2889 void pairmemsteal(VALUE_PAIR *vp, uint8_t const *src)
2890 {
2891         uint8_t *q;
2892
2893         VERIFY_VP(vp);
2894
2895         memcpy(&q, &vp->vp_octets, sizeof(q));
2896         talloc_free(q);
2897
2898         vp->vp_octets = talloc_steal(vp, src);
2899         vp->type = VT_DATA;
2900         vp->length = talloc_array_length(vp->vp_strvalue);
2901         pairtypeset(vp);
2902 }
2903
2904 /** Reparent an allocated char buffer to a VALUE_PAIR
2905  *
2906  * @param[in,out] vp to update
2907  * @param[in] src buffer to steal.
2908  */
2909 void pairstrsteal(VALUE_PAIR *vp, char const *src)
2910 {
2911         uint8_t *q;
2912
2913         VERIFY_VP(vp);
2914
2915         memcpy(&q, &vp->vp_octets, sizeof(q));
2916         talloc_free(q);
2917
2918         vp->vp_strvalue = talloc_steal(vp, src);
2919         vp->type = VT_DATA;
2920         vp->length = talloc_array_length(vp->vp_strvalue) - 1;
2921         pairtypeset(vp);
2922 }
2923
2924 /** Copy data into an "string" data type.
2925  *
2926  * @param[in,out] vp to update
2927  * @param[in] src data to copy
2928  */
2929 void pairstrcpy(VALUE_PAIR *vp, char const *src)
2930 {
2931         char *p, *q;
2932
2933         VERIFY_VP(vp);
2934
2935         p = talloc_strdup(vp, src);
2936
2937         if (!p) return;
2938
2939         memcpy(&q, &vp->vp_strvalue, sizeof(q));
2940         talloc_free(q);
2941
2942         vp->vp_strvalue = p;
2943         vp->type = VT_DATA;
2944         vp->length = talloc_array_length(vp->vp_strvalue) - 1;
2945         pairtypeset(vp);
2946 }
2947
2948 /** Copy data into an "string" data type.
2949  *
2950  * @param[in,out] vp to update.
2951  * @param[in] src data to copy.
2952  * @param[in] len of data to copy.
2953  */
2954 void pairstrncpy(VALUE_PAIR *vp, char const *src, size_t len)
2955 {
2956         char *p, *q;
2957
2958         VERIFY_VP(vp);
2959
2960         p = talloc_array(vp, char, len + 1);
2961         if (!p) return;
2962
2963         memcpy(p, src, len);    /* embdedded \0 safe */
2964         p[len] = '\0';
2965
2966         memcpy(&q, &vp->vp_strvalue, sizeof(q));
2967         talloc_free(q);
2968
2969         vp->vp_strvalue = p;
2970         vp->type = VT_DATA;
2971         vp->length = len;
2972         pairtypeset(vp);
2973 }
2974
2975 /** Print data into an "string" data type.
2976  *
2977  * @param[in,out] vp to update
2978  * @param[in] fmt the format string
2979  */
2980 void pairsprintf(VALUE_PAIR *vp, char const *fmt, ...)
2981 {
2982         va_list ap;
2983         char *p, *q;
2984
2985         VERIFY_VP(vp);
2986
2987         va_start(ap, fmt);
2988         p = talloc_vasprintf(vp, fmt, ap);
2989         va_end(ap);
2990
2991         if (!p) return;
2992
2993         memcpy(&q, &vp->vp_strvalue, sizeof(q));
2994         talloc_free(q);
2995
2996         vp->vp_strvalue = p;
2997         vp->type = VT_DATA;
2998
2999         vp->length = talloc_array_length(vp->vp_strvalue) - 1;
3000         pairtypeset(vp);
3001 }
3002