Alloc connections pools in the NULL ctx
[freeradius.git] / src / lib / misc.c
index 90b269d..d4d87f4 100644 (file)
@@ -27,7 +27,6 @@ RCSID("$Id$")
 #include       <ctype.h>
 #include       <sys/file.h>
 #include       <fcntl.h>
-#include       <signal.h>
 
 #define FR_PUT_LE16(a, val)\
        do {\
@@ -35,37 +34,156 @@ RCSID("$Id$")
                a[0] = ((uint16_t) (val)) & 0xff;\
        } while (0)
 
-static int     fr_debugger_present = -1;
+#ifdef HAVE_PTHREAD_H
+#  define PTHREAD_MUTEX_LOCK pthread_mutex_lock
+#  define PTHREAD_MUTEX_UNLOCK pthread_mutex_unlock
+#else
+#  define PTHREAD_MUTEX_LOCK(_x)
+#  define PTHREAD_MUTEX_UNLOCK(_x)
+#endif
 
-int    fr_dns_lookups = 0;
+bool   fr_dns_lookups = false;     /* IP -> hostname lookups? */
+bool    fr_hostname_lookups = true; /* hostname -> IP lookups? */
 int    fr_debug_flag = 0;
 
-/** Allocates a new talloc context from the root autofree context
+static char const *months[] = {
+       "jan", "feb", "mar", "apr", "may", "jun",
+       "jul", "aug", "sep", "oct", "nov", "dec" };
+
+fr_thread_local_setup(char *, fr_inet_ntop_buffer);    /* macro */
+
+typedef struct fr_talloc_link {
+       bool armed;
+       TALLOC_CTX *child;
+} fr_talloc_link_t;
+
+/** Sets a signal handler using sigaction if available, else signal
  *
- * @param signum signal raised.
+ * @param sig to set handler for.
+ * @param func handler to set.
  */
-static void _sigtrap_handler(UNUSED int signum)
+int fr_set_signal(int sig, sig_t func)
+{
+#ifdef HAVE_SIGACTION
+       struct sigaction act;
+
+       memset(&act, 0, sizeof(act));
+       act.sa_flags = 0;
+       sigemptyset(&act.sa_mask);
+       act.sa_handler = func;
+
+       if (sigaction(sig, &act, NULL) < 0) {
+               fr_strerror_printf("Failed setting signal %i handler via sigaction(): %s", sig, fr_syserror(errno));
+               return -1;
+       }
+#else
+       if (signal(sig, func) < 0) {
+               fr_strerror_printf("Failed setting signal %i handler via signal(): %s", sig, fr_syserror(errno));
+               return -1;
+       }
+#endif
+       return 0;
+}
+
+static int _fr_trigger_talloc_ctx_free(fr_talloc_link_t *trigger)
 {
-    fr_debugger_present = 0;
-    signal(SIGTRAP, SIG_DFL);
+       if (trigger->armed) talloc_free(trigger->child);
+
+       return 0;
 }
 
-/** Break in GDB (if were running under GDB)
+static int _fr_disarm_talloc_ctx_free(bool **armed)
+{
+       **armed = false;
+       return 0;
+}
+
+/** Link a parent and a child context, so the child is freed before the parent
  *
- * If the server is running under GDB this will raise a SIGTRAP which
- * will pause the running process.
+ * @note This is not thread safe. Do not free parent before threads are joined, do not call from a child thread.
+ * @note It's OK to free the child before threads are joined, but this will leak memory until the parent is freed.
  *
- * If the server is not running under GDB then this will do nothing.
+ * @param parent who's fate the child should share.
+ * @param child bound to parent's lifecycle.
+ * @return 0 on success -1 on failure.
  */
-void fr_debug_break(void)
+int fr_link_talloc_ctx_free(TALLOC_CTX *parent, TALLOC_CTX *child)
 {
-    if (fr_debugger_present == -1) {
-       fr_debugger_present = 0;
-        signal(SIGTRAP, _sigtrap_handler);
-        raise(SIGTRAP);
-    } else if (fr_debugger_present == 1) {
-       raise(SIGTRAP);
-    }
+       fr_talloc_link_t *trigger;
+       bool **disarm;
+
+       trigger = talloc(parent, fr_talloc_link_t);
+       if (!trigger) return -1;
+
+       disarm = talloc(child, bool *);
+       if (!disarm) {
+               talloc_free(trigger);
+               return -1;
+       }
+
+       trigger->child = child;
+       trigger->armed = true;
+       *disarm = &trigger->armed;
+
+       talloc_set_destructor(trigger, _fr_trigger_talloc_ctx_free);
+       talloc_set_destructor(disarm, _fr_disarm_talloc_ctx_free);
+
+       return 0;
+}
+
+/*
+ *     Explicitly cleanup the memory allocated to the error inet_ntop
+ *     buffer.
+ */
+static void _fr_inet_ntop_free(void *arg)
+{
+       free(arg);
+}
+
+/** Wrapper around inet_ntop, prints IPv4/IPv6 addresses
+ *
+ * inet_ntop requires the caller pass in a buffer for the address.
+ * This would be annoying and cumbersome, seeing as quite often the ASCII
+ * address is only used for logging output.
+ *
+ * So as with lib/log.c use TLS to allocate thread specific buffers, and
+ * write the IP address there instead.
+ *
+ * @param af address family, either AF_INET or AF_INET6.
+ * @param src pointer to network address structure.
+ * @return NULL on error, else pointer to ASCII buffer containing text version of address.
+ */
+char const *fr_inet_ntop(int af, void const *src)
+{
+       char *buffer;
+
+       if (!src) {
+               return NULL;
+       }
+
+       buffer = fr_thread_local_init(fr_inet_ntop_buffer, _fr_inet_ntop_free);
+       if (!buffer) {
+               int ret;
+
+               /*
+                *      malloc is thread safe, talloc is not
+                */
+               buffer = malloc(sizeof(char) * INET6_ADDRSTRLEN);
+               if (!buffer) {
+                       fr_perror("Failed allocating memory for inet_ntop buffer");
+                       return NULL;
+               }
+
+               ret = fr_thread_local_set(fr_inet_ntop_buffer, buffer);
+               if (ret != 0) {
+                       fr_perror("Failed setting up TLS for inet_ntop buffer: %s", fr_syserror(ret));
+                       free(buffer);
+                       return NULL;
+               }
+       }
+       buffer[0] = '\0';
+
+       return inet_ntop(af, src, buffer, INET6_ADDRSTRLEN);
 }
 
 /*
@@ -85,6 +203,281 @@ char const *ip_ntoa(char *buffer, uint32_t ipaddr)
        return buffer;
 }
 
+/** Parse an IPv4 address or IPv4 prefix in presentation format (and others)
+ *
+ * @param out Where to write the ip address value.
+ * @param value to parse, may be dotted quad [+ prefix], or integer, or octal number, or '*' (INADDR_ANY).
+ * @param inlen Length of value, if value is \0 terminated inlen may be 0.
+ * @param resolve If true and value doesn't look like an IP address, try and resolve value as a hostname.
+ * @param fallback to IPv4 resolution if no A records can be found.
+ * @return 0 if ip address was parsed successfully, else -1 on error.
+ */
+int fr_pton4(fr_ipaddr_t *out, char const *value, size_t inlen, bool resolve, bool fallback)
+{
+       char *p;
+       unsigned int prefix;
+       char *eptr;
+
+       /* Dotted quad + / + [0-9]{1,2} */
+       char buffer[INET_ADDRSTRLEN + 3];
+
+       /*
+        *      Copy to intermediary buffer if we were given a length
+        */
+       if (inlen > 0) {
+               if (inlen >= sizeof(buffer)) {
+                       fr_strerror_printf("Invalid IPv4 address string \"%s\"", value);
+                       return -1;
+               }
+               memcpy(buffer, value, inlen);
+               buffer[inlen] = '\0';
+       }
+
+       p = strchr(value, '/');
+       /*
+        *      192.0.2.2 is parsed as if it was /32
+        */
+       if (!p) {
+               /*
+                *      Allow '*' as the wildcard address usually 0.0.0.0
+                */
+               if ((value[0] == '*') && (value[1] == '\0')) {
+                       out->ipaddr.ip4addr.s_addr = htonl(INADDR_ANY);
+               /*
+                *      Convert things which are obviously integers to IP addresses
+                *
+                *      We assume the number is the bigendian representation of the
+                *      IP address.
+                */
+               } else if (is_integer(value) || ((value[0] == '0') && (value[1] == 'x'))) {
+                       out->ipaddr.ip4addr.s_addr = htonl(strtoul(value, NULL, 0));
+               } else if (!resolve) {
+                       if (inet_pton(AF_INET, value, &(out->ipaddr.ip4addr.s_addr)) <= 0) {
+                               fr_strerror_printf("Failed to parse IPv4 address string \"%s\"", value);
+                               return -1;
+                       }
+               } else if (ip_hton(out, AF_INET, value, fallback) < 0) return -1;
+
+               out->prefix = 32;
+               out->af = AF_INET;
+
+               return 0;
+       }
+
+       /*
+        *      Otherwise parse the prefix
+        */
+       if ((size_t)(p - value) >= INET_ADDRSTRLEN) {
+               fr_strerror_printf("Invalid IPv4 address string \"%s\"", value);
+               return -1;
+       }
+
+       /*
+        *      Copy the IP portion into a temporary buffer if we haven't already.
+        */
+       if (inlen == 0) memcpy(buffer, value, p - value);
+       buffer[p - value] = '\0';
+
+       if (!resolve) {
+               if (inet_pton(AF_INET, buffer, &(out->ipaddr.ip4addr.s_addr)) <= 0) {
+                       fr_strerror_printf("Failed to parse IPv4 address string \"%s\"", value);
+                       return -1;
+               }
+       } else if (ip_hton(out, AF_INET, buffer, fallback) < 0) return -1;
+
+       prefix = strtoul(p + 1, &eptr, 10);
+       if (prefix > 32) {
+               fr_strerror_printf("Invalid IPv4 mask length \"%s\".  Should be between 0-32", p);
+               return -1;
+       }
+       if (eptr[0] != '\0') {
+               fr_strerror_printf("Failed to parse IPv4 address string \"%s\", "
+                                  "got garbage after mask length \"%s\"", value, eptr);
+               return -1;
+       }
+
+       if (prefix < 32) {
+               out->ipaddr.ip4addr = fr_inaddr_mask(&(out->ipaddr.ip4addr), prefix);
+       }
+
+       out->prefix = (uint8_t) prefix;
+       out->af = AF_INET;
+
+       return 0;
+}
+
+/** Parse an IPv6 address or IPv6 prefix in presentation format (and others)
+ *
+ * @param out Where to write the ip address value.
+ * @param value to parse.
+ * @param inlen Length of value, if value is \0 terminated inlen may be 0.
+ * @param resolve If true and value doesn't look like an IP address, try and resolve value as a hostname.
+ * @param fallback to IPv4 resolution if no AAAA records can be found.
+ * @return 0 if ip address was parsed successfully, else -1 on error.
+ */
+int fr_pton6(fr_ipaddr_t *out, char const *value, size_t inlen, bool resolve, bool fallback)
+{
+       char const *p;
+       unsigned int prefix;
+       char *eptr;
+
+       /* IPv6  + / + [0-9]{1,3} */
+       char buffer[INET6_ADDRSTRLEN + 4];
+
+       /*
+        *      Copy to intermediary buffer if we were given a length
+        */
+       if (inlen > 0) {
+               if (inlen >= sizeof(buffer)) {
+                       fr_strerror_printf("Invalid IPv6 address string \"%s\"", value);
+                       return -1;
+               }
+               memcpy(buffer, value, inlen);
+               buffer[inlen] = '\0';
+       }
+
+       p = strchr(value, '/');
+       if (!p) {
+               /*
+                *      Allow '*' as the wildcard address
+                */
+               if ((value[0] == '*') && (value[1] == '\0')) {
+                       memset(&out->ipaddr.ip6addr.s6_addr, 0, sizeof(out->ipaddr.ip6addr.s6_addr));
+               } else if (!resolve) {
+                       if (inet_pton(AF_INET6, value, &(out->ipaddr.ip6addr.s6_addr)) <= 0) {
+                               fr_strerror_printf("Failed to parse IPv6 address string \"%s\"", value);
+                               return -1;
+                       }
+               } else if (ip_hton(out, AF_INET6, value, fallback) < 0) return -1;
+
+               out->prefix = 128;
+               out->af = AF_INET6;
+
+               return 0;
+       }
+
+       if ((p - value) >= INET6_ADDRSTRLEN) {
+               fr_strerror_printf("Invalid IPv6 address string \"%s\"", value);
+               return -1;
+       }
+
+       /*
+        *      Copy string to temporary buffer if we didn't do it earlier
+        */
+       if (inlen == 0) memcpy(buffer, value, p - value);
+       buffer[p - value] = '\0';
+
+       if (!resolve) {
+               if (inet_pton(AF_INET6, buffer, &(out->ipaddr.ip6addr.s6_addr)) <= 0) {
+                       fr_strerror_printf("Failed to parse IPv6 address string \"%s\"", value);
+                       return -1;
+               }
+       } else if (ip_hton(out, AF_INET6, buffer, fallback) < 0) return -1;
+
+       prefix = strtoul(p + 1, &eptr, 10);
+       if (prefix > 128) {
+               fr_strerror_printf("Invalid IPv6 mask length \"%s\".  Should be between 0-128", p);
+               return -1;
+       }
+       if (eptr[0] != '\0') {
+               fr_strerror_printf("Failed to parse IPv6 address string \"%s\", "
+                                  "got garbage after mask length \"%s\"", value, eptr);
+               return -1;
+       }
+
+       if (prefix < 128) {
+               struct in6_addr addr;
+
+               addr = fr_in6addr_mask(&(out->ipaddr.ip6addr), prefix);
+               memcpy(&(out->ipaddr.ip6addr.s6_addr), &addr, sizeof(addr));
+       }
+
+       out->prefix = (uint8_t) prefix;
+       out->af = AF_INET6;
+
+       return 0;
+}
+
+/** Simple wrapper to decide whether an IP value is v4 or v6 and call the appropriate parser.
+ *
+ * @param out Where to write the ip address value.
+ * @param value to parse.
+ * @param inlen Length of value, if value is \0 terminated inlen may be 0.
+ * @param resolve If true and value doesn't look like an IP address, try and resolve value as a hostname.
+ * @return 0 if ip address was parsed successfully, else -1 on error.
+ */
+int fr_pton(fr_ipaddr_t *out, char const *value, size_t inlen, bool resolve)
+{
+       size_t len, i;
+
+       len = (inlen == 0) ? strlen(value) : inlen;
+       for (i = 0; i < len; i++) switch (value[i]) {
+       /*
+        *      Chars illegal in domain names and IPv4 addresses.
+        *      Must be v6 and cannot be a domain.
+        */
+       case ':':
+       case '[':
+       case ']':
+               return fr_pton6(out, value, inlen, false, false);
+
+       /*
+        *      Chars which don't really tell us anything
+        */
+       case '.':
+       case '/':
+               continue;
+
+       default:
+               /*
+                *      Outside the range of IPv4 chars, must be a domain
+                *      Use A record in preference to AAAA record.
+                */
+               if ((value[i] < '0') || (value[i] > '9')) {
+                       if (!resolve) return -1;
+                       return fr_pton4(out, value, inlen, true, true);
+               }
+               break;
+       }
+
+       /*
+        *      All chars were in the IPv4 set [0-9/.], must be an IPv4
+        *      address.
+        */
+       return fr_pton4(out, value, inlen, false, false);
+}
+
+/** Check if the IP address is equivalent to INADDR_ANY
+ *
+ * @param addr to chec.
+ * @return true if IP address matches INADDR_ANY or INADDR6_ANY (assumed to be 0), else false.
+ */
+bool is_wildcard(fr_ipaddr_t *addr)
+{
+       static struct in6_addr in6_addr;
+
+       switch (addr->af) {
+       case AF_INET:
+               return (addr->ipaddr.ip4addr.s_addr == htons(INADDR_ANY));
+
+       case AF_INET6:
+               return (memcmp(addr->ipaddr.ip6addr.s6_addr, in6_addr.s6_addr, sizeof(in6_addr.s6_addr)) == 0) ? true :false;
+
+       default:
+               fr_assert(0);
+               return false;
+       }
+}
+
+int fr_ntop(char *out, size_t outlen, fr_ipaddr_t *addr)
+{
+       char buffer[INET6_ADDRSTRLEN];
+
+       if (inet_ntop(addr->af, &(addr->ipaddr), buffer, sizeof(buffer)) == NULL) return -1;
+
+       return snprintf(out, outlen, "%s/%i", buffer, addr->prefix);
+}
+
 /*
  *     Internal wrapper for locking, to minimize the number of ifdef's
  *
@@ -283,8 +676,7 @@ static int inet_pton4(char const *src, struct in_addr *dst)
  * author:
  *     Paul Vixie, 1996.
  */
-static int
-inet_pton6(char const *src, unsigned char *dst)
+static int inet_pton6(char const *src, unsigned char *dst)
 {
        static char const xdigits_l[] = "0123456789abcdef",
                          xdigits_u[] = "0123456789ABCDEF";
@@ -388,7 +780,6 @@ int inet_pton(int af, char const *src, void *dst)
 }
 #endif
 
-
 #ifndef HAVE_INET_NTOP
 /*
  *     Utility function, so that the rest of the server doesn't
@@ -412,7 +803,7 @@ char const *inet_ntop(int af, void const *src, char *dst, size_t cnt)
         *      in missing.h
         */
        if (af == AF_INET6) {
-               struct const in6_addr *ipaddr = src;
+               struct in6_addr const *ipaddr = src;
 
                if (cnt <= INET6_ADDRSTRLEN) return NULL;
 
@@ -432,39 +823,91 @@ char const *inet_ntop(int af, void const *src, char *dst, size_t cnt)
 }
 #endif
 
-
-/*
- *     Wrappers for IPv4/IPv6 host to IP address lookup.
- *     This API returns only one IP address, of the specified
- *     address family, or the first address (of whatever family),
- *     if AF_UNSPEC is used.
+/** Wrappers for IPv4/IPv6 host to IP address lookup
+ *
+ * This function returns only one IP address, of the specified address family,
+ * or the first address (of whatever family), if AF_UNSPEC is used.
+ *
+ * If fallback is specified and af is AF_INET, but no AF_INET records were
+ * found and a record for AF_INET6 exists that record will be returned.
+ *
+ * If fallback is specified and af is AF_INET6, and a record with AF_INET4 exists
+ * that record will be returned instead.
+ *
+ * @param out Where to write result.
+ * @param af To search for in preference.
+ * @param hostname to search for.
+ * @param fallback to the other adress family, if no records matching af, found.
+ * @return 0 on success, else -1 on failure.
  */
-int ip_hton(char const *src, int af, fr_ipaddr_t *dst)
+int ip_hton(fr_ipaddr_t *out, int af, char const *hostname, bool fallback)
 {
        int rcode;
-       struct addrinfo hints, *ai = NULL, *res = NULL;
+       struct addrinfo hints, *ai = NULL, *alt = NULL, *res = NULL;
+
+       if (!fr_hostname_lookups) {
+#ifdef HAVE_STRUCT_SOCKADDR_IN6
+               if (af == AF_UNSPEC) {
+                       char const *p;
+
+                       for (p = hostname; *p != '\0'; p++) {
+                               if ((*p == ':') ||
+                                   (*p == '[') ||
+                                   (*p == ']')) {
+                                       af = AF_INET6;
+                                       break;
+                               }
+                       }
+               }
+#endif
+
+               if (af == AF_UNSPEC) af = AF_INET;
+
+               if (!inet_pton(af, hostname, &(out->ipaddr))) {
+                       return -1;
+               }
+
+               out->af = af;
+               return 0;
+       }
 
        memset(&hints, 0, sizeof(hints));
        hints.ai_family = af;
 
-       if ((rcode = getaddrinfo(src, NULL, &hints, &res)) != 0) {
+#ifdef TALLOC_DEBUG
+       /*
+        *      Avoid malloc for IP addresses.  This helps us debug
+        *      memory errors when using talloc.
+        */
+       if (af == AF_INET) {
+               /*
+                *      If it's all numeric, avoid getaddrinfo()
+                */
+               if (inet_pton(af, hostname, &out->ipaddr.ip4addr) == 1) {
+                       return 0;
+               }
+       }
+#endif
+
+       if ((rcode = getaddrinfo(hostname, NULL, &hints, &res)) != 0) {
                fr_strerror_printf("ip_hton: %s", gai_strerror(rcode));
                return -1;
        }
 
        for (ai = res; ai; ai = ai->ai_next) {
-               if ((af == ai->ai_family) || (af == AF_UNSPEC))
-                       break;
+               if ((af == ai->ai_family) || (af == AF_UNSPEC)) break;
+               if (!alt && fallback && ((ai->ai_family == AF_INET) || (ai->ai_family == AF_INET6))) alt = ai;
        }
 
+       if (!ai) ai = alt;
        if (!ai) {
-               fr_strerror_printf("ip_hton failed to find requested information for host %.100s", src);
+               fr_strerror_printf("ip_hton failed to find requested information for host %.100s", hostname);
                freeaddrinfo(ai);
                return -1;
        }
 
        rcode = fr_sockaddr2ipaddr((struct sockaddr_storage *)ai->ai_addr,
-                                  ai->ai_addrlen, dst, NULL);
+                                  ai->ai_addrlen, out, NULL);
        freeaddrinfo(ai);
        if (!rcode) return -1;
 
@@ -499,26 +942,112 @@ char const *ip_ntoh(fr_ipaddr_t const *src, char *dst, size_t cnt)
        return dst;
 }
 
+/** Mask off a portion of an IPv4 address
+ *
+ * @param ipaddr to mask.
+ * @param prefix Number of contiguous bits to mask.
+ * @return an ipv6 address with the host portion zeroed out.
+ */
+struct in_addr fr_inaddr_mask(struct in_addr const *ipaddr, uint8_t prefix)
+{
+       uint32_t ret;
+
+       if (prefix > 32) {
+               prefix = 32;
+       }
+
+       /* Short circuit */
+       if (prefix == 32) {
+               return *ipaddr;
+       }
+
+       ret = htonl(~((0x00000001UL << (32 - prefix)) - 1)) & ipaddr->s_addr;
+       return (*(struct in_addr *)&ret);
+}
+
+/** Mask off a portion of an IPv6 address
+ *
+ * @param ipaddr to mask.
+ * @param prefix Number of contiguous bits to mask.
+ * @return an ipv6 address with the host portion zeroed out.
+ */
+struct in6_addr fr_in6addr_mask(struct in6_addr const *ipaddr, uint8_t prefix)
+{
+       uint64_t const *p = (uint64_t const *) ipaddr;
+       uint64_t ret[2], *o = ret;
 
-static char const *hextab = "0123456789abcdef";
+       if (prefix > 128) {
+               prefix = 128;
+       }
+
+       /* Short circuit */
+       if (prefix == 128) {
+               return *ipaddr;
+       }
+
+       if (prefix >= 64) {
+               prefix -= 64;
+               *o++ = 0xffffffffffffffffULL & *p++;
+       } else {
+               ret[1] = 0;
+       }
+
+       *o = htonll(~((0x0000000000000001ULL << (64 - prefix)) - 1)) & *p;
+
+       return *(struct in6_addr *) &ret;
+}
+
+/** Zeroes out the host portion of an fr_ipaddr_t
+ *
+ * @param[in,out] addr to mask
+ * @param[in] prefix Length of the network portion.
+ */
+void fr_ipaddr_mask(fr_ipaddr_t *addr, uint8_t prefix)
+{
+
+       switch (addr->af) {
+       case AF_INET:
+               addr->ipaddr.ip4addr = fr_inaddr_mask(&addr->ipaddr.ip4addr, prefix);
+               break;
+
+       case AF_INET6:
+               addr->ipaddr.ip6addr = fr_in6addr_mask(&addr->ipaddr.ip6addr, prefix);
+               break;
+
+       default:
+               return;
+       }
+       addr->prefix = prefix;
+}
+
+static char const hextab[] = "0123456789abcdef";
 
 /** Convert hex strings to binary data
  *
  * @param bin Buffer to write output to.
- * @param hex input string.
  * @param outlen length of output buffer (or length of input string / 2).
+ * @param hex input string.
+ * @param inlen length of the input string
  * @return length of data written to buffer.
  */
-size_t fr_hex2bin(uint8_t *bin, char const *hex, size_t outlen)
+size_t fr_hex2bin(uint8_t *bin, size_t outlen, char const *hex, size_t inlen)
 {
        size_t i;
+       size_t len;
        char *c1, *c2;
 
-       for (i = 0; i < outlen; i++) {
-               if(!(c1 = memchr(hextab, tolower((int) hex[i << 1]), 16)) ||
-                  !(c2 = memchr(hextab, tolower((int) hex[(i << 1) + 1]), 16)))
+       /*
+        *      Smartly truncate output, caller should check number of bytes
+        *      written.
+        */
+       len = inlen >> 1;
+       if (len > outlen) len = outlen;
+
+       for (i = 0; i < len; i++) {
+               if(!(c1 = memchr(hextab, tolower((int) hex[i << 1]), sizeof(hextab))) ||
+                  !(c2 = memchr(hextab, tolower((int) hex[(i << 1) + 1]), sizeof(hextab))))
                        break;
-                bin[i] = ((c1-hextab)<<4) + (c2-hextab);
+               bin[i] = ((c1-hextab)<<4) + (c2-hextab);
        }
 
        return i;
@@ -552,6 +1081,61 @@ size_t fr_bin2hex(char *hex, uint8_t const *bin, size_t inlen)
 }
 
 
+
+/** Consume the integer (or hex) portion of a value string
+ *
+ * @param value string to parse.
+ * @param end pointer to the first non numeric char.
+ * @return integer value.
+ */
+uint32_t fr_strtoul(char const *value, char **end)
+{
+       if ((value[0] == '0') && (value[1] == 'x')) {
+               return strtoul(value, end, 16);
+       }
+
+       return strtoul(value, end, 10);
+}
+
+/** Check whether the string is all whitespace
+ *
+ * @return true if the entirety of the string is whitespace, else false.
+ */
+bool is_whitespace(char const *value)
+{
+       do {
+               if (!isspace(*value)) return false;
+       } while (*++value);
+
+       return true;
+}
+
+/** Check whether the string is all numbers
+ *
+ * @return true if the entirety of the string is are numebrs, else false.
+ */
+bool is_integer(char const *value)
+{
+       do {
+               if (!isdigit(*value)) return false;
+       } while (*++value);
+
+       return true;
+}
+
+/** Check whether the string is allzeros
+ *
+ * @return true if the entirety of the string is are numebrs, else false.
+ */
+bool is_zero(char const *value)
+{
+       do {
+               if (*value != '0') return false;
+       } while (*++value);
+
+       return true;
+}
+
 /*
  *     So we don't have ifdef's in the rest of the code
  */
@@ -613,7 +1197,7 @@ int fr_ipaddr_cmp(fr_ipaddr_t const *a, fr_ipaddr_t const *b)
        return -1;
 }
 
-int fr_ipaddr2sockaddr(fr_ipaddr_t const *ipaddr, int port,
+int fr_ipaddr2sockaddr(fr_ipaddr_t const *ipaddr, uint16_t port,
                       struct sockaddr_storage *sa, socklen_t *salen)
 {
        if (ipaddr->af == AF_INET) {
@@ -651,7 +1235,7 @@ int fr_ipaddr2sockaddr(fr_ipaddr_t const *ipaddr, int port,
 
 
 int fr_sockaddr2ipaddr(struct sockaddr_storage const *sa, socklen_t salen,
-                      fr_ipaddr_t *ipaddr, int *port)
+                      fr_ipaddr_t *ipaddr, uint16_t *port)
 {
        if (sa->ss_family == AF_INET) {
                struct sockaddr_in      s4;
@@ -663,6 +1247,7 @@ int fr_sockaddr2ipaddr(struct sockaddr_storage const *sa, socklen_t salen,
 
                memcpy(&s4, sa, sizeof(s4));
                ipaddr->af = AF_INET;
+               ipaddr->prefix = 32;
                ipaddr->ipaddr.ip4addr = s4.sin_addr;
                if (port) *port = ntohs(s4.sin_port);
 
@@ -677,6 +1262,7 @@ int fr_sockaddr2ipaddr(struct sockaddr_storage const *sa, socklen_t salen,
 
                memcpy(&s6, sa, sizeof(s6));
                ipaddr->af = AF_INET6;
+               ipaddr->prefix = 128;
                ipaddr->ipaddr.ip6addr = s6.sin6_addr;
                if (port) *port = ntohs(s6.sin6_port);
                ipaddr->scope = s6.sin6_scope_id;
@@ -746,3 +1332,366 @@ ssize_t fr_utf8_to_ucs2(uint8_t *out, size_t outlen, char const *in, size_t inle
        return out - start;
 }
 
+/** Write 128bit unsigned integer to buffer
+ *
+ * @author Alexey Frunze
+ *
+ * @param out where to write result to.
+ * @param outlen size of out.
+ * @param num 128 bit integer.
+ */
+size_t fr_prints_uint128(char *out, size_t outlen, uint128_t const num)
+{
+       char buff[128 / 3 + 1 + 1];
+       uint64_t n[2];
+       char *p = buff;
+       int i;
+
+       memset(buff, '0', sizeof(buff) - 1);
+       buff[sizeof(buff) - 1] = '\0';
+
+       memcpy(n, &num, sizeof(n));
+
+       for (i = 0; i < 128; i++) {
+               ssize_t j;
+               int carry;
+
+               carry = (n[1] >= 0x8000000000000000);
+
+               // Shift n[] left, doubling it
+               n[1] = ((n[1] << 1) & 0xffffffffffffffff) + (n[0] >= 0x8000000000000000);
+               n[0] = ((n[0] << 1) & 0xffffffffffffffff);
+
+               // Add s[] to itself in decimal, doubling it
+               for (j = sizeof(buff) - 2; j >= 0; j--) {
+                       buff[j] += buff[j] - '0' + carry;
+                       carry = (buff[j] > '9');
+                       if (carry) {
+                               buff[j] -= 10;
+                       }
+               }
+       }
+
+       while ((*p == '0') && (p < &buff[sizeof(buff) - 2])) {
+               p++;
+       }
+
+       return strlcpy(out, p, outlen);
+}
+
+/** Calculate powers
+ *
+ * @author Orson Peters
+ * @note Borrowed from the gist here: https://gist.github.com/nightcracker/3551590.
+ *
+ * @param base a 32bit signed integer.
+ * @param exp amount to raise base by.
+ * @return base ^ pow, or 0 on underflow/overflow.
+ */
+int64_t fr_pow(int32_t base, uint8_t exp) {
+       static const uint8_t highest_bit_set[] = {
+               0, 1, 2, 2, 3, 3, 3, 3,
+               4, 4, 4, 4, 4, 4, 4, 4,
+               5, 5, 5, 5, 5, 5, 5, 5,
+               5, 5, 5, 5, 5, 5, 5, 5,
+               6, 6, 6, 6, 6, 6, 6, 6,
+               6, 6, 6, 6, 6, 6, 6, 6,
+               6, 6, 6, 6, 6, 6, 6, 6,
+               6, 6, 6, 6, 6, 6, 6, 255, // anything past 63 is a guaranteed overflow with base > 1
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+               255, 255, 255, 255, 255, 255, 255, 255,
+       };
+
+       uint64_t result = 1;
+
+       switch (highest_bit_set[exp]) {
+       case 255: // we use 255 as an overflow marker and return 0 on overflow/underflow
+               if (base == 1) {
+                       return 1;
+               }
+
+               if (base == -1) {
+                       return 1 - 2 * (exp & 1);
+               }
+               return 0;
+       case 6:
+               if (exp & 1) result *= base;
+               exp >>= 1;
+               base *= base;
+       case 5:
+               if (exp & 1) result *= base;
+               exp >>= 1;
+               base *= base;
+       case 4:
+               if (exp & 1) result *= base;
+               exp >>= 1;
+               base *= base;
+       case 3:
+               if (exp & 1) result *= base;
+               exp >>= 1;
+               base *= base;
+       case 2:
+               if (exp & 1) result *= base;
+               exp >>= 1;
+               base *= base;
+       case 1:
+               if (exp & 1) result *= base;
+       default:
+               return result;
+       }
+}
+
+/*
+ *     Sort of strtok/strsep function.
+ */
+static char *mystrtok(char **ptr, char const *sep)
+{
+       char    *res;
+
+       if (**ptr == 0) {
+               return NULL;
+       }
+
+       while (**ptr && strchr(sep, **ptr)) {
+               (*ptr)++;
+       }
+       if (**ptr == 0) {
+               return NULL;
+       }
+
+       res = *ptr;
+       while (**ptr && strchr(sep, **ptr) == NULL) {
+               (*ptr)++;
+       }
+
+       if (**ptr != 0) {
+               *(*ptr)++ = 0;
+       }
+       return res;
+}
+
+/** Convert string in various formats to a time_t
+ *
+ * @param date_str input date string.
+ * @param date time_t to write result to.
+ * @return 0 on success or -1 on error.
+ */
+int fr_get_time(char const *date_str, time_t *date)
+{
+       int             i;
+       time_t          t;
+       struct tm       *tm, s_tm;
+       char            buf[64];
+       char            *p;
+       char            *f[4];
+       char            *tail = NULL;
+
+       /*
+        * Test for unix timestamp date
+        */
+       *date = strtoul(date_str, &tail, 10);
+       if (*tail == '\0') {
+               return 0;
+       }
+
+       tm = &s_tm;
+       memset(tm, 0, sizeof(*tm));
+       tm->tm_isdst = -1;      /* don't know, and don't care about DST */
+
+       strlcpy(buf, date_str, sizeof(buf));
+
+       p = buf;
+       f[0] = mystrtok(&p, " \t");
+       f[1] = mystrtok(&p, " \t");
+       f[2] = mystrtok(&p, " \t");
+       f[3] = mystrtok(&p, " \t"); /* may, or may not, be present */
+       if (!f[0] || !f[1] || !f[2]) return -1;
+
+       /*
+        *      The time has a colon, where nothing else does.
+        *      So if we find it, bubble it to the back of the list.
+        */
+       if (f[3]) {
+               for (i = 0; i < 3; i++) {
+                       if (strchr(f[i], ':')) {
+                               p = f[3];
+                               f[3] = f[i];
+                               f[i] = p;
+                               break;
+                       }
+               }
+       }
+
+       /*
+        *  The month is text, which allows us to find it easily.
+        */
+       tm->tm_mon = 12;
+       for (i = 0; i < 3; i++) {
+               if (isalpha( (int) *f[i])) {
+                       /*
+                        *  Bubble the month to the front of the list
+                        */
+                       p = f[0];
+                       f[0] = f[i];
+                       f[i] = p;
+
+                       for (i = 0; i < 12; i++) {
+                               if (strncasecmp(months[i], f[0], 3) == 0) {
+                                       tm->tm_mon = i;
+                                       break;
+                               }
+                       }
+               }
+       }
+
+       /* month not found? */
+       if (tm->tm_mon == 12) return -1;
+
+       /*
+        *  The year may be in f[1], or in f[2]
+        */
+       tm->tm_year = atoi(f[1]);
+       tm->tm_mday = atoi(f[2]);
+
+       if (tm->tm_year >= 1900) {
+               tm->tm_year -= 1900;
+
+       } else {
+               /*
+                *  We can't use 2-digit years any more, they make it
+                *  impossible to tell what's the day, and what's the year.
+                */
+               if (tm->tm_mday < 1900) return -1;
+
+               /*
+                *  Swap the year and the day.
+                */
+               i = tm->tm_year;
+               tm->tm_year = tm->tm_mday - 1900;
+               tm->tm_mday = i;
+       }
+
+       /*
+        *  If the day is out of range, die.
+        */
+       if ((tm->tm_mday < 1) || (tm->tm_mday > 31)) {
+               return -1;
+       }
+
+       /*
+        *      There may be %H:%M:%S.  Parse it in a hacky way.
+        */
+       if (f[3]) {
+               f[0] = f[3];    /* HH */
+               f[1] = strchr(f[0], ':'); /* find : separator */
+               if (!f[1]) return -1;
+
+               *(f[1]++) = '\0'; /* nuke it, and point to MM:SS */
+
+               f[2] = strchr(f[1], ':'); /* find : separator */
+               if (f[2]) {
+                 *(f[2]++) = '\0';     /* nuke it, and point to SS */
+                 tm->tm_sec = atoi(f[2]);
+               }                       /* else leave it as zero */
+
+               tm->tm_hour = atoi(f[0]);
+               tm->tm_min = atoi(f[1]);
+       }
+
+       /*
+        *  Returns -1 on error.
+        */
+       t = mktime(tm);
+       if (t == (time_t) -1) return -1;
+
+       *date = t;
+
+       return 0;
+}
+
+/** Compares two pointers
+ *
+ * @param a first pointer to compare.
+ * @param b second pointer to compare.
+ * @return -1 if a < b, +1 if b > a, or 0 if both equal.
+ */
+int8_t fr_pointer_cmp(void const *a, void const *b)
+{
+       if (a < b) return -1;
+       if (a == b) return 0;
+
+       return 1;
+}
+
+static int _quick_partition(void const *to_sort[], int min, int max, fr_cmp_t cmp) {
+       void const *pivot = to_sort[min];
+       int i = min;
+       int j = max + 1;
+       void const *tmp;
+
+       for (;;) {
+               do ++i; while((cmp(to_sort[i], pivot) <= 0) && i <= max);
+               do --j; while(cmp(to_sort[j], pivot) > 0);
+
+               if (i >= j) break;
+
+               tmp = to_sort[i];
+               to_sort[i] = to_sort[j];
+               to_sort[j] = tmp;
+       }
+
+       tmp = to_sort[min];
+       to_sort[min] = to_sort[j];
+       to_sort[j] = tmp;
+
+       return j;
+}
+
+/** Quick sort an array of pointers using a comparator
+ *
+ * @param to_sort array of pointers to sort.
+ * @param min_idx the lowest index (usually 0).
+ * @param max_idx the highest index (usually length of array - 1).
+ * @param cmp the comparison function to use to sort the array elements.
+ */
+void fr_quick_sort(void const *to_sort[], int min_idx, int max_idx, fr_cmp_t cmp)
+{
+       int part;
+
+       if (min_idx >= max_idx) return;
+
+       part = _quick_partition(to_sort, min_idx, max_idx, cmp);
+       fr_quick_sort(to_sort, min_idx, part - 1, cmp);
+       fr_quick_sort(to_sort, part + 1, max_idx, cmp);
+}
+
+#ifdef TALLOC_DEBUG
+void fr_talloc_verify_cb(UNUSED const void *ptr, UNUSED int depth,
+                        UNUSED int max_depth, UNUSED int is_ref,
+                        UNUSED void *private_data)
+{
+       /* do nothing */
+}
+#endif