src/load.c

   1 /*
   2  * Copyright (c) 2009 Petri Lehtinen <petri@digip.org>
   3  *
   4  * Jansson is free software; you can redistribute it and/or modify
   5  * it under the terms of the MIT license. See LICENSE for details.
   6  */
   7
   8 #define _GNU_SOURCE
   9 #include <ctype.h>
  10 #include <errno.h>
  11 #include <limits.h>
  12 #include <stdio.h>
  13 #include <stdlib.h>
  14 #include <string.h>
  15 #include <stdarg.h>
  16 #include <assert.h>
  17
  18 #include <jansson.h>
  19 #include "jansson_private.h"
  20 #include "strbuffer.h"
  21 #include "utf.h"
  22
  23 #define TOKEN_INVALID         -1
  24 #define TOKEN_EOF              0
  25 #define TOKEN_STRING         256
  26 #define TOKEN_INTEGER        257
  27 #define TOKEN_REAL           258
  28 #define TOKEN_TRUE           259
  29 #define TOKEN_FALSE          260
  30 #define TOKEN_NULL           261
  31
  32 /* read one byte from stream, return EOF on end of file */
  33 typedef int (*get_func)(void *data);
  34
  35 /* return non-zero if end of file has been reached */
  36 typedef int (*eof_func)(void *data);
  37
  38 typedef struct {
  39     get_func get;
  40     eof_func eof;
  41     void *data;
  42     int stream_pos;
  43     char buffer[5];
  44     int buffer_pos;
  45 } stream_t;
  46
  47
  48 typedef struct {
  49     stream_t stream;
  50     strbuffer_t saved_text;
  51     int token;
  52     int line, column;
  53     union {
  54         char *string;
  55         int integer;
  56         double real;
  57     } value;
  58 } lex_t;
  59
  60
  61 /*** error reporting ***/
  62
  63 static void error_init(json_error_t *error)
  64 {
  65     if(error)
  66     {
  67         error->text[0] = '\0';
  68         error->line = -1;
  69     }
  70 }
  71
  72 static void error_set(json_error_t *error, const lex_t *lex,
  73                       const char *msg, ...)
  74 {
  75     va_list ap;
  76     char text[JSON_ERROR_TEXT_LENGTH];
  77
  78     if(!error || error->text[0] != '\0') {
  79         /* error already set */
  80         return;
  81     }
  82
  83     va_start(ap, msg);
  84     vsnprintf(text, JSON_ERROR_TEXT_LENGTH, msg, ap);
  85     va_end(ap);
  86
  87     if(lex)
  88     {
  89         const char *saved_text = strbuffer_value(&lex->saved_text);
  90         error->line = lex->line;
  91         if(saved_text && saved_text[0])
  92         {
  93             if(lex->saved_text.length <= 20) {
  94                 snprintf(error->text, JSON_ERROR_TEXT_LENGTH,
  95                          "%s near '%s'", text, saved_text);
  96             }
  97             else
  98                 snprintf(error->text, JSON_ERROR_TEXT_LENGTH, "%s", text);
  99         }
 100         else
 101         {
 102             snprintf(error->text, JSON_ERROR_TEXT_LENGTH,
 103                      "%s near end of file", text);
 104         }
 105     }
 106     else
 107     {
 108         error->line = -1;
 109         snprintf(error->text, JSON_ERROR_TEXT_LENGTH, "%s", text);
 110     }
 111 }
 112
 113
 114 /*** lexical analyzer ***/
 115
 116 void stream_init(stream_t *stream, get_func get, eof_func eof, void *data)
 117 {
 118     stream->get = get;
 119     stream->eof = eof;
 120     stream->data = data;
 121     stream->stream_pos = 0;
 122     stream->buffer[0] = '\0';
 123     stream->buffer_pos = 0;
 124 }
 125
 126 static char stream_get(stream_t *stream, json_error_t *error)
 127 {
 128     char c;
 129
 130     if(!stream->buffer[stream->buffer_pos])
 131     {
 132         stream->buffer[0] = stream->get(stream->data);
 133         stream->buffer_pos = 0;
 134
 135         c = stream->buffer[0];
 136
 137         if((unsigned char)c >= 0x80 && c != (char)EOF)
 138         {
 139             /* multi-byte UTF-8 sequence */
 140             int i, count;
 141
 142             count = utf8_check_first(c);
 143             if(!count)
 144                 goto out;
 145
 146             assert(count >= 2);
 147
 148             for(i = 1; i < count; i++)
 149                 stream->buffer[i] = stream->get(stream->data);
 150
 151             if(!utf8_check_full(stream->buffer, count))
 152                 goto out;
 153
 154             stream->stream_pos += count;
 155             stream->buffer[count] = '\0';
 156         }
 157         else {
 158             stream->buffer[1] = '\0';
 159             stream->stream_pos++;
 160         }
 161     }
 162
 163     return stream->buffer[stream->buffer_pos++];
 164
 165 out:
 166     error_set(error, NULL, "unable to decode byte 0x%x at position %d",
 167               (unsigned char)c, stream->stream_pos);
 168
 169     stream->buffer[0] = EOF;
 170     stream->buffer[1] = '\0';
 171     stream->buffer_pos = 1;
 172
 173     return EOF;
 174 }
 175
 176 static void stream_unget(stream_t *stream, char c)
 177 {
 178     assert(stream->buffer_pos > 0);
 179     stream->buffer_pos--;
 180     assert(stream->buffer[stream->buffer_pos] == c);
 181 }
 182
 183
 184 static int lex_get(lex_t *lex, json_error_t *error)
 185 {
 186     return stream_get(&lex->stream, error);
 187 }
 188
 189 static int lex_eof(lex_t *lex)
 190 {
 191     return lex->stream.eof(lex->stream.data);
 192 }
 193
 194 static void lex_save(lex_t *lex, char c)
 195 {
 196     strbuffer_append_byte(&lex->saved_text, c);
 197 }
 198
 199 static int lex_get_save(lex_t *lex, json_error_t *error)
 200 {
 201     char c = stream_get(&lex->stream, error);
 202     lex_save(lex, c);
 203     return c;
 204 }
 205
 206 static void lex_unget_unsave(lex_t *lex, char c)
 207 {
 208     char d;
 209     stream_unget(&lex->stream, c);
 210     d = strbuffer_pop(&lex->saved_text);
 211     assert(c == d);
 212 }
 213
 214 static void lex_save_cached(lex_t *lex)
 215 {
 216     while(lex->stream.buffer[lex->stream.buffer_pos] != '\0')
 217     {
 218         lex_save(lex, lex->stream.buffer[lex->stream.buffer_pos]);
 219         lex->stream.buffer_pos++;
 220     }
 221 }
 222
 223 /* assumes that str points to 'u' plus at least 4 valid hex digits */
 224 static int decode_unicode_escape(const char *str)
 225 {
 226     int i;
 227     int value = 0;
 228
 229     assert(str[0] == 'u');
 230
 231     for(i = 1; i <= 4; i++) {
 232         char c = str[i];
 233         value <<= 4;
 234         if(isdigit(c))
 235             value += c - '0';
 236         else if(islower(c))
 237             value += c - 'a' + 10;
 238         else if(isupper(c))
 239             value += c - 'A' + 10;
 240         else
 241             assert(0);
 242     }
 243
 244     return value;
 245 }
 246
 247 static void lex_scan_string(lex_t *lex, json_error_t *error)
 248 {
 249     char c;
 250     const char *p;
 251     char *t;
 252     int i;
 253
 254     lex->value.string = NULL;
 255     lex->token = TOKEN_INVALID;
 256
 257     c = lex_get_save(lex, error);
 258
 259     while(c != '"') {
 260         if(c == (char)EOF) {
 261             lex_unget_unsave(lex, c);
 262             if(lex_eof(lex))
 263                 error_set(error, lex, "premature end of input");
 264             goto out;
 265         }
 266
 267         else if((unsigned char)c <= 0x1F) {
 268             /* control character */
 269             lex_unget_unsave(lex, c);
 270             if(c == '\n')
 271                 error_set(error, lex, "unexpected newline", c);
 272             else
 273                 error_set(error, lex, "control character 0x%x", c);
 274             goto out;
 275         }
 276
 277         else if(c == '\\') {
 278             c = lex_get_save(lex, error);
 279             if(c == 'u') {
 280                 c = lex_get_save(lex, error);
 281                 for(i = 0; i < 4; i++) {
 282                     if(!isxdigit(c)) {
 283                         lex_unget_unsave(lex, c);
 284                         error_set(error, lex, "invalid escape");
 285                         goto out;
 286                     }
 287                     c = lex_get_save(lex, error);
 288                 }
 289             }
 290             else if(c == '"' || c == '\\' || c == '/' || c == 'b' ||
 291                     c == 'f' || c == 'n' || c == 'r' || c == 't')
 292                 c = lex_get_save(lex, error);
 293             else {
 294                 lex_unget_unsave(lex, c);
 295                 error_set(error, lex, "invalid escape");
 296                 goto out;
 297             }
 298         }
 299         else
 300             c = lex_get_save(lex, error);
 301     }
 302
 303     /* the actual value is at most of the same length as the source
 304        string, because:
 305          - shortcut escapes (e.g. "\t") (length 2) are converted to 1 byte
 306          - a single \uXXXX escape (length 6) is converted to at most 3 bytes
 307          - two \uXXXX escapes (length 12) forming an UTF-16 surrogate pair
 308            are converted to 4 bytes
 309     */
 310     lex->value.string = malloc(lex->saved_text.length + 1);
 311     if(!lex->value.string) {
 312         /* this is not very nice, since TOKEN_INVALID is returned */
 313         goto out;
 314     }
 315
 316     /* the target */
 317     t = lex->value.string;
 318
 319     /* + 1 to skip the " */
 320     p = strbuffer_value(&lex->saved_text) + 1;
 321
 322     while(*p != '"') {
 323         if(*p == '\\') {
 324             p++;
 325             if(*p == 'u') {
 326                 char buffer[4];
 327                 int length;
 328                 int value;
 329
 330                 value = decode_unicode_escape(p);
 331                 p += 5;
 332
 333                 if(0xD800 <= value && value <= 0xDBFF) {
 334                     /* surrogate pair */
 335                     if(*p == '\\' && *(p + 1) == 'u') {
 336                         int value2 = decode_unicode_escape(++p);
 337                         p += 5;
 338
 339                         if(0xDC00 <= value2 && value2 <= 0xDFFF) {
 340                             /* valid second surrogate */
 341                             value = ((value - 0xD800) << 10) +
 342                                     (value2 - 0xDC00) +
 343                                     0x10000;
 344                         }
 345                         else {
 346                             /* invalid second surrogate */
 347                             error_set(error, lex,
 348                                       "invalid Unicode '\\u%04X\\u%04X'",
 349                                       value, value2);
 350                             goto out;
 351                         }
 352                     }
 353                     else {
 354                         /* no second surrogate */
 355                         error_set(error, lex, "invalid Unicode '\\u%04X'",
 356                                   value);
 357                         goto out;
 358                     }
 359                 }
 360                 else if(0xDC00 <= value && value <= 0xDFFF) {
 361                     error_set(error, lex, "invalid Unicode '\\u%04X'", value);
 362                     goto out;
 363                 }
 364                 else if(value == 0)
 365                 {
 366                     error_set(error, lex, "\\u0000 is not allowed");
 367                     goto out;
 368                 }
 369
 370                 if(utf8_encode(value, buffer, &length))
 371                     assert(0);
 372
 373                 memcpy(t, buffer, length);
 374                 t += length;
 375             }
 376             else {
 377                 switch(*p) {
 378                     case '"': case '\\': case '/':
 379                         *t = *p; break;
 380                     case 'b': *t = '\b'; break;
 381                     case 'f': *t = '\f'; break;
 382                     case 'n': *t = '\n'; break;
 383                     case 'r': *t = '\r'; break;
 384                     case 't': *t = '\t'; break;
 385                     default: assert(0);
 386                 }
 387                 t++;
 388                 p++;
 389             }
 390         }
 391         else
 392             *(t++) = *(p++);
 393     }
 394     *t = '\0';
 395     lex->token = TOKEN_STRING;
 396     return;
 397
 398 out:
 399     free(lex->value.string);
 400 }
 401
 402 static int lex_scan_number(lex_t *lex, char c, json_error_t *error)
 403 {
 404     const char *saved_text;
 405     char *end;
 406     double value;
 407
 408     lex->token = TOKEN_INVALID;
 409
 410     if(c == '-')
 411         c = lex_get_save(lex, error);
 412
 413     if(c == '0') {
 414         c = lex_get_save(lex, error);
 415         if(isdigit(c)) {
 416             lex_unget_unsave(lex, c);
 417             goto out;
 418         }
 419     }
 420     else /* c != '0' */ {
 421         c = lex_get_save(lex, error);
 422         while(isdigit(c))
 423             c = lex_get_save(lex, error);
 424     }
 425
 426     if(c != '.' && c != 'E' && c != 'e') {
 427         long value;
 428
 429         lex_unget_unsave(lex, c);
 430
 431         saved_text = strbuffer_value(&lex->saved_text);
 432         value = strtol(saved_text, &end, 10);
 433         assert(end == saved_text + lex->saved_text.length);
 434
 435         if((value == LONG_MAX && errno == ERANGE) || value > INT_MAX) {
 436             error_set(error, lex, "too big integer");
 437             goto out;
 438         }
 439         else if((value == LONG_MIN && errno == ERANGE) || value < INT_MIN) {
 440             error_set(error, lex, "too big negative integer");
 441             goto out;
 442         }
 443
 444         lex->token = TOKEN_INTEGER;
 445         lex->value.integer = (int)value;
 446         return 0;
 447     }
 448
 449     if(c == '.') {
 450         c = lex_get(lex, error);
 451         if(!isdigit(c))
 452             goto out;
 453         lex_save(lex, c);
 454
 455         c = lex_get_save(lex, error);
 456         while(isdigit(c))
 457             c = lex_get_save(lex, error);
 458     }
 459
 460     if(c == 'E' || c == 'e') {
 461         c = lex_get_save(lex, error);
 462         if(c == '+' || c == '-')
 463             c = lex_get_save(lex, error);
 464
 465         if(!isdigit(c)) {
 466             lex_unget_unsave(lex, c);
 467             goto out;
 468         }
 469
 470         c = lex_get_save(lex, error);
 471         while(isdigit(c))
 472             c = lex_get_save(lex, error);
 473     }
 474
 475     lex_unget_unsave(lex, c);
 476
 477     saved_text = strbuffer_value(&lex->saved_text);
 478     value = strtod(saved_text, &end);
 479     assert(end == saved_text + lex->saved_text.length);
 480
 481     if(value == 0 && errno == ERANGE) {
 482         error_set(error, lex, "real number underflow");
 483         goto out;
 484     }
 485
 486     /* Cannot test for +/-HUGE_VAL because the HUGE_VAL constant is
 487        only defined in C99 mode. So let's trust in sole errno. */
 488     else if(errno == ERANGE) {
 489         error_set(error, lex, "real number overflow");
 490         goto out;
 491     }
 492
 493     lex->token = TOKEN_REAL;
 494     lex->value.real = value;
 495     return 0;
 496
 497 out:
 498     return -1;
 499 }
 500
 501 static int lex_scan(lex_t *lex, json_error_t *error)
 502 {
 503     char c;
 504
 505     strbuffer_clear(&lex->saved_text);
 506
 507     if(lex->token == TOKEN_STRING) {
 508       free(lex->value.string);
 509       lex->value.string = NULL;
 510     }
 511
 512     c = lex_get(lex, error);
 513     while(c == ' ' || c == '\t' || c == '\n' || c == '\r')
 514     {
 515         if(c == '\n')
 516             lex->line++;
 517
 518         c = lex_get(lex, error);
 519     }
 520
 521     if(c == (char)EOF) {
 522         if(lex_eof(lex))
 523             lex->token = TOKEN_EOF;
 524         else
 525             lex->token = TOKEN_INVALID;
 526         goto out;
 527     }
 528
 529     lex_save(lex, c);
 530
 531     if(c == '{' || c == '}' || c == '[' || c == ']' || c == ':' || c == ',')
 532         lex->token = c;
 533
 534     else if(c == '"')
 535         lex_scan_string(lex, error);
 536
 537     else if(isdigit(c) || c == '-') {
 538         if(lex_scan_number(lex, c, error))
 539             goto out;
 540     }
 541
 542     else if(isupper(c) || islower(c)) {
 543         /* eat up the whole identifier for clearer error messages */
 544         const char *saved_text;
 545
 546         c = lex_get_save(lex, error);
 547         while(isupper(c) || islower(c))
 548             c = lex_get_save(lex, error);
 549         lex_unget_unsave(lex, c);
 550
 551         saved_text = strbuffer_value(&lex->saved_text);
 552
 553         if(strcmp(saved_text, "true") == 0)
 554             lex->token = TOKEN_TRUE;
 555         else if(strcmp(saved_text, "false") == 0)
 556             lex->token = TOKEN_FALSE;
 557         else if(strcmp(saved_text, "null") == 0)
 558             lex->token = TOKEN_NULL;
 559         else
 560             lex->token = TOKEN_INVALID;
 561     }
 562
 563     else {
 564         /* save the rest of the input UTF-8 sequence to get an error
 565            message of valid UTF-8 */
 566         lex_save_cached(lex);
 567         lex->token = TOKEN_INVALID;
 568     }
 569
 570 out:
 571     return lex->token;
 572 }
 573
 574 static char *lex_steal_string(lex_t *lex)
 575 {
 576     char *result = NULL;
 577     if(lex->token == TOKEN_STRING)
 578     {
 579         result = lex->value.string;
 580         lex->value.string = NULL;
 581     }
 582     return result;
 583 }
 584
 585 static int lex_init(lex_t *lex, get_func get, eof_func eof, void *data)
 586 {
 587     stream_init(&lex->stream, get, eof, data);
 588     if(strbuffer_init(&lex->saved_text))
 589         return -1;
 590
 591     lex->token = TOKEN_INVALID;
 592     lex->line = 1;
 593
 594     return 0;
 595 }
 596
 597 static void lex_close(lex_t *lex)
 598 {
 599     if(lex->token == TOKEN_STRING)
 600         free(lex->value.string);
 601     strbuffer_close(&lex->saved_text);
 602 }
 603
 604
 605 /*** parser ***/
 606
 607 static json_t *parse_value(lex_t *lex, json_error_t *error);
 608
 609 static json_t *parse_object(lex_t *lex, json_error_t *error)
 610 {
 611     json_t *object = json_object();
 612     if(!object)
 613         return NULL;
 614
 615     lex_scan(lex, error);
 616     if(lex->token == '}')
 617         return object;
 618
 619     while(1) {
 620         char *key;
 621         json_t *value;
 622
 623         if(lex->token != TOKEN_STRING) {
 624             error_set(error, lex, "string or '}' expected");
 625             goto error;
 626         }
 627
 628         key = lex_steal_string(lex);
 629         if(!key)
 630             return NULL;
 631
 632         lex_scan(lex, error);
 633         if(lex->token != ':') {
 634             free(key);
 635             error_set(error, lex, "':' expected");
 636             goto error;
 637         }
 638
 639         lex_scan(lex, error);
 640         value = parse_value(lex, error);
 641         if(!value) {
 642             free(key);
 643             goto error;
 644         }
 645
 646         if(json_object_set_nocheck(object, key, value)) {
 647             free(key);
 648             json_decref(value);
 649             goto error;
 650         }
 651
 652         json_decref(value);
 653         free(key);
 654
 655         lex_scan(lex, error);
 656         if(lex->token != ',')
 657             break;
 658
 659         lex_scan(lex, error);
 660     }
 661
 662     if(lex->token != '}') {
 663         error_set(error, lex, "'}' expected");
 664         goto error;
 665     }
 666
 667     return object;
 668
 669 error:
 670     json_decref(object);
 671     return NULL;
 672 }
 673
 674 static json_t *parse_array(lex_t *lex, json_error_t *error)
 675 {
 676     json_t *array = json_array();
 677     if(!array)
 678         return NULL;
 679
 680     lex_scan(lex, error);
 681     if(lex->token == ']')
 682         return array;
 683
 684     while(lex->token) {
 685         json_t *elem = parse_value(lex, error);
 686         if(!elem)
 687             goto error;
 688
 689         if(json_array_append(array, elem)) {
 690             json_decref(elem);
 691             goto error;
 692         }
 693         json_decref(elem);
 694
 695         lex_scan(lex, error);
 696         if(lex->token != ',')
 697             break;
 698
 699         lex_scan(lex, error);
 700     }
 701
 702     if(lex->token != ']') {
 703         error_set(error, lex, "']' expected");
 704         goto error;
 705     }
 706
 707     return array;
 708
 709 error:
 710     json_decref(array);
 711     return NULL;
 712 }
 713
 714 static json_t *parse_value(lex_t *lex, json_error_t *error)
 715 {
 716     json_t *json;
 717
 718     switch(lex->token) {
 719         case TOKEN_STRING: {
 720             json = json_string_nocheck(lex->value.string);
 721             break;
 722         }
 723
 724         case TOKEN_INTEGER: {
 725             json = json_integer(lex->value.integer);
 726             break;
 727         }
 728
 729         case TOKEN_REAL: {
 730             json = json_real(lex->value.real);
 731             break;
 732         }
 733
 734         case TOKEN_TRUE:
 735             json = json_true();
 736             break;
 737
 738         case TOKEN_FALSE:
 739             json = json_false();
 740             break;
 741
 742         case TOKEN_NULL:
 743             json = json_null();
 744             break;
 745
 746         case '{':
 747           json = parse_object(lex, error);
 748             break;
 749
 750         case '[':
 751             json = parse_array(lex, error);
 752             break;
 753
 754         case TOKEN_INVALID:
 755             error_set(error, lex, "invalid token");
 756             return NULL;
 757
 758         default:
 759             error_set(error, lex, "unexpected token");
 760             return NULL;
 761     }
 762
 763     if(!json)
 764         return NULL;
 765
 766     return json;
 767 }
 768
 769 json_t *parse_json(lex_t *lex, json_error_t *error)
 770 {
 771     error_init(error);
 772
 773     lex_scan(lex, error);
 774     if(lex->token != '[' && lex->token != '{') {
 775         error_set(error, lex, "'[' or '{' expected");
 776         return NULL;
 777     }
 778
 779     return parse_value(lex, error);
 780 }
 781
 782 typedef struct
 783 {
 784     const char *data;
 785     int pos;
 786 } string_data_t;
 787
 788 static int string_get(void *data)
 789 {
 790     char c;
 791     string_data_t *stream = (string_data_t *)data;
 792     c = stream->data[stream->pos];
 793     if(c == '\0')
 794         return EOF;
 795     else
 796     {
 797         stream->pos++;
 798         return c;
 799     }
 800 }
 801
 802 static int string_eof(void *data)
 803 {
 804     string_data_t *stream = (string_data_t *)data;
 805     return (stream->data[stream->pos] == '\0');
 806 }
 807
 808 json_t *json_loads(const char *string, json_error_t *error)
 809 {
 810     lex_t lex;
 811     json_t *result;
 812
 813     string_data_t stream_data = {
 814         .data = string,
 815         .pos = 0
 816     };
 817
 818     if(lex_init(&lex, string_get, string_eof, (void *)&stream_data))
 819         return NULL;
 820
 821     result = parse_json(&lex, error);
 822     if(!result)
 823         goto out;
 824
 825     lex_scan(&lex, error);
 826     if(lex.token != TOKEN_EOF) {
 827         error_set(error, &lex, "end of file expected");
 828         json_decref(result);
 829         result = NULL;
 830     }
 831
 832 out:
 833     lex_close(&lex);
 834     return result;
 835 }
 836
 837 json_t *json_loadf(FILE *input, json_error_t *error)
 838 {
 839     lex_t lex;
 840     json_t *result;
 841
 842     if(lex_init(&lex, (get_func)fgetc, (eof_func)feof, input))
 843         return NULL;
 844
 845     result = parse_json(&lex, error);
 846     if(!result)
 847         goto out;
 848
 849     lex_scan(&lex, error);
 850     if(lex.token != TOKEN_EOF) {
 851         error_set(error, &lex, "end of file expected");
 852         json_decref(result);
 853         result = NULL;
 854     }
 855
 856 out:
 857     lex_close(&lex);
 858     return result;
 859 }
 860
 861 json_t *json_load_file(const char *path, json_error_t *error)
 862 {
 863     json_t *result;
 864     FILE *fp;
 865
 866     fp = fopen(path, "r");
 867     if(!fp)
 868     {
 869         error_set(error, NULL, "unable to open %s: %s",
 870                   path, strerror(errno));
 871         return NULL;
 872     }
 873
 874     result = json_loadf(fp, error);
 875
 876     fclose(fp);
 877     return result;
 878 }