lib/i18n_module/VIQR/citrus_viqr.c

   1 /* $FreeBSD: head/lib/libiconv_modules/VIQR/citrus_viqr.c 281550 2015-04-15 09:09:20Z tijl $ */
   2 /* $NetBSD: citrus_viqr.c,v 1.5 2011/11/19 18:20:13 tnozaki Exp $ */
   3
   4 /*-
   5  * Copyright (c)2006 Citrus Project,
   6  * All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  *
  29  */
  30
  31 #include <sys/cdefs.h>
  32 #include <sys/queue.h>
  33 #include <sys/types.h>
  34
  35 #include <assert.h>
  36 #include <errno.h>
  37 #include <limits.h>
  38 #include <stddef.h>
  39 #include <stdint.h>
  40 #include <stdlib.h>
  41 #include <string.h>
  42 #include <wchar.h>
  43
  44 #include "citrus_namespace.h"
  45 #include "citrus_types.h"
  46 #include "citrus_bcs.h"
  47 #include "citrus_module.h"
  48 #include "citrus_stdenc.h"
  49 #include "citrus_viqr.h"
  50
  51 #define ESCAPE  '\\'
  52
  53 /*
  54  * this table generated from RFC 1456.
  55  */
  56 static const char *mnemonic_rfc1456[0x100] = {
  57   NULL , NULL , "A(?", NULL , NULL , "A(~", "A^~", NULL ,
  58   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  59   NULL , NULL , NULL , NULL , "Y?" , NULL , NULL , NULL ,
  60   NULL , "Y~" , NULL , NULL , NULL , NULL , "Y." , NULL ,
  61   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  62   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  63   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  64   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  65   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  66   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  67   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  68   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  69   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  70   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  71   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  72   NULL , NULL , NULL , NULL , NULL , NULL , NULL , NULL ,
  73   "A." , "A('", "A(`", "A(.", "A^'", "A^`", "A^?", "A^.",
  74   "E~" , "E." , "E^'", "E^`", "E^?", "E^~", "E^.", "O^'",
  75   "O^`", "O^?", "O^~", "O^.", "O+.", "O+'", "O+`", "O+?",
  76   "I." , "O?" , "O." , "I?" , "U?" , "U~" , "U." , "Y`" ,
  77   "O~" , "a('", "a(`", "a(.", "a^'", "a^`", "a^?", "a^.",
  78   "e~" , "e." , "e^'", "e^`", "e^?", "e^~", "e^.", "o^'",
  79   "o^`", "o^?", "o^~", "O+~", "O+" , "o^.", "o+`", "o+?",
  80   "i." , "U+.", "U+'", "U+`", "U+?", "o+" , "o+'", "U+" ,
  81   "A`" , "A'" , "A^" , "A~" , "A?" , "A(" , "a(?", "a(~",
  82   "E`" , "E'" , "E^" , "E?" , "I`" , "I'" , "I~" , "y`" ,
  83   "DD" , "u+'", "O`" , "O'" , "O^" , "a." , "y?" , "u+`",
  84   "u+?", "U`" , "U'" , "y~" , "y." , "Y'" , "o+~", "u+" ,
  85   "a`" , "a'" , "a^" , "a~" , "a?" , "a(" , "u+~", "a^~",
  86   "e`" , "e'" , "e^" , "e?" , "i`" , "i'" , "i~" , "i?" ,
  87   "dd" , "u+.", "o`" , "o'" , "o^" , "o~" , "o?" , "o." ,
  88   "u." , "u`" , "u'" , "u~" , "u?" , "y'" , "o+.", "U+~",
  89 };
  90
  91 typedef struct {
  92         const char      *name;
  93         wchar_t          value;
  94 } mnemonic_def_t;
  95
  96 static const mnemonic_def_t mnemonic_ext[] = {
  97 /* add extra mnemonic here (should be sorted by wchar_t order). */
  98 };
  99 static const size_t mnemonic_ext_size =
 100         sizeof(mnemonic_ext) / sizeof(mnemonic_def_t);
 101
 102 static const char *
 103 mnemonic_ext_find(wchar_t wc, const mnemonic_def_t *head, size_t n)
 104 {
 105         const mnemonic_def_t *mid;
 106
 107         for (; n > 0; n >>= 1) {
 108                 mid = head + (n >> 1);
 109                 if (mid->value == wc)
 110                         return (mid->name);
 111                 else if (mid->value < wc) {
 112                         head = mid + 1;
 113                         --n;
 114                 }
 115         }
 116         return (NULL);
 117 }
 118
 119 struct mnemonic_t;
 120 typedef TAILQ_HEAD(mnemonic_list_t, mnemonic_t) mnemonic_list_t;
 121 typedef struct mnemonic_t {
 122         TAILQ_ENTRY(mnemonic_t)  entry;
 123         struct mnemonic_t       *parent;
 124         mnemonic_list_t          child;
 125         wchar_t                  value;
 126         int                      ascii;
 127 } mnemonic_t;
 128
 129 static mnemonic_t *
 130 mnemonic_list_find(mnemonic_list_t *ml, int ch)
 131 {
 132         mnemonic_t *m;
 133
 134         TAILQ_FOREACH(m, ml, entry) {
 135                 if (m->ascii == ch)
 136                         return (m);
 137         }
 138
 139         return (NULL);
 140 }
 141
 142 static mnemonic_t *
 143 mnemonic_create(mnemonic_t *parent, int ascii, wchar_t value)
 144 {
 145         mnemonic_t *m;
 146
 147         m = malloc(sizeof(*m));
 148         if (m != NULL) {
 149                 m->parent = parent;
 150                 m->ascii = ascii;
 151                 m->value = value;
 152                 TAILQ_INIT(&m->child);
 153         }
 154
 155         return (m);
 156 }
 157
 158 static int
 159 mnemonic_append_child(mnemonic_t *m, const char *s,
 160     wchar_t value, wchar_t invalid)
 161 {
 162         mnemonic_t *m0;
 163         int ch;
 164
 165         ch = (unsigned char)*s++;
 166         if (ch == '\0')
 167                 return (EINVAL);
 168         m0 = mnemonic_list_find(&m->child, ch);
 169         if (m0 == NULL) {
 170                 m0 = mnemonic_create(m, ch, (wchar_t)ch);
 171                 if (m0 == NULL)
 172                         return (ENOMEM);
 173                 TAILQ_INSERT_TAIL(&m->child, m0, entry);
 174         }
 175         m = m0;
 176         for (m0 = NULL; (ch = (unsigned char)*s) != '\0'; ++s) {
 177                 m0 = mnemonic_list_find(&m->child, ch);
 178                 if (m0 == NULL) {
 179                         m0 = mnemonic_create(m, ch, invalid);
 180                         if (m0 == NULL)
 181                                 return (ENOMEM);
 182                         TAILQ_INSERT_TAIL(&m->child, m0, entry);
 183                 }
 184                 m = m0;
 185         }
 186         if (m0 == NULL)
 187                 return (EINVAL);
 188         m0->value = value;
 189
 190         return (0);
 191 }
 192
 193 static void
 194 mnemonic_destroy(mnemonic_t *m)
 195 {
 196         mnemonic_t *m0;
 197
 198         TAILQ_FOREACH(m0, &m->child, entry)
 199                 mnemonic_destroy(m0);
 200         free(m);
 201 }
 202
 203 typedef struct {
 204         mnemonic_t      *mroot;
 205         wchar_t          invalid;
 206         size_t           mb_cur_max;
 207 } _VIQREncodingInfo;
 208
 209 typedef struct {
 210         int      chlen;
 211         char     ch[MB_LEN_MAX];
 212 } _VIQRState;
 213
 214 #define _CEI_TO_EI(_cei_)               (&(_cei_)->ei)
 215 #define _CEI_TO_STATE(_cei_, _func_)    (_cei_)->states.s_##_func_
 216
 217 #define _FUNCNAME(m)                    _citrus_VIQR_##m
 218 #define _ENCODING_INFO                  _VIQREncodingInfo
 219 #define _ENCODING_STATE                 _VIQRState
 220 #define _ENCODING_MB_CUR_MAX(_ei_)      (_ei_)->mb_cur_max
 221 #define _ENCODING_IS_STATE_DEPENDENT            1
 222 #define _STATE_NEEDS_EXPLICIT_INIT(_ps_)        0
 223
 224 static __inline void
 225 /*ARGSUSED*/
 226 _citrus_VIQR_init_state(_VIQREncodingInfo * __restrict ei __unused,
 227     _VIQRState * __restrict psenc)
 228 {
 229
 230         psenc->chlen = 0;
 231 }
 232
 233 #if 0
 234 static __inline void
 235 /*ARGSUSED*/
 236 _citrus_VIQR_pack_state(_VIQREncodingInfo * __restrict ei __unused,
 237     void *__restrict pspriv, const _VIQRState * __restrict psenc)
 238 {
 239
 240         memcpy(pspriv, (const void *)psenc, sizeof(*psenc));
 241 }
 242
 243 static __inline void
 244 /*ARGSUSED*/
 245 _citrus_VIQR_unpack_state(_VIQREncodingInfo * __restrict ei __unused,
 246     _VIQRState * __restrict psenc, const void * __restrict pspriv)
 247 {
 248
 249         memcpy((void *)psenc, pspriv, sizeof(*psenc));
 250 }
 251 #endif
 252
 253 static int
 254 _citrus_VIQR_mbrtowc_priv(_VIQREncodingInfo * __restrict ei,
 255     wchar_t * __restrict pwc, char ** __restrict s, size_t n,
 256     _VIQRState * __restrict psenc, size_t * __restrict nresult)
 257 {
 258         mnemonic_t *m, *m0;
 259         char *s0;
 260         wchar_t wc;
 261         ssize_t i;
 262         int ch, escape;
 263
 264         if (*s == NULL) {
 265                 _citrus_VIQR_init_state(ei, psenc);
 266                 *nresult = (size_t)_ENCODING_IS_STATE_DEPENDENT;
 267                 return (0);
 268         }
 269         s0 = *s;
 270
 271         i = 0;
 272         m = ei->mroot;
 273         for (escape = 0;;) {
 274                 if (psenc->chlen == i) {
 275                         if (n-- < 1) {
 276                                 *s = s0;
 277                                 *nresult = (size_t)-2;
 278                                 return (0);
 279                         }
 280                         psenc->ch[psenc->chlen++] = *s0++;
 281                 }
 282                 ch = (unsigned char)psenc->ch[i++];
 283                 if (ch == ESCAPE) {
 284                         if (m != ei->mroot)
 285                                 break;
 286                         escape = 1;
 287                         continue;
 288                 }
 289                 if (escape != 0)
 290                         break;
 291                 m0 = mnemonic_list_find(&m->child, ch);
 292                 if (m0 == NULL)
 293                         break;
 294                 m = m0;
 295         }
 296         while (m != ei->mroot) {
 297                 --i;
 298                 if (m->value != ei->invalid)
 299                         break;
 300                 m = m->parent;
 301         }
 302         if (ch == ESCAPE && m != ei->mroot)
 303                 ++i;
 304         psenc->chlen -= i;
 305         memmove(&psenc->ch[0], &psenc->ch[i], psenc->chlen);
 306         wc = (m == ei->mroot) ? (wchar_t)ch : m->value;
 307         if (pwc != NULL)
 308                 *pwc = wc;
 309         *nresult = (size_t)(wc == 0 ? 0 : s0 - *s);
 310         *s = s0;
 311
 312         return (0);
 313 }
 314
 315 static int
 316 _citrus_VIQR_wcrtomb_priv(_VIQREncodingInfo * __restrict ei,
 317     char * __restrict s, size_t n, wchar_t wc,
 318     _VIQRState * __restrict psenc, size_t * __restrict nresult)
 319 {
 320         mnemonic_t *m;
 321         const char *p;
 322         int ch = 0;
 323
 324         switch (psenc->chlen) {
 325         case 0: case 1:
 326                 break;
 327         default:
 328                 return (EINVAL);
 329         }
 330         m = NULL;
 331         if ((uint32_t)wc <= 0xFF) {
 332                 p = mnemonic_rfc1456[wc & 0xFF];
 333                 if (p != NULL)
 334                         goto mnemonic_found;
 335                 if (n-- < 1)
 336                         goto e2big;
 337                 ch = (unsigned int)wc;
 338                 m = ei->mroot;
 339                 if (psenc->chlen > 0) {
 340                         m = mnemonic_list_find(&m->child, psenc->ch[0]);
 341                         if (m == NULL)
 342                                 return (EINVAL);
 343                         psenc->ch[0] = ESCAPE;
 344                 }
 345                 if (mnemonic_list_find(&m->child, ch) == NULL) {
 346                         psenc->chlen = 0;
 347                         m = NULL;
 348                 }
 349                 psenc->ch[psenc->chlen++] = ch;
 350         } else {
 351                 p = mnemonic_ext_find(wc, &mnemonic_ext[0], mnemonic_ext_size);
 352                 if (p == NULL) {
 353                         *nresult = (size_t)-1;
 354                         return (EILSEQ);
 355                 } else {
 356 mnemonic_found:
 357                         psenc->chlen = 0;
 358                         while (*p != '\0') {
 359                                 if (n-- < 1)
 360                                         goto e2big;
 361                                 psenc->ch[psenc->chlen++] = *p++;
 362                         }
 363                 }
 364         }
 365         memcpy(s, psenc->ch, psenc->chlen);
 366         *nresult = psenc->chlen;
 367         if (m == ei->mroot) {
 368                 psenc->ch[0] = ch;
 369                 psenc->chlen = 1;
 370         } else
 371                 psenc->chlen = 0;
 372
 373         return (0);
 374
 375 e2big:
 376         *nresult = (size_t)-1;
 377         return (E2BIG);
 378 }
 379
 380 static int
 381 /* ARGSUSED */
 382 _citrus_VIQR_put_state_reset(_VIQREncodingInfo * __restrict ei __unused,
 383     char * __restrict s __unused, size_t n __unused,
 384     _VIQRState * __restrict psenc, size_t * __restrict nresult)
 385 {
 386
 387         switch (psenc->chlen) {
 388         case 0: case 1:
 389                 break;
 390         default:
 391                 return (EINVAL);
 392         }
 393         *nresult = 0;
 394         psenc->chlen = 0;
 395
 396         return (0);
 397 }
 398
 399 static __inline int
 400 /*ARGSUSED*/
 401 _citrus_VIQR_stdenc_wctocs(_VIQREncodingInfo * __restrict ei __unused,
 402     _csid_t * __restrict csid, _index_t * __restrict idx, wchar_t wc)
 403 {
 404
 405         *csid = 0;
 406         *idx = (_index_t)wc;
 407
 408         return (0);
 409 }
 410
 411 static __inline int
 412 /*ARGSUSED*/
 413 _citrus_VIQR_stdenc_cstowc(_VIQREncodingInfo * __restrict ei __unused,
 414     wchar_t * __restrict pwc, _csid_t csid, _index_t idx)
 415 {
 416
 417         if (csid != 0)
 418                 return (EILSEQ);
 419         *pwc = (wchar_t)idx;
 420
 421         return (0);
 422 }
 423
 424 static void
 425 _citrus_VIQR_encoding_module_uninit(_VIQREncodingInfo *ei)
 426 {
 427
 428         mnemonic_destroy(ei->mroot);
 429 }
 430
 431 static int
 432 /*ARGSUSED*/
 433 _citrus_VIQR_encoding_module_init(_VIQREncodingInfo * __restrict ei,
 434     const void * __restrict var __unused, size_t lenvar __unused)
 435 {
 436         const mnemonic_def_t *p;
 437         const char *s;
 438         size_t i, n;
 439         int errnum;
 440
 441         ei->mb_cur_max = 1;
 442         ei->invalid = (wchar_t)-1;
 443         ei->mroot = mnemonic_create(NULL, '\0', ei->invalid);
 444         if (ei->mroot == NULL)
 445                 return (ENOMEM);
 446         for (i = 0; i < sizeof(mnemonic_rfc1456) / sizeof(const char *); ++i) {
 447                 s = mnemonic_rfc1456[i];
 448                 if (s == NULL)
 449                         continue;
 450                 n = strlen(s);
 451                 if (ei->mb_cur_max < n)
 452                         ei->mb_cur_max = n;
 453                 errnum = mnemonic_append_child(ei->mroot,
 454                     s, (wchar_t)i, ei->invalid);
 455                 if (errnum != 0) {
 456                         _citrus_VIQR_encoding_module_uninit(ei);
 457                         return (errnum);
 458                 }
 459         }
 460         for (i = 0; i < mnemonic_ext_size; ++i) {
 461                 p = &mnemonic_ext[i];
 462                 n = strlen(p->name);
 463                 if (ei->mb_cur_max < n)
 464                         ei->mb_cur_max = n;
 465                 errnum = mnemonic_append_child(ei->mroot,
 466                     p->name, p->value, ei->invalid);
 467                 if (errnum != 0) {
 468                         _citrus_VIQR_encoding_module_uninit(ei);
 469                         return (errnum);
 470                 }
 471         }
 472
 473         return (0);
 474 }
 475
 476 static __inline int
 477 /*ARGSUSED*/
 478 _citrus_VIQR_stdenc_get_state_desc_generic(_VIQREncodingInfo * __restrict ei __unused,
 479     _VIQRState * __restrict psenc, int * __restrict rstate)
 480 {
 481
 482         *rstate = (psenc->chlen == 0) ?
 483             _STDENC_SDGEN_INITIAL :
 484             _STDENC_SDGEN_INCOMPLETE_CHAR;
 485
 486         return (0);
 487 }
 488
 489 /* ----------------------------------------------------------------------
 490  * public interface for stdenc
 491  */
 492
 493 _CITRUS_STDENC_DECLS(VIQR);
 494 _CITRUS_STDENC_DEF_OPS(VIQR);
 495
 496 #include "citrus_stdenc_template.h"