share/man/man5/euc.5

   1 .\" Copyright (c) 1993
   2 .\"     The Regents of the University of California.  All rights reserved.
   3 .\"
   4 .\" This code is derived from software contributed to Berkeley by
   5 .\" Paul Borman at Krystal Technologies.
   6 .\"
   7 .\" Redistribution and use in source and binary forms, with or without
   8 .\" modification, are permitted provided that the following conditions
   9 .\" are met:
  10 .\" 1. Redistributions of source code must retain the above copyright
  11 .\"    notice, this list of conditions and the following disclaimer.
  12 .\" 2. Redistributions in binary form must reproduce the above copyright
  13 .\"    notice, this list of conditions and the following disclaimer in the
  14 .\"    documentation and/or other materials provided with the distribution.
  15 .\" 3. All advertising materials mentioning features or use of this software
  16 .\"    must display the following acknowledgement:
  17 .\"     This product includes software developed by the University of
  18 .\"     California, Berkeley and its contributors.
  19 .\" 4. Neither the name of the University nor the names of its contributors
  20 .\"    may be used to endorse or promote products derived from this software
  21 .\"    without specific prior written permission.
  22 .\"
  23 .\" THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  24 .\" ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25 .\" IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26 .\" ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  27 .\" FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28 .\" DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29 .\" OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30 .\" HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31 .\" LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32 .\" OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33 .\" SUCH DAMAGE.
  34 .\"
  35 .\"     @(#)euc.4       8.1 (Berkeley) 6/4/93
  36 .\" $FreeBSD: src/lib/libc/locale/euc.4,v 1.8.2.1 2001/07/22 12:06:40 dd Exp $
  37 .\" $DragonFly: src/share/man/man5/euc.5,v 1.3 2005/03/24 12:48:04 swildner Exp $
  38 .\"
  39 .Dd June 4, 1993
  40 .Dt EUC 5
  41 .Os
  42 .Sh NAME
  43 .Nm euc
  44 .Nd EUC encoding of runes
  45 .Sh SYNOPSIS
  46 .Nm ENCODING
  47 .Qq EUC
  48 .Pp
  49 .Nm VARIABLE
  50 .Ar len1
  51 .Ar mask1
  52 .Ar len2
  53 .Ar mask2
  54 .Ar len3
  55 .Ar mask3
  56 .Ar len4
  57 .Ar mask4
  58 .Ar mask
  59 .Sh DESCRIPTION
  60 The
  61 .Nm EUC
  62 encoding is provided for compatibility with
  63 .Ux
  64 based systems.
  65 See
  66 .Xr mklocale 1
  67 for a complete description of the
  68 .Ev LC_CTYPE
  69 source file format.
  70 .Pp
  71 .Nm EUC
  72 implements a system of 4 multibyte codesets.
  73 A multibyte character in the first codeset consists of
  74 .Ar len1
  75 bytes starting with a byte in the range of 0x00 to 0x7f.
  76 To allow use of ASCII,
  77 .Ar len1
  78 is always 1.
  79 A multibyte character in the second codeset consists of
  80 .Ar len2
  81 bytes starting with a byte in the range of 0x80-0xff excluding 0x8e and 0x8f.
  82 A multibyte character in the third codeset consists of
  83 .Ar len3
  84 bytes starting with the byte 0x8e.
  85 A multibyte character in the fourth codeset consists of
  86 .Ar len4
  87 bytes starting with the byte 0x8f.
  88 .Pp
  89 The
  90 .Ev rune_t
  91 encoding of
  92 .Nm EUC
  93 multibyte characters is dependent on the
  94 .Ar len
  95 and
  96 .Ar mask
  97 arguments.
  98 First, the bytes are moved into a
  99 .Ev rune_t
 100 as follows:
 101 .Bd -literal
 102 byte0 << ((\fIlen\fPN-1) * 8) | byte1 << ((\fIlen\fPN-2) * 8) | ... | byte\fIlen\fPN-1
 103 .Ed
 104 .Pp
 105 The result is then ANDed with
 106 .Ar ~mask
 107 and ORed with
 108 .Ar maskN .
 109 Codesets 2 and 3 are special in that the leading byte (0x8e or 0x8f) is
 110 first removed and the
 111 .Ar lenN
 112 argument is reduced by 1.
 113 .Pp
 114 For example, the Japanese locale has the following
 115 .Ev VARIABLE
 116 line:
 117 .Bd -literal
 118 VARIABLE        1 0x0000 2 0x8080 2 0x0080 3 0x8000 0x8080
 119 .Ed
 120 .Pp
 121 Codeset 1 consists of the values 0x0000 - 0x007f.
 122 .Pp
 123 Codeset 2 consists of the values who have the bits 0x8080 set.
 124 .Pp
 125 Codeset 3 consists of the values 0x0080 - 0x00ff.
 126 .Pp
 127 Codeset 4 consists of the values 0x8000 - 0xff7f excluding the values
 128 which have the 0x0080 bit set.
 129 .Pp
 130 Notice that the global
 131 .Ar mask
 132 is set to 0x8080, this implies that from those 2 bits the codeset can
 133 be determined.
 134 .Sh "EXAMPLE - Japanese Locale"
 135 This is a complete example of an
 136 .Ev LC_CTYPE
 137 source file for the Japanese locale
 138 .Bd -literal
 139 /*
 140  * Japanese LOCALE_CTYPE definitions using EUC of JIS character sets
 141  */
 142
 143 ENCODING        "EUC"
 144
 145 /*              JIS      JIS      JIS                   */
 146 /*              X201     X208     X201                  */
 147 /*              00-7f             84-fe                 */
 148
 149 VARIABLE        1 0x0000 2 0x8080 2 0x0080 3 0x8000 0x8080
 150
 151 /*
 152  * Code Set 1
 153  */
 154 ALPHA           'A' - 'Z' 'a' - 'z'
 155 CONTROL         0x00 - 0x1f 0x7f
 156 DIGIT           '0' - '9'
 157 GRAPH           0x21 - 0x7e
 158 LOWER           'a' - 'z'
 159 PUNCT           0x21 - 0x2f 0x3a - 0x40 0x5b - 0x60 0x7b - 0x7e
 160 SPACE           0x09 - 0x0d 0x20
 161 UPPER           'A' - 'Z'
 162 XDIGIT          'a' - 'f' 'A' - 'F'
 163 BLANK           ' ' '\t'
 164 PRINT           0x20 - 0x7e
 165
 166 MAPLOWER        < 'A' - 'Z' : 'a' > < 'a' - 'z' : 'a' >
 167 MAPUPPER        < 'A' - 'Z' : 'A' > < 'a' - 'z' : 'A' >
 168 TODIGIT         < '0' - '9' : 0 >
 169 TODIGIT         < 'A' - 'F' : 10 > < 'a' - 'f' : 10 >
 170
 171 /*
 172  * Code Set 2
 173  */
 174
 175 SPACE           0xa1a1
 176 PHONOGRAM       0xa1bc
 177 SPECIAL         0xa1a2 - 0xa1fe
 178 PUNCT           0xa1a2 - 0xa1f8         /* A few too many in here... */
 179
 180 SPECIAL         0xa2a1 - 0xa2ae 0xa2ba - 0xa2c1 0xa2ca - 0xa2d0 0xa2dc - 0xa2ea
 181 SPECIAL         0xa2f2 - 0xa2f9 0xa2fe
 182
 183 DIGIT           0xa3b0 - 0xa3b9
 184 UPPER           0xa3c1 - 0xa3da                         /* Romaji */
 185 LOWER           0xa3e1 - 0xa3fa                         /* Romaji */
 186 MAPLOWER        < 0xa3c1 - 0xa3da : 0xa3e1 >                    /* English */
 187 MAPLOWER        < 0xa3e1 - 0xa3fa : 0xa3e1 >                    /* English */
 188 MAPUPPER        < 0xa3c1 - 0xa3da : 0xa3c1 >
 189 MAPUPPER        < 0xa3e1 - 0xa3fa : 0xa3c1 >
 190
 191 XDIGIT          0xa3c1 - 0xa3c6 0xa3e1 - 0xa3e6
 192
 193 TODIGIT         < 0xa3b0 - 0xa3b9 : 0 >
 194 TODIGIT         < 0xa3c1 - 0xa3c6 : 10 > < 0xa3e1 - 0xa3e6 : 10 >
 195
 196 PHONOGRAM       0xa4a1 - 0xa4f3
 197 PHONOGRAM       0xa5a1 - 0xa5f6
 198
 199 UPPER           0xa6a1 - 0xa6b8                         /* Greek */
 200 LOWER           0xa6c1 - 0xa6d8                         /* Greek */
 201 MAPLOWER        < 0xa6a1 - 0xa6b8 : 0xa6c1 > < 0xa6c1 - 0xa6d8 : 0xa6c1 >
 202 MAPUPPER        < 0xa6a1 - 0xa6b8 : 0xa6a1 > < 0xa6c1 - 0xa6d8 : 0xa6a1 >
 203
 204 UPPER           0xa7a1 - 0xa7c1                         /* Cyrillic */
 205 LOWER           0xa7d1 - 0xa7f1                         /* Cyrillic */
 206 MAPLOWER        < 0xa7a1 - 0xa7c1 : 0xa7d1 > < 0xa7d1 - 0xa7f1 : 0xa7d1 >
 207 MAPUPPER        < 0xa7a1 - 0xa7c1 : 0xa7a1 > < 0xa7d1 - 0xa7f1 : 0xa7a1 >
 208
 209 SPECIAL         0xa8a1 - 0xa8c0
 210
 211 IDEOGRAM        0xb0a1 - 0xb0fe 0xb1a1 - 0xb1fe 0xb2a1 - 0xb2fe
 212 IDEOGRAM        0xb3a1 - 0xb3fe 0xb4a1 - 0xb4fe 0xb5a1 - 0xb5fe
 213 IDEOGRAM        0xb6a1 - 0xb6fe 0xb7a1 - 0xb7fe 0xb8a1 - 0xb8fe
 214 IDEOGRAM        0xb9a1 - 0xb9fe 0xbaa1 - 0xbafe 0xbba1 - 0xbbfe
 215 IDEOGRAM        0xbca1 - 0xbcfe 0xbda1 - 0xbdfe 0xbea1 - 0xbefe
 216 IDEOGRAM        0xbfa1 - 0xbffe 0xc0a1 - 0xc0fe 0xc1a1 - 0xc1fe
 217 IDEOGRAM        0xc2a1 - 0xc2fe 0xc3a1 - 0xc3fe 0xc4a1 - 0xc4fe
 218 IDEOGRAM        0xc5a1 - 0xc5fe 0xc6a1 - 0xc6fe 0xc7a1 - 0xc7fe
 219 IDEOGRAM        0xc8a1 - 0xc8fe 0xc9a1 - 0xc9fe 0xcaa1 - 0xcafe
 220 IDEOGRAM        0xcba1 - 0xcbfe 0xcca1 - 0xccfe 0xcda1 - 0xcdfe
 221 IDEOGRAM        0xcea1 - 0xcefe 0xcfa1 - 0xcfd3 0xd0a1 - 0xd0fe
 222 IDEOGRAM        0xd1a1 - 0xd1fe 0xd2a1 - 0xd2fe 0xd3a1 - 0xd3fe
 223 IDEOGRAM        0xd4a1 - 0xd4fe 0xd5a1 - 0xd5fe 0xd6a1 - 0xd6fe
 224 IDEOGRAM        0xd7a1 - 0xd7fe 0xd8a1 - 0xd8fe 0xd9a1 - 0xd9fe
 225 IDEOGRAM        0xdaa1 - 0xdafe 0xdba1 - 0xdbfe 0xdca1 - 0xdcfe
 226 IDEOGRAM        0xdda1 - 0xddfe 0xdea1 - 0xdefe 0xdfa1 - 0xdffe
 227 IDEOGRAM        0xe0a1 - 0xe0fe 0xe1a1 - 0xe1fe 0xe2a1 - 0xe2fe
 228 IDEOGRAM        0xe3a1 - 0xe3fe 0xe4a1 - 0xe4fe 0xe5a1 - 0xe5fe
 229 IDEOGRAM        0xe6a1 - 0xe6fe 0xe7a1 - 0xe7fe 0xe8a1 - 0xe8fe
 230 IDEOGRAM        0xe9a1 - 0xe9fe 0xeaa1 - 0xeafe 0xeba1 - 0xebfe
 231 IDEOGRAM        0xeca1 - 0xecfe 0xeda1 - 0xedfe 0xeea1 - 0xeefe
 232 IDEOGRAM        0xefa1 - 0xeffe 0xf0a1 - 0xf0fe 0xf1a1 - 0xf1fe
 233 IDEOGRAM        0xf2a1 - 0xf2fe 0xf3a1 - 0xf3fe 0xf4a1 - 0xf4a4
 234 /*
 235  * This is for Code Set 3, half-width kana
 236  */
 237 SPECIAL         0xa1 - 0xdf
 238 PHONOGRAM       0xa1 - 0xdf
 239 CONTROL         0x84 - 0x97 0x9b - 0x9f 0xe0 - 0xfe
 240 .Ed
 241 .Sh "SEE ALSO"
 242 .Xr mklocale 1 ,
 243 .Xr setlocale 3