cldr2def: Update Makefile to generate new POSIX source files
authorJohn Marino <draco@marino.st>
Mon, 3 Aug 2015 00:51:51 +0000 (02:51 +0200)
committerJohn Marino <draco@marino.st>
Mon, 3 Aug 2015 01:56:32 +0000 (03:56 +0200)
We've been using CLDR v2.0.1 because it was the last version that
provided generated POSIX source files.  (The next release, v21, only
provided the java tool to generate them).  The last release is version
27.0.1.  This alternation to the makefile allows the generation of the
desired 72 base locales with a single command (after the tool is
downloaded and installed in the same CLDR release directory)

Note that kk_KZ locale is changing to kk_Cyrl_KZ.

While here, make the necessary updates to charmaps.xml to generate
to locale source files.

tools/tools/locale/Makefile
tools/tools/locale/etc/charmaps.xml
tools/tools/locale/etc/unicode.conf
tools/tools/locale/tools/cldr2def.pl

index e60214a..d41fb91 100644 (file)
@@ -68,3 +68,38 @@ clean:
        rm -rf ${t} ${t}.draft
 .endfor
 
+BASE_LOCALES_OF_INTEREST?= \
+       af_ZA am_ET be_BY bg_BG ca_AD ca_ES ca_FR ca_IT \
+       cs_CZ da_DK de_AT de_CH de_DE el_GR en_AU en_CA \
+       en_GB en_HK en_IE en_NZ en_PH en_SG en_US en_ZA \
+       es_AR es_CR es_ES es_MX et_EE eu_ES fi_FI fr_BE \
+       fr_CA fr_CH fr_FR he_IL hi_IN hr_HR hu_HU hy_AM \
+       is_IS it_CH it_IT ja_JP ko_KR lt_LT lv_LV \
+       nb_NO nl_BE nl_NL nn_NO pl_PL pt_BR pt_PT ro_RO \
+       ru_RU se_FI se_NO sk_SK sl_SI sv_FI sv_SE tr_TR \
+       uk_UA \
+       kk_Cyrl_KZ mn_Cyrl_MN sr_Cyrl_RS sr_Latn_RS \
+       zh_Hans_CN zh_Hant_HK zh_Hant_TW
+
+POSIX:
+.if exists (${CLDRDIR}/tools/java/cldr.jar)
+       mkdir -p ${CLDRDIR}/posix
+.  for area in ${BASE_LOCALES_OF_INTEREST}
+.    if !exists(${CLDRDIR}/posix/${area}.UTF-8.src)
+       java -DCLDR_DIR=${CLDRDIR:Q} -jar ${CLDRDIR}/tools/java/cldr.jar \
+               org.unicode.cldr.posix.GeneratePOSIX \
+               -d ${CLDRDIR}/posix -m ${area} -c UTF-8
+.    endif
+.  endfor
+.  if !exists(${CLDRDIR}/posix/UTF-8.cm)
+       java -DCLDR_DIR=${CLDRDIR:Q} -jar ${CLDRDIR}/tools/java/cldr.jar \
+               org.unicode.cldr.posix.GenerateCharmap \
+               -d ${CLDRDIR}/posix
+.  endif
+.else
+       @echo "Please install CLDR toolset for the desired release"
+       @echo "It should go at ${CLDRDIR}/tools"
+.endif
+
+clean-POSIX:
+       rm -f {CLDRDIR}/posix/*
index 6f2d1a2..0265bf4 100644 (file)
                encoding="SJIS eucJP"
                countries="JP" />
        <language name="kk"
+               family="Cyrl"
                countries="KZ" />  <!-- PT154 not available, UTF-8 -->
        <language name="ko"
                encoding="eucKR"
        <!-- These don't have a special Euro sign so just use Eu for it -->
        <translation encoding="ISO8859-1" cldr="EURO SIGN" string="Eu" />
        <translation encoding="ISO8859-2" cldr="EURO SIGN" string="Eu" />
+       <translation encoding="ISO8859-4" cldr="EURO SIGN" string="Eu" />
+       <translation encoding="ISO8859-13" cldr="EURO SIGN" string="Eu" />
 
        <!-- Minus and dashes -->
        <translation encoding="ISO8859-1 ISO8859-4 ISO8859-13 ISO8859-15"
            unicode="IDEOGRAPHIC SPACE" />
        <translation encoding="GB2312 eucCN Big5" cldr="FULL STOP"
            unicode="FULLWIDTH FULL STOP" />
-       <translation encoding="Big5" cldr="SOLIDUS"
+       <translation encoding="GB2312 eucCN Big5" cldr="SOLIDUS"
            unicode="FULLWIDTH SOLIDUS" />
        <translation encoding="GB2312 eucCN Big5" cldr="COMMA"
            unicode="FULLWIDTH COMMA" />
            unicode="FULLWIDTH DOLLAR SIGN" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-4E00" ucc="4E00" />
+       <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
+           cldr="CJK UNIFIED IDEOGRAPH-4E03" ucc="4E03" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-4E09" ucc="4E09" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-4E0A" ucc="4E0A" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-4E0B" ucc="4E0B" />
+       <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
+           cldr="CJK UNIFIED IDEOGRAPH-4E0D" ucc="4E0D" />
+       <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
+           cldr="CJK UNIFIED IDEOGRAPH-4E5D" ucc="4E5D" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-4E8C" ucc="4E8C" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-4E94" ucc="4E94" />
+       <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
+           cldr="CJK UNIFIED IDEOGRAPH-516B" ucc="516B" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-516D" ucc="516D" />
        <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
            cldr="CJK UNIFIED IDEOGRAPH-5206" ucc="5206" />
        <translation encoding="eucJP SJIS"
            cldr="CJK UNIFIED IDEOGRAPH-524D" ucc="524D" />
+       <translation encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN"
+           cldr="CJK UNIFIED IDEOGRAPH-5341" ucc="5341" />
        <translation
            encoding="GB2312 GB18030 GBK Big5 Big5HKSCS eucCN eucJP SJIS"
            cldr="CJK UNIFIED IDEOGRAPH-5348" ucc="5348" />
        <translation encoding="ISCII-DEV" cldr="INDIAN RUPEE SIGN" hex="FC" />
        <translation encoding="ISO8859-1" cldr="PESO SIGN" hex="A4" />
        <translation encoding="ISO8859-1" cldr="COLON SIGN" hex="A4" />
-
+       <translation encoding="ARMSCII-8" cldr="ARMENIAN DRAM SIGN"
+           hex="B9F12E" />
+       <translation encoding="ISO8859-9" cldr="TURKISH LIRA SIGN"
+           string="TL" />
 
 </translations>
 
index 00edeb1..da1f19b 100644 (file)
@@ -1,2 +1,2 @@
-cldr ~/unicode/cldr/2.0.1
-unidata ~/unicode/UNIDATA/27.01
+cldr ~/unicode/cldr/27.0.1
+unidata ~/unicode/UNIDATA/8.0.0
index 9aa2666..3be828c 100755 (executable)
@@ -790,6 +790,7 @@ sub make_makefile {
        else {
                $SRCOUT = "grep -v -E '^(\#\$\$|\#[ ])' < \${.IMPSRC} > \${.TARGET}";
                $SRCOUT2 = "out";
+               $MAPLOC = "";
        }
        open(FOUT, ">$TYPE.draft/Makefile");
        print FOUT <<EOF;