关于汉字处理

关于汉字的电脑处理
世界上的文字有两大构造：象形文字与拼音文字。这两种文字形式是截然不同的，汉字与字母不能等同，汉字也不一定是单词。

拼音文字的单词是其表达语言的主要方式，以语音为主，词根含意为辅，也就是说，拼音语言是靠语音表达内容的，文字形状只起辅助作用，所以，只要具备一定数量的字母，加上制定的读音规则，就可以创造千变万化的单词，从而达到表达思想的目的。但汉字却不然，汉字本来是象形文字，一个字表达的内容，主要是文字的形状，这种表达的方式又分两种“象形”和“表意”，象形例如“日”、“月”，表意例如“天”、“土”，这两种汉字是无需知道读音就可以明白其意义的，这也正是中国大一统的文字基础（书同文，读音不同也可以顺利交流），但是单单象形和表意是远远不能满足语言的需要的，所以还需要辅以读音，这就是所谓形音字，例如“神”、“说”，这种汉字随着抽象概念的增加而增加，是汉字发展的重点（思想的进步体现在抽象能力上），后来汉字单字数量的增加主要是这方面单字的增加，直到清康熙为止，大多是为一个意思创造一个汉字，这样，汉字单字的数量就会无止境地增加，也是《康熙字典》收录达数万单字的由来。汉字形音字表达的意思，也仍然可以根据从属字根来推测其含义，这仍然没有偏离“以形表义”的根本，尽管说“秀才识字读半边”，但仍然多数都不会读错。这样，汉字就具备了两大优势：从形推测含义以及基本读音不会偏离太远。

如前所述，为一个意思造一个汉字会造成汉字单字的无限增加，为学习与交流带来困难，而且在固定的空间中字的可创造性也不是无限的。为了解决这个矛盾，在近代，就出现了词组。词组可以看作是扩展了空间的单字，但并不是简单的扩展空间，而是根据汉字单字的本义通过排列组合而构造新的意思，以满足表达日益丰富的抽象概念，其原则是尽量保持构成单字的本义。例如“学习”一词，可以顾名思义地推测是接受知识（学）并实践（习）的意思，所以“学习”一词表达的意思并不仅仅是接受知识，还有主动实践、在实践中检验知识、巩固技能的意思，这种含义在拼音文字中是无法表达的，有“只可意会不可言传”的特点（几十上百字的解释比不上画龙点睛般的两三字词组生动传神）。由此可以发现汉字文字有个特点：望文生义的过程是促使头脑思考的过程，近年西方医学界发现了汉字具有治疗失忆的作用，其原理我认为与此有关。

尽管词组表达新的意思，但是要理解这个词组一般不需要专门的解释，因为根据构成的单字本身就可以推测这个词组的意义，这就是扩展了的字根。因此，总括起来，汉字文字可以根据“字根”来认识与理解，对单字来说，应该根据《说文》的从属来认识，是最基本的字根（近代的部首、偏旁与字根有重合之处，但又有区别，最好还是返回到从属中去理解）；对词组来说，单字就是字根（通常词组都有侧重点）。

现在，我们返回主题，在现代科技电脑技术中，如何处理汉字就可以找到门径了。

首先是汉字的显示部分。电脑文字的显示不管是图形状态还是文本状态，文字的显示实质都是图形（点阵或矢量，但最终在屏幕上的结果是点阵，在绘图仪上是矢量），即使在文本模式，只不过是固化了的图形，既然英文字母可以固化，汉字也一样可以固化，这只与存储器的容量有关，电脑是西方拼音文字文化发明的机器，设计时没有固化汉字的需求，所以先天设计的存储空间就不足，所谓存储包括两个概念：字符外表的描述与编码长度，前者决定字符的外在表现，后者决定电脑处理字符的方式。随着科技的发展，存储器已不再成为电脑技术的瓶颈。从纯技术的角度看，电脑处理英文与处理中文是没有质的区别的。

对于字符的外表，有一对美观与实用的矛盾。显示一个字符有两种方式，用点阵描述或者用矢量描述，在小字符（字体小）的状态下，点阵描述是最美观的（清晰度、空间间隔、棱角体现等），例如描述一个汉字的最低要求是16×15点阵（台湾系统繁体字的标准），对打印机来说是24×24点阵最美观，这是兼顾了实用角度设计的。以前的2.13系列设计了48×48点阵的字库，事实证明用处不大。点阵显示有个缺陷，就是放大失真，把24点阵的字体放大为48点阵，就可以看见明显的锯齿，显得不美观，另外就是字库空间占用比较大，特别是在需要同时使用多种字体的场合。为此，人们设计了矢量描述字符的算法，把一个字符的外观（主要是笔画）用矢量来描述（起始位置、角度、长度），典型的就是在AutoCAD系统中的字体，这种描述方式避免了锯齿的出现，而且无论如何缩放都不失真，字库占用空间最小，但是整个字体（不管是单线还是双线体）看起来显得单薄，美观不足。后来，人们把两种描述方式结合起来，用轮廓来描述字符，就是根据字符的笔画，在边角处用点阵，然后用矢量线连接起来，这样既可在一定程度上缩放不失真，又使字库占用的空间介于点阵与矢量之间，到底能节省多少，视乎点阵与矢量之间的比例，当然，这种方式只能在一定的缩放范围内能很好的平衡，超出此范围，仍然会出问题，字体过小则会粘成一团，字体过大则会显得折线不平滑。

因此，人的应用就显得十分关键了。如果我们的目的是获得文字方面的信息，那么只要肉眼能分辨出显示的字符，就可以了，16点阵与24点阵字库已经可以满足绝大部分的需求，而且也不需要多种字体。但如果是以美观为要求，那么可以说这种要求是无止境的，占用的资源绝对不可能减少。

根据钱广兄的提议，我觉得，根据最上面介绍的汉字字根原理，不妨设想这样一种模式字库结构，就是只储存基本字根的描述，然后是汉字构成的规则（即字根叠加成汉字的细则），应该是减少汉字字库规模的是一个办法，按照现在的电脑技术水平，是可以做到的，也应该可以实用。

至于编码的问题，其实在电脑程序中，用1Byte的字符集与用2Byte或4Byte的字符集，都是一样的，当初选用了1Byte是眼光短浅（犹如千年虫），现在的新系统都具备处理4Byte字符集的能力。这不构成中文不适应电脑化的问题。

最后的关键一个是输入法的问题。

现在流行的电脑汉字键盘输入法无非是形码与音码两大类，形码的代表是五笔字型，音码的代表是各种拼音输入法，关于全拼与双拼，没有什么可特别说明的，大家都知道是怎么回事（但绝不是毫无用处，相反用处大大的），下面就特别说明一下五笔字型，因为它的理论性是最强的。

所谓“五笔字型”输入法，顾名思义，其基础是“五笔”，那么，什么是五笔呢？五笔字型的创造者认为汉字的基本笔画有五种：横竖撇捺折，就是所谓的“五笔”。根据这个原理，“五笔字型”输入法里面有一个最基本的输入模式，就是“五笔划”输入法，用小键盘，1代表横，2代表竖，3代表撇，4代表捺，5代表折，输入汉字的时候，按照笔画顺序输入该汉字的头四尾一最多共五笔（不足五笔最后输入0即可），就可以查到该汉字。这种输入法的效果与全拼差不多，对于丝毫不懂拼音或拼音不准的人来说，是最好的入门输入法，只要会用正确的笔画顺序书写汉字，就可以上电脑输入文字。其实就凭这种输入法（低价、省力指握笔与按键盘的对比、省时指输入熟练后的条件反射速度），就足以把手写板打入万劫不复的境界，也绝对可以扫除任何人害怕学习电脑的恐惧心理（我用此输入法把几十个不懂电脑与拼音的老头子带进了电脑世界）。

人们常说“五笔字型”难学易忘，这话既对也不对。难学，不是指学习输入法与备字根表困难，而是难精指法；易忘，不是指容易忘掉输入规则，而是容易指法生疏。

“五笔字型”在“五笔划”的基础上，把25个英文字母（除Z键作万能键外）平均分为5个区，每个区5键，每个键的编码规则是11、12至15，类推到21、21……、25、……、51、52……、55，在键盘中心GH处开始呈辐射向外分散。注意前面介绍的五笔原理，11是两横，所有两横开头的字根都在该键上，即G键，也可以理解为一个一横的字根，例如21是两竖及以竖横开头的字根。所以，只要记住“五笔字型”一般有那些字根，就基本可以输入汉字了。对任何输入法而言，一个汉字通常只有一个编码（多音字也可以不用理其他读音），反复打上十次左右，就可以达到条件反射的状态，以后见字手动，头脑中根本不用编码，这才是五笔高手的巅峰状态。

话说回来，如果是非专职录入员，普通电脑工作者练到这般境界是没有必要的，没有指法基础，任你字根表背得再熟练，也最多只能每分钟50字左右，加上看稿、脑中成字、思考的耗时，每分钟20字左右也差不多了。这样，对这部分人来说，学“五笔字型”就不值得。那么，还有什么其他输入法可以选择呢？有，那就是拼音，准确地说是“自然码”。

“自然码”是双拼，也需要背字根，但只有二十多个字根，比“五笔字型”的百多个字根少得多。自然码确切地说不单纯是音码，而是音形码，以音为主，以形为辅，输入一个汉字的拼音码后，通常有重码，这时，就可以加上偏旁部首码减少重码，例如“员”字，输入YR（R=uan）后，加上K（口），甚至再加上B（贝），基本就是唯一码了。这样，输入的速度大大加快，一般都可以做到盲打。

“自然码”与“五笔字型”相比，显得更自然，因为它与汉字的认识规律相一致，不像“五笔字型”把汉字拆分为四不象的字根，应该是电脑汉字输入法的正确路向，只是要求小学文化水平而已（在加强扫盲后这个要求不难达到）。拼音为主也显得“自然码”比较灵活，目前的GBK大字符集，对“五笔字型”是一个打击，因为繁体汉字的的构造与简体并不相同，迫使“五笔字型”重新编排字根表，前期学习就造成障碍，但“自然码”就不存在这种问题。

至于词组输入法，无非是把一个词组看作扩展的单字，也是根据字根输入即可，没有什么神秘的，任何输入法，只要允许词组输入，则效率都是一样的。在这点上，手写板又输了一筹，写“中华人民共和国”七个字，就可以写到你手软，而键盘输入只要5键而已。

总结以上的分析可以看到，中文绝对不存在不能适应数字化时代的问题，反而由于它的表达功能丰富而更是信息的最佳传播媒体，用最少的字数（例如电报式文字）表达最多的思想，非中文莫属，在信息爆炸的时代，中文装载的信息量无疑更大