网页播放技术的歌词同步

这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念，增进知识，类似于打RPG游戏的升级。整理这篇文章的动机是两个问题：

问题一：

使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows是怎样识别编码方式的呢？

我很早前就发现Unicode、Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节，分别是FF、FE（Unicode）,FE、FF（Unicode big endian）,EF、BB、BF（UTF-8）。但这些标记是基于什么标准呢？

问题二：

最近在网上看到一个ConvertUTF.c，实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式，我原来就了解。但这个程序让我有些糊涂，想不起来UTF-16和UCS2有什么关系。

查了查相关资料，总算将这些问题弄清楚了，顺带也了解了一些Unicode的细节。写成一篇文章，送给有过类似疑问的朋友。本文在写作时尽量做到通俗易懂，但要求读者知道什么是字节，什么是十六进制。

0、big endian和little endian

big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时，究竟是将6C写在前面，还是将49写在前面？如果将6C写在前面，就是big endian。如果将49写在前面，就是little endian。

“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开，由此曾发生过六次叛乱，一个皇帝送了命，另一个丢了王位。

我们一般将endian翻译成“字节序”，将big endian和little endian称作“大尾”和“小尾”。

1、字符编码、内码，顺带介绍汉字编码

字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码，为了处理汉字，程序员设计了用于简体中文的GB2312和用于繁体中文的big5。

GB2312(1980年)一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。

从ASCII、GB2312到GBK，这些编码方法是向下兼容的，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符。在这些编码中，英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼，GB2312、GBK都属于双字节字符集 (DBCS)。

2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。从汉字字汇上说，GB18030在GB13000.1的20902个汉字的基础上增加了CJK扩展A的6582个汉字（Unicode码0x3400-0x4db5），一共收录了27484个汉字。

CJK就是中日韩的意思。Unicode为了节省码位，将中日韩三国语言中的文字统一编码。GB13000.1就是ISO/IEC 10646-1的中文版，相当于Unicode 1.1。

GB18030的编码采用单字节、双字节和4字节方案。其中单字节、双字节和GBK是完全兼容的。4字节编码的码位就是收录了CJK扩展A的6582个汉字。 例如：UCS的0x3400在GB18030中的编码应该是8139EF30，UCS的0x3401在GB18030中的编码应该是8139EF31。

微软提供了GB18030的升级包，但这个升级包只是提供了一套支持CJK扩展A的6582个汉字的新字体：新宋体-18030，并不改变内码。Windows 的内码仍然是GBK。

这里还有一些细节：

• GB2312的原文还是区位码，从区位码到内码，需要在高字节和低字节上分别加上A0。

• 对于任何字符编码，编码单元的顺序是由编码方案指定的，与endian无关。例如GBK的编码单元是字节，用两个字节表示一个汉字。 这两个字节的顺序是固定的，不受CPU字节序的影响。UTF-16的编码单元是word（双字节），word之间的顺序是编码方案指定的，word内部的字节排列才会受到endian的影响。后面还会介绍UTF-16。

• GB2312的两个字节的最高位都是1。但符合这个条件的码位只有128*128=16384个。所以GBK和GB18030的低字节最高位都可能不是1。

    许多朋友将音乐文件改编成 Flash 动画，满足了自己自由发挥和想象创造的成就感。但是 Flash 文件需要 Flash 专用播放器来播放，那么在网页上如何实现 Flash 媒体文件的播放呢？当然可以象 WMP 及 Real 一样引用 Flash 播放器控件代码来加以实现，但是一个网页在引用了 WMP 和Real 播放器控件的情况下，又再引用 Flash 播放器控件，那将是非常的占用系统资源和影响电脑运行速度的，甚至造成死机。为此，谱乐探索出了一种 WMP 在网页上实现播放 Flash 媒体文件的重要方法。请点播放键观看效果。

    在视频区域单击鼠标右键，你就会发现媒体文件为 Flash 格式（下同）。

    实现方法谱乐将在谱乐专栏以后的专题中具体讲解，请大家密切关注，多多支持。

    大家知道，Flash 也是网页的一种表现形式，许多 Flash 高手甚至干脆就用 Flash 来表现整个网站。谱乐这里想说的是，Flash 也可表现为播放器形式，用来播放 MP3 音频文件和 Flv、Swf 视频文件。这类播放器也是网页播放器的一种。

    Flv 视频播放器

    媒体文件格式为 Flv 格式。

    MP3 音频播放器

　　已有的网站是GB2312编码？看到UTF-8编码的优点有点心动？本文就是教你如何把网站从GB2312转为UTF-8。

　　GB2312是简体中文的编码，所以当文章/网页中包含繁体中文、日文、韩文时，这些内容可能无法被正确编码。

　　有一种比GB2312编码略广的编码，就是GBK，它包含了对繁体中文的编码，但对他国非拉丁字母语言还是有问题。

　　UTF-8编码是一种目前广泛应用于网页的编码，它其实是一种Unicode编码，即致力于把全球所有语言纳入一个统一的编码。目前UTF-8已经把几种重要的亚洲语言纳入，包括简繁中文和日韩文字。采用UTF-8编码的网页某种意义上说就是“与国际接轨”了。此外，很多手机终端都使用UTF-8编码，如果网站考虑开发WAP界面而网站数据本身又是UTF-8编码，就省却了开发WAP界面时的转码问题。

　　已有的网站是GB2312编码？看到UTF-8编码有点心动？本文就是教你如何把网站从GB2312转为UTF-8。

　　在转换前，必须考虑网站是否有必要转码。我提供几点供参考：
　　1、网站面向的对象，是局限一小圈子的人，还是中国大陆，还是包括港澳台在内的整个中国甚至全世界。

　　2、在GB2312编码中一个汉字占2个字节，而在UTF-8中，一个汉字要占3个字节，这种空间增加的代价是否值得。

　　3、在旧有的数据库系统上（例如MySQL 4.0及以前的版本）可能没有内置对UTF-8的支持，虽然本文有办法解决，但不排除还潜在一些小问题。

　　4、网页文件转为UTF-8编码后是否方便编辑。我目前用ZDE4，设置好后对UTF-8编码支持非常好。设置方法是在菜单Tools->Preferences中，点Editing标签，把Encoding改为UTF-8即可。

考虑好决定转码以后，就可以开始了。本文仅以php 4.0～5.0 + MySQL 3.23～4.0为例。

　　首先对准备转码的数据库，为其建立一个新的数据库及相应表结构用于存储转码结果。如果在没有内置支持UTF-8的数据库系统操作，则建议把用于存储中文的CHAR、VARCHAR、TEXT字段分别改为BINARY、VARBINARY、BLOB，虽然我试验过不改也没有问题。

　　接着在操作系统命令行下执行如下命令导出原有的数据库（其中{dbname}用数据库名替换，{path1}用一个已存在的临时路径替换，导出的数据将会存放于此）：
mysqldump --opt --comments=0 -n -t --fields-terminated-by=, --fields-escaped-by= {dbname} -uroot -p --tab={path1}

　　上述命令中的用户root也可换为其它用户，但须保证有dump的权限。用转码工具，例如ConvertZ，把上面{path1}中的全部文件转为UTF-8编码。注意要关闭BOM选项。假设转码后的文件保存在路径{path2}。

　　用有LOAD DATA权限的用户连接MySQL服务器，用use命令选择刚才新建的数据库，然后对每个表{table_name}执行如下命令：
LOAD DATA INFILE '{path2}{table_name}.txt' INTO TABLE {table_name} FIELDS TERMINATED BY ',' ESCAPED BY '';

　　提示：表比较多的时候可以写个小程序生成一个SQL脚本。

　　执行上述命令时可能会出现警告（Warnings），请留意Warning的这些行（Row），可能有些数据并没有转换成功，例如字段错位。

　　根据经验，此种情况多数是由数据结尾的字节的16进制码大于7F所致。通常这些行数量是比较少的，可以手工修正这些行。

　　至此数据库的转码就完成了。清理原数据库和转码过程的临时文件这里就不详述了。

　　对网页转码：同样用转码工具把网站所有网页转为UTF-8编码。

　　然后打开包含头部的网页文件/网页模版文件，把这样的行：

　　替换为这样：

　　据我的经验，如果网页采用css样式表控制网页样式，如果在css的body标签中设置了字体，那么在原来的gb2312编码下，该字体设置可以继承到intput和textarea中，但转为utf-8后，需要在input和textarea标签中重新设置字体。