Tuesday, 29 July 2008

网页编程之(2): MYSQL & UTF-8


网页UTF-8之后,自然会引出相关的问题。这不,就扯出了MYSQL到PHP中encode/charset问题。废话少说,直接进入正题吧:
 
1. MYSQL中utf8_unicode_ci与utf8_general_ci的编码选择(MYSQL:  utf8_unicode_ci VS utf8_general_ci)
 
下面是Mysql 5.1中文手册中关于utf8_unicode_ci与utf8_general_ci的说明(其实我并没有去看,来自网上):
    当前,utf8_unicode_ci校对规则仅部分支持Unicode校对规则算法。一些字符还是不能支持。并且,不能完全支持组合的记号。这主要影响越南和俄罗斯的一些少数民族语言,如:Udmurt 、Tatar、Bashkir和Mari。
    utf8_unicode_ci的最主要的特色是支持扩展,即当把一个字母看作与其它字母组合相等时。例如,在德语和一些其它语言中‘ß’等于‘ss’。
    utf8_general_ci是一个遗留的 校对规则,不支持扩展。它仅能够在字符之间进行逐个比较。这意味着utf8_general_ci校对规则进行的比较速度很快,但是与使用utf8_unicode_ci的 校对规则相比,比较正确性较差)。
    例如,使用utf8_general_ci和utf8_unicode_ci两种 校对规则下面的比较相等:
    Ä = A
    Ö = O
    Ü = U
    两种校对规则之间的区别是,对于utf8_general_ci下面的等式成立:
    ß = s
    但是,对于utf8_unicode_ci下面等式成立:
    ß = ss
    对于一种语言仅当使用utf8_unicode_ci排序做的不好时,才执行与具体语言相关的utf8字符集 校对规则。例如,对于德语和法语,utf8_unicode_ci工作的很好,因此不再需要为这两种语言创建特殊的utf8校对规则。
    utf8_general_ci也适用与德语和法语,除了‘ß’等于‘s’,而不是‘ss’之外。
    (1)如果你的应用能够接受这些,那么应该使用utf8_general_ci,因为它速度快。
    (2)否则,使用utf8_unicode_ci,因为它比较准确。
 
2. 使用UTF8创建Table (例)
CREATE TABLE IF NOT EXISTS `users` (
  `id` int(10) NOT NULL auto_increment,
  `name` varchar(30) NOT NULL,
  PRIMARY KEY  (`id`)
) DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci;
 
3. 读取UTF8格式的表格内容:
SET CHARACTER SET utf8; (或者SET CHARACTER SET gb2312;)
SELECT name FROM users;

 
4. table的charset转换:
ALTER TABLE table_name CONVERT TO CHARACTER SET charset_name [COLLATE collation_name]

 
5. PHP中UTF8的header输出
header('Content-Type: text/html; charset=utf-8');

Monday, 21 July 2008

网页编程之(1): UTF-8编码问题


由于UTF-8比较国际化,我也把网站页面编码改为utf8。然而不幸的是,在把网页换成UTF-8编码后,遇到了一系列问题。
数天后,经过无数次的失败,才终于搞清了其中的是是非非。
1.UTF-8 with BOM引起页面格式混乱
改UFT-8的第一步,就是用Crimson Editor把所有的网页编码改成UTF-8 with BOM(第一感觉是,with总比w/o好)。然而,改过之后,却发现自己的网页上方平白出现了一个空行,页面排版混乱。以为自己的CSS出现问题,就开始拼命修正,结果依旧。数次失败后,突然想到UTF-8 with BOM的问题,于是就开始Google起来。Google出来的结论如下:
************************************************************************
Unicode规范中有一个BOM的概念。BOM——Byte Order Mark,就是字节序标记。
UTF-8之BOM含义,UTF-8 BOM又叫UTF-8 签名,其实UTF-8 的BOM对UFT-8没有作用,是为了支援UTF-16,UTF-32才加上的BOM,BOM签名的意思就是告诉编辑器当前文件采用何种编码,方便编辑器识别,但是BOM虽然在编辑器中不显示,但是会产生输出(EF BB BF),就像多了一个空行,没想到困惑我很久的居然是UTF-8编码的BOM,之前在部分采用UTF-8 编码的页面会平白多出一个空行。
************************************************************************
原因找出了,问题也就迎刃而解。把编码改成UTF-8 w/o BOM,网页格式终于恢复。然而,这却不是结束...
2.UTF-8的页面不显示,打开是空白页-UTF-8
改完上传,让一些好友去测试。结果很离奇: 中文版在IE下显示是空白页,无错误。然而,在自己的电脑上没问题,只好忍了。去公司,突然想起测试一下,结果发现也是空白页,于是查看源代码,结果发现源代码东西都在。查看IE代码显示,竟然自动是GB2312。改浏览器编码为utf-8发现正常显示。于是再Google一下:原来是那个该死的ie!
IE对UTF-8的识别能力不够。要解决的最简单方法:在<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />这句话的前面不要出现中文,把title等等全部放其后面去,就搞定了。