MySQL移植含有中文的數據時,很容易出現亂碼問題。很多是在從MySQL4.x向MySQL5.x移植的時候出現。MySQL的缺省字符集是latin1,在使用MySQL4.x的時候,很多人都是用的latin1字符集。而當使用MySQL5時往往愿意使用UTF-8。那么我們的任務是不是要把數據中的字符從latin1轉為UTF-8呢?不是的。
用一句不大準確,但又比較形象的說法是,在之前的系統中,我們是用latin1保存了使用GB系列字符集(GBK、GB2312等)的漢字。怎么這樣說呢?
|
字符集是告訴我們,如果沒有特別指定列的字符集,那么字符類型列的字符集與表的缺省字符集一樣。
列的字符集是要告訴MySQL,這里面保存的字符所使用的字符集是什么。但到底保存的是什么字符集的字符,不由MySQL決定,MySQL也不進行檢查。
在UTF-8廣泛使用之前,我們使用的漢字都是GB系列的字符集,比如GB2312、GBK、GB18030等等。
在缺省字符集為latin1的MySQL中,我們通常就把GB字符集的漢字保存到數據庫中,但是卻告訴MySQL那是latin1字符集。而GB字符集是一個漢字占兩個字節,latin1是一個字符占一個字節。也就是說一個GB漢字被當成兩個latin1字符來保存了。這讓我想起了當初的iso8859_1,也是類似的情況。只要我們保存和讀取時都當作latin1,不進行轉換,然后在顯示時當作GB字符集,就能夠正確使用。
那么怎么把latin1保存的漢字正確地導UTF-8字符集的數據庫中呢?
首先,新的數據庫中的列,要使用UTF-8字符集。一種辦法是創建database時指定缺省字符集,這樣在建表時如果不指定字符集則使用database的缺省字符集。
導出的數據要以latin1字符集導出,實際上就是告訴MySQL導出時不做轉換(因為原有的表都是latin1字符集的)。
mysqldump出來以后,再用MySQL進行導入時,還要告訴MySQL,當前的數據是gb系列的字符集,比如gbk。這樣,MySQL負責把數據由gbk轉換為UTF-8,保存到數據庫中。
如何告訴MySQL導入的SQL是什么字符集呢,一種方法是用--default-character-set,但有時會起不到實際作用。這是因為mysqldump出來的文件里有set names語句。比如:
|
/*! */是MySQL特有有句法,在其他數據庫會被當成注釋忽略掉。/*!后面的40101是表示版本,在4.1.1及以上版才執行該條語句。
這里看到有一條SET NAMES latin1。它的一個作用是告訴mysql,客戶端傳過去的數據是latin1字符集。因為有這樣一條SET NAMES,--default-character-set也就起不到作用了。如果不幸有這樣一條SQL,那么需要把它去掉或者改成SET NAMES gbk。修改或者刪除的辦法,當數據量比較大的時候,可以用head和tail來配合。比如還是上面的那個文件:
先用head看一下SET NAMES在第幾行(數一下),上面看到是第10行。
|
head -9是取前9行,tail -1977是取后1977行,這樣就把第10行隔過去了。
得到final.sql再用MySQL運行時,就可以使用--default-character-set=gbk了。
還有一種辦法是mysqldump時使用--set-charset=false,這樣就不會出現SET NAMES了。
目前為止,還可能有問題,出在create table的SQL中,比如:
|
這里仍然有個CHARSET=latin1,它將導致新創建的表的缺省字符集是latin1,而不是我們想要的UTF8。
怎么辦呢,如果數據量不大的話,可以考慮用編輯器把它去掉或者改成UTF8,如果數據量大的話可以考慮用sed,但可能仍然時間比較長。
還有一種辦法就是mysqldump,使用--create-options=false,不導出表的創建屬性。但如果導出的表的存儲引擎不同的話就有問題了,因為引擎類型(innodb、myisam等)都被忽略了。
此外,mysqldump導出時,不要使用-B,而是直接指定一個database名字,目的是不出現CREATE DATABASE語句,因為其中也可能會有缺省字符集的子句,會影響那些未在CREATE TABLE中指定字符集的表。如果你導出的SQL中有CREATE DATABASE,那么需要注意一下有沒有字符集的子句,如果有的話,也需要修改。
好了,通過上述方法導出或者處理過的導出文件可以使用mysql --default-character-set=gbk來導入了。
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com