国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關鍵字專題1關鍵字專題50關鍵字專題500關鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關鍵字專題關鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當前位置: 首頁 - 科技 - 知識百科 - 正文

MySQL數據庫單一表突破4G限制的實現方法_MySQL

來源:懂視網 責編:小采 時間:2020-11-09 17:13:18
文檔

MySQL數據庫單一表突破4G限制的實現方法_MySQL

MySQL數據庫單一表突破4G限制的實現方法_MySQL:近日,一位Discuz!老用戶的論壇在發表回復時出現The table is full的提示,字面意義上是數據表已滿的意思。因為很少有開發者遭遇單一表超過4G的情況,因此朋友間的討論只能提供一些外圍的信息。為解決此問題,我翻閱了很多資料,本文將以我此次問題的解決
推薦度:
導讀MySQL數據庫單一表突破4G限制的實現方法_MySQL:近日,一位Discuz!老用戶的論壇在發表回復時出現The table is full的提示,字面意義上是數據表已滿的意思。因為很少有開發者遭遇單一表超過4G的情況,因此朋友間的討論只能提供一些外圍的信息。為解決此問題,我翻閱了很多資料,本文將以我此次問題的解決

近日,一位Discuz!老用戶的論壇在發表回復時出現“The table is full”的提示,字面意義上是數據表已滿的意思。因為很少有開發者遭遇單一表超過4G的情況,因此朋友間的討論只能提供一些外圍的信息。為解決此問題,我翻閱了很多資料,本文將以我此次問題的解決過程,介紹問題發生的原因及對策。
根據經驗,The table is full提示往往出現在以下兩種情況:
1. 表中設置了MAX_ROWS值,簡單的說,若MAX_ROWS設置為100,而程序試圖寫入第101條記錄,會出現此錯誤。
2. 表滿。這種情況是本文討論的重點。

我們認為MySQL在存取表的時候,存在一種定位分配規律。這個規律在默認的情況下,可以尋址4G以內的數據。超過這個大小,數據庫將不能對數據定位,因而也無法進行讀寫。經過實驗,這個限制是完全可以被突破的。
本例中,用戶的系統環境為雙Athlon處理器、SCSI硬盤72G、2G內存,用戶的帖子表數據尺寸為4294963640,接近4G(4G的實際字節數為4294967296)。

首先SSH登錄后,查看用戶的系統信息:

# uname -a
Linux zichen.com 2.4.20-8smp #1 SMP Thu Mar 13 16:43:01 EST 2003 i686 athlon i386 GNU/Linux

證明是Linux系統,根據內核版本2.4.20-8smp,加上國內使用的常見系統,估計應該是redhat 9發行包。

# cat /etc/*release*
Red Hat Linux release 9 (Shrike)

這也證明了我們對系統版本的猜想。

然后看一下用的是什么文件系統。因為該用戶并非高手,估計在裝系統的時候就是一路回車下來,redhat 9默認的應該是EXT3,不過我們還是看一下:

# parted
GNU Parted 1.6.3
Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.

This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.

Using /dev/sda
Information: The operating system thinks the geometry on /dev/sda is 8942/255/63. Therefore, cylinder 1024 ends at 8032.499M.
(parted) print
Disk geometry for /dev/sda: 0.000-70149.507 megabytes
Disk label type: msdos
Minor Start End Type Filesystem Flags
1 0.031 101.975 primary ext3 boot
2 101.975 10103.378 primary linux-swap

證明確實是這樣子。隨后我們翻閱了EXT3文件系統的相關技術參數,EXT3是在EXT2基礎上演變而來。EXT2所支持最大單一文件長度是2G,這個是很蹩腳的一個限制。EXT3做的很大一個改善就是將這個限制放大到了2TB,由此稍松一口氣,起碼不是操作系統上的限制。

經過朋友的開導,了解到單一文件大小有如下幾個因素:
1. 文件系統的限制(如剛存所說EXT3的2TB限制)
2. 某一程序進程所能存取的第一文件最大尺寸(例如apache在Linux EXT3下能存取的最大尺寸為2G,諸如日志)

初步判斷瓶頸就在上述其中第二項。隨后找到myisamchk來顯示一下表信息,證明了瓶頸就在MySQL本身的存取上。

# myisamchk -dv cdb_posts

結果就不貼了,其中有一項Max datafile length的值恰好就是4G。由此產生了瓶頸。
后來翻閱了N多資料,進行了N多嘗試,也走了不少彎路,最終覺得還是官方文檔比較可靠。比較老的文檔里寫道這是由于tmp_table_size的值造成的,也有提到用BIG-TABLES這個參數。事實證明這些都是歧途。大晚上的確實很累,這里只給出最終的解決方案吧,中間的就不羅嗦了。

進到mysql客戶端。
# mysql -uroot -p
Enter password: ******
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 59411 to server version: 4.0.18-standard

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> use ******
Database changed
mysql> ALTER TABLE cdb_posts MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000;

因為這個表非常大,執行時間在雙Athlon的專業服務器上竟然花了30分鐘!
之后再通過myisamchk查看該表的信息:
# myisamchk -dv cdb_posts
MyISAM file: cdb_posts
Record format: Packed
Character set: latin1 (8)
File-version: 1
Creation time: 2004-08-30 22:19:48
Recover time: 2004-08-30 22:42:47
Status: open,changed
Auto increment key: 1 Last value: 1063143
Data records: 619904 Deleted blocks: 5
Datafile parts: 619909 Deleted data: 323872
Datafile pointer (bytes): 6 Keyfile pointer (bytes): 4
Datafile length: 4295287332 Keyfile length: 40421376
Max datafile length: 281474976710654 Max keyfile length: 4398046510079
Recordlength: 149

table description:
Key Start Len Index Type Rec/key Root Blocksize
1 1 4 unique unsigned long 1 4535296 1024
2 5 2 multip. unsigned short 13776 12540928 1024
3 111 4 multip. unsigned long 1 18854912 1024
4 28 3 multip. uint24 18 24546304 1024
5 7 3 multip. uint24 7 32827392 1024
111 4 unsigned long 1
6 7 3 multip. uint24 7 40418304 1024
28 3 uint24

令人振奮的事情發生了,該表的 Max datafile length: 281474976710654 Max keyfile length: 4398046510079,即最大數據尺寸(MYD文件)達到了2TB,最大索引尺寸(MYI)仍然為4G。
由此默認的4G限制被突破了。關于其中的原理,其實很簡單:假設你有一個日記本,上面有10頁紙可以寫東西,編排目錄只需要1個字節(因為0~9就夠了)。如果你把這本子又塞進兩張紙,變成12頁,1個字節的目錄空間就無法尋址到后面的兩頁中,進而產生了錯誤。上面那個ALTER語句中的數值都是我為保證成功,取的比較大的值(因為ALTER一次實在是太慢了,沒時間在那亂試驗),相當于告訴數據庫,這個本子有1000000000頁,每頁平均有15000個字節。這樣數據庫便知道這是很大的一個本子,因此不遺余力的拿出了100頁(假設說)做目錄編排,這樣這個新的目錄就可以尋址到日記本的所有內容了。錯誤消失。

惟一的缺點就是,目錄占用的空間多了一些,但已經微乎其微了,做了這種改變其實4G的文件尺寸大小只增大了1M多,非常令人振奮。

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

MySQL數據庫單一表突破4G限制的實現方法_MySQL

MySQL數據庫單一表突破4G限制的實現方法_MySQL:近日,一位Discuz!老用戶的論壇在發表回復時出現The table is full的提示,字面意義上是數據表已滿的意思。因為很少有開發者遭遇單一表超過4G的情況,因此朋友間的討論只能提供一些外圍的信息。為解決此問題,我翻閱了很多資料,本文將以我此次問題的解決
推薦度:
標簽: 文件 方法 系統
  • 熱門焦點

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 久久精品成人一区二区三区 | 国产黄色片一级 | 久久无码精品一区二区三区 | 国产欧美中文字幕 | 国产欧美日韩在线不卡第一页 | 在线99视频 | 欧美日韩另类综合 | 欧美精品在线看 | 亚洲精品在线免费 | 久久久91精品国产一区二区 | 国产在线午夜 | 欧美另类精品一区二区三区 | 精品69久久久久久99 | 在线播放国产色视频在线 | 久久综合中文字幕一区二区 | 91热久久 | 国产一区二区三区成人久久片 | 欧美一区三区 | 国产高清一区 | 欧美在线视频免费观看 | 美女一级毛片 | 福利一区三区 | 日韩123| 国产一区二区三区高清 | 国产高清在线精品一区二区三区 | 91免费高清无砖码区 | 美女视频黄a视频全免费网站一区 | 欧美日韩欧美日韩 | 激情自拍网 | 国产亚洲欧美另类一区二区三区 | 免费国产线观看免费观看 | 国产精品激情综合久久 | 人善交zzzxxx另类 | 欧美 日韩 高清 | 亚洲欧美日韩在线观看播放 | 成人99国产精品一级毛片 | 欧美成人亚洲高清在线观看 | 久久精品a亚洲国产v高清不卡 | 国产精品色综合久久 | 最新色视频 | 精品国产一区二区三区久久久狼 |