作者xxxx9659 (嘎嘎嘎嘎嘎)
看板Database
标题[请益] 超大data汇入MySQL (总共约 200GB)
时间Fri Dec 11 05:30:02 2009
文章有点长，首先感谢各位大大肯看这篇帮我解决问题
新手发问，有哪里不对请多包含 @_@
---正题---
因为一些原因，我必须建置一个资料量非常大的database，有个大table姑且叫作tableA
我已经把tableA的data切成许多.sql档先存在server里，所有.sql 总共大小80GB
一开始汇入很快，後来越来越慢.越...来......越.........慢..........
tableA的sql现在已经汇入12%
大约算一下，现在每+1% 约要花16.3小时，tableA全好大概要60天
对於这麽多又大的SQL档有没有什麽方法加快速度？
有没有其他解决办法，请高手帮帮忙 感激不尽
---相关资料---
版本: MySQL v5.0.18
OS: Linux cluster x64
硬碟: 6.9TB (够装)
tableA完成12%时 我用phpMyAdmin看tableA大小有23.9GB (资料8.4GB + 索引14.2GB)??
所以预估全好会有200GB
我汇入的方法 把data切成600个sql档
mysql -u root -p密码
\. tableA_001.sql
\. tableA_002.sql
\. tableA_003.sql
.
.
.
\. tableA_600.sql
sql档格式范例
INSERT INTO `tableA` (`read_sn`, `sign`, `genome_sn`, `location`, `type1`,
`loc1`, `type2`, `loc2`) VALUES
(1, '+', 86639, 1133, 'C', 9, 'N', 0),
(1, '-', 86681, 2078, 'G', 26, 'N', 0),
(3, '-', 86702, 34, 'G', 33, 'C', 34),
(4, '-', 86702, 18, 'N', 0, 'N', 0),
(5, '-', 86613, 718, 'C', 23, 'T', 28),
(5, '-', 86702, 2, 'G', 1, 'A', 14),
.
.
.
(167389, '+', 86673, 122235, 'N', 0, 'N', 0);
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 163.25.118.131
1F：推 PsMonkey:看看 MySQL 有什麽能够 tune 的吧... 不然... 不乐观 XD 12/11 11:26
2F：推 thieftwo:要不要看实际上系统的 bound 是在那里呢? 12/11 12:42
3F：推 roga:可能是 Cluster 的 Network IO Bound. Data 太多 / 猜测 12/11 23:55