作者brandonron (假嗨)
看板Database
標題[討論] NoSQL database 測試
時間Tue Aug 5 16:44:44 2014
若內容有違版規請告知，我會立即刪除
問題:
我想請問一下，若是寫入1TB的資料量大約都要花費多久的時間??
自己用Thrift測試,每筆rowkey 5個column value
以下是自己測得的時間數據:
1萬rowkey的資料大小約1.1MB
HBase : 4~5 sec
Cassandra : 3~4.5 sec
10萬rowkey的資料大小約10.3MB
HBase : 13~15 sec
Cassandra : 10~12 sec
100萬rowkey的資料大小約102MB
HBase : 110~115 sec (約1分50秒左右)
Cassandra : 101~108 sec (約1分30秒左右)
(以上都是將column 批次蒐集後再寫入的結果，並沒有使用rowkey 對映一個column
value 就寫入的作法)
觀察耗費時間幾乎呈線性成長，如果我依此推敲到1TB的資料大小
一次要寫入到資料庫，幾乎要花費1~2個禮拜(可能會超過2個禮拜)
想請問一下，各位是否有寫入1TB資料量的經驗?
想問各位大約知道會耗費多少時間?1天?7天?14天?
我這樣的推敲出1TB耗費的時間是否正確?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.127.218.68
※ 文章網址: http://webptt.com/m.aspx?n=bbs/Database/M.1407228287.A.DB0.html
※ 編輯: brandonron (140.127.218.68), 08/05/2014 16:46:48
1F：→ futureq:硬體因素也有關係..自已測最快 08/06 16:01
2F：→ brandonron:回f大，自己測50GB花了快1天時間..平均1GB要13~15分鐘 08/07 10:26
3F：→ KekeMonster: 之前測試四台task tracker bulk load 09/03 09:33
4F：→ KekeMonster: 約 3.3TB 的資料匯了一天半 09/03 09:33
5F：→ KekeMonster: 應該還可以更快, 但是測試環境硬體設備很爛 09/03 09:34
6F：→ KekeMonster: 記憶體不足, bulk load map reduce 需要一直 spill 09/03 09:35