作者brandonron (假嗨)
看板Database
标题[讨论] NoSQL database 测试
时间Tue Aug 5 16:44:44 2014
若内容有违版规请告知，我会立即删除
问题:
我想请问一下，若是写入1TB的资料量大约都要花费多久的时间??
自己用Thrift测试,每笔rowkey 5个column value
以下是自己测得的时间数据:
1万rowkey的资料大小约1.1MB
HBase : 4~5 sec
Cassandra : 3~4.5 sec
10万rowkey的资料大小约10.3MB
HBase : 13~15 sec
Cassandra : 10~12 sec
100万rowkey的资料大小约102MB
HBase : 110~115 sec (约1分50秒左右)
Cassandra : 101~108 sec (约1分30秒左右)
(以上都是将column 批次蒐集後再写入的结果，并没有使用rowkey 对映一个column
value 就写入的作法)
观察耗费时间几乎呈线性成长，如果我依此推敲到1TB的资料大小
一次要写入到资料库，几乎要花费1~2个礼拜(可能会超过2个礼拜)
想请问一下，各位是否有写入1TB资料量的经验?
想问各位大约知道会耗费多少时间?1天?7天?14天?
我这样的推敲出1TB耗费的时间是否正确?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.127.218.68
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Database/M.1407228287.A.DB0.html
※ 编辑: brandonron (140.127.218.68), 08/05/2014 16:46:48
1F：→ futureq:硬体因素也有关系..自已测最快 08/06 16:01
2F：→ brandonron:回f大，自己测50GB花了快1天时间..平均1GB要13~15分钟 08/07 10:26
3F：→ KekeMonster: 之前测试四台task tracker bulk load 09/03 09:33
4F：→ KekeMonster: 约 3.3TB 的资料汇了一天半 09/03 09:33
5F：→ KekeMonster: 应该还可以更快, 但是测试环境硬体设备很烂 09/03 09:34
6F：→ KekeMonster: 记忆体不足, bulk load map reduce 需要一直 spill 09/03 09:35