作者p52189 (鼠霸)
看板Database
标题[讨论] 必须处理大量资料的时候
时间Thu Nov 27 17:54:31 2014
嗨大家~
其实也有点算作业文啦...不过我实在没处理这麽多资料的经验所以还是来问一下
我现在有大约一千万笔资料，要找一个容器来装
但我个人过去只有处理过小专案，碰到这麽大笔不知道该如何处理
现在想法是有两个
一是就用 MySQL 然後拆成好几个表来装
二是想尝试一下 MongoDB
第一个方案是比较保险的
因为 MySQL 我比较熟悉一点点@@
但既然人在学校就要有点实验精神(?)
所以也想试试 MongoDB
不知道大家有没有什麽好意见呢?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.34.235.137
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Database/M.1417082074.A.6CA.html
1F：推 alpe: mysql 够用拉 11/27 20:14
2F：推 rockchangnew: 才1000万笔，还好啦 11/27 23:32
唔...人家只是很想玩(扭)
这样子我还是拆表好了XD
谢谢两位~~
3F：→ bohei: 拆成好几个表不会不方便吗? 处理资料时每个都要看@@ 11/28 10:30
4F：推 a926: 除非Query效能低落才会考虑拆表说 11/28 10:42
5F：推 alpe: 拆表也没必要, 弄好index比较实际 11/28 12:15
6F：推 chigi: 弄index，搞好你搜寻的方法比较实际 11/28 12:51
喔!!
我不知道 index 是什麽东西
刚刚才去狗了一下
那如果说资料的数量上亿的话也能受得住吗?
现在是假定数量会在一千笔上下
是因为我们预估只会抓最近一段时间内的纪录
但来源的资料增加速度非常快，现在已经破亿
之後就不是很确定本地需要保存的量会不会增加...要看老师的意思XD
另外
这些资料在查询的时候通常会以
物件id + 时间
作为一个联合起来会唯一的栏位
请大家在好心给我一点意见吧@@
※ 编辑: p52189 (114.44.14.246), 11/30/2014 04:34:09
7F：→ jimmy701010: guid 11/30 05:37