作者p52189 (鼠霸)
看板Database
標題[討論] 必須處理大量資料的時候
時間Thu Nov 27 17:54:31 2014
嗨大家~
其實也有點算作業文啦...不過我實在沒處理這麼多資料的經驗所以還是來問一下
我現在有大約一千萬筆資料，要找一個容器來裝
但我個人過去只有處理過小專案，碰到這麼大筆不知道該如何處理
現在想法是有兩個
一是就用 MySQL 然後拆成好幾個表來裝
二是想嘗試一下 MongoDB
第一個方案是比較保險的
因為 MySQL 我比較熟悉一點點@@
但既然人在學校就要有點實驗精神(?)
所以也想試試 MongoDB
不知道大家有沒有什麼好意見呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.235.137
※ 文章網址: http://webptt.com/m.aspx?n=bbs/Database/M.1417082074.A.6CA.html
1F：推 alpe: mysql 夠用拉 11/27 20:14
2F：推 rockchangnew: 才1000萬筆，還好啦 11/27 23:32
唔...人家只是很想玩(扭)
這樣子我還是拆表好了XD
謝謝兩位~~
3F：→ bohei: 拆成好幾個表不會不方便嗎? 處理資料時每個都要看@@ 11/28 10:30
4F：推 a926: 除非Query效能低落才會考慮拆表說 11/28 10:42
5F：推 alpe: 拆表也沒必要, 弄好index比較實際 11/28 12:15
6F：推 chigi: 弄index，搞好你搜尋的方法比較實際 11/28 12:51
喔!!
我不知道 index 是什麼東西
剛剛才去狗了一下
那如果說資料的數量上億的話也能受得住嗎?
現在是假定數量會在一千筆上下
是因為我們預估只會抓最近一段時間內的紀錄
但來源的資料增加速度非常快，現在已經破億
之後就不是很確定本地需要保存的量會不會增加...要看老師的意思XD
另外
這些資料在查詢的時候通常會以
物件id + 時間
作為一個聯合起來會唯一的欄位
請大家在好心給我一點意見吧@@
※ 編輯: p52189 (114.44.14.246), 11/30/2014 04:34:09
7F：→ jimmy701010: guid 11/30 05:37