作者jfla (J-Fla)
看板java
標題[問題] 大數據批次更新的方式
時間Wed Oct 24 17:42:27 2018
若在一mysql中有8個table要更新數據
每一table更新的數據約60萬筆資料
請問以下更新的方法是否可行?
開10條執行緒(需要10個connection)
第1條執行緒從第1筆開始更新
第2條執行緒從第5萬筆開始更新
第3條執行緒從第12筆開始更新
....
第10條執行緒從第50筆開始更新
請問這樣子的方式可行嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.204.49.162
※ 文章網址: https://webptt.com/m.aspx?n=bbs/java/M.1540374149.A.558.html
1F：→ qrtt1: 為什麼要這麼做？你想解決什麼樣的問題？ 10/24 17:46
單純更新資料，每天固定更新資料約60萬筆
2F：推 pupuliao: 當然是可以啊? 變快 變慢 不知道而已 10/24 18:01
3F：→ pupuliao: 你可以測試看看 10/24 18:02
4F：→ kogrs: 60萬應該算不上大數據吧? 10/25 00:02
是的，不太算
5F：→ qrtt1: 你是打算多快！？要有個門檻出來，拿工具量一量，再來看要 10/25 00:32
6F：→ qrtt1: 不要改它吧。你資料產出的那一端，到底每秒能生多少筆？ 10/25 00:33
7F：→ qrtt1: 你的消耗端 (mysql) 只要能承受比它高，就算達標了唄。 10/25 00:33
希望這樣子的排程工作能在2小時之內完成更新60萬筆資料。
※ 編輯: jfla (180.204.49.162), 10/25/2018 09:47:00
8F：推 jej: 用java這麼多次io當然慢 寫sp吧 60小case啦 10/25 12:46
9F：推 now99: 先看60萬的條件吧 10/26 09:03
10F：推 swpoker: 這應要該要用sp去弄啊，不要硬用java啊 10/26 10:58
11F：→ adrianshum: SP 不見得會比較好，視乎OP 要做什麼。比如是每天拿 10/27 12:13
12F：→ adrianshum: 到60萬筆的檔案，再根據檔案內容update, 用stored pro 10/27 12:13
13F：→ adrianshum: c 不見得會跑得快，還要考慮整體架構 10/27 12:13