作者jfla (J-Fla)
看板java
标题[问题] 大数据批次更新的方式
时间Wed Oct 24 17:42:27 2018
若在一mysql中有8个table要更新数据
每一table更新的数据约60万笔资料
请问以下更新的方法是否可行?
开10条执行绪(需要10个connection)
第1条执行绪从第1笔开始更新
第2条执行绪从第5万笔开始更新
第3条执行绪从第12笔开始更新
....
第10条执行绪从第50笔开始更新
请问这样子的方式可行吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 180.204.49.162
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/java/M.1540374149.A.558.html
1F：→ qrtt1: 为什麽要这麽做？你想解决什麽样的问题？ 10/24 17:46
单纯更新资料，每天固定更新资料约60万笔
2F：推 pupuliao: 当然是可以啊? 变快 变慢 不知道而已 10/24 18:01
3F：→ pupuliao: 你可以测试看看 10/24 18:02
4F：→ kogrs: 60万应该算不上大数据吧? 10/25 00:02
是的，不太算
5F：→ qrtt1: 你是打算多快！？要有个门槛出来，拿工具量一量，再来看要 10/25 00:32
6F：→ qrtt1: 不要改它吧。你资料产出的那一端，到底每秒能生多少笔？ 10/25 00:33
7F：→ qrtt1: 你的消耗端 (mysql) 只要能承受比它高，就算达标了呗。 10/25 00:33
希望这样子的排程工作能在2小时之内完成更新60万笔资料。
※ 编辑: jfla (180.204.49.162), 10/25/2018 09:47:00
8F：推 jej: 用java这麽多次io当然慢 写sp吧 60小case啦 10/25 12:46
9F：推 now99: 先看60万的条件吧 10/26 09:03
10F：推 swpoker: 这应要该要用sp去弄啊，不要硬用java啊 10/26 10:58
11F：→ adrianshum: SP 不见得会比较好，视乎OP 要做什麽。比如是每天拿 10/27 12:13
12F：→ adrianshum: 到60万笔的档案，再根据档案内容update, 用stored pro 10/27 12:13
13F：→ adrianshum: c 不见得会跑得快，还要考虑整体架构 10/27 12:13