作者scalawax (aliang)
看板Soft_Job
标题[请益] excel转资料库（大量计算）
时间Tue Jun 22 16:27:52 2021
各位大大您们好，
我正在做实价登录的分析，因为实价登录的资料有点乱，所以我写了一堆算式去算，但是
一个档案都太大（至少150-180MB），所以每次更新都要跑一整个晚上，重点是还不知道
是否有跑完（三不五时会发现计算错误）。。。。
想改到资料库或其他的架构，是不是真的会比较快？但是重点是有办法处理大量的计算。
。。。
真的不知道该用什麽。。。
我不是念相关科系的，实在不知道该从哪里下手。。。。
想听听大家专业意见，不管是ACCESS或是python或是有其他大家觉得更好的方式 ，有一
个方向我再去好好钻研。。。
麻烦大家帮我指点明灯～～～ 跪恩！
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 39.9.201.197 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1624350474.A.258.html
1F：→ airtsubasa: 换电脑 06/22 16:30
2F：推 gnseed: 演算法写得不好吧...连G都没出现的资料不能称为大 06/22 16:34
3F：→ final01: excel?? 那个不是很慢 06/22 16:37
4F：推 ntpuisbest: 用r data table 写的非常快 06/22 16:37
5F：推 kokolotl: excel函数一大就算到死了 改用R或python都舒服很多 06/22 16:51
6F：推 Virness: mysql mongo都可以我之前也是excel超痛苦 06/22 17:04
7F：→ MOONY135: 看你的档案类型啊 是一天一个档案还是一个档案会慢慢变 06/22 17:05
8F：→ MOONY135: 大 後者的话直接建议塞进db 前者大概就是换语言读写 06/22 17:06
10F：推 azzc1031: python去读 再去下你要看的函数 06/22 19:43
11F：→ lazarus1121: 把function换成vba来跑会快不少 06/22 20:04
12F：→ lazarus1121: 之前资料量大用excel都尽量不写函数，不然下拉时容 06/22 20:10
13F：→ lazarus1121: 量跟耗的效能都会等比成长 06/22 20:10
14F：→ tedmax100: 不动产业的RD?? 06/22 21:04
15F：→ DrTech: 才不到200M,用程式读到记忆体算，就解决了。根本不用资料 06/22 21:57
16F：→ DrTech: 库。 06/22 21:57
17F：→ yyc1217: 要不要试试看Google colab 06/22 23:24
18F：推 qazxws: Apache Spark 06/23 00:13
19F：推 new122851: Hadoop 06/23 00:32
20F：推 marc47: julia 06/23 01:41
23F：→ KeyFSN: 才 180 MB 根本不用什麽 spark 啦 XD 06/23 12:42
24F：→ KeyFSN: 直接 python 全读到 memory 然後算一算就结了 06/23 12:43
25F：推 sammythekid: 楼上讲完了 06/23 14:57
27F：推 wahaha279: 用aws elk做资料搜寻 06/24 00:19
28F：推 adsl12367: DB用哪一个？ 06/24 15:50
29F：→ scalawax: 哈哈哈哈，谢谢大家的帮忙，但大家的回覆我真的看不懂， 06/24 18:30
30F：→ scalawax: 大家实在是太专业了。。。。我是在一家建商，老板常叫 06/24 18:30
31F：→ scalawax: 我做市调，所以自己弄了套excel+power BI，看来得来自 06/24 18:30
32F：→ scalawax: 学python了。。。。 06/24 18:30
33F：推 alivetaxi: 试试access 应该够用了 06/24 20:28
34F：推 divergience: VBA 就够了 06/24 20:50
35F：推 alice78226: excel和power bi有没有装64位元的，记忆体有没有加到3 06/24 23:37
36F：→ alice78226: 2G？32位元的软体跑不动很正常。 06/24 23:37
37F：推 jinmin88: c#的话我记得有excel lib支援yield return 06/25 19:37
38F：推 acgotaku: Amazon Athena申请一个,资料丢进去 你会发现魔法 07/02 18:24