作者Mutibil (nujabes)
看板DataScience
标题[问题] 关於资料大小问题
时间Mon Jun 7 15:43:14 2021
最近接到个面试
需要先完成一个档案大小约5GB的 预测分析project
但就我个人的laptop ram:8gb ssd:256gb
光档案loading就耗费几分钟了
更别说要开始feature engineering or modeling
想请问 有任何云端 不太需要订阅功能的方式
可以完成这个project吗
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 180.176.92.165 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1623051796.A.01A.html
1F：推 wtchen: 不能分batch吗？ 06/07 16:32
2F：→ f496328mm: 不是，你这电脑也太弱了吧 06/07 16:41
3F：→ f496328mm: 我3年前做 ML，就已经最少 16GB 起跳了 06/07 16:41
4F：→ f496328mm: 硕班提供 16GB 电脑，我还觉得太弱，自己组 32 GB 06/07 16:42
5F：→ f496328mm: 如果是用 pandas，可以先读前1万笔就好 06/07 16:43
6F：→ Mutibil: 呃..个人电脑大概2015 fall的macbook pro 都跑些小专案 06/07 16:47
7F：→ Mutibil: 在lab 就用苹果骨灰坛 没这困扰 06/07 16:48
8F：→ Mutibil: 可能就只尝试用部分dataset去跑 06/07 16:49
9F：→ hsnuyi: 资料格式写一下啊 06/07 19:50
是csv file
※ 编辑: Mutibil (180.176.92.165 台湾), 06/07/2021 21:58:07
10F：推 greenty: 5G很小呀，你资料要先分割 06/08 04:43
11F：→ hsnuyi: 既然是csv 应该可以分批吃吧? 注意batch的影响就好 06/08 11:20
12F：→ hsnuyi: 不然就先看看能不能降维 说不定有一堆值全部相同的特徵XD 06/08 11:22
13F：→ truehero: COLAB 06/09 00:57
14F：推 email81227: 做简单的EDA，然後抽个5-10%做做看搞不好结果不错? 06/09 22:24
15F：推 ILYY: colab 06/11 02:50
16F：推 tsoahans: loading完可以用numpy/pandas存成pickle/npy 下次读取会 06/17 12:24
17F：→ tsoahans: 比较快 06/17 12:24
18F：→ tsoahans: 另外就是可以做一些资料处理 将无用特徵/样本移除 再存 06/17 12:25
19F：→ tsoahans: 成档案 下次读取就可以读比较少的资料 06/17 12:25
20F：推 wang19980531: 推楼上 分批读取处理完资料後 就用其他档案格式分 06/25 17:20
21F：→ wang19980531: 档存起来 06/25 17:20
22F：→ wang19980531: 同时补充np.dot触发segmentation fault时也要bat 06/25 17:21
23F：→ wang19980531: ch来做 06/25 17:21