作者clansoda (小笨)
看板R_Language
标题[问题] 记忆体计算
时间Fri Dec 16 14:45:15 2016
Hi 各位好 我目前想要扩增一个data.frame做machine learning
我想要弄进两千个feature因此想要知道到底会吃多少记忆体
我知道object.size可以知道当前的物件吃多少记忆体
假如这个物件还没弄出来 只在我脑里面跑
有办法透过row的数量跟col数量来推估记忆体使用量吗
我怕写一写後来没记忆体可以跑很尴尬
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.175.247.48
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1481870720.A.F18.html
1F：推 HumuHumu: Memory required=no. of column * no. of row * 8 bytes 12/16 15:43
2F：→ HumuHumu: /numeric 12/16 15:44
3F：推 andrew43: 可以，但也记得估运算过程需要的量。 12/16 15:58
4F：→ clansoda: 我有google到这个 那英文跟中文怎麽计算 12/16 15:59
5F：→ clansoda: 我只是用一个直式的data spread as横式的data 12/16 16:00
6F：→ clansoda: 这样过程会多耗记忆体吗 会用data.table 应该不会copy吧 12/16 16:00
7F：→ clickhere: 有个package, memuse, 可以预估. 12/16 22:46
8F：→ Wush978: 你要看物件型态 12/17 15:17
9F：→ Wush978: integer 4 byte, numeric 8 byte, logical 应该是 4? 12/17 15:18
10F：→ Wush978: factor 主要是 4byte + levels 的量 12/17 15:18
11F：→ Wush978: character 的话，一个字符1 byte, 你要用nchar估计每个 12/17 15:18
12F：→ Wush978: element的平均长度後做计算 12/17 15:18
13F：→ Wush978: 最後估计你会用到多少个integer, numeric, logical, ... 12/17 15:19
14F：→ Wush978: 这样就可以得到大致上的记忆体用量 12/17 15:19