作者celestialgod (天)
看板R_Language
标题[分享] R的parallel套件 (snow, foreach)
时间Sat Nov 26 15:33:30 2016
[关键字]: foreach, snow, snowfall
[出处]:
http://chingchuan-chen.github.io/posts/2016/11/26/R-parallel-pkgs
[重点摘要]:
有些程式不能全部靠RcppParallel加速
所以想说只能靠R的一些平行套件来解决
但是平行套件其实不少，那哪一个又有比较好的performance?
有兴趣可以到出处网址去看
--
R资料整理套件系列文：
magrittr #1LhSWhpH (R_Language) https://goo.gl/OBto1x
data.table #1LhW7Tvj (R_Language) https://goo.gl/QFtp17
dplyr(上.下) #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/GcfNoP
tidyr #1Liqls1R (R_Language) https://goo.gl/pcq5nq
pipeR #1NXESRm5 (R_Language) https://goo.gl/cDIzTh
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.235.43.180
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1480145613.A.F57.html
1F：推 sxskr1001: 感谢版大的资源，不知是否有推荐的GPU套件介绍，谢谢！ 11/26 21:22
2F：推 sxskr1001: 结果发现版大的网站里有介绍，当我没问XD 11/26 21:26
3F：→ f496328mm: 之前用snow+apply家族做平行 是还不错 11/26 22:21
4F：→ f496328mm: 不过发现dplyr更强 主要是很多好用的函数 11/26 22:22
5F：推 f496328mm: 想问问看 学到最後是不是还是要用 C++ 11/26 22:26
6F：→ f496328mm: 因为速度快超多 看很多快速的套件都是用C++ 写 11/26 22:27
7F：→ f496328mm: 目前建model 做预测 找到一个套件 可以cpu效能全开 11/26 22:28
dplyr 跟 plyr 要处理的问题不太一样
dplyr会比较偏重在data.frame上
plyr则是任意资料类型，dplyr也是单线程在做
在一些case下，plyr::dlply + rbindlist会比 dplyr, data.table快上不少
但是这也是要depends on 资料量
至於C++，则是看你有没有能力刻出演算法而决定
如果可以，当然用C++做加速是一个不错的方案
中间还包含你要去学C++语法，使用Rcpp相关套件的时间付出
对於有些人来说不是那麽合算下，可以不去考虑
有些人可能需要学个半年C++才刻的出比用R还快的演算法来使用，这部分很难讲...
所以你如果真的有遇到程式效率问题，就尝试花时间去碰C++
看怎麽用C++去解决你的效率问题吧
至於multi-core建模，现在h2o满方便，试试看用那个应该就能解决很多问题了
8F：推 f496328mm: 第一次听到h2o google之後 感觉是蛮强大的套件 11/26 23:38
9F：→ f496328mm: 我目前是用xgboost建model 11/26 23:38
10F：推 f496328mm: 大大有用过h2o吗? 稍微看一些别人的介绍 11/26 23:44
11F：→ f496328mm: 感觉超强大 包含几乎所有machine learning algorithm 11/26 23:45
有用过，我就是用了觉得还不错，才会写上来XD
※ 编辑: celestialgod (36.235.43.180), 11/27/2016 03:07:09
12F：推 cywhale: 平常也都是snow or foreach, 看来也可用snowfall 谢分享~ 11/27 07:51
13F：→ f496328mm: 改天来玩玩h2o好了 既然大大这麽推 11/27 09:34
14F：推 clansoda: 我个人的感觉是他的演算法比R里面泛用的package有优化过 11/27 10:01
15F：→ clansoda: 不管是regression还是classification的效果都比较好 11/27 10:02
16F：推 f496328mm: 这麽强啊，那我真的要试试看了，如果能增加model准确率 11/27 12:18
17F：→ f496328mm: 就太棒啦 11/27 12:18
18F：→ clansoda: 些微增加拉= = 重点还是对的feature吧XDD 11/27 12:40
19F：推 f496328mm: 现在已经找到一些重要feature了 还在试着找其他变数 11/27 14:47
20F：→ f496328mm: 离目标只差不到0.05的准确度 所以有进步就是好事 11/27 14:48
21F：→ f496328mm: fitting到最後 差距就只是几个百分比而已 11/27 14:50
22F：推 JX660: 感谢分享资讯 h2o 看起来值得研究 11/27 18:04
23F：推 f496328mm: 结果这篇变成h2o了XD 11/27 18:39