作者JackBaska (Baska)
看板R_Language
标题[讨论] 有关R的平行计算运用
时间Sun May 1 12:59:40 2016
- 讨论: 当你自己已经有答案,但是也想听听版友意见时
[问题类型]:
效能谘询(我想让R 跑更快)
[软体熟悉度]:
使用者(已经有用R 做过不少作品)
[问题叙述]:
各位 R 领域专业的大大们好 , 小弟最近想开始用R的平行计算功能
已经拜读过 Wush大的平行计算笔记 , 也照一些原文网站内容用Terminal
安装好 OpenMP 跟 用R 处理好 Rmpi了 , 也成功repeat 一些平行
的小范例
不过我我要做的运算主要会用到一些 Machine Learning的套件,但
我在试跑时会遇到一些问题像是 , 开始跑之後表示没有该套件的方
法,我後来是在里面直接做 套件 require处理 , 但还是会有一些载
入资料,还有相关引数的问题
想询问各位是否知道什麽资源可以学R的平行的一些讯息 , 因为我的
运算只有特定段落有需要平行 , 所以我希望能熟悉 R 的平行,像是我
要把工作分给 Slave 时, 让他们可以完全接收原本 R kernel已载入
的一些资讯,并把套件跟需求物件正确的传给所有 Slave
另外如果有详细 R 怎麽做资源分配的资讯也麻烦各位指点了 , 因为
目前这几个parallel 的范例我都还没看到资源分配相关的资讯 , 有点
疑惑
以上主要是针对 CPU 平行问的 , 手边也有GPU Cluster , 如果有人
有推荐的GPU 在 R 的应用 , 也感激不尽 , 不过对CUDA还不熟 ,所以
先不打算用CPU的部分
另外想问一下有没有人知道 OpenMP 还有 Rmpi得设置要怎麽只建置
在特定User下面 , 由於手边的Cluster 有部分没有 Root , 所以在
管理员有空前我可能得自己处理 , 以前装package是用只建置在User
底下的方式 , 但mpi 还有 Rmpi有部分步骤要用command line装,我
安装时一直被挡掉说我权限不足
[你的答案]:
有想到几种载入方式还在试 , 但相对还不是我想要的型式 , 觉得另外
自己加入载入段落不见得是好的 , 想了解要怎麽用 R 正确且有效率的
做这件事
另外小弟现在是先用笔电做小资料集的小规模计算测试 , 等大致熟练
才会搬到cluter上面
小弟是平行菜鸟 , 还请大家多多指教
[关键字]:
R 平行运算
Master Slave / Head Node
Cluster
Parallel Computing by CPU
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.240.197.83
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1462078782.A.D91.html
※ 编辑: JackBaska (111.240.197.83), 05/01/2016 13:21:00
※ 编辑: JackBaska (111.240.197.83), 05/01/2016 13:22:12
1F:推 cywhale: I just read Matt Dowle's blog about parallel fwrite 05/01 18:21
3F:→ JackBaska: Thanks 05/01 20:04
※ 编辑: JackBaska (118.160.169.133), 05/01/2016 20:04:29
4F:→ clickhere: OpenMP和OpenMPI是不同的东西.... 05/02 00:15
5F:→ clickhere: OpenMPI和Rmpi都不需要permission.安装在user下即可. 05/02 00:16
6F:→ clickhere: 不需要root 05/02 00:17
7F:→ JackBaska: 我直接装library是会跳non-zero status ,然後参考原文 05/02 08:11
8F:→ JackBaska: 网站的做法是先用command line安装完OpenMP,然後CMD 05/02 08:11
9F:→ JackBaska: Rmpi後再回到R里面安装library才成功,然而前面command 05/02 08:12
10F:→ JackBaska: line的动作我在cluster好像没有权限,然後试另一个方法 05/02 08:13
11F:→ JackBaska: 都遇到版本问题,cluster的R是3.1.x,我还在找怎麽避开 05/02 08:13
12F:→ JackBaska: permission做更新还有以上建置 05/02 08:14