作者pk790127 (<>)
看板R_Language
标题Re: [分享] sparklyr
时间Thu Nov 24 22:59:51 2016
※ 引述《celestialgod (天)》之铭言：
: [关键字]: sparklyr
: [出处]: http://spark.rstudio.com/index.html
: [重点摘要]:
: 烦请移驾到我的部落格观看：http://goo.gl/SSor3y
: 最近花了点时间研究Spark
: 终於研究到了一个段落
: 回来研究一下自己最爱的R
: 而且又看到rstudio释出了sparklyr就手痒想说试试看了
: 於是就有这篇心得了XD
: 只是我还没去测试machine learning相关的东西
: 就留给其他人慢慢赏玩了
感谢celestialgod大大 无私分享这个关於spark的套件
小弟目前着手研究这个套件,并搭配出处原文参考
但是在安装的时候发现了一些问题
例如说是
Error:
To run Spark on Windows you need a copy of Hadoop winutils.exe:
1. Download Hadoop winutils.exe from:
2. Copy winutils.exe to
C:\Users\XXXXXX
这个问题网路上问的人蛮多的,只要将winutils放入指定路径即可
但是衍生成别的问题 就找不到解法,想请教大大
问题如下:
> library(sparklyr)
> sc <- spark_connect(master = "local")
Error in start_shell(master = master, spark_home = spark_home, spark_version
= version, :
Failed to launch Spark shell. Ports file does not exist.
Path: C:\spark-2.0.0-bin-hadoop2.7\bin\spark-submit.cmd
Parameters: --class, sparklyr.Backend, --packages,
"com.databricks:spark-csv_2.11:1.3.0","com.amazonaws:aws-java-sdk-pom:1.10.34",
"C:\spark-2.0.0-bin-hadoop2.7\R\lib\sparklyr\java\sparklyr-2.0-2.11.jar",
C:\Users\John\AppData\Local\Temp\RtmpKyXbqK\file16b076c13dc6.out
档案名称、目录名称或磁碟区标签语法错误。
感觉是spark档案中的一些资料放错了位置,可是研究了好久还是找不到答案
还请各位大大相助
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.116.86.113
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1479999594.A.11A.html
1F：→ pk790127: 备注 我是只要在local端执行运算即可 11/24 23:04
2F：→ celestialgod: 你可以试试看直接用最新版的rstudio + sparklyr就好 11/24 23:11
3F：→ celestialgod: 不要自己设置HADOOP跟SPARK路径 11/24 23:11
4F：→ celestialgod: 用sparklyr的install_spark 11/24 23:11
5F：→ celestialgod: 成功机率应该会比较高 11/24 23:11
6F：→ celestialgod: 很多自己设定的东西 跑掉是不好找的(摊手 11/24 23:12
7F：→ celestialgod: 除非你真的对R, 系统, Spark都很熟 11/24 23:12
8F：→ clansoda: 对 sparlyr已经建在rstudio上了，只要你有安装sparklyr 11/24 23:13
9F：→ clansoda: 他就会跟git一样出现在environment那边，很容易可以使用 11/24 23:13
10F：→ celestialgod: 在linux玩这个套件还是我最推荐的方式拉(摊手 11/24 23:14
11F：→ celestialgod: windows = 浪费时间 11/24 23:14
12F：→ celestialgod: 现在架一个，用rstudio server不用太久 11/24 23:14
13F：→ celestialgod: /vm 11/24 23:14
14F：→ Edster: 真的windows=浪费时间，我今天花一天时间处理big5跟unicod 11/25 02:18
15F：→ Edster: 混用的档名，在windows下真的很讨厌。看来该要跳槽linux了 11/25 02:19
16F：→ andrew43: 急的话用virtualbox安装个顺手热门的linux distro吧 11/25 04:01
17F：→ pk790127: 感谢各位的回覆 问题可能倾向板本问题 11/26 15:14