R_Language 板


LINE

[sparkR.init问题] 我sparkR初始化上一直出问题, 想请教一下前辈们 [目的]========================================= 用spakR进行平行化计算 [系统环境]======================================= 我在vm上模拟一台master和一台node 没有装hadoop直接就装spark, 版本: R version 3.2.3 (2015-12-10) ubuntu:16.04 spark:2.1.0 sparkR:1.4.1 [sparkR安装]==================================== 如下是我的安装过程(以下只安装在master) [Part1.下载套件rJava和devtools] Step1.设订R CMD javareconf sudo JAVA_HOME=/usr/lib/jvm/jdk/ R CMD javareconf Step2.更新ubuntu函式库,以下载devtools] sudo apt-get -y install libcurl4-gnutls-dev libcurl4-openssl-dev libssl-dev Step3.於R-shell下载rJava和devtools套件 sudo R install.packages("rJava") install.packages("devtools") [Part2.於R-shell用devtools下载sparkR套件、启动] devtools::install_github('apache/[email protected]', subdir='R/pkg') 简单来说,我就只是安装rJava套件和devtools [初始化code]==================================== 我是在Rstudio server上启动sparkR的 Sys.setenv(SPARK_HOME='/home/hduser/spark/') .libPaths(c(file.path(Sys.getenv('SPARK_HOME'), 'R', 'lib'), .libPaths())) Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.0.3" "sparkr-shell"') library(SparkR, lib.loc = "/home/hduser/spark/R/lib/") library(devtools) #初始化sparkr为sc sc <- sparkR.init(master = "local", sparkHome = "/home/hduser/spark") sqlContext <- sparkRSQL.init(sc) [错误讯息]======================================= 在sc <- sparkR.init(master = "local", sparkHome = "/home/hduser/spark") 这行会出现讯息 17/03/31 02:30:17 ERROR RBackendHandler: createSparkContext on org.apache.spark.api.r.RRDD failed java.lang.IllegalArgumentException: Invalid type ....... Error: returnStatus == 0 is not TRUE 附图: https://www.facebook.com/photo.php?fbid=1490142967725208&set=p.1490142967725208&type=3&theater https://www.facebook.com/photo.php?fbid=1490143787725126&set=p.1490143787725126&type=3&theater 不知道怎麽了!!!QAQ 希望有贵人指点,感谢 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.128.101.15
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1491117989.A.24F.html







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Soft_Job站内搜寻

TOP