※ 引述《kial (夏澄)》之铭言： : : - 问题: 当你想要问问题时，请使用这个类别。 : 建议先到 http://tinyurl.com/mnerchs 搜寻本板旧文。 : : [问题类型]: : : 效能谘询(我想让R 跑更快) : : [软体熟悉度]: : 请把以下不需要的部份删除 : 入门(写过其他程式，只是对语法不熟悉) : [问题叙述]: : 请简略描述你所要做的事情，或是这个程式的目的 : 我有一个约千万笔的产品交易纪录 : 格式长得像下面这样子 : #testdata : customerid：AAAAAAAAAA : payment：BBBBBBBB : ReadTime：CCCCCC : 20170419020204PruductNumber：DDDDDD：NT00183.1415Number：40 : 20170419020205PruductNumber：EEEEEE：NT00184.1415Number：42 : 20170419020206PruductNumber：FFFFFF：NT00185.1415Number：44 : 客户：GGGGGGGGGGG : 付款方式：III : 读取时间：JJJJJJ : 20170419020204PruductNumber：KKKKKK：NT00040.1610Number：40 : 20170419020205PruductNumber：EEEEEE：NT00041.1610Number：42 : 20170419020206PruductNumber：FFFFFF：NT00042.1610Number：44 : 20170419020207PruductNumber：HHHHHH：NT00043.1610Number：46 : 我想要整理成 : 客户 付款方式 读取时间 交易时间 产品序号 金额 数量 : AAAAAAAAAAA BBBBBB CCCCCC 20170419020204 DDDDDD 00183.1415 40 : AAAAAAAAAAA BBBBBB CCCCCC 20170419020205 EEEEEE 00184.1415 42 : AAAAAAAAAAA BBBBBB CCCCCC 20170419020206 FFFFFF 00185.1415 44 : GGGGGGGGGGG III JJJJJJ 20170419020204 KKKKKK 00040.1610 40 : GGGGGGGGGGG III JJJJJJ 20170419020205 EEEEEE 00041.1610 42 : GGGGGGGGGGG III JJJJJJ 20170419020206 FFFFFF 00042.1610 44 : GGGGGGGGGGG III JJJJJJ 20170419020207 HHHHHH 00043.1610 46 : 目前程式的雏型是读入data後用for回圈跟if和substr判定关键字， : 再用substr写入各变数後，利用rbind结合变数输出。 : 但是碰到的问题是利用测试资料试跑时(约10000笔)就碰上了效能不佳的问题， : 真实资料约1000万笔，请问有无处理此类资料的套件或是效能较佳的解法呢？ : 感谢。 程式：https://pastebin.com/idYqA03T 说明如下： 我不知道你的data source如何 我先假设你的资料是单一档案 如果你记忆体不能全部吃下，就分段执行 只是要记得可能会断在中间，这部分要额外再处理，但这里就不谈 data generation的部分，我就略过 其实你的资料满好parse的，所以只要抓对区块 然後再分成基本资讯跟消费物品就处理完了 因为我没乱排基本资讯的三个栏位 所以我只是很单纯去抓customerid这个栏位的位置 然後做个cumsum当作split的vector即可 parsing部分，基本资讯就用regexp: (customerid|payment|ReadTime): (.*) 配合stringr::str_match，把基本资讯抓出来 然後再用match调到对的地方 (我data生成，没有打乱顺序，所以其实不用这个步骤) 再来明细部分就用这个regexp: (\\d{14})PruductNumber: ([a-zA-Z0-9]+): NT(\\d{5}\\.\\d{4})Number: (\\d+) 第一个小括号抓出日期，第二个抓PruductNumber，第三个抓价钱，第四个抓数量 抓下来之後，str_match取最後四行就是我们要的四个栏位了 最後整并成data.table就完工了 这样做下来，我电脑CPU是i7-3770K，八个执行绪，我用七个跑 只需要16.86秒就处理完一万笔record了 一千万的话，可能大概要16860秒，也就是4.68小时... 除非你有更强的电脑，拥有更多的thread 或是使用多台电脑(用makeCluster可以多台多个thread跑) 不然你想要在短时间内用R处理完可能还满难的.... 系统资讯：作业系统是windows 10, Microsoft R Open 3.3.3 Note: 要注意matrix取出一行或是一列时，R会把dimension drop掉，变成vector 所以记得补上一个drop = TRUE让他永远是matrix，这样输入data.table/data.frame 才会是数个column -- R资料整理套件系列文： magrittr #1LhSWhpH (R_Language) https://goo.gl/72l1m9 data.table #1LhW7Tvj (R_Language) https://goo.gl/PZa6Ue dplyr(上.下) #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/I5xX9b tidyr #1Liqls1R (R_Language) https://goo.gl/i7yzAz pipeR #1NXESRm5 (R_Language) https://goo.gl/zRUISx --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.233.82.29 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1492604363.A.DAB.html 是，别忘了iterators::isplit，让资料传输量变少，平行会比较有效率 而且也不用真的去切资料，用记忆体去储存一个很大的list ※ 编辑: celestialgod (36.233.82.29), 04/19/2017 21:46:32