作者aj4rmp4 (老穆)
看板MATLAB
标题[问题] 大量数据(大矩阵)载入function的处理
时间Tue Oct 29 14:19:57 2013
大家好
请问当一个很大的矩阵(几10万 X 几千)要载入函式里做某些分析处理
在执行上要花很长时间
有没有甚麽技巧可以缩短函式载入和回传的运行时间?
因为BOSS在做一个处理大规模数据的演算法
所以在中间处理运算上不希望被重复的函式传递去影响演算法效率
查了相关处理大数据的问题都是在源头读取资料
而我们的数据在源头於主程序已经载入成大矩阵
所以不考虑头尾I/O的运行速度
先谢谢各位
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.113.59.229
1F：→ s8911124:call c function去跑计算的地方，如果还太慢 10/29 16:01
2F：→ s8911124:对输入资料做sampling或是降维 10/29 16:02
3F：→ aj4rmp4:不好意思我再补充。现在先不考虑计算过程，只是单纯的丢 10/29 16:54
4F：→ aj4rmp4:大矩阵到function的程序。是不是把大矩阵转成数个小矩阵 10/29 16:54
5F：→ aj4rmp4:在丢到函式後重组回大矩阵，这样会比直接丢大矩阵快吗? 10/29 16:56
6F：→ FET:如果组合回去结果的算法是线性的，通常分解开来会比较快 10/29 21:30
7F：推 summitstudio:能不能拆矩阵(平行化)应该要看你的演算法决定？ 10/29 22:13
8F：推 niwat:改丢指标(byref)的方式, 然後比较不同function处理资料速度 10/30 00:12
9F：→ niwat:这样可以吗? 10/30 00:13