作者gensation (OoooO)
看板Python
標題[問題] rolling+apply過慢
時間Mon Aug 1 08:48:13 2022
各位高手好
想請問df.rolling().apply(fun)有無更快的方式，其中fun部分為rolling數據跟一固定
數據做相關係數，有試過numba，不過好像沒有較快，想用cython，看起來有點難度，且
沒學過c，不知有何替代方案，或是應專研以上方法，謝謝。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.122.83 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1659314895.A.1C7.html
1F：推 celestialgod: polars rolling sum應該可以 只是你需要用公式展開 08/01 11:47
2F：→ celestialgod: 計算 08/01 11:47
3F：→ chang1248w: 你把前後運算寫成矩陣之後乘開，再用numba/cupy炸 08/01 17:04
4F：→ chang1248w: 或者直接裝cudf來用 08/01 17:06
5F：→ chang1248w: 你應該有卡吧？ 08/01 17:06
6F：→ chang1248w: 運算瓶頸是pamdas single thread，就算你後面call再 08/01 17:07
7F：→ chang1248w: 多的資源，它還是single thread 08/01 17:07
8F：→ gensation: polars我來試試。我是用colab在玩...，然後df shape 70 08/01 20:42
9F：→ gensation: 00휲000完全跑不動roll加apply，請問cupy cudf有什麼好 08/01 20:42
10F：→ gensation: 懂的教學，本身文組不是太懂..，謝謝 08/01 20:43
11F：→ chang1248w: 這和文不文理不理沒關係，cupy你就當numpy寫就好 08/02 00:49
12F：→ chang1248w: 找 cudf colab應該都有安裝程式碼可以抄，Nvidia 08/02 00:51
13F：→ chang1248w: rapids 不是冷門社群 08/02 00:51
14F：→ chang1248w: 這類擴充移植到lib一般都會幾乎兼容於原本的版本 08/02 00:59
15F：推 celestialgod: 看你要不要弄個可以重現你問題的程式碼 08/02 14:54
16F：→ celestialgod: 這樣板友也比較好幫你看出哪裡是效能瓶頸 08/02 14:54
17F：→ celestialgod: 才好對症下藥，幫你解決問題 08/02 14:54