作者celestialgod (天)
看板Python
标题Re: [问题]请教如何加快dataframe的条件判断
时间Mon May 15 01:47:16 2023
※ 引述《liquidbox (树枝摆摆)》之铭言：
: 请问，我有一个近万个由不重复字串组成的list叫kw_list，以及一个df
: 范例是['book','money','future','file']
: Index sentence
: 1 This is a book
: 2 back to the future
: 3 replace the file
: 4 come on
: 5 have a nice weekend
: 我想要把list中的字串逐一拉出来，
: 跟sentence那个栏位比较，如果sentence栏位有包含该字串（近万个都要逐一比对）
: 就标上True，否则就False
: 我建了一个近万个column的新dataframe，栏位是kw_list
: 然後跟原本的df合并起来，
: 然後再写个条件判断式，若该笔资料的sentence包含该字串，
: 那个column就标上True，不然就False
: 於是会变成
: Index sentence book money future file
: 1 This is a book TRUE FALSE FALSE FALSE
: 2 back to the future FALSE FALSE TRUE FALSE
: 3 replace the file FALSE FALSE FALSE TRUE
: 4 come on FALSE FALSE FALSE FALSE
: 5 have a nice weekend FALSE FALSE FALSE FALSE
: 不意外地，我用回圈去判断，跑几小时都跑不出结果，如下：
: for kw in kw_list:
: df.loc[df['sentence'].str.contains(kw),df[kw]]=True
: 我觉得我把同样的东西丢到Excel用函数算可能都比较快，
: 请问有什麽方法改写，让这个df的运算速度加快吗
有几个人跟我稍微讨论了一下
我这里放上几个方法的比较
三十万个随机句子 随机抓出2389个关键字 三个方法的结果如下
1. polars
1.21 s ± 59.3 ms per loop (mean ± std. dev. of 5 runs, 3 loops each)
2. pandas
a. Pre-allocate columns first and set values
6min 36s
b. for loop add columns => PerformanceWarning
6min 16s
c. Pre-allocate columns + np.where + pandas .at
7min 59s
3. duckdb
24.4 s ± 177 ms per loop (mean ± std. dev. of 2 runs, 3 loops each)
4. numpy
a. pre-allocate + for-loop: 4min 23s
b. pre-allocate + np.char: > 6 minutes
5. Cython
1.73 s ± 14.7 ms per loop (mean ± std. dev. of 3 runs, 5 loops each)
可以看出来polars跟2/3/4方法根本不在同一个量级
polars的with_columns在Rust底层中是会做multi-threading
另外3个都是single thread，所以根本没法比
Cython则是有接近polars的效能，但是还是小输，而且结果是np.array不是dataframe
如果舍弃DataFrame的操作的话
Cython+numpy有接近媲美polars的速度
但是很难写也很难调校 我写了三小时多才得到一个满意的版本
附上测试程式码:
https://reurl.cc/9VMOkO
机器: AMD
[email protected] with Python 3.10.9 on Windows 11
polars version: 0.17.13
pandas version: 1.5.3
duckdb version: 0.7.1
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 125.229.239.131 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1684086439.A.CF1.html
1F：推 liquidbox: 谢谢分享，我再来研究这个工具 05/15 06:42
2F：→ chang1248w: dask dataframe呢 05/15 09:33
dask底层是pandas 在原理上还是很难超越polars 我觉得甚至连duckdb都很难企及
我刚刚有尝试去改写 但找不到方法优化
3F：→ lycantrope: dask还是输polars，polars就是blazingly fast!!! 05/15 09:43
4F：推 d56845684: 感谢分享 Polar真的快很多 05/15 12:34
5F：推 Sunal: Rust真神 05/15 13:28
5/15 14:53 增加pandas .at, numpy & Cython比较
6F：→ lycantrope: pandas的str吃GIL polars加上to_pandas会比较公平一点 05/15 15:23
7F：推 lycantrope: 不过polars用lazy再collect optimize搞不好更快w 05/15 15:25
已加 没差多少
8F：推 chang1248w: 长知识 05/15 18:59
※ 编辑: celestialgod (125.229.239.131 台湾), 05/15/2023 19:06:49
※ 编辑: celestialgod (125.229.239.131 台湾), 05/15/2023 19:37:18