作者MAGICXX (逢甲阿法)
看板Python
标题[问题] pandas.to_sql chunksize大小
时间Wed Jan 13 16:55:46 2021
大家好
我现在用pandas的to_sql把一张张的CSV塞进去一个sqlite3的资料库
我上网看别人在设定chunksize的时候 都可以设个几千几万的
可是我只设了200就会吐错误 设150才能跑
sqlite3.OperationalError: too many SQL variables
我的code如下
import sqlite3
import pandas as pd
conn = sqlite3.connect("test_2.db")
cur = conn.cursor()
create_table="CREATE TABLE IF NOT EXISTS test (x,y,value)"
cur.execute(create_table)
df2=pd.read_csv("test.csv",index_col=False)
df2.to_sql('test',conn,if_exists='append',
index=False,method='multi',chunksize=200)
请问是因为sqlite3的chunksize真的只有这麽小 还是我哪边理解错误啊?
谢谢大大
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.134.51.64 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1610528148.A.2EA.html
1F：→ olycats: 我一般都是设5000 但我是用 MySQL 01/14 15:23
2F：→ olycats: 不过chunck size 没有一定 要看资料量/栏位数 01/14 15:24
3F：→ olycats: 有的资料我可以设到10000都没问题 01/14 15:25