python3.7 sqlite3 千万级别的数据库数据快速插入的方法

最近在一个项目的研发过程中，起初采用pandas读取数据，数据量不大的时候pandas的优越性就不言而喻了，非常方便快捷。后来随着数据量的增加问题就出现了。当.csv行数超过1048576行时，32位win7提示这是最大的行数。说明单表容量在32位操作系统是受限的。强行增大单表文件大小。实践中单表最大1.3GB,结果python使用pandas根本无法打开。只能改变数据库方式。

研究当前数据库潮流以及便捷性，决定采用sqlite3 数据库。采用数据库就需要把大量数据导入sqlite库中。最开始没深入考虑就按照常规数据库方法读写数据库。实践表明单表传统一条一条写入数据库一天只能完成十万条记录插入。系统起码有1300万条数据，那导入时间那是不可想象的。网上查了很多资料加上实验。采用批量事务提交能几百倍的提高效率。实战测试一分钟左右就能完成10要数据插入。这是什么效率，天壤之别的优化！