内容简介：但pandas有一个弱点：不适用于大规模数据。
寒假何不学python | Python数据分析实战(学术)
p andas库是 python 中最有名的数据分析库，因为dataframe这种易用强大的数据类型，pandas成为数据科学必备套件。 pandas可以和很多包联合使用，比如与机器学习sklearn、统计分析statsmodels、可视化searborn&matplotlib等等。 下图是近几年python包的使用量趋势，pandas一骑绝尘
但pandas有一个弱点：不适用于大规模数据。
pandas默认只调用电脑单个的CPU进行数据读取和运算，但是当前的电脑大多是4核，甚至8核，而如果常规使用pandas意味着我们没有充分使用电脑的性能。
Modin是为加速pandas而开发的包，可以自动按照电脑CPU数调整运行的核数。
安装
modin使用
modin的用法与pandas相差无几，只是在导入的时候略有不同。
现在这个pd就拥有与pandas一样的功能
读取速度
说了这么多了，我们先看看pandas导入test.csv文件(107M)的速度。
pandas导入107M的test.csv耗时1.78s
modin只用了0.75s，加快了2.1倍。
运算速度
pd.concat是用来连接多个dataframe的操作函数，当我们的df很大时，pd.concat就会变慢。我们在这里实验一下pandas和modin各自的速度
同样的pd.concat操作，modin比pandas快了14倍。我又做了几个对比，制作成表格
实战技巧
modin目前仍然正在发展中，并不是所有的pandas的函数都能加速。如果加速遇到报错，说明这个操作modin不支持。
默认modin会调用电脑全部的cpu，如果不想全部调用，可以使用ray来限制cpu使用数。
如果待操作的数据文件远大于电脑内存RAM，可以设置
近期文章
jupyter notebook代码获取方式，公众号后台回复关键词“ 20200114 ”
以上所述就是小编给大家介绍的《Modin:一行代码让pandas加速数十倍》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 幻术，一行代码实现镂空效果
- 一行代码逃逸 Safari 沙箱
- 一行代码实现 UIView 镂空效果
- 教你用一行Python代码实现并行任务（附代码）
- TableView弹窗 弹性设置，一行代码接入
- 一行代码蒸发了5,300,000元
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
数据结构与算法分析
张琨、张宏、朱保平 / 人民邮电出版社 / 2016-2-1 / 45
本书共分10章，主要包括第1章绪论，第2章线性表，第3章栈和队列，第4章串，第5章数组和广义表，第6章 树和二叉树，第7章图，第8章查找，第9章内部排序，第10章算法分析。其内容模块涵盖了课堂教学、习题课教学、实验教学、自学辅导、综合训练等。立体化教材的使用在提高教学效率、增强教学效果、加大教学信息量、培养学生的应用与实践能力。 作者简介一起来看看 《数据结构与算法分析》 这本书的介绍吧!
正则表达式在线测试
正则表达式在线测试
HEX HSV 转换工具
HEX HSV 互换工具