Mysql批量大数据获取

栏目: 数据库 · 发布时间: 5年前

内容简介:mysql连接数据库的时候,需要从表中拖数据,如果数据量过大会导致服务内存溢出。会提示java.lang.OutOfMemoryError: Java heap space错误。使用setFetchSize(1000)指定获取接口大小事实上,这种指定的方法是没有任何效果的,服务器还是会一次性取出所有数据放在客户端内存中,此时setFetchSize参数不起作用,当一条SQL返回数据量较大时可能会出现JVM OOM。

mysql连接数据库的时候,需要从表中拖数据,如果数据量过大会导致服务内存溢出。会提示java.lang.OutOfMemoryError: Java heap space错误。

解决方案1

尝试1

使用setFetchSize(1000)指定获取接口大小

ps=conn.con.prepareStatement("select * from bigTable");
    ps.setFetchSize(1000);
复制代码

事实上,这种指定的方法是没有任何效果的,服务器还是会一次性取出所有数据放在客户端内存中,此时setFetchSize参数不起作用,当一条 SQL 返回数据量较大时可能会出现JVM OOM。

尝试2

使用setFetchSize(Integer.MIN_VALUE)

ps = connection.prepareStatement("select * from bigTable",
        ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
复制代码

此时客户端会逐个从服务器段获取数据

改进

事实上,setFetchSize(1000)也可以生效的,需要使用useCursorFetch=true

conn = DriverManager.getConnection("jdbc:mysql://localhost/?useCursorFetch=true", "user", "s3cr3t");
    stmt = conn.createStatement();
    stmt.setFetchSize(100);
    rs = stmt.executeQuery("SELECT * FROM your_table_here");
复制代码

摘自: https://dev.mysql.com/doc/connector-j/5.1/en/connector-j-reference-implementation-notes.html

解决方案2

通过指定limit/offset,分页读取,这里不再详细叙述。

但是该方法会有一个潜在的问题,如读取重复数据、脏数据,除非在读取之前LOCK表,读取完成后 UNLOCK 表 看到网上的解决方案, 可以通过创建一个临时表解决

CREATE TEMPORARY TABLE AS SELECT..., and read with LIMIT/OFFSET
复制代码

事实上也并不是很好,最好还是通过这种游标取数据。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

面向对象分析与设计

面向对象分析与设计

Grady Booch、Robert A. Maksimchuk、Michael W. Engel、Bobbi J. Young、Jim Conallen、Kelli A. Houston / 王海鹏、潘加宇 / 人民邮电出版社 / 2009-8 / 79.00元

《面向对象分析与设计(第3版)》是UML创始人Grady Booch的代表作之一,书中介绍的概念都基于牢固的理论基础。同时,《面向对象分析与设计(第3版)》又是一本注重实效的书,面向架构师和软件开发者等软件工程实践者的实际需要。《面向对象分析与设计(第3版)》通过大量例子说明了基本概念,解释了方法,并展示了在不同领域的成功应用。全书分为理论和应用两部分。理论部分深刻剖析了面向对象分析与设计(OOA......一起来看看 《面向对象分析与设计》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

随机密码生成器
随机密码生成器

多种字符组合密码

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具