开发者社区 > 数据库 > 数据仓库 > 正文

ADB中setfetchsize()没报错,每次只从服务器接收部份数据,直到所有数据处理完毕,

ADB中setfetchsize()没报错,每次只从服务器接收部份数据,直到所有数据处理完毕,不会发生JVM OOM。难道不支持???image.png

展开
收起
真的很搞笑 2023-05-17 14:53:22 44526 0
3 条回答
写回答
取消 提交回答
  • 目前确实的不支持的。此回答整理自钉群“云数据仓库ADB-开发者群”

    2023-07-05 13:37:35
    赞同 展开评论 打赏
  • 关于您提出的这些问题,我给您做如下回答:

    问题1:ADB 中是支持 setFetchSize() 方法的,通过 setFetchSize() 方法可以设置每次从服务器端获取数据的行数。在循环读取数据时,使用 ResultSet 的 next() 方法逐行读取数据。不会发生 JVM OOM 的情况取决于您设置的 FetchSize 和 JDBC 驱动的实现方式,合理的设置和调整可以避免出现内存问题。

    以下是一个使用 FetchSize 的示例代码:

    Connection conn = DriverManager.getConnection(url, user, password);
    PreparedStatement stmt = conn.prepareStatement("select * from my_table");
    stmt.setFetchSize(1000);
    
    ResultSet rs = stmt.executeQuery();
    while (rs.next()) {
        // 处理每一行数据
    }
    

    在这个示例中,我设置了 FetchSize 为 1000,代表每次从服务器获取 1000 行数据。在循环读取数据时,使用 ResultSet 的 next() 方法按行读取数据。

    问题2:使用 setFetchSize() 方法后,数据并非一次性读取,而是按照设置的 FetchSize 分批次读取到客户端。只不过在实际读取数据时,由于 JDBC 驱动通常会预取一定数量的数据到本地客户端缓存,以提高性能和响应速度。这也就意味着即使您设置了 FetchSize,也不一定能完全避免内存问题,取决于总数据量和客户端机器的内存大小等因素。

    问题3:对于大数据量情况下,为了避免出现内存问题,常用的方法是进行数据分页读取。您可以将数据按照某种方式分成多个部分,每次读取一部分数据,并对每个部分进行处理或者合并。对于分页读取数据,ADB 中支持使用 LIMIT 和 OFFSET 语法进行分页查询,例如:

    SELECT * FROM my_table LIMIT 10 OFFSET 20;
    

    以上查询语句表示从 my_table 表中获取 10 条数据,起始位置从第 21 条数据开始。您可以通过改变 OFFSET 的值以达到分页读取数据的目的。

    除此之外,ADB 还支持使用 OLAP 分析方法,例如使用窗口函数 ROW_NUMBER() 进行分页读取数据,或者使用存储过程、UDF 等高级特性进行数据处理和计算等。根据实际需求和场景,选择适合的方案可以有效地避免内存问题。

    2023-05-20 16:53:23
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云ADB中的setFetchSize()方法是支持的,它可以用来指定每次从服务器获取数据的大小。

    如果每次只从服务器接收部分数据而不会发生JVM OOM,可能是因为您的数据量比较小,可以在内存中轻松处理完毕。但是,如果处理的数据量很大,建议您在查询时使用分页,或者使用较小的fetch size,以避免产生OOM异常。

    如果您在使用setFetchSize()方法时遇到了问题,可以尝试检查一下JDBC驱动版本是否正确或是其他代码问题。

    2023-05-20 07:59:32
    赞同 展开评论 打赏

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

相关产品

  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 热门讨论

    热门文章

    相关电子书

    更多
    阿里云数据中台电信行业数据模型白皮书 立即下载
    阿里云数据中台零售数据模型白皮书 立即下载
    消电行业数据中台解决方案白皮书 立即下载
    http://www.vxiaotou.com

    相关内容推荐

    静安网页推广哪家好用抖音账号标签推广淘宝网络推广行业轻言小说 推广首页在哪代理推广软件有哪些推广实现无感授信微店票务推广代理湛江推广军训哪些优势淘宝店铺新品推广方案嘉兴全网霸屏推广夜宵外卖推广方案策划qq空间怎么推广网店如何提升商城推广效果如何提升社群的推广江门360推广平台推广策略分为哪些类型米家房屋推广方案宫瑞婷产品推广广东优联客推广街上推广u型枕丹东网络竞价推广公司黔东南推广网络企业扫码推广排名规则樱桃盆景怎么推广的薯条推广订单马上开始隆德网络推广专员面试软文推广注册 稿件吧别墅推广的渠道有石柱seo推广代运营澳门网络推广厂家排名钉钉数字推广专员桂阳网络推广的方案娄烦推广石雕排名靠前西充网络推广营销方式鞍山全网营销推广报价网商之窗怎么推广养生馆怎么推广生食遂平网站推广电话推广自媒体的软件邯郸移动推广怎么选择河南网络推广哪个好做别墅推广的渠道有口红推广文案视频创意湖南省跳绳推广京东 自己推广自己买推广圈担保平台总部教育课程推广方案铜梁汽车顾问推广招聘深圳南山kol营销推广推广赚钱返佣平台灭火贴产品推广方案温州快速全网推广公司自己做茶叶如何推广淘宝高价产品推广流程品牌如何全网推广分销忻州专业网络推广价格广东网站营销与推广推广数字藏品违法吗推广公司团建海报图片鞍山全网营销推广报价贵阳营销推广哪家便宜德州消防经验推广招聘专业网站推广制作公司新兴农业推广总站湖南推广编程哪家好淄博公众号营销推广重庆营销推广哪种好浙江优化推广合作商顺德360营销推广公司跨境电商推广人如何去推广金蝶软件风景区推广方案营销推广课程2020消息新闻推广稿子怎么写好南通推广槽钢销售公司中国风音乐推广方案湖南etc没有推广码手机抄水表的推广悟空问答里推广视频盘州酒网络推广南宁商品推广方式优化镇宁网络推广答疑解惑宁夏快手推广哪家强些网络推广合法吗现在网销如何开店推广河源网站推广哪家实惠重庆营销推广诚信企业镇海区推广竞价常州正规网络推广报价小视频推广工作渔具行业推广活动方案王者游戏皮肤推广方案宁夏推广空气能热泵怎么找游戏推广配音怎么推广龙岩清汤粉鹤壁网站制作推广方案微播云店推广疫情期间服装推广策划福建智能门禁广告推广浙江品质网站推广优势什么公司做网站推广淘宝店0元推广山村民宿软文推广轻型货架的推广文案内衣推广文案怎么写今日头条软文推广推广转策划容易吗艺术培训推广方案模板厨灶品牌推广方案策划卷积分推广公式证明优秀案例推广意义何在新闻推广哪个牌子好用宁夏网站推广值得推荐烘焙营销推广渠道销售江苏线上推广怎么选址浙江国内展览展示推广兰州律师推广律师频道电脑客户怎么推广的天然气业务推广超市母婴推广工作内容上海常规网络推广优化下城区推广公司招聘妥妥出行怎么推广湖南小红书推广软件安徽网络推广怎么选择号外推广需要哪些资料寻人找人网 -推广链接长沙放心的网络推广丸美的店内推广莲都区品牌推广制度建设歌曲任务推广软件下载大同公产品牌推广陈保林seo推广网络推广厦门咨询来宾网络推广公司排名西充县口碑推广白云万词推广公司河北小红书推广费用传统行业app推广传播天津推广仪器生产案例新手如何推广社交平台房山区360推广阜阳网络推广收费标准罗湖seo优化推广费用小红书文章推广费用如何推广男士产品广告太原海外推广方案公司福山网页推广引流平台推广普及什么科学保护商家付款码推广政策悬赏平台怎样去推广千川推广啥意思推广有机鲢鱼的文案河北网络搜索推广排名亚马逊精准流量怎么推广淘宝运营推广设置什么昆明360搜索推广方法莲湖区软文推广行情津南区网站推广计划中山定制网络推广公司遵义seo优化推广公司黔东南推广网络企业日喀则网站推广优化方案pdca循环是谁推广鄞州区推广软件选哪家直营系统产品推广方案甘肃装修公司推广文案应聘网站如何推广产品趣头条搜索如何推广云南联通推广卡套餐青海学校推广方案策划阜阳网络推广收费多少推广渠道代理是什么德阳专业网络推广价格安徽滁州网络推广教育推广产品开店话术湖南推广品牌策划业务直播推广可以退钱吗美的市场与推广部平台推广开什么发票织音怎么推广赚钱河源网站推广哪家实惠上海企业商务服务推广房地产推广铺排微商推广小技巧靠谱网络推广优化温德姆怎么推广宜兴推广文化咨询报价淘宝达人怎么推广商品如何推广商务歌曲发行日本推广健身教练贵州软文产品推广公司呈贡营销推广品牌公司如何把店铺推广出去国际硕士学历推广文案宁夏小程序推广公司沈阳全网品牌推广公司怎么去网易云推广怎么推广购物优惠群郴州网络推广要求什么

    合作伙伴

    蜘蛛SEO

    www.hz.bj.cn
    www.wangluohr.cn
    www.3phw.com
    www.8830000.cn
    www.xtcwl.com
    www.xm5656.cn
    www.akz.net.cn
    www.karczford.com
    seo.urkeji.com
    seo.chaoshanxing.com
    seo.urkeji.com
    zz.urkeji.com
    www.karczford.com
    dh.jsfengchao.com
    www.karczford.com
    dw.urkeji.com
    zz1.urkeji.com
    seo.07yue.com
    www.desai360.com
    www.weiwin.cc