presto中不同类型的字段关联问题

栏目: 数据库 · 发布时间: 6年前

内容简介:今天在使用presto查数据时,遇到一个诡异的问题,相同的sql,每次查询的结果确不一样,sql如下执行很多次,每次的结果数都不一样,查了很多资料都无济于事,后来猜测是不是ext转int时报错了,在有些节点上执行失败,调整sql如下结果竟然正常了,证实了上面的猜测。

今天在使用presto查数据时,遇到一个诡异的问题,相同的sql,每次查询的结果确不一样,sql如下

select
t1.orderid,t1.ext,t2.id
from (
    select
    distinct orderid,ext
    from odl_order_detail_cps
    where billdate>='2019-05-06' and order_type=1 and isbill=1
) t1
left join dim_short_link_cps t2 on cast(t1.ext as int)=t2.id;

执行很多次,每次的结果数都不一样,查了很多资料都无济于事,后来猜测是不是ext转int时报错了,在有些节点上执行失败,调整 sql 如下

select
t1.orderid,t1.ext,t2.id
from (
    select
    distinct orderid,ext
    from odl_order_detail_cps
    where billdate>='2019-05-06' and order_type=1 and isbill=1
) t1
left join dim_short_link_cps t2 on  t1.ext=cast(t2.id as varchar);

结果竟然正常了,证实了上面的猜测。

这种错误是因为ext参数有null的情况,在cast转换时,出错了,然后造成节点的任务失败,所以结果是执行正常的节点返回的数据。

在hive中就不存在这样的问题

欢迎订阅「K叔区块链」 - 专注于区块链技术学习

presto中不同类型的字段关联问题

博客地址: http://www.jouypub.com

简书主页: https://www.jianshu.com/u/756c9c8ae984

segmentfault主页: https://segmentfault.com/blog/jouypub

腾讯云主页: https://cloud.tencent.com/developer/column/72548

以上所述就是小编给大家介绍的《presto中不同类型的字段关联问题》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深入理解SPARK

深入理解SPARK

耿嘉安 / 机械工业出版社 / 2016-1-1 / 99

《深入理解SPARK:核心思想与源码分析》结合大量图和示例,对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。 《深入理解SPARK:核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析,旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。 本书分为......一起来看看 《深入理解SPARK》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试