内容简介:今天在使用presto查数据时,遇到一个诡异的问题,相同的sql,每次查询的结果确不一样,sql如下执行很多次,每次的结果数都不一样,查了很多资料都无济于事,后来猜测是不是ext转int时报错了,在有些节点上执行失败,调整sql如下结果竟然正常了,证实了上面的猜测。
今天在使用presto查数据时,遇到一个诡异的问题,相同的sql,每次查询的结果确不一样,sql如下
select
t1.orderid,t1.ext,t2.id
from (
select
distinct orderid,ext
from odl_order_detail_cps
where billdate>='2019-05-06' and order_type=1 and isbill=1
) t1
left join dim_short_link_cps t2 on cast(t1.ext as int)=t2.id;
执行很多次,每次的结果数都不一样,查了很多资料都无济于事,后来猜测是不是ext转int时报错了,在有些节点上执行失败,调整 sql 如下
select
t1.orderid,t1.ext,t2.id
from (
select
distinct orderid,ext
from odl_order_detail_cps
where billdate>='2019-05-06' and order_type=1 and isbill=1
) t1
left join dim_short_link_cps t2 on t1.ext=cast(t2.id as varchar);
结果竟然正常了,证实了上面的猜测。
这种错误是因为ext参数有null的情况,在cast转换时,出错了,然后造成节点的任务失败,所以结果是执行正常的节点返回的数据。
在hive中就不存在这样的问题
欢迎订阅「K叔区块链」 - 专注于区块链技术学习
博客地址: http://www.jouypub.com
简书主页: https://www.jianshu.com/u/756c9c8ae984
segmentfault主页: https://segmentfault.com/blog/jouypub
腾讯云主页: https://cloud.tencent.com/developer/column/72548以上所述就是小编给大家介绍的《presto中不同类型的字段关联问题》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- Node.js orm2 update时关联字段无法修改解决方法
- QuickDAO4.1.3 发布,优化全局类型转换和新增多字段关联
- Flink 维表关联系列之 Kafka 维表关联:广播方式
- Flink 维表关联系列之 Redis 维表关联:实时查询
- Flink 维表关联系列之 MySQL 维表关联:全量加载
- Flink 维表关联系列之 Hbase 维表关联:LRU 策略
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Kafka权威指南
Neha Narkhede、Gwen Shapira、Todd Palino / 薛命灯 / 人民邮电出版社 / 2017-12-26 / 69.00元
每个应用程序都会产生数据,包括日志消息、度量指标、用户活动记录、响应消息等。如何移动数据,几乎变得与数据本身一样重要。如果你是架构师、开发者或者产品工程师,同时也是Apache Kafka新手,那么这本实践指南将会帮助你成为流式平台上处理实时数据的专家。 本书由出身于LinkedIn的Kafka核心作者和一线技术人员共同执笔,详细介绍了如何部署Kafka集群、开发可靠的基于事件驱动的微服务,......一起来看看 《Kafka权威指南》 这本书的介绍吧!