Apache Impala 4.0 发布，大规模并行处理 SQL 查询引擎

内容简介：Apache Impala 是一个开源的大规模并行处理（MPP）SQL 查询引擎，用于存储在运行 Apache Hadoop 的计算机集群中的数据。 Apache Impala 4.0 正式发布，更新内容如下： 重大变化： 移除对 Hive 2.x 的支持； 移除对...

Apache Impala 是一个开源的大规模并行处理（MPP）SQL 查询引擎，用于存储在运行 Apache Hadoop 的计算机集群中的数据。

Apache Impala 4.0 正式发布，更新内容如下：

重大变化：

• 移除对 Hive 2.x 的支持；
• 移除对 Impala-lzo 的支持
  • Impala-lzo 提供了允许 Impala 读取 LZO 压缩表的代码。鉴于 LZO 的低采用率和其他可用的压缩选项，Impala 删除了 Impala-lzo 支持及其使用的低级别接口；
• 移除对 Sentry 的支持
  • 从 4.0 开始，Impala 将只支持授权中的 Ranger；
• 为 x86_64 设置最低 CPU 要求为 AVX
  • 在 4.0 之前，最低 CPU 要求是 SSSE3。现在我们把它提升到 AVX。对于只支持 AVX 而不支持 AVX2 的机器，请使用 --enable_legacy_avx_support 标志来启动 Impala；
• 删除了对无数据时间戳的支持；
• 增加对使用 || 的字符串连接操作的支持
  • 此前，"||" 意味着逻辑 OR 表达式的 "OR"。现在，如果左边操作数的类型是 STRING，"||" 意味着对字符串连接的 "concat"；
• 默认不允许 HAVING 子句中的序数；

新功能：

• 在所有运算符中支持多线程（MT_DOP）；
• 更密集的（聚合的）运行时配置文件，即 profile-v2；
• 支持所有 TPC-DS 99 查询，无需手动重写；
• 透明查询重试；
• 支持按 Z-Order 排序；
• 支持 Async Codegen；
• 支持对 Hive full-ACID ORC 表的读取；
• 与 Apache DataSketches 的内置函数；
• Iceberg 支持；
• 使用 docker-compose 的 Impala 快速启动集群；
• 支持 aarch64 (ARM)
• ……

更多详情可查看：https://impala.apache.org/docs/changelog-4.0.html

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 直面算法霸权：大规模造福工具还是大规模杀伤性武器？
• 实战大规模敏捷
• 大规模微服务实战经验
• 大规模知识图谱数据存储实战
• Firmament - 大规模集群任务调度
• sqltoy-orm-4.17.6 发版，支持 Greenplum、并行查询可设置并行数量

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。