Apache Impala 4.0 发布,大规模并行处理 SQL 查询引擎

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Apache Impala 是一个开源的大规模并行处理(MPP)SQL 查询引擎,用于存储在运行 Apache Hadoop 的计算机集群中的数据。 Apache Impala 4.0 正式发布,更新内容如下: 重大变化: 移除对 Hive 2.x 的支持; 移除对...

Apache Impala 是一个开源的大规模并行处理(MPP)SQL 查询引擎,用于存储在运行 Apache Hadoop 的计算机集群中的数据。

Apache Impala 4.0 正式发布,更新内容如下:

重大变化:

  • 移除对 Hive 2.x 的支持;
  • 移除对 Impala-lzo 的支持
    • Impala-lzo 提供了允许 Impala 读取 LZO 压缩表的代码。鉴于 LZO 的低采用率和其他可用的压缩选项,Impala 删除了 Impala-lzo 支持及其使用的低级别接口;
  • 移除对 Sentry 的支持
    • 从 4.0 开始,Impala 将只支持授权中的 Ranger;
  • 为 x86_64 设置最低 CPU 要求为 AVX
    • 在 4.0 之前,最低 CPU 要求是 SSSE3。现在我们把它提升到 AVX。对于只支持 AVX 而不支持 AVX2 的机器,请使用 --enable_legacy_avx_support 标志来启动 Impala;
  • 删除了对无数据时间戳的支持;
  • 增加对使用 || 的字符串连接操作的支持
    • 此前,"||" 意味着逻辑 OR 表达式的 "OR"。现在,如果左边操作数的类型是 STRING,"||" 意味着对字符串连接的 "concat";
  • 默认不允许 HAVING 子句中的序数;

新功能:

  • 在所有运算符中支持多线程(MT_DOP);
  • 更密集的(聚合的)运行时配置文件,即 profile-v2;
  • 支持所有 TPC-DS 99 查询,无需手动重写;
  • 透明查询重试;
  • 支持按 Z-Order 排序;
  • 支持 Async Codegen;
  • 支持对 Hive full-ACID ORC 表的读取;
  • 与 Apache DataSketches 的内置函数;
  • Iceberg 支持;
  • 使用 docker-compose 的 Impala 快速启动集群;
  • 支持 aarch64 (ARM)
  • ……

更多详情可查看:https://impala.apache.org/docs/changelog-4.0.html


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

浅薄

浅薄

[美] 尼古拉斯·卡尔 / 刘纯毅 / 中信出版社 / 2010-12 / 42.00元

《浅薄:互联网如何毒化了我们的大脑》在我们跟计算机越来越密不可分的过程中,我们越来越多的人生体验通过电脑屏幕上闪烁摇曳、虚无缥缈的符号完成,最大的危险就是我们即将开始丧失我们的人性,牺牲人之所以区别于机器的本质属性。——尼古拉斯•卡尔“谷歌在把我们变傻吗?”当尼古拉斯•卡尔在发表于《大西洋月刊》上赫赫有名的那篇封面文章中提出这个问题的时候,他就开启了人们热切渴望的期盼源泉,让人急于弄清楚互联网是在......一起来看看 《浅薄》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器