Apache Drill 1.14.0 发布，大型数据集分析系统

内容简介：Apache Drill 1.14.0 已发布，Apache Drill 是一个用于大数据的开源 SQL 查询引擎。Apache Drill 在基于 SQL 的数据分析和商业智能（BI）上引入了 JSON 文件模型，这使得用户能查询固定架构，演化架构，以及各种格...

Apache Drill 1.14.0 已发布，Apache Drill 是一个用于大数据的开源 SQL 查询引擎。Apache Drill 在基于 SQL 的数据分析和商业智能（BI）上引入了 JSON 文件模型，这使得用户能查询固定架构，演化架构，以及各种格式和数据存储中的模式无关（schema-free）数据。该体系架构中关系查询引擎和数据库的构建是有先决条件的，即假设所有数据都有一个简单的静态架构。

从该版本起，你可以在 Docker 容器中运行 Drill，可查询各种图像格式的元数据，并在会话级别设置 Hive 属性。

本次更新还包含以下新特性和改进

• Ability to run Drill in a Docker container. (DRILL-6346)

• Ability to export and save your storage plugin configurations to a JSON file for reuse. (DRILL-4580)

• Ability to manage storage plugin configurations in the Drill configuration file, storage-plugins-override.conf. (DRILL-6494)

• Functions that return data type information. (DRILL-6361)

• The Drill kafka storage plugin supports filter pushdown for query conditions on certain Kafka metadata fields in messages. (DRILL-5977)

• Spill to disk for the Hash Join operator. (DRILL-6027)

• The dfs storage plugin supports a Logfile plugin extension that enables Drill to directly read and query log files of any format. (DRILL-6104)

• Phonetic and string distance functions. (DRILL-6519)

• The store.hive.conf.properties option enables you to specify Hive properties at the session level using the SET command. (DRILL-6575)

• Drill can directly manage the CPU resources through the Drill start-up script, drill-env.sh; you no longer have to manually add the PID to the cgroup.procs file each time a Drillbit restarts. (DRILL-143)

• Drill can query the metadata in various image formats with the image metadata format plugin. (DRILL-4364)

• Enhanced decimal data type support. (DRILL-6094)

• Option to push LIMIT(0) on top of SCAN. (DRILL-6574)

• Parquet filter pushdown improvements:

• Drill can infer filter conditions for join queries and push the filter conditions down to the data source. (DRILL-6173)

• Drill uses a native reader to read Hive tables when you enable the store.hive.optimize_scan_with_native_readers option. When enabled, Drill reads data faster and applies filter pushdown optimizations. (DRILL-6331)

• Early release of lateral join. (DRILL-5999)

另外要注意的是，用于 Drill 1.14 的 MapR ODBC/JDBC 驱动程序尚不可用，但会在8月底之前提供。早期版本的驱动程序不适用于 Apache Drill 1.14。

详细发布说明请查看 https://drill.apache.org/docs/apache-drill-1-14-0-release-notes/、https://drill.apache.org/blog/2018/08/05/drill-1.14-released/

下载地址 https://drill.apache.org/download/

【声明】文章转载自：开源中国社区 [http://www.oschina.net]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 数据分析是什么，如何完善数据分析知识体系
• 数据分析的准备工作：从问题分析到数据清洗
• 大数据分析工程师入门（二十）：数据分析方法
• 蚂蚁数据分析平台的演进及数据分析方法的应用
• [译] 每位数据分析师应该要知道的基本数据分析技术
• 如何分析“数据分析师”的岗位？

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。