开源数据解析引擎 Sparser

• 授权协议: BSD
• 开发语言: C/C++
• 操作系统: Linux
• 软件首页: https://dawn.cs.stanford.edu/2018/08/07/sparser/
• 软件文档: http://www.vldb.org/pvldb/vol11/p1576-palkar.pdf
• 官方下载: https://github.com/stanford-futuredata/sparser

软件介绍

Sparser 是一个用于解析原始数据的解析引擎，由斯坦福大学开源，用于非结构化和半结构化的数据格式，例如 JSON、Avro 和 Parquet。

特性

• 用原始过滤器过滤后再解析，丢弃那些不需要用假阳性率解析的记录

• 用高效的优化器选择级联的原始过滤器

• 提供超过现有解析器 22 倍的加速度

Sparser 的独特之处在于它可利用 SIMD 加速过滤函数在解析之前过滤数据。在 JSON、Avro 和 Parquet 数据上，Sparser 的速度比最先进的解析器最多快 22 倍，并且能将 Apache Spark 中的端对端的查询运行时间最多提高 9 倍。

Sparser与现有技术的比较 

本文地址：https://codercto.com/soft/d/16885.html