Apache 软件基金会宣布, Apache Airflow 已经成功地从孵化毕业 ,成为基金会的一个新的顶级项目。
Apache Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以自动化从单个服务器到大规模集群的资源管理。项目采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、 Docker 、Kubernetes、 MySQL 、Postgres 等。
Apache Airflow 于 2014 年由 Airbnb 发起,并于 2016 年 3 月提交给 Apache 进行孵化。
据悉,Apache Airflow 目前正被 200 多个组织使用,包括 Adobe、Airbnb、Astronomer、Etsy、Google、ING、Lyft、NYC City Planning、Paypal、Polidea、Qubole、Quizlet、Reddit、Reply、Solita、Square、Twitter 等。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- Unomi 成为 Apache 软件基金会顶级项目
- NetBeans 成为 Apache 软件基金会顶级项目
- Airflow 成为 Apache 软件基金会的顶级项目
- Skywalking 结束孵化,成为 Apache 基金会顶级项目
- Apache Dubbo 晋升为 Apache 基金会顶级项目
- Apache 基金会宣布 Apache Pulsar 毕业成为顶级项目
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
解密搜索引擎技术实战
罗刚 / 2011-6 / 69.80元
《解密搜索引擎技术实战-Lucene&Java精华版(附盘)》,本书主要包括总体介绍部分、爬虫部分、自然语言处理部分、全文检索部分以及相关案例分析。爬虫部分介绍了网页遍历方法和如何实现增量抓取,并介绍了从网页等各种格式的文档中提取主要内容的方法。自然语言处理部分从统计机器学习的原理出发,包括了中文分词与词性标注的理论与实现以及在搜索引擎中的实用等细节,同时对文档排重、文本分类、自动聚类、句法分析树......一起来看看 《解密搜索引擎技术实战》 这本书的介绍吧!