用户画像系统的作业调度Airflow研究和应用

栏目: 服务器 · 发布时间: 6年前

内容简介：用户画像系统从业务入手，全面构建用户的标签体系。标签体系的设计和生成需要多个作业协同和有序工作。而用户画像系统的作业调度，就是用来保证多个作业能够协同有序工作。本文是对开源的作业调度系统Airflow的研究和应用探索。第一步：构建Linux开发环境 Windows操作系统基于虚拟机构建Linux开发环境。虚拟机用VMware，Linux用CentOS7。 VMware虚拟机中安装CentOS7，参考链接：第二步：Linux系统搭建Python工作环境基于sh安装方式，快速搭建Python工作环境。执行

用户画像系统从业务入手，全面构建用户的标签体系。标签体系的设计和生成需要多个作业协同和有序工作。而用户画像系统的作业调度，就是用来保证多个作业能够协同有序工作。本文是对开源的作业调度系统Airflow的研究和应用探索。

Airflow环境配置

第一步：构建 Linux 开发环境 Windows操作系统基于虚拟机构建Linux开发环境。虚拟机用VMware，Linux用CentOS7。 VMware虚拟机中安装CentOS7，参考链接： https://www.cnblogs.com/smyhvae/p/3917532.html

第二步：Linux系统搭建 Python 工作环境基于sh安装方式，快速搭建Python工作环境。执行如下命令：

cd /opt
wget https://repo.continuum.io/archive/Anaconda3-5.2.0-Linux-x86_64.sh
bash Anaconda3-5.2.0-Linux-x86_64.sh

如果执行wget命令报错，表示centOS7没有连接网络。centOS7配置自动连接网络，参考链接： https://jingyan.baidu.com/article/19192ad8f7c320e53e570728.html 命令执行好后，就可以在Linux系统下进行Python的使用了。

第三步：安装airflow 执行命令

pip install airflow
export AIRFLOW_HOME=/home/airflow
# 初始化数据库：
airflow initdb
# 启动服务：
airflow webserver （启动airflow

打开浏览器，输入如下URL http://localhost:8080/admin/ 运行成功出现如下页面：用户画像系统的作业调度Airflow研究和应用

以上所述就是小编给大家介绍的《用户画像系统的作业调度Airflow研究和应用》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

Beginning Google Maps API 3

Gabriel Svennerberg / Apress / 2010-07-27 / $39.99

This book is about the next generation of the Google Maps API. It will provide the reader with the skills and knowledge necessary to incorporate Google Maps v3 on web pages in both desktop and mobile ......一起来看看《Beginning Google Maps API 3》这本书的介绍吧!

码农工具

XML、JSON 在线转换

在线XML、JSON转换工具

XML 在线格式化

在线 XML 格式化压缩工具