用户画像系统的作业调度Airflow研究和应用

栏目: 服务器 · 发布时间: 6年前

内容简介:用户画像系统从业务入手,全面构建用户的标签体系。标签体系的设计和生成需要多个作业协同和有序工作。而用户画像系统的作业调度,就是用来保证多个作业能够协同有序工作。本文是对开源的作业调度系统Airflow的研究和应用探索。第一步:构建Linux开发环境 Windows操作系统基于虚拟机构建Linux开发环境。虚拟机用VMware,Linux用CentOS7。 VMware虚拟机中安装CentOS7,参考链接:第二步:Linux系统搭建Python工作环境 基于sh安装方式,快速搭建Python工作环境。 执行

用户画像系统从业务入手,全面构建用户的标签体系。标签体系的设计和生成需要多个作业协同和有序工作。而用户画像系统的作业调度,就是用来保证多个作业能够协同有序工作。本文是对开源的作业调度系统Airflow的研究和应用探索。

Airflow环境配置

第一步:构建 Linux 开发环境 Windows操作系统基于虚拟机构建Linux开发环境。虚拟机用VMware,Linux用CentOS7。 VMware虚拟机中安装CentOS7,参考链接: https://www.cnblogs.com/smyhvae/p/3917532.html

第二步:Linux系统搭建 Python 工作环境 基于sh安装方式,快速搭建Python工作环境。 执行如下命令:

cd /opt
wget https://repo.continuum.io/archive/Anaconda3-5.2.0-Linux-x86_64.sh
bash Anaconda3-5.2.0-Linux-x86_64.sh

如果执行wget命令报错,表示centOS7没有连接网络。centOS7配置自动连接网络,参考链接: https://jingyan.baidu.com/article/19192ad8f7c320e53e570728.html 命令执行好后,就可以在Linux系统下进行Python的使用了。

第三步:安装airflow 执行命令

pip install airflow
export AIRFLOW_HOME=/home/airflow
# 初始化数据库:
airflow initdb
# 启动服务:
airflow webserver (启动airflow

打开浏览器,输入如下URL http://localhost:8080/admin/ 运行成功出现如下页面: 用户画像系统的作业调度Airflow研究和应用


以上所述就是小编给大家介绍的《用户画像系统的作业调度Airflow研究和应用》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Linux命令行与shell脚本编程大全 第3版

Linux命令行与shell脚本编程大全 第3版

[美]布鲁姆,布雷斯纳汉 / 门佳、武海峰 / 人民邮电出版社 / 2016-8-1 / CNY 109.00

这是一本关于Linux命令行与shell脚本编程的全方位教程,主要包括四大部分:Linux命令行,shell脚本编程基础,高级shell脚本编程,如何创建实用的shell脚本。本书针对Linux系统的最新特性进行了全面更新,不仅涵盖了详尽的动手教程和现实世界中的实用信息,还提供了与所学内容相关的参考信息和背景资料。通过本书的学习,你将轻松写出自己的shell脚本。一起来看看 《Linux命令行与shell脚本编程大全 第3版》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器