图解 atlas 在 CDH 集群上的部署

导语：atlas是开源的元数据管理系统，其包含了元数据治理的基本功能；包括对术语和标签的定义、数据血缘的记录、元数据的采集等功能。对于了解元数据的治理系统的构建过程具有参考意义。本文从实际搭建角度列出一些注意事项，以帮助调研元数据系统的开发者少走弯路。

一、修改依赖的kafka版本

1、出现的错误

由于atlas官网用的kafka官网版本1.0.0，而CDH上用的是0.9.0-kafka-2.0.2版本。api的版本不一致，导致报下面的错误。

2、解决方案

要么改atlas源码中kafka的版本，要么hadoop机器集群改用atlas源码当中兼容的kafka版本。

这里我们选择修改atlas源码中依赖的kafka版本。

org.apache.kafka

kafka_ 2.11

0.9.0-kafka-2.0.2

3、修改代码中kafka的版本后，代码不兼容 。所以注释掉了一部分启动内部kafka的代码

4、把notification模块的启动本地zk和kafka的代码注释掉，这一块代码当中有用到kafka高版本的api和cdh上的kafka不兼容。

5、kafka的钩子模块当中有不少高版本的api,我们目前并不采集kafka的元数据和血缘，所以我从整个项目当中拿掉了这个模块。

二、修改依赖的hbase版本

由于atlas内部的图数据库JanusGraph依赖hbase，并且还有hbase的钩子和导入hbase血缘的代码都会依赖hbase。

但是atlas的源码当中依赖的是Apache的1.1.2版本，而我们的cdh依赖的cdh的1.2.0-cdh5.11.1版本。

所以把代码当中的hbase的版本都换掉cdh上现在用的版本。

JanusGraph需要单独修改依赖的hbase，然后编译安装到mvn仓库，atlas代码依赖这个编译后的JanusGraph图数据库。这个步骤的详情这里不再列出。

1、把atlas整个项目的hbase版本改掉

2、有一行代码版本不兼容，新的api变成了boolen类型，所以老代码注释了，修改成下面一行的代码。

3、hbase-bridge-shim这个模块当中 hbase2个版本接口不兼容，代码做了一点微调。

如下图，把第二个红框圈出的2个方法注释了，在第一个红框里面用了方法参数只有一个不一样的同名方法替换了。在图尾又重写了几个继承的空方法。

三、属性和配置

1、环境变量设置的sh文件里面要把下图所示的2个配置，改成false。即使用外部solr和hbase。

2、配置使用外部kafka。这个是在atlas-application.properties中修改。

四、配置环境变量

1、新增的环境变量如下

sudo vim /etc/profile

export HIVE_HOME=/opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/hive/

export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/hadoop/

source /etc/profile

2、特别说明

这个 HBASE_CONF_DIR 环境变量（hbase的配置文件路径） 也是一个坑，如果设置了，它就用这个路径去找hbase-site.xml；
如果没有设置，它就在atlas下面找。所以如果是用外部的，记得一定要设置环境变量；
如果是用内部的， 要么删掉这个环境变量，要么把环境变量改成本地路径（最好是去掉，因为初次启动的时候哪些配置文件的文件夹还没有创建，也没有地方设置这个路径）。