内容简介：基于Harbor和CephFS搭建高可用Private Registry
我们有给客户搭建私有容器仓库的需求。开源的私有容器registry可供选择的不多，除了 docker 官方的 distribution 之外，比较知名的是VMware China出品的 Harbor ，我们选择了harbor。
harbor在 docker distribution 的基础上增加了一些安全、访问控制、管理的功能以满足企业对于镜像仓库的需求。harbor以 docker-compose 的规范形式组织各个组件，并通过docker-compose工具进行启停。
不过，harbor默认的安装配置是针对single node的，要想做得可靠性高一些，我们需要自己探索一些可行的方案。本文将结合harbor和CephFS搭建一个满足企业高可用性需求的private registry。
一、实验环境
这里用两台阿里云ECS作为harbor的工作节点：
node1: 10.47.217.91 node2: 10.28.61.30
两台主机运行的都是Ubuntu 16.04.1 LTS (GNU/Linux 4.4.0-58-generic x86_64)，使用root用户。
docker版本与docker-compose的版本如下：
# docker version Client: Version: 1.12.5 API version: 1.24 Go version: go1.6.4 Git commit: 7392c3b Built: Fri Dec 16 02:42:17 2016 OS/Arch: linux/amd64 Server: Version: 1.12.5 API version: 1.24 Go version: go1.6.4 Git commit: 7392c3b Built: Fri Dec 16 02:42:17 2016 OS/Arch: linux/amd64 # docker-compose -v docker-compose version 1.12.0, build b31ff33
ceph版本如下：
# ceph -v ceph version 10.2.7
ceph的安装和配置可参考这里。
二、方案思路
首先，从部署上说，我们需要的Private Registry是独立于k8s cluster存在的，即在k8s cluster外部，其存储和管理的镜像供k8s cluster 组件以及运行于k8s cluster上的应用使用。
其次，企业对registry有高可用需求，但我们也要有折中，我们的目标并不是理想的完全高可用，那样投入成本可能有些高。一般企业环境下更注重数据安全。因此首要保证harbor的数据安全，这样即便harbor实例宕掉，保证数据依然不会丢失即可。并且生产环境下registry的使用很难称得上高频，对镜像仓库的性能要求也没那么高。这种情况下，harbor的高可用至少有两种方案：
- 多harbor实例共享后端存储
- 多harbor实例相互数据同步（通过配置两个harbor相互复制镜像数据）
harbor原生支持双实例的镜像数据同步。不过这里我们采用第一种方案：即多harbor实例共享后端存储，因为我们有现成的cephfs供harbor使用。理想的方案示意图如下：
- 每个安放harbor实例的node都mount cephfs；
- 每个node上的harbor实例（包含组件：ui、db、registry等）都volume mount node上的cephfs mount路径；
- 通过Load Balance将request流量负载到各个harbor实例上。
但这样做可行么？如果这么做，Harbor实例里的mysql container就会“抱怨”：
May 17 22:45:45 172.19.0.1 mysql[12110]: 2017-05-17 14:45:45 1 [ERROR] InnoDB: Unable to lock ./ibdata1, error: 11 May 17 22:45:45 172.19.0.1 mysql[12110]: 2017-05-17 14:45:45 1 [Note] InnoDB: Check that you do not already have another mysqld process using the same InnoDB data or log files.
MySQL多个实例无法共享一份 mysql 数据文件。
那么，我们会考虑将harbor连接的mysql放到外面来，使用external database；同时考虑到session共享，我们还需要增加一个存储session信息的redis cluster，这样一来，方案示意图变更如下：
图中的mysql、 redis 你即可以用cluster，也可以用单点，还是看你的需求和投入。如果你具备现成的mysql cluster和redis cluster，那么直接用就好了。但是如果你没有，并且你还不想投入这么多(尤其是搞mysql cluster)，那么用单点就好了。考虑到数据安全，可以将单点mysql的数据存储在cephfs上，如果你已经有了现成的cephfs。
三、在一个node上安装Harbor
1、初装步骤
以一个node上的Harbor安装为例，harbor提供了详细的 安装步骤文档 ，我们按照步骤逐步进行即可(这里我使用的是1.1.0版本，截至目前为止的最新稳定版本为1.1.1版本)：
~/harbor-install# wget -c https://github.com/vmware/harbor/releases/download/v1.1.0/harbor-offline-installer-v1.1.0.tgz ~/harbor-install# tar zxvf harbor-offline-installer-v1.1.0.tgz ~/harbor-install/harbor# ls -F common/ docker-compose.notary.yml docker-compose.yml harbor.cfg harbor.v1.1.0.tar.gz install.sh* LICENSE NOTICE prepare* ~/harbor-install/harbor./install.sh [Step 0]: checking installation environment ... Note: docker version: 1.12.5 Note: docker-compose version: 1.12.0 [Step 1]: loading Harbor images ... ... ... [Step 2]: preparing environment ... Generated and saved secret to file: /data/secretkey Generated configuration file: ./common/config/nginx/nginx.conf Generated configuration file: ./common/config/adminserver/env Generated configuration file: ./common/config/ui/env Generated configuration file: ./common/config/registry/config.yml Generated configuration file: ./common/config/db/env Generated configuration file: ./common/config/jobservice/env Generated configuration file: ./common/config/jobservice/app.conf Generated configuration file: ./common/config/ui/app.conf Generated certificate, key file: ./common/config/ui/private_key.pem, cert file: ./common/config/registry/root.crt The configuration files are ready, please use docker-compose to start the service. [Step 3]: checking existing instance of Harbor ... [Step 4]: starting Harbor ... Creating network "harbor_harbor" with the default driver Creating harbor-log Creating harbor-db Creating registry Creating harbor-adminserver Creating harbor-ui Creating nginx Creating harbor-jobservice ERROR: for proxy Cannot start service proxy: driver failed programming external connectivity on endpoint nginx (fdeb3e538d5f8d714ea5c79a9f3f127f05f7ba5d519e09c4c30ef81f40b2fe77): Error starting userland proxy: listen tcp 0.0.0.0:80: bind: address already in use
harbor实例默认的监听端口是80，但一般node上的80口都会被占用，因此我们需要修改一个端口号。注意：此时harbor仅启动成功了一些container而已，尚无法正常工作。
2、修改harbor proxy组件的listen端口
harbor的proxy组件就是一个nginx，通过nginx这个反向代理，将不同的服务请求分发到内部其他组件中去。nginx默认监听node的80端口，我们用8060端口替代80端口需要进行两处配置修改：
1、harbor.cfg
hostname = node_public_ip:8060
2、docker-compose.yml
proxy:
image: vmware/nginx:1.11.5-patched
container_name: nginx
restart: always
volumes:
- ./common/config/nginx:/etc/nginx:z
networks:
- harbor
ports:
- 8060:80 <--- 修改端口映射
- 443:443
- 4443:4443
由于我们修改了harbor.cfg文件，我们需要重新prepare一下，执行下面命令：
# docker-compose down -v Stopping harbor-jobservice ... done Stopping nginx ... done Stopping harbor-ui ... done Stopping harbor-db ... done Stopping registry ... done Stopping harbor-adminserver ... done Stopping harbor-log ... done Removing harbor-jobservice ... done Removing nginx ... done Removing harbor-ui ... done Removing harbor-db ... done Removing registry ... done Removing harbor-adminserver ... done Removing harbor-log ... done Removing network harbor_harbor # ./prepare Clearing the configuration file: ./common/config/nginx/nginx.conf Clearing the configuration file: ./common/config/ui/env Clearing the configuration file: ./common/config/ui/app.conf Clearing the configuration file: ./common/config/ui/private_key.pem Clearing the configuration file: ./common/config/adminserver/env Clearing the configuration file: ./common/config/jobservice/env Clearing the configuration file: ./common/config/jobservice/app.conf Clearing the configuration file: ./common/config/db/env Clearing the configuration file: ./common/config/registry/config.yml Clearing the configuration file: ./common/config/registry/root.crt loaded secret from file: /mnt/cephfs/harbor/data/secretkey Generated configuration file: ./common/config/nginx/nginx.conf Generated configuration file: ./common/config/adminserver/env Generated configuration file: ./common/config/ui/env Generated configuration file: ./common/config/registry/config.yml Generated configuration file: ./common/config/db/env Generated configuration file: ./common/config/jobservice/env Generated configuration file: ./common/config/jobservice/app.conf Generated configuration file: ./common/config/ui/app.conf Generated certificate, key file: ./common/config/ui/private_key.pem, cert file: ./common/config/registry/root.crt The configuration files are ready, please use docker-compose to start the service. # docker-compose up -d Creating network "harbor_harbor" with the default driver Creating harbor-log Creating harbor-adminserver Creating registry Creating harbor-db Creating harbor-ui Creating harbor-jobservice Creating nginx
我们可以通过docker-compose ps命令查看harbor组件的状态：
# docker-compose ps
Name Command State Ports
--------------------------------------------------------------------------------------------------------------------------------
harbor-adminserver /harbor/harbor_adminserver Up
harbor-db docker-entrypoint.sh mysqld Up 3306/tcp
harbor-jobservice /harbor/harbor_jobservice Up
harbor-log /bin/sh -c crond && rm -f ... Up 127.0.0.1:1514->514/tcp
harbor-ui /harbor/harbor_ui Up
nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:8060->80/tcp
registry /entrypoint.sh serve /etc/ ... Up 5000/tcp
如果安全组将8060端口打开，通过访问:http://node_public_ip:8060，你将看到如下harbor的web页面：
我们可以通过harbor内置的默认用户名和密码admin/Harbor12345登录harbor ui。当然，我们更重要的是通过cmdline访问harbor，push和pull image。如果这时你直接尝试docker login harbor_url，你可能会得到如下错误日志：
# docker login -u admin -p Harbor12345 node_public_ip:8060 Error response from daemon: Get https://node_public_ip:8060/v1/users/: http: server gave HTTP response to HTTPS client
这是因为docker默认采用https访问registry，因此我们需要在docker engine的配置中，添加–insecure-registry option。关于ubuntu 16.04下docker配置的问题，请参考这里：
DOCKER_OPTS="--dns 8.8.8.8 --dns 8.8.4.4 --registry-mirror=https://xxxxx.mirror.aliyuncs.com --insecure-registry=node_public_ip:8060"
重启docker engine后尝试再次登录harbor：
docker login -u admin -p Harbor12345 node_public_ip:8060 Login Succeeded
一旦docker client login ok，我们就可以通过docker client对harbor中的相关repository进行操作了。
四、挂载路径修改
默认情况下，harbor将数据volume挂载到主机的/data路径下面。但由于我们采用ceph共享存储保证数据的高可用，需要修改harbor组件内容器的挂载路径，将其mount到共享存储挂载node上的路径：/mnt/cephfs/harbor/data/。对比两个路径，可以看出前缀由”/”变为了”/mnt/cephfs/harbor/”，我们需要修改docker-compose.yml和harbor.cfg两个文件。
由于docker-compose.yml文件较长，这里将原始文件改名为docker-compose.yml.orig，并将其与修改后的docker-compose.yml做对比：
# diff docker-compose.yml.orig docker-compose.yml 8c8 < - /var/log/harbor/:/var/log/docker/:z --- > - /mnt/cephfs/harbor/log/:/var/log/docker/:z 20c20 < - /data/registry:/storage:z --- > - /mnt/cephfs/harbor/data/registry:/storage:z 40c40 < - /data/database:/var/lib/mysql:z --- > - /mnt/cephfs/harbor/data/database:/var/lib/mysql:z 59,61c59,61 < - /data/config/:/etc/adminserver/config/:z < - /data/secretkey:/etc/adminserver/key:z < - /data/:/data/:z --- > - /mnt/cephfs/harbor/data/config/:/etc/adminserver/config/:z > - /mnt/cephfs/harbor/data/secretkey:/etc/adminserver/key:z > - /mnt/cephfs/harbor/data/:/data/:z 80,81c80,81 < - /data/secretkey:/etc/ui/key:z < - /data/ca_download/:/etc/ui/ca/:z --- > - /mnt/cephfs/harbor/data/secretkey:/etc/ui/key:z > - /mnt/cephfs/harbor/data/ca_download/:/etc/ui/ca/:z 100c100 < - /data/job_logs:/var/log/jobs:z --- > - /mnt/cephfs/harbor/data/job_logs:/var/log/jobs:z 102c102 < - /data/secretkey:/etc/jobservice/key:z --- > - /mnt/cephfs/harbor/data/secretkey:/etc/jobservice/key:z
harbor.cfg文件需要修改的地方不多：
// harbor.cfg #The path of cert and key files for nginx, they are applied only the protocol is set to https ssl_cert = /mnt/cephfs/harbor/data/cert/server.crt ssl_cert_key = /mnt/cephfs/harbor/data/cert/server.key #The path of secretkey storage secretkey_path = /mnt/cephfs/harbor/data
配置修改完毕后，执行如下命令：
# docker-compose down -v # prepare # docker-compose up -d
新的harbor实例就启动起来了。注意：这一步我们用cephfs替换了本地存储，主要的存储变动针对log、database和registry三个输出数据的组件。你也许会感受到cephfs给harbor ui页面加载带来的影响，实感要比之前的加载慢一些。
五、使用外部数据库(external database)
前面提到了挂载ceph后，多个node上harbor实例中的db组件将出现竞争问题，导致只有一个node上的harbor db组件可以工作。因此，我们要使用外部数据库(或db集群)来解决这个问题。但是harbor官方针对如何配置使用外部DB很是“讳莫如深”，我们只能自己探索。
假设我们已经有了一个external database，并且建立了harbor这个user，并做了相应的授权。由于harbor习惯了独享database，在测试环境下可以考虑
GRANT ALL ON *.* TO 'harbor'@'%';
1、迁移数据
如果此时镜像库中已经有了数据，我们需要做一些迁移工作。
attach到harbor db组件的container中，将registry这张表dump到registry.dump文件中：
#docker exec -i -t 6e1e4b576315 bash 在db container中： # mysqldump -u root -p --databases registry > registry.dump 回到node，将dump文件从container中copy出来： #docker cp 6e1e4b576315:/root/registry.dump ./ 再mysql login到external Database，将registry.dump文件导入： # mysql -h external_db_ip -P 3306 -u harbor -p # mysql> source ./registry.dump;
2、修改harbor配置，使得ui、jobservice组件连接external db
根据当前 harbor architecture 图所示：
与database“有染”的组件包括ui和jobservice，如何通过配置修改来让这两个组件放弃老db，访问新的external db呢？这要从挖掘配置开始。harbor的组件配置都在common/config下：
~/harbor-install/harbor# tree -L 3 common common ├── config │ ├── adminserver │ │ └── env │ ├── db │ │ └── env │ ├── jobservice │ │ ├── app.conf │ │ └── env │ ├── nginx │ │ └── nginx.conf │ ├── registry │ │ ├── config.yml │ │ └── root.crt │ └── ui │ ├── app.conf │ ├── env │ └── private_key.pem └── templates ... ...
在修改config之前，我们先docker-compose down掉harbor。接下来，我们看到ui和jobservice下都有env文件，这里想必就是可以注入新db的相关访问信息的地方，我们来试试！
// common/config/ui/env LOG_LEVEL=debug CONFIG_PATH=/etc/ui/app.conf UI_SECRET=$ui_secret JOBSERVICE_SECRET=$jobservice_secret GODEBUG=netdns=cgo MYSQL_HOST=new_db_ip MYSQL_PORT=3306 MYSQL_USR=harbor MYSQL_PWD=harbor_password // common/config/jobservice/env LOG_LEVEL=debug CONFIG_PATH=/etc/jobservice/app.conf UI_SECRET=$ui_secret JOBSERVICE_SECRET=$jobservice_secret GODEBUG=netdns=cgo MYSQL_HOST=new_db_ip MYSQL_PORT=3306 MYSQL_USR=harbor MYSQL_PWD=harbor_password
同时，由于不再需要harbor_db组件， 因此切记：要将其从docker-compose.yml中剔除！ 。docker-compose up -d重新创建harbor各组件容器并启动！Harbor的日志可以在挂载的ceph路径： /mnt/cephfs/harbor/log下查找到：
/mnt/cephfs/harbor/log# tree 2017-06-09 2017-06-09 ├── adminserver.log ├── anacron.log ├── CROND.log ├── jobservice.log ├── mysql.log ├── proxy.log ├── registry.log ├── run-parts.log └── ui.log
我们以ui.log为例，我们发现harbor启动后，ui.log输出如下错误日志(jobservice.log也是相同)：
Jun 9 11:00:17 172.19.0.1 ui[16039]: 2017-06-09T03:00:17Z [INFO] initializing database: type-MySQL host-mysql port-3306 user-root database-registry Jun 9 11:00:18 172.19.0.1 ui[16039]: 2017-06-09T03:00:18Z [ERROR] [utils.go:94]: failed to connect to tcp://mysql:3306, retry after 2 seconds :dial tcp: lookup mysql: no such host
我们明明注入了新的db env，为何ui还是要访问“tcp://mysql:3306”呢？我们docker inspect一下ui的container，看看env是否包含我们添加的那些：
# docker inspect e91ab20e1dcb
... ...
"Env": [
"DATABASE_TYPE=mysql",
"MYSQL_HOST=database_ip",
"MYSQL_PORT=3306",
"MYSQL_PWD=harbor_password",
"MYSQL_USR=harbor",
"MYSQL_DATABASE=registry",
],
.... ...
env已经注入，那么为何ui、jobservice无法连接到external database呢？要想搞清楚这点，我们只能去 “啃代码” 了。还好harbor代码并非很难啃。我们发现基于beego实现的ui、jobservice两个组件并未直接通过os.Getenv去获取这些env变量，而是调用了adminserver组件的服务。adminserver在初始化时，在RESET环境变量为true的情况下，读取了common/config/adminserver/env下的所有环境变量。
搞清楚原理后，我们知道了要修改的是common/config/adminserver/env，而不是common/config/ui/env和common/config/jobservice/env。我们将后两个文件还原。修改common/config/adminserver/env文件：
//common/config/adminserver/env ... ... MYSQL_HOST=new_db_ip MYSQL_PORT=3306 MYSQL_USR=harbor MYSQL_PWD=harbor_password ... ... RESET=true <--- 改为true，非常关键
重新up harbor服务后，我们发现ui, jobservice与新database的连接成功了！打开harbor web页面，登录进去，我们看到了之前已经添加的用户、项目和镜像文件。
3、一劳永逸
如果你重新执行prepare，那么上面对config目录下的配置修改将被重新覆盖。如果要一劳永逸，那么需要修改的是common/templates下面的同位置同名配置文件。
六、安装其他节点上的harbor实例
前面，我们只搭建了一个节点，为的是验证方案的可行性。要实现高可用，我们还需要在其他节点上安装harbor实例。由于多个节点上harbor实例共同挂载ceph的同一目录，因此考虑到log的分离，在部署其他节点上的harbor时，最好对docker-compose.yml下log组件的volumes映射路径进行调整，以在多个节点间做隔离，便于日志查看，比如：
volumes:
- /mnt/cephfs/harbor/log1/:/var/log/docker/:z
除此之外，各个节点上的harbor配置与上述配置完全一致。
七、共享session设置
到harbor的请求被负载均衡分发到多个node上的harbor实例上，这样就有了session共享的需求。Harbor对此已经给予了支持。在ui组件的代码中，我们发现ui在初始化时使用Getenv获取”_REDIS_URL”这个环境变量的值，因此我们只需要将_REDIS_URL这个环境变量配置到各个节点harbor ui组件的env文件中即可：
// common/config/adminserver/env LOG_LEVEL=debug CONFIG_PATH=/etc/ui/app.conf UI_SECRET=LuAwkKUtYjF4l0mQ JOBSERVICE_SECRET=SmsO1kVo4SrmgOIp GODEBUG=netdns=cgo _REDIS_URL=redis_ip:6379,100,redis_password,0
重新up harbor后，session共享生效。
不过光有一个外部redis存储共享session还不够，请求在多个harbor实例中的registry组件中进行鉴权需要harbor各个实例share相同的 key和certificate 。好在，我们的多harbor实例通过ceph共享存储，key和cert本就是共享的，都存放在目录：/mnt/cephfs/harbor/data/cert/的下边，因此也就不需要在各个harbor实例间同步key和cert了。
八、更换为域名访问
我们有通过域名访问docker registry的需求，那么直接通过域名访问harbor ui和registry是否可行呢？这要看harbor nginx的配置:
# docker ps |grep nginx
fa92765e8871 vmware/nginx:1.11.5-patched "nginx -g 'daemon off" 3 hours ago
Up 3 hours 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:8060->80/tcp nginx
# docker exec fa92765e8871 cat /etc/nginx/nginx.conf
... ...
http {
server {
listen 80;
... ...
}
nginx在http server block并未对域名或ip进行匹配，因此直接将域名A地址设置为反向代理的地址或直接解析为Harbor暴露的公网ip地址都是可以正常访问harbor服务的，当然也包括image push和pull服务。
九、参考资料
微博：@tonybai_cn
微信公众号：iamtonybai
github.com: https://github.com/bigwhite
© 2017,bigwhite. 版权所有.
以上所述就是小编给大家介绍的《基于Harbor和CephFS搭建高可用Private Registry》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 构建生产环境可用的高可用kubernetes集群
- 维基百科 – Sparql查询获取dbpedia可用的所有可用电影
- 可用性高达5个9！支付系统高可用架构设计实战
- 浪潮InCloud OpenStack：度量可用性“三维”，实现高可用云环境
- 你以为的MongoDB副本集的高可用是真的高可用了吗?
- 如何建设高可用系统
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Basics of Web Design
Terry Felke-Morris / Addison-Wesley / 2013-1-28 / USD 98.40
Basics of Web Design: HTML5 and CSS3, 2e covers the basic concepts that web designers need to develop their skills: * Introductory Internet and Web concepts* Creating web pages with HTML5* Configurin......一起来看看 《Basics of Web Design》 这本书的介绍吧!
