内容简介:随着项项目的增多,对测试环境的需求越来越大,今天研发要几台测试环境,明天测试也要几台测试环境,连产品都要测试环境了,咱们运维也得有自己的测试环境,之前搭建的exsi已经满足不了需求了。刚好内网有几台闲置的机器,于是就着手准备再搭建一套虚拟化平台,EXSI虽说好用,但毕竟是要钱的(之前用的破解版的),本着尊重版权的原则,咱们还是用开源的吧,网上找了一圈,发现目前比较活跃的KVM虚拟化平台有OpenStack、Proxmox VE、oVirt,内部测试用用,OpenStack有点大材小用了,Proxmox V
随着项项目的增多,对测试环境的需求越来越大,今天研发要几台测试环境,明天测试也要几台测试环境,连产品都要测试环境了,咱们运维也得有自己的测试环境,之前搭建的exsi已经满足不了需求了。
刚好内网有几台闲置的机器,于是就着手准备再搭建一套虚拟化平台,EXSI虽说好用,但毕竟是要钱的(之前用的破解版的),本着尊重版权的原则,咱们还是用开源的吧,网上找了一圈,发现目前比较活跃的KVM虚拟化平台有OpenStack、Proxmox VE、oVirt,内部测试用用,OpenStack有点大材小用了,Proxmox VE基本debian定制的,不太喜欢这种模式,而且对debian不是太熟悉,个人还是比较倾向于oVirt,因为oVirt的目标就是瞄准vCenter,而且oVirt和RHEV的关系,有点像Fedora和RHEL,直接CentOS7+Ovirt+GlusterFS比较好的解决方案,怎奈,淘汰下的机器实在是太老了,Ovirt表示硬件不支持,没办法,只能试试Proxmox VE了。
手头资源有限,所以这里先用三台机器组集群环境,用Proxmox VE再配合Ceph存储组成一个高可用的虚拟化平台,Proxmox VE的安装过程这里就不写了,实在是太简单了,将网上下载的proxmox-ve_5.2-1.iso制作成U盘启动盘,U盘启动,一路下一步就可以了,设置好root密码、IP、hostname等信息就好了,ostname要求写成FQDN格式。
#hosts文件配置
root@proxmox233:~# cat >> /etc/hosts << EOF 192.168.5.232 proxmox232.blufly.com proxmox232 192.168.5.231 proxmox231.blufly.com proxmox231 EOF root@proxmox232:~# cat >> /etc/hosts << EOF 192.168.5.233 proxmox233.blufly.com proxmox233 192.168.5.231 proxmox231.blufly.com proxmox231 EOF root@proxmox231:~# cat >> /etc/hosts << EOF 192.168.5.232 proxmox232.blufly.com proxmox232 192.168.5.233 proxmox233.blufly.com proxmox233 EOF
#debian系统更新
rm -f /etc/apt/sources.list.d/pve-enterprise.list echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg apt update && apt dist-upgrade apt-get install net-tools
设置时钟同步:
apt-get install ntpdate ntpdate 120.25.108.11 echo "0 * * * * /usr/sbin/ntpdate 120.25.108.11 > /dev/null 2>&1" >> /etc/crontab
#配置免登陆访问(这一步可以省略,在加入集群的时候,会自动建立信任关系)
root@proxmox231:~# ssh-keygen -t rsa root@proxmox231:~# ssh-copy-id root@proxmox231 root@proxmox231:~# ssh-copy-id root@proxmox232 root@proxmox231:~# ssh-copy-id root@proxmox233 root@proxmox232:~# ssh-keygen -t rsa root@proxmox232:~# ssh-copy-id root@proxmox231 root@proxmox232:~# ssh-copy-id root@proxmox232 root@proxmox233:~# ssh-copy-id root@proxmox233 root@proxmox233:~# ssh-keygen -t rsa root@proxmox233:~# ssh-copy-id root@proxmox231 root@proxmox233:~# ssh-copy-id root@proxmox232 root@proxmox233:~# ssh-copy-id root@proxmox233
#在192.168.5.231上面创建pve-cluster集群
root@proxmox231:~# pvecm create pve-cluster
#接下来,通过ssh登陆其他2个pve节点,执行 pvecm add 192.168.5.231
root@proxmox233:~# pvecm add 192.168.5.231 successfully added node 'proxmox233' to cluster. root@proxmox232:~# pvecm add 192.168.5.231 successfully added node 'proxmox232' to cluster.
#pvecm status 在任何一个节点上查看集群情况
root@proxmox231:~# pvecm status Quorum information ------------------ Date: Fri Sep 28 15:39:20 2018 Quorum provider: corosync_votequorum Nodes: 3 Node ID: 0x00000001 Ring ID: 1/12 Quorate: Yes Votequorum information ---------------------- Expected votes: 3 Highest expected: 3 Total votes: 3 Quorum: 2 Flags: Quorate Membership information ---------------------- Nodeid Votes Name 0x00000001 1 192.168.5.231 (local) 0x00000003 1 192.168.5.232 0x00000002 1 192.168.5.233
Proxmox支持两种磁盘,一种是服务器本地自带磁盘,另一种是外部存储设备的磁盘。对于服务器本地磁盘,可以配置成本地目录、zfs、brd、lvm几种形式。
对于外部存储设备的磁盘,可以通过nfs,iscsi或者fc协议挂载到Proxmox服务器使用。其中nfs挂载上以后,可以直接作为文件存储使用,通过iscsi或者fc协议挂载后,Proxmox服务器会识别为裸磁盘设备,还需要进一步配置后才可以使用。例如可以配置成lvm,作为卷存储使用,也可以配置成本地目录,作为文件存储使用,但强烈建议不要配置为zfs使用,因为zfs的特点是要求能直接管理物理磁盘设备,如果中间有raid卡等,会严重影响zfs的正常运行。
当然,用户也可以配置外部的glusterfs、ceph、sheepdog等基于服务器的分布式存储。对于glusterfs,应该是可以直接通过菜单挂载;对于ceph,需要通过iscsi协议挂载;对于sheepdog,需要手工安装sheepdog插件,然后在命令行配置挂载。glusterfs挂载后可以作为文件存储使用,ceph和sheepdog应该都只能作为卷存储使用了。
前面多次提到了文件存储和卷存储两个概念,又有什么区别呢?主要是Proxmox对于存储使用是有多种需求的,例如对于虚拟磁盘,就有raw,qcow2,vmdk三种,另外还有iso镜像文件、gz容器模版文件、虚拟机备份文件的保存需求,这些都需要文件存储才可以实现。当然,用户也可以直接用用lvm逻辑卷或zvol逻辑卷或rbd卷的方式保存虚拟机的磁盘,相当于raw格式的效果,这就可以使用卷存储来实现。
那么,说了那么多,到底该怎么配置和选择呢?简单总结下,一般的配置是这样。
本地磁盘-本地目录-文件存储
本地磁盘-lvm-卷存储
本地磁盘-zfs-卷存储/文件存储
本地磁盘-ceph-卷存储
外部存储-nfs-文件存储
外部存储-iscci/fc-lvm-卷存储
外部存储-iscsi/fc-目录-文件存储
外部glusterfs-glusterfs插件挂载-文件存储
外部ceph-iscsi-卷存储
外部sheepdog-插件挂载-卷存储
#在每个节点上安装ceph,详见https://pve.proxmox.com/pve-docs/chapter-pveceph.html
root@proxmox231:~# pveceph install --version luminous root@proxmox232:~# pveceph install --version luminous root@proxmox233:~# pveceph install --version luminous
#配置ceph集群存储网络
root@proxmox231:~# pveceph init --network 192.168.5.0/24
#创建ceph集群存储Mon监控
root@proxmox231:~# pveceph createmon root@proxmox232:~# pveceph createmon root@proxmox233:~# pveceph createmon
#创建mgr
root@proxmox231:~# pveceph createmgr root@proxmox232:~# pveceph createmgr root@proxmox233:~# pveceph createmgr
#创建Ceph OSDs
root@proxmox231:~# pveceph createosd /dev/sdb root@proxmox232:~# pveceph createosd /dev/sdb root@proxmox233:~# pveceph createosd /dev/sdb
#创建集群存储资源池ceph osd pool create [资源池名称] 128 128
root@proxmox231:~# ceph osd pool create pvepool 128 128 pool 'pvepool' created
#复制存储ID和密钥到指定文件位置
root@proxmox231:~# mkdir /etc/pve/priv/ceph root@proxmox231:~# cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph.keyring root@proxmox231:~# cp /etc/pve/priv/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph1.keyring
root@proxmox231:~# ceph osd pool application enable pvepool rbd enabled application 'rbd' on pool 'pvepool'
#查看集群状态
root@proxmox231:~# ceph -s cluster: id: 2cd9afcd-fd20-4e52-966b-3252c6444e6c health: HEALTH_OK services: mon: 3 daemons, quorum proxmox231,proxmox232,proxmox233 mgr: proxmox231(active), standbys: proxmox232, proxmox233 osd: 3 osds: 3 up, 3 in
#添加RBD集群存储
ID:填写为ceph 必填,不能定义
资源池:pvepool 可选(默认为rbd)
Monitor:192.168.5.231 192.168.5.232 192.168.5.233 (注意添加多个Mon以空格隔开)
添加节点:proxmox231,proxmox232,proxmox233
#查看rbd集群存储配置信息
root@proxmox231:~# cat /etc/pve/storage.cfg dir: local path /var/lib/vz content vztmpl,iso,backup lvmthin: local-lvm thinpool data vgname pve content images,rootdir rbd: ceph content images,rootdir krbd 0 nodes proxmox233,proxmox231,proxmox232 pool pvepool
#上传ISO镜像,通过sftp上传到以下目录/var/lib/vz/template/iso,但这里上传的iso只能本机显示,如果要让集群中其它的主机也能共享iso,那就要用到共享存储,刚好内网上有一台NFS服务器,exsi存储用的,上面也有ISO镜像,正好可以共享,于是在数据中心上挂载这个NFS存储
#新建虚拟机,使用ceph存储
#虚拟机热迁移测试
刚刚在proxmox231上创建了一个centos7的虚拟机,存储用到了ceph,所以先来进行热迁移测试,将proxmox231上的虚拟迁移到proxmox233上面
2018-09-29 15:50:16 starting migration of VM 100 to node 'proxmox233' (192.168.5.233)
2018-09-29 15:50:16 found local disk 'local:iso/CentOS-7-x86_64-DVD-1804.iso' (in current VM config)
2018-09-29 15:50:16 can't migrate local disk 'local:iso/CentOS-7-x86_64-DVD-1804.iso': can't live migrate attached local disks without with-local-disks option
2018-09-29 15:50:16 ERROR: Failed to sync data - can't migrate VM - check log
2018-09-29 15:50:16 aborting phase 1 - cleanup resources
2018-09-29 15:50:16 ERROR: migration aborted (duration 00:00:01): Failed to sync data - can't migrate VM - check log
TASK ERROR: migration aborted
#在迁移的时候报错,那是因为在安装的时候挂载了本地的ISO,所以在迁移之前先修改下虚拟的配置,CD/DVD选择不使用任何介质
#然后再来迁移
#此时之前在proxmox231上面运行的虚拟已经迁移到proxmox233上面来了
#将虚拟机加入HA,进行高可用测试
#好了,已成功将proxmox233上面的k8s71.blufly.com虚拟机添加到HA,现在将proxmox233关机模拟故障
#从截图上可以看到proxmox233已经故障,k8s71.blufly.com这个虚拟机已经迁移到proxmox231上了,实现了高可用
以上只是对proxmox做了简单的测试,基本上能满足日常需求,更多的高级功能后面再来慢慢摸索。
Linux公社的RSS地址 : https://www.linuxidc.com/rssFeed.aspx
本文永久更新链接地址: https://www.linuxidc.com/Linux/2018-12/155771.htm
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Vue组建通信
- [译] 自组织团队不是随机组建的
- 网络组建的相关步骤及其问题解决
- Android Jetpack 导航组建 | Android 中文教学视频
- 新型挖矿木马入侵安卓设备组建僵尸网络
- 原则系列:SaaS 创业公司产研团队的组建
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。