内容简介：调整PG分多次调整和一次到位的迁移差别分析
前言
这个问题来源于我们研发的一个问题，在进行pg调整的时候，是一次调整到位好，还是分多次调整比较好，分多次调整的时候会不会出现某个pg反复挪动的问题，造成整体迁移量大于一次调整的
最近自己的项目上也有pg调整的需求，这个需求一般来源于pg规划好了，后期出现节点扩容的情况，需要对pg进行增加的调整
本篇用具体的数据来分析两种方式的差别
因为本篇的篇幅较长，直接先把结论拿出来
数据结论
| 调整pg | 迁移pg | 迁移对象 |
|---|---|---|
| 1200->1440 | 460 | 27933 |
| 1440->1680 | 458 | 27730 |
| 1680->1920 | 465 | 27946 |
| 1920->2160 | 457 | 21141 |
| 2160->2400 | 458 | 13938 |
| 总和 | 2305 | 132696 |
| 调整pg | 迁移pg | 迁移对象 |
|---|---|---|
| 1200->2400 | 2299 | 115361 |
结论：
分多次调整的时候，PG迁移量比一次调整多了6个，多了0.2%，对象的迁移量多了17335，多了15%
从数据上看pg迁移的数目基本一样，但是数据量是多了15%，这个是因为分多次迁移的时候，在pg基数比较小的时候，迁移一个pg里面的对象要比后期分裂以后的对象要多，就产生了这个数据量的差别
从整体上来看二者需要迁移的pg基本差不多，数据量上面会增加15%，分多次的时候是可以进行周期性调整的，拆分到不同的时间段来做，所以各有好处
实践
环境准备
本次测试采用的是开发环境，使用开发环境可以很快的部署一个需要的环境，本次分析采用的就是一台机器模拟的4台机器48个 4T osd的环境
环境搭建
生成集群
./vstart.sh -n --mon_num 1 --osd_num 48 --mds_num 1 --short -d
后续操作都在源码的src目录下面执行
设置存储池副本为2
修改crush weight 为3.7模拟4T盘
seq 0 47| xargs -i ./ceph -c ceph.conf osd crush reweight osd.{} 3.8
模拟主机分组
seq 0 11 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8106 root=default
seq 12 23 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8107 root=default
seq 24 35 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8108 root=default
seq 36 47 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8109 root=default
48个osd设置初始pg为1200，让每个osd上面差不多50个pg左右，做一下均衡操作，后续目标调整为pg为2400
准备120000个小文件准备put进去集群，使每个pg上面对象100个左右
./rados -c ceph.conf -p rbd bench -b 1K 600 write --no-cleanup
一次调整pg到2400
统计一次调整到位的情况下的数据迁移情况
./ceph -c ceph.conf osd pool set rbd pg_num 2400
记录当前的pg分布的情况
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappg_1200_pgp_2400
调整存储池的pgp为2400
./ceph -c ceph.conf osd pool set rbd pgp_num 2400
等迁移完成以后，统计最终的pg分布情况
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappg2400_pgp2400
这里说明一下，调整pg的时候只会触发pg的分裂，并不会影响集群的分布，也就是不会出现pg迁移的情况，调整pgp以后才会去改变pg的分布，所以本次数据分析统计的是pgp变动后的迁移的数据量，这个量才是集群的真正的迁移量
用比较的脚本来进行统计（脚本会在本文文末提供）
[root@lab8106 src]#python compair.py pgmappg_1200_pgp_2400 pgmappg2400_pgp2400 | pgs | objects | ----------------- [2299, 115361]
也就是整个环境有2299次pg的变动，总共迁移的对象数目为115361个
分五次调整到2400PG
初始pg为1200个第一次调整，1200PG调整到1440PG
./ceph -c ceph.conf osd pool set rbd pg_num 1440
调整pg为1440,当前pgp为1200
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaira1
调整pgp为1440,当前pg为1440
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaira2
统计第一次调整后的迁移量
[root@lab8106 pgdata]# python compair.py pgmappaira1 pgmappaira2 | pgs | objects | ----------------- [460, 27933]
第二次调整，1440PG调整到1680PG
./ceph -c ceph.conf osd pool set rbd pg_num 1680
调整pg为1680,当前pgp为1440
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairb1
调整pgp为1680,当前pg为1680
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairb2
统计第二次调整后的迁移量
[root@lab8106 pgdata]# python compair.py pgmappairb1 pgmappairb2 | pgs | objects | ----------------- [458, 27730]
第三次调整，1680PG调整到1920PG
./ceph -c ceph.conf osd pool set rbd pg_num 1920
调整pg为1920,当前pgp为1680
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairc1
调整pgp为1920,当前pg为1920
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairc2
统计第三次调整后的迁移量
[root@lab8106 pgdata]# python compair.py pgmappairc1 pgmappairc2 | pgs | objects | ----------------- [465, 27946]
第四次调整，1920PG调整到2160PG
./ceph -c ceph.conf osd pool set rbd pg_num 2160
调整pg为2160,当前pgp为1920
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaird1
调整pgp为2160,当前pg为2160
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaird2
统计第四次调整后的迁移量
[root@lab8106 pgdata]# python compair.py pgmappaird1 pgmappaird2 | pgs | objects | ----------------- [457, 21141]
第五次调整，2160PG调整到2400PG
./ceph -c ceph.conf osd pool set rbd pg_num 2400
调整pg为2400,当前pgp为2160
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaire1
调整pgp为2400,当前pg为2400
记录当前的pg分布数据
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaire2
统计第五次调整后的迁移量
[root@lab8106 pgdata]# python compair.py pgmappaire1 pgmappaire2 | pgs | objects | ----------------- [458, 13938]
上面五次加起来的总量为
2305 PGS 132696 objects
统计的脚本
#!/usr/bin/env python
# -*- coding: utf-8 -*-
__author__ ="zp"
import os,sys
class filetojson(object):
def __init__(self,orin,new):
self.origin=orin
self.new=new
def tojson(self,filename):
data={}
pginfo={}
for line in open(filename):
if "pg_stat" in line:
continue
lines=line.split()
pg=lines[0]
objects=lines[1]
withosd=lines[2]
data[pg]={'objects':objects,'osd':list(eval(withosd))}
return data
def compare(self):
movepg=0
allmovepg=0
allmoveobject=0
moveobject=0
oringinmap=self.tojson(self.origin)
newmap=self.tojson(self.new)
for key in oringinmap:
amapn=set(oringinmap[key]['osd'])
bmapn=set(newmap[key]['osd'])
movepg=len(list(amapn.difference(bmapn)))
if movepg != 0:
moveobject=int(oringinmap[key]['objects']) * int(movepg)
allmovepg=allmovepg+movepg
allmoveobject=allmoveobject+moveobject
return [allmovepg,allmoveobject]
mycom=filetojson(sys.argv[1],sys.argv[2])
print "| pgs | objects |"
print "-----------------"
print mycom.compare()
总结
本篇是对集群进行pg调整的这个场景下迁移的数据进行分析的，对于一个集群来说，还是要用数据来进行问题的说明会比较有说服力，凭感觉还是没有那么强的说服力，本篇因为环境所限，所以在模拟的时候采用的是单个pg100个对象的样本，如果需要更精确的数据可以采用多次测试，并且加大这个单个pg的对象数目
变更记录
| Why | Who | When |
|---|---|---|
| 创建 | 武汉-运维-磨渣 | 2017-06-14 |
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- skynet 模块命名空间调整
- 再谈JVM内存参数调整(200331)
- Martian 4.0，架构大幅调整
- Kubeadm1.14 证书调整
- Bootstrap开发框架界面的调整处理
- HAProxy 性能调整 —— sysctl 和 config
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
无处安放的互联网隐私
【美】茱莉亚·霍维兹 【美】杰拉米·斯科 / 中国人民大学出版社有限公司 / 2017-7-1 / CNY 55.00
在当今互联网时代，我们的隐私权已经受到了威胁，政府或企业可以追踪我们的电话，搜索引擎可以记录我们的在线浏览记录以及恒温器的设置以及更多信息。在当代，保卫隐私权不只是简单地描述出存在的问题或者警告人们隐私权已经丧失，隐私权的护卫者们提出了解决策略。他们密切关注商业实践、公共政策和技术设计以及人物，应该继续下去吗？条件就是：有问题，让我们找到解决之道。一起来看看 《无处安放的互联网隐私》 这本书的介绍吧!
