一种基于ceph的数据分布不平均调整方法技术

本发明专利技术涉及分布式存储技术领域，具体涉及一种基于ceph的数据分布不平均调整方法，采用如下步骤：步骤一：确定需要调整的OSD的计算因子A；步骤二：计算其偏差百分比的计算因子B：步骤三：得到其寿命百分比的计算因子C；步骤四：得到其错误百分比的计算因子D；步骤五：得到其容量增量百分比的计算因子E；它对数据不平均分配进行调整，基于磁盘容量，权重，健康情况，ssd寿命以及磁盘S.M.A.R.T的错误计数信息等，对数据进行二次平衡，以解决存储系统数据分布不平均的问题，并提高系统性能与可用性；同时，也提高存储系统的可用空间，提高系统磁盘整体的利用率，降低存储系统单位价值产出能耗，最大化系统存储能力与经济效益。

【技术实现步骤摘要】
一种基于ceph的数据分布不平均调整方法
本专利技术涉及分布式存储
，具体涉及一种基于ceph的数据分布不平均调整方法。
技术介绍
ceph分布式存储应用中，数据分布依照ceph的CRUSH算法。CRUSH是一种基于哈希的数据分布式算法。以数据唯一标识符、当前存储集群的拓扑结构以及数据备份策略作为CRUSH输入，可以随时随地通过计算获取数据所在的底层存储设备(例如磁盘)位置并直接与起通信，从而避免查表操作，实现去中心化和高并发。当前CRUSH算法，客户端在上传一个文件到指定的pool中时，进行的步骤如下：(1)数据切片，客户端将将大文件拆分为多个Object，例如，假定每个Object大小为8MB，一个1GB的文件可以被拆分成128个Object。(2)计算Object对应PG，对Object进行Hash,然后哈希值和PG的数量取余，得到的值再和pool的ID拼接成PG_ID。(3)计算PG对应的OSD集合：对pg_id进行CURSH得到该PG对应的OSD数组。由此过程可以看到，数据分布并不会参考数据所在位置(磁盘本文档来自技高网...

【技术保护点】
1.一种基于ceph的数据分布不平均调整方法，其特征在于：采用如下步骤：/n步骤一：确定需要调整的OSD的计算因子A；/n步骤二：计算其偏差百分比的计算因子B：/n步骤三：得到其寿命百分比的计算因子C；/n步骤四：得到其错误百分比的计算因子D；/n步骤五：得到其容量增量百分比的计算因子E；/n步骤六：选择只增不减的方案A或只减不增的方案B，确定调整方案；/n方案A：只调整容量大于集群平均容量的OSD；/n方案B：只调整容量小于集群平均容量的OSD；/n步骤七：根据步骤一至步骤五的计算因子A-E，以及步骤六的确定方案，/n利用以下计算公式来计算结果，计算公式如下：/nAdjustmentRati...

【技术特征摘要】
1.一种基于ceph的数据分布不平均调整方法，其特征在于：采用如下步骤：
步骤一：确定需要调整的OSD的计算因子A；
步骤二：计算其偏差百分比的计算因子B：
步骤三：得到其寿命百分比的计算因子C；
步骤四：得到其错误百分比的计算因子D；
步骤五：得到其容量增量百分比的计算因子E；
步骤六：选择只增不减的方案A或只减不增的方案B，确定调整方案；
方案A：只调整容量大于集群平均容量的OSD；
方案B：只调整容量小于集群平均容量的OSD；
步骤七：根据步骤一至步骤五的计算因子A-E，以及步骤六的确定方案，
利用以下计算公式来计算结果，计算公式如下：
AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％
OsdReweight＝CurrentWeight×AdjustmentRatio
其中：
OsdRewight：最后需要调整后的OSD权重；
CurrentWeight：OSD当前权重；
SizeDiff％：Osd容量与集群平均容量偏差百分比计算而得；
SSDLife％：通过SSD寿命计算而得的调整比例；
ErrorCount％：通过ErrorCount信息计算而得的调整比例；
SizeIncrease％：通过OSD单位时间容量增长计算而得；
AdjustmentRatio：通过各个因子计算而得的调整比例。


2.根据权...

【专利技术属性】
技术研发人员：陈帮民，蒋川，余传锋，范文，巫禄芳，张鹏，
申请(专利权)人：深圳证券通信有限公司，
类型：发明
国别省市：广东;44