一种数据分布存储方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据分布存储方法、装置、设备及介质，包括：确定当前分布式存储集群中各对象存储节点的归置组数量的第一标准差；利用当前权重调整规则调整当前节点权重以得到当前更新后的集群，并基于CRUSH算法确定目标对象存储节点；将一个归置组模拟存储至当前目标节点后确定各节点的归置组数量的第二标准差；基于第一标准差和第二标准差确定出用于评价当前权重调整规则的强化学习函数数值；当第一标准差小于第二标准差，则根据强化学习函数数值对当前权重调整规则进行优化并更新，重新执行前述步骤，直到第一标准差不小于第二标准差，然后输出当前各对象存储节点的权重值进行数据均衡处理。可以提高磁盘利用率和负载均衡性能。衡性能。衡性能。

【技术实现步骤摘要】
一种数据分布存储方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种数据分布存储方法、装置、设备及介质。

技术介绍

[0002]在分布式存储系统中，数据一致性、可靠性和负载均衡是最重要的特性。其中，数据分布问题直接影响集群的负载均衡，优秀的数据分布算法对一个分布式存储系统尤为重要。在分布式存储系统中，数据存储包括两个映射：对象到PG(Placement Group，归置组)的映射，PG到OSD(Object
‑
based Storage Device，基于对象的存储设备)的映射。其中，对象到PG的映射是通过文件切片，将文件按照部署结构切分成固定大小的对象实现；PG到OSD的映射是通过CRUSH(Controlled Replication Under Scalable Hashing)算法实现，根据集群部署结构，使用HASH(哈希)算法产生伪随机数对节点进行加权运算，采用层级结构迭代的方法将每个PG映射到一组最适合的OSD节点中。
[0003]然而，在实际应用中，如果存储的单个数据对象太小,影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分布存储方法，其特征在于，包括：确定当前分布式存储集群中各对象存储节点的归置组数量的第一标准差；利用当前权重调整规则对当前所述分布式存储集群的对象存储节点进行权重调整以得到当前更新后的所述分布式存储集群，并基于CRUSH算法从当前所述分布式存储集群中确定目标对象存储节点；将一个归置组模拟存储至当前所述目标对象存储节点，并确定经过所述模拟存储后的集群中各对象存储节点的归置组数量的第二标准差；基于所述第一标准差和所述第二标准差确定出用于评价所述当前权重调整规则的强化学习函数数值；当所述第一标准差小于所述第二标准差，则根据所述强化学习函数数值对所述当前权重调整规则进行优化以更新所述当前权重调整规则，并重新跳转至所述利用当前权重调整规则对当前所述分布式存储集群的对象存储节点进行权重调整以得到当前更新后的所述分布式存储集群的步骤，直到所述第一标准差大于或等于所述第二标准差，然后输出当前各所述对象存储节点的权重值，以利用当前各所述对象存储节点的权重值对所述分布式存储集群进行数据均衡处理。2.根据权利要求1所述的数据分布存储方法，其特征在于，所述利用当前权重调整规则对当前所述分布式存储集群的对象存储节点进行权重调整以得到当前更新后的所述分布式存储集群，包括：利用当前权重调整规则，从当前所述分布式存储集群中确定出待调整对象存储节点，并对所述待调整对象存储节点进行权重调整以得到当前更新后的所述分布式存储集群。3.根据权利要求2所述的数据分布存储方法，其特征在于，所述从当前所述分布式存储集群中确定出待调整对象存储节点，包括：基于CRUSH算法从当前所述分布式存储集群中确定当前的第一对象存储节点；基于预设节点筛选规则从所有未曾被确定为所述第一对象存储节点的对象存储节点中筛选出第二对象存储节点；将当前的所述第一对象存储节点和/或所述第二对象存储节点确定为待调整对象存储节点。4.根据权利要求3所述的数据分布存储方法，其特征在于，所述基于预设节点筛选规则从所有未曾被确定为所述第一对象存储节点的对象存储节点中筛选出第二对象存储节点，包括：从所有未曾被确定为所述第一对象存储节点的对象存储节点中，筛选出与当前的所述第一对象存储节点之间的相对位置信息满足预设条件的对象存储节点作为第二对象存储节点。5.根据权利要求2所述的数据分布存储方法，其特征在于，所述对所述待调整对象存储节点进行权重调整以得到当前更新后的所述分布式存储集群，包括：确定所述第二标准差与所述第一标准差之...

【专利技术属性】
技术研发人员：鄢婷，李楠，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：