【技术实现步骤摘要】
本申请涉及分布式存储领域，特别涉及一种分布式系统的数据处理方法、系统、设备及存储介质。
技术介绍
1、ceph是一种高性能、高可靠和可扩展的分布式存储系统，在一个统一的存储系统中同时提供了对象、块和文件存储功能。ceph存储系统使用crush(controlledreplication under scalable hashing，可扩展哈希下的受控复制)算法将数据对象均匀映射到osd（object-based storage device，对象存储设备）上。crush算法以对象名称、存储系统的当前拓扑结构以及数据冗余策略为输入，可以直接计算得到所需数据对象所在的归置组，进而得到对应的存储设备的位置，并与其直接进行通信，避免了存储系统中的单点故障和性能瓶颈。但是使用crush算法进行数据分布处理时，可能会造成热数据堆积在少数存储设备上，导致数据访问响应时间拉长，影响存储系统整体性能与用户业务。
2、因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
1、本申请的目的是提供一种分布式系统的数据处理方法、系统、设备及存储介质，能够避免热数据堆积在少数存储设备上，降低数据访问响应时间，提高存储系统整体性能与用户体验。
2、为解决上述技术问题，本申请提供了一种分布式系统的数据处理方法，分布式系统包括多个存储设备，所述分布式系统的数据处理方法包括：
3、获取所述分布式系统的各个存储设备的第一热度数据；
4
5、针对每一所述高热度存储设备，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中，以使所述高热度存储设备和其对应的各个所述低热度存储设备的热度平衡。
6、在一示例性实施例中，所述目标归置组包括第一目标归置组，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
7、获取所述存储设备的各个归置组的第二热度数据；
8、基于所述高热度存储设备的各个归置组的第二热度数据确定第一目标归置组；
9、基于所述低热度存储设备的各个归置组的第二热度数据确定目标低热度存储设备；
10、将所述第一目标归置组迁移至所述目标低热度存储设备。
11、在一示例性实施例中，所述目标归置组包括第二目标归置组，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
12、判断所述高热度存储设备中是否存在第二目标归置组，所述第二目标归置组为从其他存储设备中迁移至所述高热度存储设备的归置组；
13、若是，当所述其他存储设备为所述低热度存储设备，将所述第二目标归置组迁移至所述低热度存储设备。
14、在一示例性实施例中，获取所述存储设备的各个归置组的第二热度数据之前，所述数据处理方法还包括：
15、针对每一所述归置组，当满足计算触发条件，获取所述归置组上一次计算的第二热度数据、所述归置组当前次计算的第二热度数据与上一次计算的第二热度数据的计算时间间隔、所述第二热度数据的半衰期时间及所述第二热度数据的类型；
16、基于所述上一次计算的第二热度数据、所述计算时间间隔、所述半衰期时间及所述类型得到所述归置组当前次计算的第二热度数据；
17、获取所述存储设备的各个归置组的第二热度数据的过程包括：
18、获取所述存储设备按上报周期上报的各个归置组最后一次计算的第二热度数据。
19、在一示例性实施例中，所述针对每一所述高热度存储设备，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
20、确定各个所述高热度存储设备的处理优先级，所述高热度存储设备的第一热度数据的大小和其处理优先级的高低呈正相关；
21、按所述处理优先级由高到低的顺序，将各个所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备。
22、在一示例性实施例中，所述根据所有所述第一热度数据在所有所述存储设备中确定高热度存储设备和低热度存储设备的过程包括：
23、获取所有所述第一热度数据的平均热度；
24、基于所述平均热度确定高热度阈值及低热度阈值；
25、将所述第一热度数据高于所述高热度阈值的存储设备确定为所述高热度存储设备，将所述第一热度数据低于所述低热度阈值的存储设备确定为所述低热度存储设备。
26、在一示例性实施例中，针对每一所述高热度存储设备，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中之后，所述分布式系统的数据处理方法还包括：
27、将所述目标归置组及其迁移至的所述低热度存储设备的映射更新至存储设备关系表；
28、当接收到用户请求，判断更新后的存储设备关系表中是否存在与所述用户请求对应的映射；
29、若是，则按所述映射确定与所述用户请求对应的存储设备；
30、若否，则按可扩展哈希下的受控复制算法确定与所述用户请求对应的存储设备。
31、为解决上述技术问题，本申请还提供了一种分布式系统的数据处理系统，分布式系统包括多个存储设备，所述分布式系统的数据处理系统包括：
32、获取模块，用于获取所述分布式系统的各个存储设备的第一热度数据；
33、确定模块，用于根据所有所述第一热度数据在所有所述存储设备中确定高热度存储设备和低热度存储设备；
34、处理模块，用于针对每一所述高热度存储设备，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中，以使所述高热度存储设备和其对应的各个所述低热度存储设备的热度平衡。
35、为解决上述技术问题，本申请还提供了一种电子设备，包括：
36、存储器，用于存储计算机程序；
37、处理器，用于执行所述计算机程序时实现如上文任意一项所述的分布式系统的数据处理方法的步骤。
38、为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文任意一项所述的分布式系统的数据处理方法的步骤。
39、本申请提供了一种分布式系统的数据处理方法，首先确定各个存储设备中第一热度数据，基于第一热度数据确定存储设备中的高热度存储设备和低热度存储设备，将高热度存储设备中的目标归置组迁移至低热度存储设备中，以使各个存储设备的热度平衡，从而避免热数据堆积在少数存储设备上，降低数据访问响应时间，提高存储系统整体性能与用户体验。本申请还提供了一种分布式系统的数据处理系统、电子设备及计算机可读存储介质，具有和上述数据处理方法相同的有益效果。
本文档来自技高网...【技术保护点】
1.一种分布式系统的数据处理方法，其特征在于，分布式系统包括多个存储设备，所述分布式系统的数据处理方法包括：
2.根据权利要求1所述的分布式系统的数据处理方法，其特征在于，所述目标归置组包括第一目标归置组，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
3.根据权利要求1所述的分布式系统的数据处理方法，其特征在于，所述目标归置组包括第二目标归置组，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
4.根据权利要求2所述的分布式系统的数据处理方法，其特征在于，获取所述存储设备的各个归置组的第二热度数据之前，所述数据处理方法还包括：
5.根据权利要求1所述的分布式系统的数据处理方法，其特征在于，所述针对每一所述高热度存储设备，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
6.根据权利要求1所述的分布式系统的数据处理方法，其特征在于，所述根据所有所述第一热度数据在所有所述存储设备中确定高热度存储设备和低
7.根据权利要求1-6任一项所述的分布式系统的数据处理方法，其特征在于，针对每一所述高热度存储设备，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中之后，所述分布式系统的数据处理方法还包括：
8.一种分布式系统的数据处理系统，其特征在于，分布式系统包括多个存储设备，所述分布式系统的数据处理系统包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的分布式系统的数据处理方法的步骤。
...【技术特征摘要】
1.一种分布式系统的数据处理方法，其特征在于，分布式系统包括多个存储设备，所述分布式系统的数据处理方法包括：
2.根据权利要求1所述的分布式系统的数据处理方法，其特征在于，所述目标归置组包括第一目标归置组，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
3.根据权利要求1所述的分布式系统的数据处理方法，其特征在于，所述目标归置组包括第二目标归置组，将所述高热度存储设备中的目标归置组迁移至其对应的至少一个所述低热度存储设备中的过程包括：
4.根据权利要求2所述的分布式系统的数据处理方法，其特征在于，获取所述存储设备的各个归置组的第二热度数据之前，所述数据处理方法还包括：
5.根据权利要求1所述的分布式系统的数据处理方法，其特征在于，所述针对每一所述高热度存储设备，将所述高热度存储设备中的目标归置组迁移至其对应的...
【专利技术属性】
技术研发人员：王新雨，蒋方文，李超，王腾飞，陈淯龙，许潇楠，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。