【技术实现步骤摘要】
本专利技术涉及计算机，特别涉及一种数据迁移方法、装置、设备及存储介质。
技术介绍
1、分布式存储系统可以轻易管理成百上千个节点，搭建pb(petabyte，数据量)级及以上存储容量的大规模集群，分布式存储系统在日常生活、生产中被越来越多的应用。随着运行时间的增加，各个电子元器件面临老化、失效的风险，典型的就是磁盘损坏，包括nvme(non-volatile memory expr ess，固态存储)、ssd(solid state disk或solid statedrive，固态硬盘)的损坏等。
2、oss(object storage service，对象存储服务)是分布式存储系统的数据存储服务，oss将存储系统中的数据划分成两部分，一部分为业务数据，另一部分为元数据，元数据中包括业务数据的索引信息、附加信息、扩展信息等。
3、在实际应用中，元数据的数据量比业务数据的数据量少得多，但是对于元数据的读写性能要求更高，通常采用nvme或ssd存储元数据。由于nvme或者ssd的容量较大，一般采用一块nvme或ssd部署多个oss，由此可见，如果nvme或者ssd发生故障，会影响很多oss，引起大量oss下线并退出集群，给客户带来无法挽回的损失。
技术实现思路
1、鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的数据迁移方法及装置、设备、存储介质，包括：
2、在本专利技术实施的第一方面，首先提供了一种数据迁移方法，应用于分布式存储
3、获取数据迁移请求，确定所述数据迁移请求对应的源设备，并在所述分布式存储系统中确定与所述源设备匹配的目标设备；
4、响应于所述数据迁移请求，将所述源设备中第一区域的压缩数据迁移至所述目标设备中第一区域，并在压缩数据迁移的过程中，停止将新的压缩数据存储至所述源设备中第一区域；
5、获取指向所述源设备中第一区域的第一指针，将所述第一指针指向所述目标设备中第一区域，通过所述第一指针，将新的压缩数据存储至所述目标设备中第一区域；
6、将所述源设备中第二区域的底层数据迁移至所述目标设备中第二区域，并在底层数据迁移的过程中，停止将新的底层数据存储至所述源设备中第二区域；
7、获取指向所述源设备中第二区域的第二指针，将所述第二指针指向所述目标设备中第二区域，通过所述第二指针，将新的底层数据存储至所述目标设备中第二区域；
8、将所述源设备中日志区域的日志数据存储至所述目标设备的第二区域，完成数据迁移。
9、可选的，所述响应于所述数据迁移请求之前，包括：
10、获取所述源设备的设备分区信息；
11、依据所述设备分区信息，对所述目标设备进行分区。
12、可选的，所述将所述源设备中第一区域的压缩数据迁移至所述目标设备中第一区域，并在压缩数据迁移的过程中，停止将新的压缩数据存储至所述源设备中第一区域，包括：
13、获取所述第一区域中每个层级的压缩数据，计算所述压缩数据的第一数据总量，其中，所述第一区域中包括若干层级的压缩数据；
14、获取预设的迁移阈值和单次迁移规则，其中，所述迁移阈值用于表示所述压缩数据单次迁移的最大数据量，所述单次迁移规则包括单次迁移时间间隔、单次迁移数据量；
15、在所述第一数据总量大于所述第一数据迁移阈值时，按照所述单次迁移规则将所述压缩数据迁移至所述目标设备中第一区域；
16、在所述第一数据总量小于或等于所述第一数据迁移阈值时，将所述压缩数据迁移至所述目标设备中第一区域；
17、在压缩数据迁移的过程中，停止针对所述源设备中第一区域的数据压缩过程，以停止将新的压缩数据存储至所述源设备中第一区域；
18、所述将所述第一指针指向所述目标设备中第一区域，包括：
19、在确定所述源设备中第一区域的压缩数据迁移至所述目标设备中第一区域后，将所述第一指针的指向位置修改为所述目标设备中第一区域。
20、可选的，在底层数据迁移的过程中，停止将新的底层数据存储至所述源设备中第二区域，包括：
21、在底层数据迁移的过程中，停止针对所述源设备中第二区域的数据刷入过程，以停止将新的底层数据存储至所述源设备中第二区域；
22、所述将所述第二指针指向所述目标设备中第二区域，包括：
23、在所述源设备中第二区域的底层数据迁移至所述目标设备中第二区域后，将所述第二指针的指向位置修改为所述目标设备中第二区域。
24、可选的，所述将所述源设备中日志区域的日志数据存储至所述目标设备的第二区域之前，包括：
25、新增指向所述目标设备日志区域的日志指针；
26、通过所述日志指针，将新的日志数据存储至所述目标设备的日志区域。
27、可选的，所述方法还包括：
28、获取迁移查询指令；
29、响应于所述迁移查询指令，在所述源设备中第一区域的压缩数据迁移至所述目标设备中第一区域时，获取所述压缩数据中已迁移数据对应的第一迁移数据量，依据所述第一迁移数据量计算第一迁移进度；
30、在所述源设备中第二区域的底层数据迁移至所述目标设备中第二区域时，将第二迁移进度设置为完成；
31、在所述将所述源设备中日志区域的日志数据存储至所述目标设备的第二区域时，获取所述源设备中日志区域的剩余日志数据量，依据所述剩余日志数据量计算第三迁移进度；
32、输出迁移进度，所述迁移进度包括第一迁移进度、第二迁移进度和第三迁移进度中的至少一项，其中，所述第一迁移进度用于表示所述压缩数据的迁移进度，所述第二迁移进度用于表示所述底层数据的迁移进度，所述第三迁移进度用于表示所述日志数据的迁移进度。
33、可选的，所述在压缩数据迁移的过程中，停止将新的压缩数据存储至所述源设备中第一区域，包括：
34、在压缩数据迁移的过程中，依据循环冗余校验算法对所述压缩数据进行校验并停止将新的压缩数据存储至所述源设备中第一区域；
35、所述在底层数据迁移的过程中，停止将新的底层数据存储至所述源设备中第二区域，包括：
36、在底层数据迁移的过程中，依据循环冗余校验算法对所述底层数据进行校验并停止将新的底层数据存储至所述源设备中第二区域。
37、在本专利技术实施的第二方面，还提供了一种数据迁移装置，其特征在于，包括：
38、请求获取模块，用于获取数据迁移请求，确定所述数据迁移请求对应的源设备，并在所述分布式存储系统中确定与所述源设备匹配的目标设备；
39、请求响应第一模块，用于响应于所述数据迁移请求，将所述源设备中第一区域的压缩本文档来自技高网...
【技术保护点】
1.一种数据迁移方法，其特征在于，应用于分布式存储系统，所述分布式存储系统中设备的存储区域包括日志区域、第一区域和第二区域，所述日志区域用于存储日志数据，所述第一区域用于存储压缩数据，所述第二区域用于存储底层数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述响应于所述数据迁移请求之前，包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述源设备中第一区域的压缩数据迁移至所述目标设备中第一区域，并在压缩数据迁移的过程中，停止将新的压缩数据存储至所述源设备中第一区域，包括：
4.根据权利要求1所述的方法，其特征在于，在底层数据迁移的过程中，停止将新的底层数据存储至所述源设备中第二区域，包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述源设备中日志区域的日志数据存储至所述目标设备的第二区域之前，包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述在压缩数据迁移的过程中，停止将新的压缩数据存储至所述源设备中第一区域，包括：
8.一种数据迁移装置，其特征在于，应用于分布式存储系统，所述分布式存储系统中设备的存储区域包括日志区域、第一区域和第二区域，所述日志区域用于存储日志数据，所述第一区域用于存储压缩数据，所述第二区域用于存储底层数据，所述装置包括：
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据迁移方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据迁移方法。
...【技术特征摘要】
1.一种数据迁移方法，其特征在于，应用于分布式存储系统，所述分布式存储系统中设备的存储区域包括日志区域、第一区域和第二区域，所述日志区域用于存储日志数据，所述第一区域用于存储压缩数据，所述第二区域用于存储底层数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述响应于所述数据迁移请求之前，包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述源设备中第一区域的压缩数据迁移至所述目标设备中第一区域，并在压缩数据迁移的过程中，停止将新的压缩数据存储至所述源设备中第一区域，包括：
4.根据权利要求1所述的方法，其特征在于，在底层数据迁移的过程中，停止将新的底层数据存储至所述源设备中第二区域，包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述源设备中日志区域的日志数据存储至所述目标设备的第二区域之前，包括：
6....
【专利技术属性】
技术研发人员：徐成智，张金清，徐永轩，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。