一种数据迁移的处理方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种数据迁移的处理方法，包括：对多个DN数据节点的状态进行检测，在多个DN数据节点中的DN数据节点A中的存储单元A发生故障时，根据存储单元A中的故障文件的block文件的纠删信息将所述故障文件恢复到数据恢复位置；其中，所述数据恢复位置按照预先设定的恢复策略确定；若所述故障单元A的故障恢复，将恢复到所述数据恢复位置的文件迁移回数据迁移位置，以完成所有数据的迁移，其中，所述数据迁移位置为所述故障单元A。在本发明专利技术中，在进行数据迁移时，按最初分配的各个block文件的可靠性最高的位置进行数据迁移，而且在迁移过程中可以进行写入操作，在保证存储系统负载均衡的同时，也极大的提高了存储数据的最大可靠性。性。性。

【技术实现步骤摘要】
一种数据迁移的处理方法、装置及存储介质


[0001]本专利技术属于计算机
，具体涉及一种数据迁移的处理方法、装置及存储介质。

技术介绍

[0002]存储系统在使用中不可避免的会发生存储单元故障，而发生存储单元故障时，存储系统会自身将故障盘的数据恢复出来。从故障盘数据恢复开始到新盘替换故障盘的期间，不可避免的会将故障盘数据恢复到其他DataNode(存储数据的服务器，以下简称DN)或者本DN的其他存储单元上，这样就会造成整个存储系统的数据在DN与DN之间和存储单元与存储单元之间变得不均衡且可靠性降低。
[0003]当前传统的数据迁移方法，基本都是先确定迁移的数据原服务器，再确定迁移的目标服务器，以及对应符合迁移数据，但是迁移过程中都不能或者需要采用延时去修改正在迁移的数据，而且也未对迁移后数据的均衡性和可靠性作保证，或多或少都存在一定的不足。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术提供一种数据迁移的处理方法、装置及存储介质，以解决在数据迁移过程中不能或者需要采用延时去修改正在迁移的数据的问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移的处理方法，其特征在于，应用于基于纠删分布式存储系统；其中，所述纠删分布式存储系统包括多个DN数据节点和管理所述多个DN数据节点的管理节点ms；每个所述DN数据节点包括多个存储单元，所述数据迁移的处理方法包括：对多个所述DN数据节点的状态进行检测；在多个DN数据节点中的DN数据节点A中的存储单元A发生故障时，根据存储单元A中的故障文件的block文件的纠删信息将所述故障文件恢复到数据恢复位置，以完成所有数据的恢复；其中，所述数据恢复位置按照预先设定的恢复策略确定，所述数据恢复位置包括第一故障恢复位置或/和第二故障恢复位置，所述第一故障恢复位置为DN数据节点A中存储单元A之外的其他存储单元，所述第二故障恢复位置为多个DN数据节点中DN数据节点A之外的其他DN数据节点中的某一个存储单元；所述纠删信息通过管理节点ms响应所述故障消息从redis数据库中获取，所述纠删信息在block文件被创建时存储在所述redis数据库中；若所述故障单元A的故障恢复，将恢复到所述数据恢复位置的文件迁移回数据迁移位置，以完成所有数据的迁移，其中，所述数据迁移位置为所述故障单元A。2.根据权利要求1所述的数据迁移的处理方法，其特征在于，所述预先设定的恢复策略根据以下至少之一确定：负载均衡、可靠性、DN数据节点A中每个存储单元的剩余存储空间、DN数据节点A之外的其他DN数据节点中每个存储单元的剩余存储空间。3.根据权利要求1所述的数据迁移的处理方法，其特征在于，若存储单元A的故障恢复，则在将所述故障文件迁移到所述存储单元A时，将所述故障文件迁移到文件在创建时的位置信息。4.根据权利要求3所述的数据迁移的处理方法，其特征在于，所述block文件的创建方法包括：管理节点ms根据存储单元的容量计算出可创建的大文件个数；根据纠删比依次创建每个大文件下的block文件。5.根据权利要求1所述的数据迁移的处理方法，其特征在于，所述block文件在创建时的位置确定满足以下条件：负载均衡或/和可靠性最高。6.根据权利要求1所述的数据迁移的处理方法，其特征在于，在数据迁移过程中，若存在对正在迁移的数据进行写操作，则同时向迁移和被迁移的block写入数据。7.根据权利要求1所述的数据迁移的处理方法，其特征在于，所述纠删信息包括：纠删同组的block文件信息和DN IP信息。8.一种数据迁移的处理方法，其特征在于，应用于基于纠删分布式存储系统；其中，所述纠删分布式存储系统包括多个DN数据节点和管理所述多个DN数据节点的管理节点ms...

【专利技术属性】
技术研发人员：刘胜金，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：