一种数据迁移方法及装置制造方法及图纸

一种数据迁移方法及装置，该方法包括：在第二节点向第一节点迁移数据的过程中，该第一节点从该第二节点读取待迁移的数据、该待迁移的数据的版本号以及从至少一个第三节点中读取与该待迁移的数据属于同一个第一业务的数据的版本号，该第一业务的数据分布存储在该第二节点和至少一个该第三节点中；然后，在该第一节点确定从该第二节点读取的待迁移的数据的版本号与从任意一个该第三节点读取的数据的版本号不同时，该第一节点丢弃从该第二节点读取的待迁移的数据。这样，在数据迁移时，通过比较待迁移的数据的版本号与其他节点中与待迁移的数据属于同一业务的数据的版本号，过滤掉要删除数据，可以减少无效迁移和后续删除IO资源的浪费。

【技术实现步骤摘要】
一种数据迁移方法及装置
本申请涉及存储
，尤其涉及一种数据迁移方法及装置。
技术介绍
随着互联网用户的激增以及业务的多样性发展，越来越多的数据(例如，用户数据、业务配置数据等)需要使用存储系统进行存储，以便用来分析和指导业务。集群存储系统因为其容量较大以及易于扩展的特点，在数据存储中应用广泛。请参考图1A，为集群存储系统中的一种架构。在图1中，集群存储系统中部署管理节点A以及3个存储节点，分别标记为Node1、Node2和Node3。集群存储系统中设置多个分布式逻辑存储单元(netlogicunitnumber，NLUN)，例如，在该集群存储系统中可以设置NLUN1和NLUN2，每个NLUN用于存储特定的数据，例如，NLUN1用于存储视频数据，NLUN2用于存储文本数据，管理节点A用于管理和维护每个NLUN的成员盘以及每个成员盘中的数据，这样，当集群存储系统接收待存储的数据后，由管理节点A根据待存储的数据的类型判断将待存储的数据存储在NLUN1还是NLUN2中。针对每一个NLUN，可以在每个存储节点中选择若干个磁盘作为该NLUN的成员盘，从而与该NLUN对应的数据全部存储在该N本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括：在第二节点向第一节点迁移数据的过程中，所述第一节点从所述第二节点读取待迁移的数据、所述待迁移的数据的版本号以及从至少一个第三节点中读取与所述待迁移的数据属于同一个第一业务的数据的版本号，所述第一业务的数据分布存储在所述第二节点和至少一个所述第三节点中；所述第一节点确定从所述第二节点读取的待迁移的数据的版本号与从任意一个所述第三节点读取的数据的版本号不同时，所述第一节点丢弃从所述第二节点读取的待迁移的数据。

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：在第二节点向第一节点迁移数据的过程中，所述第一节点从所述第二节点读取待迁移的数据、所述待迁移的数据的版本号以及从至少一个第三节点中读取与所述待迁移的数据属于同一个第一业务的数据的版本号，所述第一业务的数据分布存储在所述第二节点和至少一个所述第三节点中；所述第一节点确定从所述第二节点读取的待迁移的数据的版本号与从任意一个所述第三节点读取的数据的版本号不同时，所述第一节点丢弃从所述第二节点读取的待迁移的数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一节点从至少一个第三节点中读取与所述待迁移的数据属于同一个第一业务的数据的版本号之前，所述第一节点接收删除指令，所述删除指令指示所述第一节点及所述至少一个第三节点删除与所述第一业务对应的数据；所述第一节点确定从所述第二节点读取的待迁移的数据的版本号与从任意一个所述第三节点读取的数据的版本号不同，包括：所述第一节点确定从所述第二节点读取的待迁移的数据的版本号为正整数；所述第一节点确定从任意一个所述第三节点读取的数据的版本号不存在。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一节点从至少一个第三节点中读取与所述待迁移的数据属于同一个第一业务的数据的版本号之前，所述第一节点接收改写指令，所述改写指令指示所述第一节点及所述至少一个第三节点改写与第一业务对应的数据；所述第一节点确定从所述第二节点读取的待迁移的数据的版本号与从任意一个所述第三节点读取的数据的版本号不同，包括：所述第一节点确定从任意一个所述第三节点读取的数据的版本号大于从所述第二节点读取的待迁移的数据的版本号。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一节点从至少一个第三节点中读取到与所述待迁移的数据属于同一个第一业务的数据的版本号时，且接收到操作指令，所述操作指令指示所述第一节点及所述至少一个第三节点删除或改写与第一业务对应的数据；所述第一节点缓存所述操作指令所携带的操作版本号；所述第一节点在确定从所述第二节点读取的待迁移的数据的版本号与从任意一个所述第三节点读取的数据的版本号相同时，确定从所述第二节点读取的待迁移的数据的版本号小于缓存的操作版本号；所述第一节点丢弃从所述第二节点读取的待迁移的数据。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一节点从至少一个第三节点中读取与所述待迁移的数据属于同一个第一业务的数据的版本号，包括：所述第一节点从所述至少一个第三节点中确定处于可信状态的节点，所述可信状态为存储所述第一业务的数据的磁盘未发生故障、且存储所述第一业务的数据的磁盘上的数据是完整的；所述第一节点从所述处于可信状态的节点读取与所述待迁移的数据属于同一个第一业务的数据的版本号。6.根据权利要求1-5中任一项所述的方法，其特征在于，所述第一节点从至少一个第三节点中读取与所述待迁移的数据属于同一个第一业务的数据的版本号，包括：所述第一节点从所述至少一个第三节点中确定处于可信状态的节点，所述可信状态为存储所述第一业务的数据的磁盘未发生故障、且存储所述第一业务的数据的磁盘上的数据是完整的；所述第一节点从所述处于可信状态的节点中确定负载最小的节点；所述第一节点从所述负载最小的节点读取与所述待迁移的数据属于同一个第一业务的数据的版本号。7.一种数据迁移装置，其特征在于，包括通信接口和处理器，其中：在第二节点通过所述通信接口向所述装置迁移数据的过程中，所述处理器通过所述通信接口从所述第二节点读取待迁移的数据、所述待...

【专利技术属性】
技术研发人员：王英，
申请(专利权)人：成都华为技术有限公司，
类型：发明
国别省市：四川,51