数据迁移处理方法、装置及系统制造方法及图纸

本发明专利技术实施例提供一种数据迁移处理方法、装置及系统，该方法包括：迁出节点确定待迁移数据和与待迁移数据对应的数据索引；迁出节点将待迁移数据和与待迁移数据对应的数据索引迁移到迁入节点。本发明专利技术的技术方案，可以实现减少迁入节点在数据迁移过程中磁盘的I/O操作，提高分布式存储系统中数据迁移的效率，进而提高分布式存储系统的性能。

【技术实现步骤摘要】
数据迁移处理方法、装置及系统
本专利技术实施例涉及通信技术，尤其涉及一种数据迁移处理方法、装置及系统。
技术介绍
关键字-对象值（Key-Value)类型的分布式数据存储系统中多个key组成的集合 称为区间（range)每个节点负责全部keyrange中的一部分range,如果有新节点加入或者 负载均衡时需要对集群中各个节点负责的range进行重新分配，即进行range的切分和该 range负责的数据的迁移。 然而，现有技术存在进行数据迁移的效率较低的问题，进而影响分布式存储系统 的性能。
技术实现思路
本专利技术实施例提供一种数据迁移处理方法、装置及系统，用以提高分布式存储系 统中数据迁移的效率，进而提高分布式存储系统的性能。 本专利技术第一方面，提供一种数据迁移处理方法，包括： 迁出节点确定待迁移数据和与所述待迁移数据对应的数据索引； 所述迁出节点将所述待迁移数据和与所述待迁移数据对应的数据索引迁移到迁 入节点。 在第一方面的第一种可能的实现方式中，所述迁出节点将所述待迁移数据和与所 述待迁移数据对应的数据索引迁移到迁入节点，包括： 所述迁出节点将所述待迁移数据迁移到所述迁入节点； 所述迁出节点将所述待迁移数据对应的数据索引迁移到迁入节点。 根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，所述迁出节点将所述待迁移数据对应的数据索引迁移到迁入节点之前，还包括： 所述迁出节点确定所述待迁移数据发生更新； 所述迁出节点将更新的数据同步到所述迁入节点； 所述迁出节点更新与更新后的待迁移数据对应的数据索引； 所述迁出节点将所述待迁移数据对应的数据索引迁移到迁入节点，包括： 所述迁出节点将与更新后的待迁移数据对应的更新后的数据索引迁移到迁入节 点。 根据第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式 中，所述迁出节点更新与更新后的待迁移数据对应的数据索引，包括： 所述迁出节点在接收到所述迁入节点发送的同步数据成功接收响应之后，更新与 更新后的待迁移数据对应的数据索引。 结合第一方面或第一方面的第一种至第三种可能的实现方式中任意一种，在第一 方面的第四种可能的实现方式中，所述迁出节点确定待迁移数据和与所述待迁移数据对应 的数据索引，包括： 所述迁出节点根据待迁移区间中的关键字确定待迁移数据； 所述迁出节点根据待迁移区间中的关键字从数据索引库中过滤得到与所述待迁 移数据对应的索引数据。 根据第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式 中，所述迁出节点根据待迁移区间中的关键字从数据索引库中过滤得到与所述待迁移数据 对应的索引数据之前，还包括： 所述迁出节点确定所述数据索引库是否处于维护状态； 若是，则所述迁出节点向所述迁入节点发送第一指示信息，所述第一指示信息用 于指示所述迁入节点在所述待迁移数据迁移完成之后自行创建与所述待迁移数据对应的 索引数据； 若否，则所述迁出节点向所述迁入节点发送第二指示信息，所述第二指示信息用 于指示所述迁入节点等待接收与所述待迁移数据对应的索引数据。 本专利技术第二方面，提供一种数据迁移处理方法，包括： 迁入节点接收迁出节点发送的待迁移数据和与所述待迁移数据对应的数据索 引； 所述迁入节点根据待迁移数据和与所述待迁移数据对应的数据索引更新本地数 据和与所述本地数据对应的数据索引。 在第二方面的第一种可能的实现方式中，所述迁入节点接收迁出节点发送的待迁 移数据和与所述待迁移数据对应的数据索引，包括： 所述迁入节点接收所述迁出节点发送的所述待迁移数据； 所述迁入节点接收所述迁出节点发送的所述待迁移数据对应的数据索引。 根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，所述迁入节点接收所述迁出节点发送的所述待迁移数据对应的数据索引之前，还包 括： 所述迁入节点接收所述迁出节点发送的更新的数据； 所述迁入节点接收所述迁出节点发送的所述待迁移数据对应的数据索引，包括： 所述迁入节点接收所述迁出节点发送的与更新后的待迁移数据对应的更新后的 数据索引。 根据第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式 中，所述迁入节点接收所述迁出节点发送的与更新后的待迁移数据对应的更新后的数据索 引之前，还包括： 所述迁入节点向所述迁出节点发送同步数据成功接收响应，以使所述迁出节点更 新与更新后的待迁移数据对应的数据索引。 结合第二方面或第二方面的第一种至第三种可能的实现方式中任意一种，在第二 方面的第四种可能的实现方式中，所述迁入节点接收所述迁出节点发送的所述待迁移数据 对应的数据索引之前，还包括： 若所述迁入节点接收到所述迁出节点发送的第一指示信息，则所述迁入节点在所 述待迁移数据接收完成之后自行创建与所述待迁移数据对应的索引数据； 若所述迁入节点接收到所述迁出节点发送的第二指示信息，则所述迁入节点等待 接收与所述待迁移数据对应的索引数据。 本专利技术第三方面，提供一种迁出节点，包括： 确定模块，用于确定待迁移数据和与所述待迁移数据对应的数据索引； 迁移模块，用于将所述待迁移数据和与所述待迁移数据对应的数据索引迁移到迁 入节点。 在第三方面的第一种可能的实现方式中，所述迁移模块，具体用于： 将所述待迁移数据迁移到所述迁入节点； 将所述待迁移数据对应的数据索引迁移到迁入节点。 根据第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式 中，所述迁移模块，还用于：在将所述待迁移数据对应的数据索引迁移到迁入节点之前，确 定所述待迁移数据发生更新； 所述迁移模块，还用于将更新的数据同步到所述迁入节点； 所述迁出节点，还包括： 更新模块，用于更新与更新后的待迁移数据对应的数据索引； 所述迁移模块，还用于： 将与更新后的待迁移数据对应的更新后的数据索引迁移到迁入节点。 根据第三方面的第二种可能的实现方式，在第三方面的第三种可能的实现方式 中，所述更新模块，还用于： 所述迁出节点在接收到所述迁入节点发送的同步数据成功接收响应之后，更新与 更新后的待迁移数据对应的数据索引。 结合第三方面或第三方面的第一种至第三种可能的实现方式中任意一种，在第三 方面的第四种可能的实现方式中，所述确定模块，具体用于： 根据待迁移区间中的关键字确定待迁移数据； 根据待迁移区间中的关键字从数据索引库中过滤得到与所述待迁移数据对应的 索引数据。 根据第三方面的第四种可能的实现方式，在第三方面的第五种可能的实现方式 中，所述迁出节点，还包括：发送模块； 所述确定模块，还用于在根据待迁移区间中的关键字从数据索引库中过滤得到与 所述待迁移数据对应的索引数据之前，确定所述数据索引库是否处于维护状态； 若是，则所述发送模块向所述迁入节点发送第一指示信息，所述第一指示信息用 于指示所述迁入节点在所述待迁移数据迁移完成之后自行创建与所述待迁移数据对应的 索引数据； 若否，则所述发送模块向本文档来自技高网...

【技术保护点】
一种数据迁移处理方法，其特征在于，包括：迁出节点确定待迁移数据和与所述待迁移数据对应的数据索引；所述迁出节点将所述待迁移数据和与所述待迁移数据对应的数据索引迁移到迁入节点。

【技术特征摘要】
1. 一种数据迁移处理方法，其特征在于，包括： 迁出节点确定待迁移数据和与所述待迁移数据对应的数据索引； 所述迁出节点将所述待迁移数据和与所述待迁移数据对应的数据索引迁移到迁入节 点。2. 根据权利要求1所述的方法，其特征在于，所述迁出节点将所述待迁移数据和与所 述待迁移数据对应的数据索引迁移到迁入节点，包括： 所述迁出节点将所述待迁移数据迁移到所述迁入节点； 所述迁出节点将所述待迁移数据对应的数据索引迁移到迁入节点。3. 根据权利要求2所述的方法，其特征在于，所述迁出节点将所述待迁移数据对应的 数据索引迁移到迁入节点之前，还包括： 所述迁出节点确定所述待迁移数据发生更新； 所述迁出节点将更新的数据同步到所述迁入节点； 所述迁出节点更新与更新后的待迁移数据对应的数据索引； 所述迁出节点将所述待迁移数据对应的数据索引迁移到迁入节点，包括： 所述迁出节点将与更新后的待迁移数据对应的更新后的数据索引迁移到迁入节点。4. 根据权利要求3所述的方法，其特征在于，所述迁出节点更新与更新后的待迁移数 据对应的数据索引，包括： 所述迁出节点在接收到所述迁入节点发送的同步数据成功接收响应之后，更新与更新 后的待迁移数据对应的数据索引。5. 根据权利要求1?4任一项所述的方法，其特征在于，所述迁出节点确定待迁移数据 和与所述待迁移数据对应的数据索引，包括： 所述迁出节点根据待迁移区间中的关键字确定待迁移数据； 所述迁出节点根据待迁移区间中的关键字从数据索引库中过滤得到与所述待迁移数 据对应的索引数据。6. 根据权利要求5所述的方法，其特征在于，所述迁出节点根据待迁移区间中的关键 字从数据索引库中过滤得到与所述待迁移数据对应的索引数据之前，还包括： 所述迁出节点确定所述数据索引库是否处于维护状态； 若是，则所述迁出节点向所述迁入节点发送第一指示信息，所述第一指示信息用于指 示所述迁入节点在所述待迁移数据迁移完成之后自行创建与所述待迁移数据对应的索引 数据； 若否，则所述迁出节点向所述迁入节点发送第二指示信息，所述第二指示信息用于指 示所述迁入节点等待接收与所述待迁移数据对应的索引数据。7. -种数据迁移处理方法，其特征在于，包括： 迁入节点接收迁出节点发送的待迁移数据和与所述待迁移数据对应的数据索引； 所述迁入节点根据待迁移数据和与所述待迁移数据对应的数据索引更新本地数据和 与所述本地数据对应的数据索引。8. 根据权利要求7所述的方法，其特征在于，所述迁入节点接收迁出节点发送的待迁 移数据和与所述待迁移数据对应的数据索引，包括： 所述迁入节点接收所述迁出节点发送的所述待迁移数据； 所述迁入节点接收所述迁出节点发送的所述待迁移数据对应的数据索引。9. 根据权利要求8所述的方法，其特征在于，所述迁入节点接收所述迁出节点发送的 所述待迁移数据对应的数据索引之前，还包括： 所述迁入节点接收所述迁出节点发送的更新的数据； 所述迁入节点接收所述迁出节点发送的所述待迁移数据对应的数据索引，包括： 所述迁入节点接收所述迁出节点发送的与更新后的待迁移数据对应的更新后的数据 索引。10. 根据权利要求9所述的方法，其特征在于，所述迁入节点接收所述迁出节点发送的 与更新后的待迁移数据对应的更新后的数据索引之前，还包括： 所述迁入节点向所述迁出节点发送同步数据成功接收响应，W使所述迁出节点更新与 更新后的待迁移数据对应的数据索引。11. 根据权利要求8-10中任一项所述的方法，其特征在于，所述迁入节点接收所述迁 出节点发送的所述待迁移数据对应的数据索引之前，还包括： 若所述迁入节点接收到所述迁出节点发送的第一指示信息，则所述迁入节点在所述待 迁移数据接收完成之后自行创建与所述待迁移数据对应的索引数据； 若所述迁入节点接...

【专利技术属性】
技术研发人员：李勇，王铁英，鲁水锋，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44