一种分布式存储数据迁移方法和装置制造方法及图纸

本发明专利技术公开了一种分布式存储数据迁移方法和装置，方法包括：确定待迁移数据、迁入节点、和迁出节点；在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；由迁入节点对待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个中间节点中的首中间节点；由首中间节点对数据包执行网络编码并通过迁移路径发送到多个中间节点中的尾中间节点执行网络解码以还原数据包；由尾中间节点将还原后的数据包发送到迁出节点并依次执行包括喷泉码的信道解码和包括霍夫曼编码的信源解码以还原待迁移数据。本发明专利技术能够避免反馈重传、兼容低质量信道、适用于点到多点传输、进而提高传输效率和可靠性。

【技术实现步骤摘要】
一种分布式存储数据迁移方法和装置
本专利技术涉及数据迁移领域，更具体地，特别是指一种分布式存储数据迁移方法和装置。
技术介绍
传统数据的迁移，通常得依赖迁出端和迁入端持续性的双向沟通以及中间节点对信息简单的存储与转发：首先迁出端的文件是以多个小数据包的形式进行传输的，一个文件被简单粗暴地切割成多个数据包大小的片段，迁出端对它们编码后将这些带有信息的封包经过中间节点，中间节点对需要转发传输的信息不进行任何处理到直接转发到接收端。然而，这种传统方法均达不到网络组播传输的理论最大容量，且成功与否取决于接收端在收到每个封包时对其进行的评估，如果该封包可以被解码，则传送一个确认给迁出端；反之，丢弃毁坏的封包，并传送请求让迁出端再次发送该封包。例如，普遍使用的TCP/IP用重传机制来保证传输的可靠性。但是在很多情况下，TCP/IP协议并不适用，如点到多点传输，或在严重损坏的信道上进行传输(质量很差的无线或卫星链路)。反馈重传在传输距离太长或网络组播情况下出现“反馈风暴”的时候传输效率及可靠性(丢包)都很差。针对现有技术中分布式存储数据迁移对信道要求严苛、对点到多点传输不友好、传输效率和可靠性低的问题，目前尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种分布式存储数据迁移方法和装置，能够避免反馈重传、兼容低质量信道、适用于点到多点传输、进而提高传输效率和可靠性。基于上述目的，本专利技术实施例的第一方面提供了一种分布式存储数据迁移方法，包括执行以下步骤：r>响应于监控到触发分布式存储集群迁移事件而确定待迁移数据、迁入节点、和迁出节点；基于迁入节点和迁出节点在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；由迁入节点对待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个中间节点中的首中间节点；由首中间节点对数据包执行网络编码并通过迁移路径发送到多个中间节点中的尾中间节点执行网络解码以还原数据包；由尾中间节点将还原后的数据包发送到迁出节点并依次执行包括喷泉码的信道解码和包括霍夫曼编码的信源解码以还原待迁移数据。在一些实施方式中，分布式存储集群迁移事件包括：存在任意节点发生故障、扩容、或缩容事件，和/或在所有节点均未发生故障、扩容、或缩容期间周期性触发的迁移扫描事件。在一些实施方式中，确定待迁移数据、嵌入节点、和迁出节点包括：将发生故障事件的节点确定为迁出节点，将迁出节点中的所有数据确定为待迁移数据；或将发生缩容事件的节点确定为迁出节点，将迁出节点中的与缩容量相匹配的数据确定为待迁移数据；或将发生扩容事件的节点确定为迁入节点。在一些实施方式中，周期性触发包括：使用基于分布式存储的业务总量而确定的周期而执行周期性触发、或基于预先设定的固定阈值周期而执行周期性触发。在一些实施方式中，对待迁移数据依次执行包括霍夫曼编码的信源编码包括：对待迁移数据执行包括霍夫曼编码的信源编码以使待迁移数据从第一数据尺寸变化为小于第一数据尺寸的第二数据尺寸。在一些实施方式中，对待迁移数据执行包括喷泉码的信道编码包括：基于信号的保真程度测试或推断确定预期丢包率；基于预期丢包率生成包含冗余信息的多个编码分组，其中多个编码分组中的待迁移数据信息量与预期丢包率之积大于待迁移数据的全部信息量。在一些实施方式中，从首中间节点到尾中间节点之间的迁移路径使用不同于从迁出节点到首中间节点、和从尾中间节点到迁入节点的通信信道；对数据包执行网络编码包括：对数据包执行网络编码以使数据包以适于在迁移路径的通信信道传输的方式来通过迁移路径。基于上述目的，本专利技术实施例的第二方面提供了一种分布式存储数据迁移装置，包括：处理器；和存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：响应于监控到触发分布式存储集群迁移事件而确定待迁移数据、迁入节点、和迁出节点；基于迁入节点和迁出节点在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；由迁入节点对待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个中间节点中的首中间节点；由首中间节点对数据包执行网络编码并通过迁移路径发送到多个中间节点中的尾中间节点执行网络解码以还原数据包；由尾中间节点将还原后的数据包发送到迁出节点并依次执行包括喷泉码的信道解码和包括霍夫曼编码的信源解码以还原待迁移数据。在一些实施方式中，分布式存储集群迁移事件包括：存在任意节点发生故障、扩容、或缩容事件，和/或在所有节点均未发生故障、扩容、或缩容期间周期性触发的迁移扫描事件；确定待迁移数据、嵌入节点、和迁出节点包括：将发生故障事件的节点确定为迁出节点，将迁出节点中的所有数据确定为待迁移数据；或将发生缩容事件的节点确定为迁出节点，将迁出节点中的与缩容量相匹配的数据确定为待迁移数据；或将发生扩容事件的节点确定为迁入节点。在一些实施方式中，对待迁移数据执行包括喷泉码的信道编码包括：基于信号的保真程度测试或推断确定预期丢包率；基于预期丢包率生成包含冗余信息的多个编码分组，其中多个编码分组中的待迁移数据信息量与预期丢包率之积大于待迁移数据的全部信息量；从首中间节点到尾中间节点之间的迁移路径使用不同于从迁出节点到首中间节点、和从尾中间节点到迁入节点的通信信道；对数据包执行网络编码包括：对数据包执行网络编码以使数据包以适于在迁移路径的通信信道传输的方式来通过迁移路径。本专利技术具有以下有益技术效果：本专利技术实施例提供的分布式存储数据迁移方法和装置，通过响应于监控到触发分布式存储集群迁移事件而确定待迁移数据、迁入节点、和迁出节点；基于迁入节点和迁出节点在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；由迁入节点对待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个中间节点中的首中间节点；由首中间节点对数据包执行网络编码并通过迁移路径发送到多个中间节点中的尾中间节点执行网络解码以还原数据包；由尾中间节点将还原后的数据包发送到迁出节点并依次执行包括喷泉码的信道解码和包括霍夫曼编码的信源解码以还原待迁移数据的技术方案，能够避免反馈重传、兼容低质量信道、适用于点到多点传输、进而提高传输效率和可靠性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的分布式存储数据迁移方法的流程示意图；图2为本专利技术提供的分布式存储数据迁移方法的详细流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下本文档来自技高网...

【技术保护点】
1.一种分布式存储数据迁移方法，其特征在于，包括执行以下步骤：/n响应于监控到触发分布式存储集群迁移事件而确定待迁移数据、迁入节点、和迁出节点；/n基于所述迁入节点和所述迁出节点在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；/n由所述迁入节点对所述待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个所述中间节点中的首中间节点；/n由所述首中间节点对所述数据包执行网络编码并通过所述迁移路径发送到多个所述中间节点中的尾中间节点执行网络解码以还原所述数据包；/n由所述尾中间节点将还原后的所述数据包发送到所述迁出节点并依次执行包括喷泉码的信道解码和包括霍夫曼编码的信源解码以还原所述待迁移数据。/n

【技术特征摘要】
1.一种分布式存储数据迁移方法，其特征在于，包括执行以下步骤：
响应于监控到触发分布式存储集群迁移事件而确定待迁移数据、迁入节点、和迁出节点；
基于所述迁入节点和所述迁出节点在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；
由所述迁入节点对所述待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个所述中间节点中的首中间节点；
由所述首中间节点对所述数据包执行网络编码并通过所述迁移路径发送到多个所述中间节点中的尾中间节点执行网络解码以还原所述数据包；
由所述尾中间节点将还原后的所述数据包发送到所述迁出节点并依次执行包括喷泉码的信道解码和包括霍夫曼编码的信源解码以还原所述待迁移数据。


2.根据权利要求1所述的方法，其特征在于，所述分布式存储集群迁移事件包括：存在任意节点发生故障、扩容、或缩容事件，和/或在所有节点均未发生故障、扩容、或缩容期间周期性触发的迁移扫描事件。


3.根据权利要求2所述的方法，其特征在于，确定待迁移数据、嵌入节点、和迁出节点包括：
将发生故障事件的节点确定为所述迁出节点，将所述迁出节点中的所有数据确定为所述待迁移数据；或将发生缩容事件的节点确定为所述迁出节点，将所述迁出节点中的与缩容量相匹配的数据确定为所述待迁移数据；或将发生扩容事件的节点确定为所述迁入节点。


4.根据权利要求2所述的方法，其特征在于，所述周期性触发包括：使用基于分布式存储的业务总量而确定的周期而执行周期性触发、或基于预先设定的固定阈值周期而执行周期性触发。


5.根据权利要求1所述的方法，其特征在于，对所述待迁移数据依次执行包括霍夫曼编码的信源编码包括：
对所述待迁移数据执行包括霍夫曼编码的信源编码以使所述待迁移数据从第一数据尺寸变化为小于所述第一数据尺寸的第二数据尺寸。


6.根据权利要求1所述的方法，其特征在于，对所述待迁移数据执行包括喷泉码的信道编码包括：
基于信号的保真程度测试或推断确定预期丢包率；
基于所述预期丢包率生成包含冗余信息的多个编码分组，其中所述多个编码分组中的所述待迁移数据信息量与所述预期丢包率之积大于所述待迁移数据的全部信息量。


7.根据权利要求1所述的方法，其特征在于，从所述首中间节点到所述尾中间节点之间的所...

【专利技术属性】
技术研发人员：王永坤，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32