【技术实现步骤摘要】
一种分布式存储数据迁移方法和装置
本专利技术涉及数据迁移领域，更具体地，特别是指一种分布式存储数据迁移方法和装置。
技术介绍
传统数据的迁移，通常得依赖迁出端和迁入端持续性的双向沟通以及中间节点对信息简单的存储与转发：首先迁出端的文件是以多个小数据包的形式进行传输的，一个文件被简单粗暴地切割成多个数据包大小的片段，迁出端对它们编码后将这些带有信息的封包经过中间节点，中间节点对需要转发传输的信息不进行任何处理到直接转发到接收端。然而，这种传统方法均达不到网络组播传输的理论最大容量，且成功与否取决于接收端在收到每个封包时对其进行的评估，如果该封包可以被解码，则传送一个确认给迁出端；反之，丢弃毁坏的封包，并传送请求让迁出端再次发送该封包。例如，普遍使用的TCP/IP用重传机制来保证传输的可靠性。但是在很多情况下，TCP/IP协议并不适用，如点到多点传输，或在严重损坏的信道上进行传输(质量很差的无线或卫星链路)。反馈重传在传输距离太长或网络组播情况下出现“反馈风暴”的时候传输效率及可靠性(丢包)都很差。针对现有技术中...
【技术保护点】
1.一种分布式存储数据迁移方法，其特征在于，包括执行以下步骤：/n响应于监控到触发分布式存储集群迁移事件而确定待迁移数据、迁入节点、和迁出节点；/n基于所述迁入节点和所述迁出节点在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；/n由所述迁入节点对所述待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个所述中间节点中的首中间节点；/n由所述首中间节点对所述数据包执行网络编码并通过所述迁移路径发送到多个所述中间节点中的尾中间节点执行网络解码以还原所述数据包；/n由所述尾中间节点将还原后的所述数据包发送到所述迁出节点并依次...
【技术特征摘要】
1.一种分布式存储数据迁移方法，其特征在于，包括执行以下步骤：
响应于监控到触发分布式存储集群迁移事件而确定待迁移数据、迁入节点、和迁出节点；
基于所述迁入节点和所述迁出节点在分布式存储的网络拓扑中的位置进一步确定形成迁移路径的多个中间节点；
由所述迁入节点对所述待迁移数据依次执行包括霍夫曼编码的信源编码和包括喷泉码的信道编码，并以数据包形式发送到多个所述中间节点中的首中间节点；
由所述首中间节点对所述数据包执行网络编码并通过所述迁移路径发送到多个所述中间节点中的尾中间节点执行网络解码以还原所述数据包；
由所述尾中间节点将还原后的所述数据包发送到所述迁出节点并依次执行包括喷泉码的信道解码和包括霍夫曼编码的信源解码以还原所述待迁移数据。
2.根据权利要求1所述的方法，其特征在于，所述分布式存储集群迁移事件包括：存在任意节点发生故障、扩容、或缩容事件，和/或在所有节点均未发生故障、扩容、或缩容期间周期性触发的迁移扫描事件。
3.根据权利要求2所述的方法，其特征在于，确定待迁移数据、嵌入节点、和迁出节点包括：
将发生故障事件的节点确定为所述迁出节点，将所述迁出节点中的所有数据确定为所述待迁移数据；或将发生缩容事件的节点确定为所述迁出节点，将所述迁出节点中的与缩容量相匹配的数据确定为所述待迁移数据；或将发生扩容事件的节点确定为所述迁入节点。
4.根据权利要求2所述的方法，其特征在于，所述周期性触发包括：使用基于分布式存储的业务总量而确定的周期而执行周期性触发、或基于预先设定的固定阈值周期而执行周期性触发。
5.根据权利要求1所述的方法，其特征在于，对所述待迁移数据依次执行包括霍夫曼编码的信源编码包括：
对所述待迁移数据执行包括霍夫曼编码的信源编码以使所述待迁移数据从第一数据尺寸变化为小于所述第一数据尺寸的第二数据尺寸。
6.根据权利要求1所述的方法，其特征在于，对所述待迁移数据执行包括喷泉码的信道编码包括：
基于信号的保真程度测试或推断确定预期丢包率；
基于所述预期丢包率生成包含冗余信息的多个编码分组，其中所述多个编码分组中的所述待迁移数据信息量与所述预期丢包率之积大于所述待迁移数据的全部信息量。
7.根据权利要求1所述的方法，其特征在于，从所述首中间节点到所述尾中间节点之间的所...
【专利技术属性】
技术研发人员：王永坤，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。