面向低轨星座存储网络的分布式编码数据下载与修复方法技术

本发明专利技术涉及卫星数据处理领域，特别涉及一种面向低轨星座存储网络的分布式编码数据下载与修复方法。本发明专利技术根据已知的巨星座网络拓扑，结合Hadoop分布式文件系统和软件定义网络，建立卫星编码存储网络模型。然后分别对下载和修复任务的时延进行分析，建立任务完成时延公式并提出优化问题。在单个任务的情况下通过设计资源约束下的任务流量调度策略，结合路径选择策略和节点选择策略，平衡各卫星的路径传播时延和数据传输时延，避免由于部分卫星时延太大而使整个网络时延增加，有效降低网络整体的任务完成时延。同时执行多个任务时，通过构建二分图模型实现最大流算法，达到负载的近似均衡，再结合任务流量调度策略，有效降低卫星网络的任务完成时延。星网络的任务完成时延。星网络的任务完成时延。

【技术实现步骤摘要】
面向低轨星座存储网络的分布式编码数据下载与修复方法


[0001]本专利技术涉及卫星数据处理领域，特别涉及一种面向低轨星座存储网络的分布式编码数据下载与修复方法。

技术介绍

[0002]随着空天地一体化的发展，地面和卫星网络之间的整合被视为进一步增强网络能力的一种潜在方法，构建卫星地面网络成为未来网络发展的主流趋势。低轨宽带星座具有大容量、高速率、全覆盖等特点，是构建新一代泛在通信与服务一体化网络的重要基础设施。随着卫星应用技术的快速发展，全球低轨星座的数量将极速激增至数万颗之多，巨星座的部署规划已成为全球互联网商业与国家网络强国战略的热点问题。软件定义网络(Software Defined Network,SDN)等新兴技术依赖于可编程和可重构概念，预计将在这方面发挥重要作用。引入SDN范式的未来巨星座网络将数据层与控制层分离，其中控制逻辑放在可编程SDN控制器上。而随着卫星网络应用场景的不断增加以及现代人们数据需求的不断增长，星上的数据量也呈爆发式增长，同时，受复杂空间环境的影响，卫星极易损坏，对星上采用的存储系统提出了极大的挑战。
[0003]分布式存储是一种新的数据存储技术，它将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备。相比于传统的数据存储系统，分布式存储系统采用可扩展的系统结构，使用多个存储服务器来分配存储负载，这不仅提高了系统访问的可靠性和可用性，还有利于系统的扩展，满足当前数据量激增面临的存储需求和卫星网络的分布特性。同时，分布式存储系统为了保障数据不丢失，主要采用复制和纠删码(Erasure Code,EC)两种方式进行数据存储。复制主要是将原始数据复制多个副本，把不同的副本存入不同节点，一旦有节点发生损坏，可以从其他节点中获取数据进行修复，以达到容错的目的。复制策略采用连续布局的方式存储数据，这种存储方式会将数据依次写入每个块中，即一个块写满之后再写入下一个块，每个数据块复制成多份，然后存到不同的节点中，当有节点发生损坏的时候，可以从其他的节点中获取数据进行修复。这种容错策略虽然能有效防止数据出错，但存储效率极低，尤其是在大数据存储的系统中，大大增加了存储开销。因此，越来越多的存储系统开始采用纠删码的策略实现容错，其中最常用的是Reed
‑
Solomon(RS)码。一个参数为(n,k)的RS码能够将文件均分成k个数据块，通过编码矩阵，得到额外的n
‑
k个校验块，然后将这n个块存储到不同集群的节点中，其中任一数据块丢失，都能通过连接剩余任意k个正常工作节点进行恢复，并且最大可容许n
‑
k个数据块丢失。这种策略大大提高了系统的存储效率。RS码弃用之前的连续布局方式，改为条带化存储。这种布局方式将块分成更小的单元，一个条带由n个相同大小的单元构成，数据被依次写入条带的各个单元中，当一个条带被写满之后就写入下一个条带，一个条带的不同单元属于不同的数据块。进行数据传输时，按条带进行传输。
[0004]巨星座网络中拥有的大量具备存储能力的分散节点和高速互联的星间通信链路，为分布式编码的合理应用提供了可行契机，而卫星编码存储系统对任务完成的时延往往有
着很高的要求，因此，解决分布式存储系统与卫星网络的适配性问题是必要的。

技术实现思路

[0005]本专利技术提供一种面向低轨星座存储网络的分布式编码数据下载与修复方法，旨在解决分布式存储系统与卫星网络的适配性问题。
[0006]本专利技术提供一种面向低轨星座存储网络的分布式编码数据下载与修复方法，所述任务流量调度方法针对卫星编码存储网络系统，所述卫星编码存储网络系统包括卫星网络拓扑、Hadoop分布式文件系统、软件定义网络，所述软件定义网络分别与卫星网络拓扑、Hadoop分布式文件系统建立通讯，所述Hadoop分布式文件系统与卫星网络拓扑建立通讯；
[0007]所述任务流量调度方法包括以下步骤：
[0008]S1.构建卫星网络拓扑图G＝(V,E)，V为卫星节点的集合，E为图中的边；
[0009]S2.从卫星网络拓扑的n个数据存储节点中选出k个源节点进行数据传输，计算得到各节点到目的节点的最短距离以及此距离下的所有最短路径，并计算得到卫星网络拓扑的任务完成总时延τ；
[0010]S3.将任务总带宽分给各源节点(不参与任务的节点占用任务带宽为0)，每次迭代通过最大最小公平算法，为时延最大的节点增加带宽，时延最小的节点减小带宽，直至τ
max
‑
τ
min
＜ε，其中τ
max
为最大时延，τ
min
为最小时延，ε为最大时延差；
[0011]S4.将节点按分配好的带宽排序，先为带宽最大的节点选择链路中流量最小的路径并设置链路流量，若流量仍大于容量，则以容量为总带宽，并重新为经过这条链路的节点分配带宽。
[0012]作为本专利技术的进一步改进，所述步骤S2中，卫星网络拓扑的任务完成总时延τ取决于网络中最慢的卫星节点的时延，总时延τ表示为：
[0013][0014]其中，为各节点的传播时延，为各节点的传输时延。
[0015]作为本专利技术的进一步改进，各节点的传播时延表示为：
[0016][0017]其中，d
i,r
为节点i和目的节点r之间的最短距离；s
i
为节点i的条带数量；r为目的节点；c为光速，m/s。
[0018]作为本专利技术的进一步改进，各节点的传输时延取决于其承担的任务量以及被分配的带宽，表示为：
[0019][0020]其中，D
i
为节点i传输的数据量，MB；B
i
为节点i的带宽，MB/s。
[0021]作为本专利技术的进一步改进，所述步骤S2中，对于单个下载任务，目的节点即为发起下载请求的节点，从对应的n个节点中选出k个源节点进行数据传输，各节点需要传输的数据量和条带数相同，且下载任务的完成时延为取决于其中最慢的节点，其优化问题为：
[0022][0023][0024][0025][0026]其中，d
i,r
为节点i和目的节点r之间的最短距离；s为节点的条带数量；r为目的节点；c为光速，m/s；D为节点传输的数据量，MB；B
i
为节点i的带宽，MB/s；V
k
为k个执行任务的节点；B为总带宽资源，MB/s；C
e
为链路容量，MB/s；f
e
为链路流量，MB/s；e∈E表示卫星间链路；N为卫星总数。
[0027]作为本专利技术的进一步改进，所述步骤S2中，对于单个修复任务，即为将死亡节点上的数据修复到目的节点，从空闲节点选出存活的节点，再从存活的节点中选择k个节点将数据传给目的节点，使修复时延最小的节点为最优选择，其优化问题为：
[0028][0029][0030][0031][0032]其中，d
i,r
为节点i和目的节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述任务流量调度方法针对卫星编码存储网络系统，所述卫星编码存储网络系统包括卫星网络拓扑、Hadoop分布式文件系统、软件定义网络，所述软件定义网络分别与卫星网络拓扑、Hadoop分布式文件系统建立通讯，所述Hadoop分布式文件系统与卫星网络拓扑建立通讯；所述任务流量调度方法包括以下步骤：S1.构建卫星网络拓扑图G＝(V,E)，V为卫星节点的集合，E为图中的边；S2.从卫星网络拓扑的n个数据存储节点中选出k个源节点进行数据传输，计算得到各节点到目的节点的最短距离以及此距离下的所有最短路径，并计算得到卫星网络拓扑的任务完成总时延τ；S3.将任务总带宽分给各源节点，每次迭代通过最大最小公平算法，为时延最大的节点增加带宽，时延最小的节点减小带宽，直至τ
max
‑
τ
min
＜ε，其中τ
max
为最大时延，τ
min
为最小时延，ε为最大时延差；S4.将节点按分配好的带宽排序，先为带宽最大的节点选择链路中流量最小的路径并设置链路流量，若流量仍大于容量，则以容量为总带宽，并重新为经过这条链路的节点分配带宽。2.根据权利要求1所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述步骤S2中，卫星网络拓扑的任务完成总时延τ取决于网络中最慢的卫星节点的时延，总时延τ表示为：其中，为各节点的传播时延，为各节点的传输时延。3.根据权利要求2所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，各节点的传播时延表示为：其中，d
i,r
为节点i和目的节点r之间的最短距离；s
i
为节点i的条带数量；r为目的节点；c为光速，m/s。4.根据权利要求2所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，各节点的传输时延取决于其承担的任务量以及被分配的带宽，表示为：其中，D
i
为节点i传输的数据量，MB；B
i
为节点i的带宽，MB/s。5.根据权利要求1所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述步骤S2中，对于单个下载任务，目的节点即为发起下载请求的节点，从对应的n个节点中选出k个源节点进行数据传输，各节点需要传输的数据量和条带数相同，且下载任务的完成时延为取决于其中最慢的节点，其优化问题为：
其中，d
i,r
为节点i和目的节点r之间的最短距离；s为节点的条带数量；r为目的节点；c为光速，m/s；D为节点传输的数据量，MB；B
i
为节点i的带宽，MB/s；V
k
为k个执行任务的节点；B为总带宽资源，MB/s；C
e
...

【专利技术属性】
技术研发人员：顾术实，张智凯，张瑞，李树茂，张钦宇，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：