面向低轨卫星网络的分布式计算数据流调度与路由方法技术

本发明专利技术适用于信息通讯技术改进领域，提供了一种面向低轨卫星网络的分布式计算数据流调度与路由方法，包括：S1、基于SDN构建卫星分布式计算框架并利用卫星仿真软件仿真巨星座卫星轨道且获取卫星网络模型；S2、根据获取卫星网络模型利用Mininet建立起模拟卫星网络拓扑的虚拟化网络；S3、利用SDN控制器配置路由算法；S4、在卫星网络中的主机节点中配置分布式计算框架Hadoop并部署实际的计算任务，实现卫星分布式计算数据包级别的仿真。巨星座轨道的仿真获取低轨卫星网络模型，结合OpenFlow流表以及SDN控制器拓扑感知、集中控制的优势，提出网络拓扑的免泛洪路由建立机制，可以提高卫星网络信息的转发效率。网络信息的转发效率。网络信息的转发效率。

【技术实现步骤摘要】
面向低轨卫星网络的分布式计算数据流调度与路由方法


[0001]本专利技术属于信息通讯技术改进领域，尤其涉及面向低轨卫星网络的分布式计算数据流调度与路由方法。

技术介绍

[0002]近年来，随着星间链路(Inter
‑
Satellite Link,ISL)的广泛使用和在轨处理 (On
‑
board processing，OBP)的快速发展，使得利用高性能星载处理器与卫星间组网交换能力实现天基多源数据融合与在轨智能计算成为可能。因大容量、高速率、全覆盖等特点，低轨宽带星座正成为构建“网络无所不至，服务无处不在”的新一代泛在通信与服务一体化网络的重要基础设施。巨星座卫星覆盖范围广，能为偏远地区、无人地带、受灾区域等传统通信受限区域提供通信服务；另一方面，其星上处理能力可以作为地面网络的补充，吸收地面超载的流量，提高卫星通信服务的质量。这种通信与服务一体化的卫星网络利用星上处理能力来实现星间协作计算，避免将业务卸载在地面云计算中心，因为地面和卫星之间存在着严重的宽带限制，会给业务带来很大的时延问题。
[0003]对于星上处理的分布式计算作业而言，卫星节点间需要进行频繁的数据流交互，巨星座的网络性能将直接影响数据流的传输，从而影响在轨处理业务的性能。一个业务的分布式计算过程中，并发请求需求是不一样的。以最流行的分布式计算框架MapReduce为例，其计算过程分为三个阶段，即“映射”阶段(Map)、“洗牌”阶段(Shuffle)、“归约”阶段(Reduce)，如图1所示。Map阶段会产生大量中间数据，这些中间数据被送到Reduce 阶段所在节点会产生大量流量。Map、Reduce阶段主要是本地节点的并发请求；而Shuffle阶段主要是网络并发请求。Shuffle阶段会在短时间内产生大量并发数据流，被称为协同流(Coflow)。通常协同流会使Shuffle阶段的时间占据整个分布式计算作业运行时间的很大一部分，甚至超过50％。为了提高分布式计算作业的执行性能，减少协同流的完成时间是至关重要的。目前，针对地面数据中心中的分布式计算的协同流，一些协同流优化调度方法已经被提出。通常地面数据中心的网络模型被抽象为一个连接所有物理主机的巨大的非阻塞交换机，因此可以假设网络瓶颈只存在于最后一跳(进入Reducer节点的链路)和第一跳(从Mapper节点出来的链路)。这些面向数据中心网络的分布式计算的数据流调度方案缺乏对卫星网络条件的适配能力，缺乏卫星网络中异构的链路状态和网格状的多跳拓扑结构下高效调度策略。而在卫星网络中简单地使用传统的路由策略如最短路径 (Shortest Path,SP)路由算法或等价多路径(Equal Cost Multiple Path)路由算法，并不能适应分布式计算协同流所带来的问题。
[0004]因此，需要一种面向低轨卫星网络的分布式计算数据流的优化调度路由方法。

技术实现思路

[0005]本专利技术的目的在于提供面向低轨卫星网络的分布式计算数据流调度与路由方法，旨在解决上述的技术问题。
[0006]本专利技术是这样实现的，面向低轨卫星网络的分布式计算数据流调度与路由方法，所述面向低轨卫星网络的分布式计算数据流调度与路由方法包括以下步骤：
[0007]S1、基于SDN构建卫星分布式计算框架并利用卫星仿真软件(STK)仿真巨星座卫星轨道且获取卫星网络模型；
[0008]S2、根据获取卫星网络模型利用Mininet建立起模拟卫星网络拓扑的虚拟化网络；
[0009]S3、利用SDN控制器配置路由算法；
[0010]S4、在卫星网络中的主机节点(卫星节点)中配置分布式计算框架Hadoop并部署实际的计算任务，实现卫星分布式计算数据包级别的仿真。
[0011]本专利技术的进一步技术方案是：所述SDN控制器中通过APP解析直接计算路由实现无泛洪的点对点转发。
[0012]本专利技术的进一步技术方案是：所述SDN控制器中预先加载星座的星历和连接关系，当ARP包到达OpenFlow交换机时，在交换机的流表中搜索是否存在相应匹配的流条目，若不存在，通过不断的packet_in过程，建立完整的流表实现网络的联通。
[0013]本专利技术的进一步技术方案是：所述packet_in过程中通过packet_in消息发送到SDN控制，SDN控制器解析ARP包得到其源地址和目的地址，接着根据当前时刻的卫星连接关系计算源地址和目的地址之间的最短路径，再写入流表中，不断重复该过程直至建立完整的流表，建立完整流表后所述SDN控制器进入流量调度阶段，根据具体的数据流调度策略和网络状态，控制器不断更新流表。
[0014]本专利技术的进一步技术方案是：所述数据流调度策略中最小化带宽竞争的路由调度算法对问题进行表征，分析问题的输入、输出、约束条件及优化问题，依据优化问题给出求解算法。
[0015]本专利技术的进一步技术方案是：在分析问题的输入中分布式计算Shuffle阶段流量由多个并行流组成的集合，其完成时间由集合中最后一个流的完成时间确定，将该集合定义为协同流集合，表示为：
[0016]F＝{f
i
}＝{(s
i
，d
i
，v
i
)}，1≤i≤N，其中，f
i
表示为协同流的第i个流，s
i
表示该流的源节点，d
i
表示为该流的目的节点，v
i
表示为该流的数据卷。
[0017]本专利技术的进一步技术方案是：在分析问题的输出中根据输入的协同流可得到其每条流的路由计划，表示为P＝{p1，p2，...，p
N
}，其中，p即为P
i
，p
i
是flowf
i
选择的路由路径。
[0018]本专利技术的进一步技术方案是：在分析问题的约束条件中为保证路径唯一性引入一个整数二值变量X
i,p
，在p代表P
i
集合其中的一条路径，若flowf
i
路由计划p
i
使用的是路径p，则X
i,p
值为1，否则为0，由此可得出约束条件表达式为
[0019]本专利技术的进一步技术方案是：在分析问题的优化问题中通过最小化链路的带宽竞争来制定流的路由计划，依据引入二值变量确定所有路由计划，根据p
i
可以确定若e
uv
在路径p
i
上，则值为1，否则为0，将二值变量表示为根据二值变量获取新的每个流完成时间的t
i
公式：
建立最小化带宽竞争的路由调度的优化问题。
[0020]本专利技术的进一步技术方案是：在求解优化问题中通过协同流路由贪心调度算法获得，协同流路由贪心调度算法根据输入的卫星网络拓扑图G和协同流信息向量F，利用Dijkstra算法计算协同流中所有流的最短路径，并按照这些最短路径来初始化路由计划P；对于每条流f...

【技术保护点】

【技术特征摘要】
1.面向低轨卫星网络的分布式计算数据流调度与路由方法，其特征在于，所述面向低轨卫星网络的分布式计算数据流调度与路由方法包括以下步骤：S1、基于SDN构建卫星分布式计算框架并利用卫星仿真软件(STK)仿真巨星座卫星轨道且获取卫星网络模型；S2、根据获取卫星网络模型利用Mininet建立起模拟卫星网络拓扑的虚拟化网络；S3、利用SDN控制器配置路由算法；S4、在卫星网络中的主机节点(卫星节点)中配置分布式计算框架Hadoop并部署实际的计算任务，实现卫星分布式计算数据包级别的仿真。2.根据权利要求1所述的面向低轨卫星网络的分布式计算数据流调度与路由方法，其特征在于，所述SDN控制器中通过APP解析直接计算路由实现无泛洪的点对点转发。3.根据权利要求2所述的面向低轨卫星网络的分布式计算数据流调度与路由方法，其特征在于，所述SDN控制器中预先加载星座的星历和连接关系，当ARP包到达OpenFlow交换机时，在交换机的流表中搜索是否存在相应匹配的流条目，若不存在，通过不断的packet_in过程，建立完整的流表实现网络的联通。4.根据权利要求3所述的面向低轨卫星网络的分布式计算数据流调度与路由方法，其特征在于，所述packet_in过程中通过packet_in消息发送到SDN控制，SDN控制器解析ARP包得到其源地址和目的地址，接着根据当前时刻的卫星连接关系计算源地址和目的地址之间的最短路径，再写入流表中，不断重复该过程直至建立完整的流表，建立完整流表后所述SDN控制器进入流量调度阶段，根据具体的数据流调度策略和网络状态，控制器不断更新流表。5.根据权利要求4所述的面向低轨卫星网络的分布式计算数据流调度与路由方法，其特征在于，所述数据流调度策略中最小化带宽竞争的路由调度算法对问题进行表征，分析问题的输入、输出、约束条件及优化问题，依据优化问题给出求解算法。6.根据权利要求5所述的面向低轨卫星网络的分布式计算数据流调度与路由方法，其特征在于，在分析问题的输入中分布式计算Shuffle阶段流量由多个并行流组成的集合，其完成时间由集合中最后一个流的完成时间确定，将该集合定义为协同流集合，表示为：F＝{f
i
}＝{(s
i
，d
i
，v
i
)}，1≤i≤N，其中，f
i
表示为协同流的第i个流，s
i
表示该流的源节点，d

【专利技术属性】
技术研发人员：顾术实，张智凯，李树茂，黄铸，张瑞，张钦宇，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：