本申请适用于无人机自组网信息传输技术领域，提供了一种无人机跨网段信息传输优化方法及相关设备，该方法通过获取无人机集群中每个无人机簇的传输延迟数据；分别提取每个无人机簇的网络拓扑信息；采集无人机集群中每个无人机的状态信息，并根据传输延迟数据和状态信息，构建网关选择模型；基于深度强化学习算法，以最低传输延迟作为优化目标，结合记忆模块对网关选择模型进行训练，得到训练后的网关选择模型；若网络拓扑信息改变，则利用训练后的网关选择模型选择每个无人机簇的新网关节点，并通过新网关节点进行无人机集群的信息传输。本申请能够降低无人机之间信息传输的延迟，提高信息传输效率。
【技术实现步骤摘要】
本申请属于无人机自组网信息传输，尤其涉及一种无人机跨网段信息传输优化方法及相关设备。
技术介绍
1、无人机集群的协调飞行，离不开各无人机之间的信息传输。然而，由于无人机之间生产厂家，生产规格的差异，无人机集群需要进行跨网段和跨协议的信息传输，以保证自身正常飞行。
2、目前最常见的跨协议信息传输技术是代理服务器。代理服务器通过充当客户端和服务器之间的中间人，接收来自客户端的请求，并代表客户端向服务器发送请求。通过代理服务器，客户端可以访问位于其他网络中的资源，从而实现跨网段通信。另外，隧道技术是目前常见的跨网段技术之一。隧道技术可以在不同网络之间建立虚拟的连接通道，使得数据可以通过这些通道在不同网络之间传输。常见的隧道协议有因特网协议安全(ipsec，internet protocol security)、通用路由封装(gre，generic routing encapsulation)和第二层隧道协议(l2tp，layer 2tunneling protocol)。
3、但是，无人机集群的网络拓扑通常是动态变化的，无人机集群中的无人机可能以不可预测的方式加入或离开网络，而传统的代理服务器和隧道技术通常在固定网络环境中应用较多，难以适应动态变化的无人机网络拓扑，这导致无人机之间信息传输的延迟高，效率低，不利于无人机的控制。
技术实现思路
1、本申请提供了一种无人机跨网段信息传输优化方法及相关设备，可以解决目前无人机跨网段信息传输延迟高，效率低的问题。
<
p>2、第一方面，本申请提供了一种无人机跨网段信息传输优化方法，包括：3、获取无人机集群中每个无人机簇的传输延迟数据；无人机集群包括多个无人机簇，每个无人机簇包括至少一个无人机，不同无人机簇对应的无人机的ip地址互不相同，传输延迟数据包括无人机簇与其他无人机簇之间的传输延迟；
4、分别提取每个无人机簇的网络拓扑信息；网络拓扑信息中的节点与无人机簇中的无人机一一对应；
5、采集无人机集群中每个无人机的状态信息，并根据传输延迟数据和状态信息，构建网关选择模型；网关选择模型用于确定每个无人机簇的网关节点；
6、基于深度强化学习算法，以最低传输延迟作为优化目标，结合记忆模块对网关选择模型进行训练，得到训练后的网关选择模型；记忆模块用于多批次分别更新网关选择模型中动作生成网络和评论家网络的网络参数，动作生成网络用于根据状态信息生成动作，评论家网络用于选择优秀的动作；
7、若网络拓扑信息改变，则利用训练后的网关选择模型选择每个无人机簇的新网关节点，并通过新网关节点进行无人机集群的信息传输。
8、可选的，网关选择模型的表达式为mgdp<s,a,f,c>；其中，s表示状态空间，a表示动作空间，f表示状态转移概率密度函数，c表示延迟奖励函数；
9、s＝s(t)＝[s1(t),s2(t),...,si(t),...,sn(t),b1(t),b2(t),...,bi(t),...,bn(t)]，si(t)表示无人机集群中第i个无人机在t时刻所属的无人机簇，i＝1,2,...,n，n表示无人机集群中无人机的总数量，bi(t)表示第i个无人机在t时刻是否为网关节点，bi(t)＝(0,1)；
10、a＝a(t)＝[a1(t),a2(t),...,am(t),...,am(t)]，am(t)表示在t时刻进行的动作m，m＝1,2,...,m，m表示动作的总数量，am(t)＝[g1(t),g2(t),...,gi(t),...,gn(t)]，gi(t)表示在t时刻将第i个无人机确定为网关节点；
11、f:s×a×s→[0,∞)；
12、延迟奖励函数的表达式如下：
13、m表示预先定义的常数，d(t)表示无人机集群在第t时刻的传输延迟，j＝1,2,...,r，r表示无人机集群中无人机簇的总数量，表示预先设置的第j个无人机簇的最大传输延迟，dp(t)表示在第t时刻的跨协议转换延迟。
14、可选的，基于深度强化学习算法，以最低传输延迟作为优化目标，结合记忆模块对网关选择模型进行训练，得到训练后的网关选择模型，包括：
15、构建行为状态值函数；行为状态值函数的表达式为
16、d(t)表示在第t时刻的网络延迟，行为状态值函数用于描述在状态s(t)下进行动作a(t)对应的未来成本期望值，γ表示折现因子，未来成本期望值用于描述网络预计的传输延迟情况；
17、通过计算公式
18、
19、得到无人机集群的传输延迟j(π)；
20、以最低传输延迟作为优化目标，分别更新网关选择模型中动作生成网络和评论家网络的网络参数，得到训练后的网关选择模型；动作生成网络的网络参数更新表达式如下：
21、
22、其中，表示动作生成网络的网络参数，参数化函数表示根据无人机状态s生成的连续动作，表示在策略π下的传输延迟，qθ(s,a)表示行为状态值函数，其中θ是评论家网络的参数；评论家网络的网络参数的更新表达式如下：
23、
24、其中，θ'表示更新后的评论家网络的网络参数，ωc表示评论家网络的学习率。
25、可选的，若无人机集群的传输延迟大于等于预设传输延迟阈值，则利用训练后的网关选择模型选择每个无人机簇的新网关节点，并通过新网关节点进行无人机集群的信息传输。
26、第二方面，本申请提供了一种无人机跨网段信息传输优化装置，包括：
27、延迟数据获取模块，用于获取无人机集群中每个无人机簇的传输延迟数据；无人机集群包括多个无人机簇，每个无人机簇包括至少一个无人机，不同无人机簇对应的无人机的ip地址互不相同，传输延迟数据包括无人机簇与其他无人机簇之间的传输延迟；
28、拓扑信息提取模块，用于分别提取每个无人机簇的网络拓扑信息；网络拓扑信息中的节点与无人机簇中的无人机一一对应；
29、模型构建模块，用于采集无人机集群中每个无人机的状态信息，并根据传输延迟数据和状态信息，构建网关选择模型；网关选择模型用于确定每个无人机簇的网关节点；
30、模型训练模块，用于基于深度强化学习算法，以最低传输延迟作为优化目标，结合记忆模块对网关选择模型进行训练，得到训练后的网关选择模型；记忆模块用于多批次分别更新网关选择模型中动作生成网络和评论家网络的网络参数，动作生成网络用于根据状态信息生成动作，评论家网络用于选择优秀的动作；
31、更新判断模块，用于判断网络拓扑信息是否改变；
32、网关更新模块，用于若网络拓扑信息改变，则利用训练后的网关选择模型选择每个无人机簇的新网关节点，并通过新网关节点进行无人机集群的信息传输。
33、第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本文档来自技高网
...
【技术保护点】
1.一种无人机跨网段信息传输优化方法，其特征在于，包括：
2.根据权利要求1所述的无人机集群信息传输优化方法，其特征在于，所述网关选择模型的表达式为MDP<S,A,F,C>；其中，S表示状态空间，A表示动作空间，F表示状态转移概率密度函数，C表示所述延迟奖励函数；
3.根据权利要求2所述的无人机集群信息传输优化方法，其特征在于，所述基于深度强化学习算法，以最低传输延迟作为优化目标，结合记忆模块对所述网关选择模型进行训练，得到训练后的网关选择模型，包括：
4.根据权利要求3所述的无人机集群信息传输优化方法，其特征在于，若所述无人机集群的传输延迟大于等于预设传输延迟阈值，则利用所述训练后的网关选择模型选择每个所述无人机簇的新网关节点，并通过所述新网关节点进行无人机集群的信息传输。
5.一种无人机跨网段信息传输优化装置，其特征在于，包括：
6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的无人机跨网段信息传输优化方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的无人机跨网段信息传输优化方法。
...
【技术特征摘要】
1.一种无人机跨网段信息传输优化方法，其特征在于，包括：
2.根据权利要求1所述的无人机集群信息传输优化方法，其特征在于，所述网关选择模型的表达式为mdp<s,a,f,c>；其中，s表示状态空间，a表示动作空间，f表示状态转移概率密度函数，c表示所述延迟奖励函数；
3.根据权利要求2所述的无人机集群信息传输优化方法，其特征在于，所述基于深度强化学习算法，以最低传输延迟作为优化目标，结合记忆模块对所述网关选择模型进行训练，得到训练后的网关选择模型，包括：
4.根据权利要求3所述的无人机集群信息传输优化方法，其特征在于，若所述无人机集群的传输延迟大于...
【专利技术属性】
技术研发人员：唐枫枭，张泷千，赵明，罗林丰，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。