一种基于多智能体QMIX算法的无人艇自组网路由方法技术

本发明专利技术公开了一种基于多智能体QMIX算法的无人艇自组网路由方法，包括如下步骤：将无人艇动态通信网络建模成自组网，设置无人艇的移动区域和移动方式；建立无人艇自组网的通信模型，计算无人艇之间的相关参数；描述无人艇自组网路由优化问题的目标，给出无人艇移动的约束条件；将无人艇自组网路由问题建模成强化学习问题，设计多智能体QMIX算法要素；每个无人艇智能体被分成两个子智能体，分别负责无人艇轨迹设计和下一跳无人艇的选择；无人艇智能体之间进行信息交换，每个无人艇使用下一跳无人艇的状态

【技术实现步骤摘要】
一种基于多智能体QMIX算法的无人艇自组网路由方法


[0001]本专利技术涉及网络路由
，尤其是一种基于多智能体QMIX算法的无人艇自组网路由方法。

技术介绍

[0002]无人艇自组网是一种去中心化、自治化的无线自组织网络，由多个无人艇组成，具有自组织、自修复、自适应等特点。与传统的有线网络和传感器网络相比，无人艇自组网更具有灵活性、实时性和鲁棒性，可以广泛应用于海洋勘测、环境监测、海上救援等领域。在无人艇自组网中，路由算法是非常关键的一部分。路由算法用于决定数据包如何在无人艇之间进行转发，以确保网络中的信息能够及时到达目的地，直接影响网络的性能和效率。传统的路由算法在无人艇自组网中面临着很多挑战，例如无人艇运动速度快、环境复杂多变、网络拓扑结构动态变化等。因此，需要设计适用于无人艇自组网的路由方法，以减少数据包的传输时间，降低网络拥塞概率。
[0003]现有基于深度强化学习的路由方法中，文献[Stampa G,Arias M,S
á
nchez
‑
Charles D,et al.A deep
‑
reinforcement learning approach for software
‑
defined networking routing optimization.arXiv preprint arXiv:1709.07080,2017.]提出的SDN
‑
routing算法首次将单智能体深度强化学习用于流量工程的路由优化，把源节点和目的节点之间的流量需求作为状态集，通过网络控制器确定数据包的传输路径，有效地减少了网络延迟。该方法是基于单智能体深度强化学习的路由方法，不能解决无人艇自组网的多任务决策问题。文献[Mukhutdinov D,Filchenkov A,Shalyto A,et al.Multi
‑
agent deep learning for simultaneous optimization for time and energy in distributed routing system.Future Generation Computer Systems,2019,94:587
‑
600.]结合了Q
‑
learning算法和DQN算法，首次将多智能体深度强化学习用于路由问题的优化。在集中训练阶段，每个路由器被看成一个智能体，其参数在训练过程中相互共享并同时更新。在执行阶段为数据包的传输提供独立的指令。该算法实现了数据包的传输时间和能量消耗的优化。文献[You X,Li X,Xu Y,et al.Toward packet routing with fully distributed multiagent deep reinforcement learning.IEEE Transactions on Systems,Man,and Cybernetics:Systems,2020,52(2):855
‑
68.]提出了基于多智能体强化学习的DQRC路由方法，每个路由器都有一个长短期记忆循环神经网络用于分布式环境的训练和决策，可以从积压的数据包和过往动作的信息中提取路由特征，有效地逼近Q
‑
learning的价值函数。该算法平衡了拥塞感知和最短路径，显著地减少了数据包的传输时间。但是现有研究中，一些基于多智能体深度强化学习的路由方法多涉及静态网络模型，不适应于动态网络的路由决策。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种基于多智能体QMIX算法的无人艇自组
网路由方法，通过对无人艇移动轨迹的设计和为数据包选择合适的下一跳来减少数据包传输时间和网络拥塞概率，同时保持了无人艇之间的通信链路可靠，为无人艇自组网的高效稳定运行提供了技术保障。
[0005]为解决上述技术问题，本专利技术提供一种基于多智能体QMIX算法的无人艇自组网路由方法，包括如下步骤：
[0006]步骤1、将无人艇动态通信网络建模成自组网，设置无人艇的移动区域和移动方式；
[0007]步骤2、建立无人艇自组网的通信模型，计算无人艇之间通信的信噪比、数据包的传输速率和传输时间；
[0008]步骤3、描述无人艇自组网路由优化问题的目标，并给出无人艇移动的约束条件；
[0009]步骤4、将无人自组网路由问题建模成强化学习问题，设计多智能体QMIX算法要素；
[0010]步骤5、每个无人艇智能体被分成两个子智能体，分别负责无人艇轨迹设计和下一跳无人艇的选择；
[0011]步骤6、无人艇智能体之间进行信息交换，每个无人艇使用下一跳无人艇的状态
‑
动作值来更新自己的价值函数。
[0012]优选的，步骤1中，将无人艇动态通信网络建模成自组网，其中无人艇看作成网络中的节点，无人艇自组网由N个无人艇组成，其索引表示成集合
[0013]优选的，步骤1中，系统中无人艇的移动区域描述如下：将无人艇的移动区域设计成L*L的方形区域，岸基位于区域的边缘，无人艇N静停在基站附近，保持和基站的通信连接，同时也是无人艇自组网中数据包的目的地。
[0014]优选的，步骤1中，系统中无人艇的移动方式描述如下：无人艇以固定的速度V在区域内移动，在时间t时无人艇n的位置为p
n
，0≤t≤T，其中T表示无人艇自组网的运行总时间，假设系统以时隙的方式运行，即每个时隙δ
t
的持续时间足够短，无人艇在每个时隙内的移动方向保持不变，无人艇的运动表示为：其中e
n
(t)表示无人艇n在时间t时的移动方向，系统中无人艇的位置和移动方向呈线性关系。
[0015]优选的，步骤2中，建立无人艇自组网的通信模型，计算无人艇之间通信的信噪比、数据包的传输速率和传输时间具体包括如下步骤：
[0016]步骤21、无人艇自组网的通信模型如下所示：
[0017]由于源无人艇和目的无人艇N之间的距离超过了可通信距离，每个数据包要通过无人艇自组网的多跳无人艇才可以到达目的无人艇N，系统中源无人艇和目的无人艇N之间的传输路径表示成其中M
σ
表示数据包途径无人艇的数量，n
m
表示路径ω中第m个无人艇；
[0018]系统的无线信道传输损耗模型采用Longley
‑
Rice模型，分为三种情况：视距传输损耗、绕射传输损耗和散射传输损耗；基于Longley
‑
Rice模型，无人艇n和无人艇n
′
之间的传输损耗L
n,n
′
(t)表示为：L
n,n
′
(t)＝L
free
+L
ref
(d)，其中L
free
和L
ref
(d)分别表示为：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体QMIX算法的无人艇自组网路由方法，其特征在于，包括如下步骤：步骤1、将无人艇动态通信网络建模成自组网，设置无人艇的移动区域和移动方式；步骤2、建立无人艇自组网的通信模型，计算无人艇之间通信的信噪比、数据包的传输速率和传输时间；步骤3、描述无人艇自组网路由优化问题的目标，并给出无人艇移动的约束条件；步骤4、将无人自组网路由问题建模成强化学习问题，设计多智能体QMIX算法要素；步骤5、每个无人艇智能体被分成两个子智能体，分别负责无人艇轨迹设计和下一跳无人艇的选择；步骤6、无人艇智能体之间进行信息交换，每个无人艇使用下一跳无人艇的状态
‑
动作值来更新自己的价值函数。2.如权利要求1所述的基于多智能体QMIX算法的无人艇自组网路由方法，其特征在于，步骤1中，将无人艇动态通信网络建模成自组网，其中无人艇看作成网络中的节点，无人艇自组网由N个无人艇组成，其索引表示成集合3.如权利要求1所述的基于多智能体QMIX算法的无人艇自组网路由方法，其特征在于，步骤1中，系统中无人艇的移动区域描述如下：将无人艇的移动区域设计成L*L的方形区域，岸基位于区域的边缘，无人艇N静停在基站附近，保持和基站的通信连接，同时也是无人艇自组网中数据包的目的地。4.如权利要求1所述的基于多智能体QMIX算法的无人艇自组网路由方法，其特征在于，步骤1中，系统中无人艇的移动方式描述如下：无人艇以固定的速度V在区域内移动，在时间t时无人艇n的位置为p
n
，0≤t≤T，其中T表示无人艇自组网的运行总时间，假设系统以时隙的方式运行，即每个时隙δ
t
的持续时间足够短，无人艇在每个时隙内的移动方向保持不变，无人艇的运动表示为：其中e
n
(t)表示无人艇n在时间t时的移动方向，系统中无人艇的位置和移动方向呈线性关系。5.如权利要求1所述的基于多智能体QMIX算法的无人艇自组网路由方法，其特征在于，步骤2中，建立无人艇自组网的通信模型，计算无人艇之间通信的信噪比、数据包的传输速率和传输时间具体包括如下步骤：步骤21、无人艇自组网的通信模型如下所示：由于源无人艇和目的无人艇N之间的距离超过了可通信距离，每个数据包要通过无人艇自组网的多跳无人艇才可以到达目的无人艇N，系统中源无人艇和目的无人艇N之间的传输路径表示成其中M
σ
表示数据包途径无人艇的数量，n
m
表示路径ω中第m个无人艇；系统的无线信道传输损耗模型采用Longley
‑
Rice模型，分为三种情况：视距传输损耗、绕射传输损耗和散射传输损耗；基于Longley
‑
Rice模型，无人艇n和无人艇n
′
之间的传输损耗L
n,n
′
(t)表示为：L
n,n
′
(t)＝L
free
+L
ref
(d)，其中L
free
和L
ref
(d)分别表示为：L
free
＝32.45+20lgd+20lgf,
其中L
free
表示自由空间的路径传输损耗，d表示传输距离，f表示无线电频率，k1和k2表示传输损耗系数，m
d
和m
s
分别表示绕射和散射的损耗系数，L
be
、L
bed
、L
bes
分别表示自由空间下视距、绕射和散射时的传输损耗，若d满足d
min
≤d≤d
Ls
，则d表示视距传输距离；若d满足d
Ls
≤d≤d
x
，则d表示绕射传输距离；若d满足d≥d
x
，则d表示散射传输距离；其中d
Ls
表示光滑地面距离，d
x
表示某处的绕射损耗和散射损耗相等；步骤22、由于系统中无人艇在相同的频段运行，会造成无人艇之间的通信干扰，无人艇n
m+1
从无人艇n
m
接收到的信噪比表示为：其中P表示无人艇n
m
的发射功率，B表示无人艇之间通信带宽，ζ0表示噪声功率谱密度；步骤23、无人艇n
m
和无人艇n
m+1
在时间t时的数据包传输速率为：步骤24、每个无人艇都有一个缓存队列来存储接收到的数据包，数据包进出队列遵循先进先出原则，在每个时隙...

【专利技术属性】
技术研发人员：温广辉，周艳，郑治，罗中婧，邵佳伟，
申请(专利权)人：东南大学，
类型：发明
国别省市：