基于深度强化学习的移动自组网路由优化方法及装置制造方法及图纸

本发明专利技术提供一种基于深度强化学习的移动自组网路由优化方法及装置，属于无线通信网络技术领域，所述方法包括：获取当前节点的特征信息；对所述特征信息进行处理，将路由决策问题转化为马尔科夫决策过程，以确定状态空间

【技术实现步骤摘要】
基于深度强化学习的移动自组网路由优化方法及装置


[0001]本专利技术涉及无线通信网络
，尤其涉及一种基于深度强化学习的移动自组网路由优化方法及装置
。

技术介绍

[0002]移动自组网由于具有节点移动速度快
、
通信链路环境复杂多变
、
网络拓扑高动态等特点，使其在路由协议设计上面临许多全新挑战
。
传统自组网路由协议由于缺乏针对高动态特点的设计，在网络状态发生变化时无法快速做出响应，使得网络中存在大量无效冗余的路由表项
。
随着网络动态性的增加，路由性能急速下降，频繁地更新路由也为网络带来了新的负担
。
此外，传统自组网路由协议没有考虑节点的能量
、
负载等状态因素，往往选择跳数最短的路径进行信息传输
。
当有大量的并发访问需求时，会导致一些繁忙节点因能量耗尽或负载过重而退出网络，导致路由中断以及数据传输延迟，极大地影响了协议的性能
。
[0003]随着近年来深度学习
、<br/>强化学习等机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度强化学习的移动自组网路由优化方法，所述移动自组网包括多个节点，其特征在于，包括：获取当前节点的特征信息；对所述特征信息进行处理，将路由决策问题转化为马尔科夫决策过程，以确定状态空间
、
动作空间
、
转移概率以及奖励函数；所述状态空间中包括当前节点的状态信息；将当前节点的状态信息输入预设的深度强化学习模型，输出当前节点对应的
Q
值；所述深度强化学习模型是基于深度强化学习网络算法
Dueling DQN
建立的；根据当前节点的
Q
值，确定当前节点的下一跳节点，以进行路由决策
。2.
根据权利要求1所述的基于深度强化学习的移动自组网路由优化方法，其特征在于，所述获取当前节点的特征信息，包括：在确定当前节点的可选动作集合不为空集的情况下，从所述当前节点的相邻表和接收数据包中提取特征信息
。3.
根据权利要求1所述的基于深度强化学习的移动自组网路由优化方法，其特征在于，所述状态空间
S
＝
{s1,s2,s3,
…
s
N
}
；当前节点的状态信息表示为：其中，
d
i,j
是当前节点
i
和候选转发节点
j
之间的距离，
d
j,d
是候选转发节点
j
和目的节点
d
之间的距离；表示预测的两跳相邻节点与
n
个区域的目的节点之间的最小距离，
LQ
i,j
为目的链路
l
i
的链路质量，为在当前时刻的候选转发节点
j
的数据包总等待时间；
Nbr(i)
表示节点
i
通信范围内相邻节点集；通信范围内相邻节点集；
d
sum
越小，表示路由虚空缓解的概率越大，
l
d
和
l
j
分别为目的节点
d
和候选转发节点
j
的位置；动作空间为当前节点
i
通信范围内的邻居节点的集合，
n
为邻居代理的总数；转移概率表征了当前状态发生动作后转移到下一状态的概率；奖励函数用于提高路由决策的决策效率
。4.
根据权利要求1所述的基于深度强化学习的移动自组网路由优化方法，其特征在于，所述深度强化学习模型的当前
Q
网络为四层神经网络，四层神经网络具有一个输入层
、
两个隐藏层和一个输出层，所述当前
Q
网络的
Q
值函数是根据状态函数和优势函数确定的；对当前
Q
网络进行更新的步骤包括：基于所述
Q
值函数，构建用于当前
Q
网络更新的最小化损失函数；基于所述...

【专利技术属性】
技术研发人员：黄林，袁林锋，朱平杰，黄治华，张旻旻，童永霞，匡文娟，罗帆，
申请(专利权)人：武汉船舶通信研究所中国船舶集团有限公司第七二二研究所，
类型：发明
国别省市：