【技术实现步骤摘要】
一种基于深度强化学习的分布式无人机自组网的路由方法
[0001]本专利技术属于无人机自组网领域，特别涉及一种基于深度强化学习的分布式无人机自组网的路由方法。
技术介绍
[0002]随着现代科技的显著进步，如：人工智能、传感器、电池、无线电和全球定位系统(GPS)等，无人机(Unmanned Aerial Vehicles,UAV)已经有了许多不同的应用。由于无人机自身体积小巧、移动速度快且灵活等优点，使其在军事侦察和公共管理等领域的应用十分广泛。
[0003]无人机之间及时并可靠的通信依赖于智能高效的路由协议，而现有的基于强化学习的无人机路由解决方案中，大多基于集中式的深度强化学习方法，使用的强化学习算法也较为传统，都是用强化学习来解决相邻下一跳节点的选择问题，并没有从整个无人机网络传输的层面考虑，只使用集中式的无人机去学习整个网络环境的状态，然后给整个网络中的每个节点发送对应的动作，但是在实际无人机对抗场景中一旦控制整个网络路由决策的控制中心受到影响，就会严重影响整个网络路由的性能，降低了无人机通信网络的稳定性。<...
【技术保护点】
【技术特征摘要】
1.一种基于深度强化学习的分布式无人机自组网的路由方法，其特征在于，包括：S1：将无人机作为节点，依赖无人机之间的通信链路创建无人机通信网络；S2：利用马尔可夫决策过程搭建无人机通信网络的深度强化学习架构；所述深度强化学习架构包括输入层、双重深度Q网络、输出层、演示数据缓冲区和经验回放记忆单元；S3：随机生成原始数据包的源节点与目的节点，运行Dijkstra算法将原始数据包从源节点向目的节点进行发送；并根据原始数据包的路由过程生成原始训练数据对深度强化学习架构进行预训练；S4：输入目标数据包目的节点D的坐标，获取当前节点A的链路状态以及当前节点A的邻居节点的链路状态到预训练好的深度强化学习架构中，得到当前节点A的下一跳节点B；并根据目标数据包的路由过程生成目标训练数据，根据原始训练数据和目标训练数据对深度强化学习架构进行再训练；S5：将下一跳节点B作为起始节点，重复步骤S4
‑
S5，直至下一跳节点为目的节点，完成目标数据包的路由。2.根据权利要求1所述的一种基于深度强化学习的分布式无人机自组网的高效路由方法，其特征在于，无人机通信网络中的无人机节点采用随机移动模型，无人机节点可以动态的入网或者退网，每一个无人机节点既可以当作中继节点，也可以当作源节点或目的节点，无人机节点周期性的向邻居节点发送Hello消息使无人机通信网络实时的更新，如果在规定时间内没有收到邻居节点对Hello消息的反馈信息则视为该通信链路断开。3.根据权利要求1所述的一种基于深度强化学习的分布式无人机自组网的高效路由方法，其特征在于，在对深度强化学习架构进行预训练之前先定义强化学习算法的参数：状态s
t
、动作a
t
、奖励信号r
t
；状态s
t
为{D
t
,N
t
,B
t
,A
t
}，D
t
表示当前节点转发的数据包的目的节点，N
t
表示当前节点的邻居节点集合，B
t
表示当前节点及其邻居节点排队的数据包集合，A
t
表示当前节点及其邻居节点在前三次迭代执行的动作集合；动作a
t
包括：动作a
t
表示无人机节点在时间t选择的动作，表示节点i被选为当前节点的下一跳节点转发数据包，可选择的动作为当前节点的所有邻居节点集合；奖励信号r
t
；γ为折扣因子，f
tran
表示转发代价，其值为网络总节点总数的一半，R
i
为数据包i路径中出现重复环路的个数，H
i
表示数据包i到达目的节点的跳数，O
i
代表该数据包i在对应无人机节点排队队列的等待时间，w1w2w3分别代表权重参数，n表示路由过程中的跳数。定义好参数后对深度强化学习架构的价值函数进行预训练，首先根据原始数据包的路由过程生成原始训练数据(s
t
,a
t
,r
...
【专利技术属性】
技术研发人员：张易新，李云，潘俊男，鲜永菊，丁建，吴麒，乔冠华，宁静，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。