一种Q学习的无人机集群智能地理路由方法技术

本发明专利技术提供了一种Q学习的无人机集群智能地理路由方法，利用Q学习算法不断与周围环境交换信息能获得最优解的优势，把自主学习任务分配给每个网络节点，且同时考虑到链路质量状态和传输距离对分组传输性能的影响，利用有效分组转发速率来计算Q学习算法中的奖赏函数，各个节点通过周期地与邻居节点交换信息动态调整来寻找到最优路由路径达，有效解决了UAV集群网络中由于拓扑变化带来的路径不可靠的问题。

【技术实现步骤摘要】
一种Q学习的无人机集群智能地理路由方法
本专利技术属于无人机集群组网领域，尤其涉及一种Q学习的无人机集群智能地理路由方法。
技术介绍
无人机(UAV)具有多用途、灵活性强和低成本等优势，所以在军用、民用领域受到广泛关注。多无人机协同应用比单无人机具备可生存性更强、扩展性更高等优势，但同时也带来多无人机间的协同通信较为的实际问题。因此，需要设计适应未来发展需求的多无人机通信网络。作为无人机集群化、网络化、智能化的重要发展方向，无人机自组网是新兴的无人机集群应用模式。无人机自组网采用动态网络完成机群内部成员的互相联通，具有自我智能组织、自动愈合以及高性能低延时的组网优点，适用于无人机集群在特殊场景下的需要。无人机集群内部每个成员都具备路由和转发能力，成员间均可互相传送各类数据，构成一个可自动连接的移动Adhoc网络。无人机自组网是网络拓扑结构迅速变化的网络，网络内部成员以较高的速率运动导致网络拓扑结构的迅速改变，从而使传统的主动路由和按需路由协议不能适用于无人机自组网。人们相继提出了以地理位置信息为决策依据的路由协议，如贪婪周边无状态路由协议(GPSR)，其性能高于主动和按需路由，在节点本文档来自技高网...

【技术保护点】
一种Q学习的无人机集群智能地理路由方法，其特征在于，包括以下步骤：步骤(1)：UAV集群网络内每个节点设置初始时间t0＝0，Q值函数Q(si,ai)＝0，其中si为每个节点i下一跳所选择的邻居节点，ai为根据该状态执行路由选择的动作，它们构成状态—动作集{si,ai}；步骤(2)：更新时间t＝t0+1；步骤(3)：UAV节点利用GPS估计出当前位置，并对Hello消息中的节点位置信息进行更新；步骤(4)：UAV节点通过信标机制将自身标识ID和地理位置信息以广播的形式发送，使得网内各成员可获取下一跳邻居节点及目的节点的地址信息；步骤(5)：UAV网内各节点估计出与邻居节点之间传输链路的误分组率P...

【技术特征摘要】
1.一种Q学习的无人机集群智能地理路由方法，其特征在于，包括以下步骤：步骤(1)：UAV集群网络内每个节点设置初始时间t0＝0，Q值函数Q(si,ai)＝0，其中si为每个节点i下一跳所选择的邻居节点，ai为根据该状态执行路由选择的动作，它们构成状态—动作集{si,ai}；步骤(2)：更新时间t＝t0+1；步骤(3)：UAV节点利用GPS估计出当前位置，并对Hello消息中的节点位置信息进行更新；步骤(4)：UAV节点通过信标机制将自身标识ID和地理位置信息以广播的形式发送，使得网内各成员可获取下一跳邻居节点及目的节点的地址信息；步骤(5)：UAV网内各节点估计出与邻居节点之间传输链路的误分组率PER，作为评价链路质量的指标；步骤(6)：利用误分组率等计算UAV相邻节点之间分组传输时间T；步骤(7)：利用分组传输时间计算UAV相邻节点之间有效分组转发速率Reff；步骤(8)：利用有效分组转发速率计算Q学习算法中的奖赏函数r(st,at)；步骤(...

【专利技术属性】
技术研发人员：黎海涛，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11