一种基于深度强化学习的无人机应急场景巡检方法及其系统技术方案

本发明专利技术提供一种基于深度强化学习的无人机应急场景巡检方法及其系统，所述方法包括以下步骤：首先巡检控制中心获取灾害所需要巡检的位置坐标；然后无人机开始执行巡检任务，在无人机执行巡检任务的过程中，通过已知巡检点的位置坐标，对无人机的轨迹进行优化来最小化无人机巡检的时间；在对无人机的轨迹进行优化时，使用深度强化学习中的Dueling

【技术实现步骤摘要】
一种基于深度强化学习的无人机应急场景巡检方法及其系统


[0001]本专利技术涉及人工智能领域、无线通信领域，具体是一种基于深度强化学习的无人机应急场景巡检方法及其系统。

技术介绍

[0002]近年来，在很多自然灾害的救援活动中，如地震、海啸、洪水、森林火灾，应急通信的需求急剧增长。受灾地区通常面临着通信基础设施的毁损、难以及时获得灾区的详细信息，这给快速救援带来了许多的困难。因此，如何快速获得灾区的数据信息对于减少人员伤亡、降低经济损失至关重要。目前的应急巡检体系在巡检时通常需要花费大量的时间，而且在进行通信时通常面临着传输速率低、带宽不足、时延高等缺点。因此，如何构建一个在应急场景中能够快速完成巡检任务并将巡检信息发送给数据处理中心至关重要，其可以节约救援时间，减少人员伤亡和降低经济损失。
[0003]而随着科技的进步和经济的快速发展，无人机的造价越来越廉价，其不仅在军事上被广泛的应用，其在民用中也受到的极大的欢迎。尤其是无人机巡检被认为可以提高巡检效率的有效方式，这是因为无人机具有灵活的机动性、可以快速部署、飞行不受地形限制、在通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的无人机应急场景巡检方法，其特征在于，包括如下步骤：步骤S1.巡检控制中心根据应急区域发送的请求确定无人机需要巡检的位置坐标以及各个地面救援人员的位置信息；步骤S2.无人机根据获得的需要巡检的位置坐标以及各个地面救援人员的位置信息开始执行巡检任务，在无人机执行巡检任务的过程中，通过已知巡检点的位置坐标，使用深度强化学习中的Dueling
‑
DQN算法对无人机的轨迹进行优化来最小化无人机巡检的时间；步骤S3.输出优化的无人机巡检的最优轨迹与收集的巡检数据。2.根据权利要求1所述的一种基于多无人机的智能电力线路巡检方法，其特征在于，所述步骤S2具体流程如下：步骤S21.参数初始化：无人机初始化系统的各项参数，包括无人机当前的位置坐标、初始化模型的参数；步骤S22.无人机获取距离当前位置最近的巡检点的位置坐标，确定自己当前时刻所巡检的巡检点位置w
m
＝[x
m
,y
m
,z
m
]，其中x
m
、y
m
、z
m
分别表示巡检点在X轴、Y轴与Z轴的坐标；步骤S23.对无人机的轨迹进行优化设计：无人机使用深度强化学习优化巡检轨迹的过程中，首先将所建立的问题转化为马尔科夫决策问题，其中其可由四部分组成，即＜S,A,P,R＞,其中S为状态空间，A为动作空间，P为无人机执行任务时的状态转移概率，R为无人机执行巡检任务时的奖励函数，假设无人机当前的位置为q
n
＝[x
n
,y
n
,z
n
]，其中x
n
、y
n
、z
n
分别表示无人机在X轴、Y轴与Z轴的坐标，然后无人机根据策略选择机制P从动作空间A中选择一个当前的飞行方向v
n
，进而无人机转移到下一个位置q
n+1
＝[x
n+1
,y
n+1
,z
n+1
]，假设无人机在一个时隙内移动的距离为则无人机的状态转移遵循公式：步骤S24.无人机根据移动前后距离所选择巡检点的距离的差值获得一个奖励r
n
，其中表示当前无人机与所选择巡检点的距离，表示无人机根据策略选择机制P从动作空间A中选择一个当前的飞行方向v
n
后与所选择巡检点的距离，其中奖励的设计表示为：其中r
a
为一个正值，其表示无人机在经过策略选择移动之后其距离选择的巡检点越来越近；r
b
为一个负值，其表示无人机在经过策略选择移动之后其距离选择的巡检点越来越远；此外，如果无人机完成该巡检任务其会获得一个较大的正奖励r
c
；步骤S25.将状态转移的结果(q
n
,v
n
,r
n
,q
n+1
)保存到系统的经验池中；步骤S26.从经验池中选择N1步样本，并使用梯度下降的方法来减小神经网络的损失函数从而优化无人机的轨迹，获得更大的奖励，其中损失函数定义为：其中r
n+
1表示无人机在n+1时隙获的奖励，λ表示折扣因子，θ
*
与θ表示影响神经网络模
型参数的因子，Q(q
n
,a
n
|θ)表示current网络中无人机在当前位置q
n
采取动作a
n
的Q值，表示在target网络中无人机在当前位置q
n+1
采取动作的Q值；步骤S27.判断无人机是否完成该巡检任务，若否，则无人机执行步骤S22.)，若是则执行步骤S28)；步骤S28.判断无人机是否完成所有巡检任务，若否，则执行步骤S22.)，若是，巡检任务结束；步骤S29.判断是否达到最大迭代次数，若否，重复步骤S22)
‑
步骤S28)，直至算法达到最大迭代次数。3.一种基于多无人机的智能电力线路巡检系统，其特征在于：包括巡检任务获取模块、巡检数据收集模块、无人机轨迹优化模块、结果输出模块；所述巡检任务获取模块，用于根据应急区域发送的请求确定无人机需要巡检的位置坐标以及各个地面救援人...

【专利技术属性】
技术研发人员：刘鸣柳，高云飞，凌在汛，朱银军，蔡万里，崔一铂，梅欣，余飞，唐泽洋，李逸文，饶玮，胡钰林，
申请(专利权)人：武汉大学国网湖北省电力有限公司神农架供电公司国网湖北省电力有限公司，
类型：发明
国别省市：