基于强化学习的时变风场环境无人机全覆盖航迹规划方法、系统及设备技术方案

本发明专利技术公开了一种基于强化学习的时变风场环境无人机全覆盖航迹规划方法及系统，主要解决现有无人机覆盖航迹规划方法无法规划动态风场环境下的全覆盖航迹问题。其实现方案包括：通过网格法对无人机任务区域进行二维环境建模，将任务区域离散分割为相同大小的网格；根据二维环境模型，通过强化学习算法构建包括动作空间、状态转移函数和奖励函数的马尔可夫决策模型；根据风场的时变特点，设计可规划时变风场环境全覆盖航迹的初始化分时Q表，并对其进行训练；根据训练后的分时Q表和马尔可夫决策模型，得到时变风场环境下无人机短航时全覆盖航迹，本发明专利技术针对动态时变风场环境，能规划出完全覆盖任务区域的有效覆盖路径，保证无人机对任务区域的完全侦察，可用于无人机侦察任务。

【技术实现步骤摘要】

本专利技术属于无人机航迹规划，更进一步涉及一种时变风场环境无人机全覆盖航迹规划方法及系统，可用于区域侦察。

技术介绍

1、近年来，随着无人机航天航空技术的发展，无人机uav在军用和民用领域得到了广泛的应用。无人机凭借其体积小、重量轻、成本低、高机动性等诸多优点被广泛应用于区域侦察任务中。无人机在实际执行侦察任务时，通常需先规划离线航迹，然后通过跟踪该离线航迹完成对任务区域的覆盖扫描，因此覆盖航迹规划是侦察任务执行过程的关键环节。在无人机覆盖航迹规划中，时变风场易导致无人机偏离航迹或倒飞，如何考虑时变风场对无人机的影响也是无人机覆盖航迹规划领域的重要问题之一。因此，采用强化学习的方法，设计能够跟踪风场时变性的智能覆盖航迹规划算法，使其能够输出全覆盖航迹是至关重要的。

2、bo ai,maoxin jia,hanwen xu等人在其发表的coverage path planning formaritime search and rescue using reinforcement learning期刊文献中采用强化学习的方法，通过设计多目标优化奖励本文档来自技高网...

【技术保护点】

1.一种基于强化学习的时变风场环境无人机全覆盖航迹规划方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述(1)中通过网格法对无人机任务区域进行二维环境建模，包括二维环境模型与二维覆盖模型，其实现如下：

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述(2)中根据二维环境模型，通过强化学习算法构建包括动作空间、状态转移函数和奖励函数的马尔可夫决策模型，其实现如下：

4.根据权利要求1所述的方法，其特征在于，所述(3)中根据风场的时变特点，设计可规划时变风场环境全覆盖航迹的分时Q表，并对其进行训练，包括：

5.根...

【技术特征摘要】

1.一种基于强化学习的时变风场环境无人机全覆盖航迹规划方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述(1)中通过网格法对无人机任务区域进行二维环境建模，包括二维环境模型与二维覆盖模型，其实现如下：

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述(2)中根据二维环境模型，通过强化学习算法构建包括动作空间、状态转移函数和奖励函数的马尔可夫决策模型，其实现如下：

4.根据权利要求1所述的方法，其特征在于，所述(3)中根据风场的时变特点，设计可规划时变风场环境全覆盖航迹的分时q表，并对其进行训练，包括：

5.根据权利要求1所述的方法，其特征在于，所述(4)中根据训练后的分时q表和马尔...

【专利技术属性】
技术研发人员：马英红，刘恒言，焦毅，刘伟，刘勤，李红艳，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：