基于DQN的无人机机动策略自主生成方法技术

本发明专利技术提供了一种基于DQN的无人机机动策略自主生成方法，分别建立无人机三自由度运动模型、无人机机动控制模型、基准地形三维模型和山峰三维模型；计算无人机当前位置下所受地形障碍影响程度值；构建评价网络和目标网络，对评价网络进行训练；使用训练结果作为无人机飞行控制外环控制器，控制无人机的两向过载和无人机速度倾斜角。本发明专利技术将深度强化学习方法和无人机的制导与控制机动策略进行结合，在离线仿真环境中进行学习训练，达到要求后再进行实际应用，极大地增强了无人机在执行任务过程中的自主性，提高了无人机执行任务的效率。

Autonomous generation of UAV maneuver strategy based on dqn

The invention provides an autonomous generation method of UAV maneuvering strategy based on dqn, which respectively establishes three degree of freedom motion model, UAV maneuvering control model, reference terrain 3D model and mountain 3D model of UAV; calculates terrain obstacle impact value of UAV under current position; constructs evaluation network and target network, trains evaluation network; uses training Results as the outer loop controller of UAV flight control, it can control the two-way overload of UAV and the tilt angle of UAV speed. The invention combines the deep reinforcement learning method with the guidance and control maneuver strategy of the UAV, carries out the learning training in the off-line simulation environment, and then carries out the practical application after meeting the requirements, which greatly enhances the autonomy of the UAV in the process of task execution and improves the efficiency of the UAV in task execution.

【技术实现步骤摘要】
基于DQN的无人机机动策略自主生成方法
本专利技术涉及飞行机动策略和人工智能领域，尤其涉及一种无人机机动策略自主生成方法。
技术介绍
近年来，随着无人机技术的发展，无人机的性能飞速提高，不论是军用无人机还是民用无人机，各种新技术层出不穷。其中，提高无人机自主飞行能力，降低人为干预，避免人为失误，是各国无人机科研人员的研究重点。传统的无人机飞行导引通常在获取到需求任务区域内应飞航迹后，在飞行过程中通过控制无人机的机动策略，使之沿应飞航线飞行。传统的无人机的机动决策基于微分对策、矩阵博弈、动态规划、神经网络、专家系统、动态贝叶斯网络、影响图以及轨迹预测等方法。但是，当环境发生较大改变时，上述方法均没有自主解决突发事件的能力，只有无人机操纵者进行手动干预后，无人机才能继续完成任务，该过程极大地影响了无人机执行任务的效率。近年来，由于在电子技术方面的突破性进步，人工智能技术飞速发展，各种人工智能算法不断应用到控制领域。例如，Google公司的DeepMind人工智能小组，创新性地将深度强化学习方法应用到人形机器人的步态控制上并取得了成功；OpenAI实本文档来自技高网...

【技术保护点】
1.一种基于DQN的无人机机动策略自主生成方法，其特征在于包括以下步骤：/n1)建立无人机三自由度运动模型；/n2)建立无人机机动控制库；/n3)建立基准地形三维模型和山峰三维模型；/n4)计算无人机当前位置下所受地形障碍影响程度值；/n5)构建评价网络Q(s,a)与目标网络Q′(s,a)，所述两个网络均属于深度神经网络；Q(s,a)和Q′(s,a)两个网络采用相同的参数进行初始化；/nQ(s,a)网络和Q′(s,a)网络采用三层网络，每层之间神经元两两连接，激活函数使用线性整流函数ReLU；/n定义状态空间

【技术特征摘要】
1.一种基于DQN的无人机机动策略自主生成方法，其特征在于包括以下步骤：
1)建立无人机三自由度运动模型；
2)建立无人机机动控制库；
3)建立基准地形三维模型和山峰三维模型；
4)计算无人机当前位置下所受地形障碍影响程度值；
5)构建评价网络Q(s,a)与目标网络Q′(s,a)，所述两个网络均属于深度神经网络；Q(s,a)和Q′(s,a)两个网络采用相同的参数进行初始化；
Q(s,a)网络和Q′(s,a)网络采用三层网络，每层之间神经元两两连接，激活函数使用线性整流函数ReLU；
定义状态空间式中，x,y,z为无人机在地理坐标系中的位置，v为无人机的速度标量，θ为无人机航迹倾斜角，ψc为无人机航迹偏转角；
定义动作空间包括了飞机基本操作动作库中的7种基本机动ai，a＝[Nx,Ny,γc]，Nx为无人机在飞机坐标系中的切向过载，Ny为无人机在飞机坐标系中的法向过载，γc为无人机的速度轴系倾斜角；
定义收益r＝-(g(XUAV)+p(XUAV))，g(XUAV)为无人机所受飞行环境的影响值，p(XUAV)为无人机与终点的距离，r为无人机当前的收益；
定义回放经验式中，s为当前状态，a为当前状态下无人机所选的动作，r为无人机执行a后所得的收益，s′为无人机执行a后的状态；
6)对评价网络Q(s,a)进行训练；
7)使用训练结果Q′(s,a；θ-)网络作为无人机飞行控制外环控制器，周期性地选择无人机的机动动作，从而进一步控制无人机的两向过载Nx、Ny和无人机速度倾斜角γc。


2.根据权利要求1所述的基于DQN的无人机机动策略自主生成方法，其特征在于：所述的无人机三自由度运动模型式中，Nx为无人机在飞机坐标系中的切向过载，Ny为飞机坐标系中的法向过载，v为无人机速度，θ为无人机航迹倾斜角，ψc为无人机航迹偏转角，γc为速度倾斜角，x、y和z为无人机在地理坐标系中的三向坐标，m为无人机质量，g为重力加速度。


3.根据权利要求1所述的基于DQN的无人机机动策略自主生成方法，其特征在于：所述的无人机机动控制库包括了最大过载左转、最大...

【专利技术属性】
技术研发人员：张堃，李珂，时昊天，赵权，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61