【技术实现步骤摘要】
本专利技术涉及智能协同领域，特别涉及一种复杂对抗环境域自适应智能路径规划方法。
技术介绍
1、针对路径规划问题研究，过程可分为全局路径规划研究以及局部路径规划研究两部分，在全局路径规划研究中，对于优化问题的求解已经相对成熟，而在局部路径规划研究上，目前采用强化学习的方法来代替优化问题已经成为一种趋势，利用强化学习方法进行局部路径规划研究中主要涉及仿真域中训练模型研究以及现实域中算法部署研究两部分，针对这两部分的研究，存在模型域自适应能力低、准确度低、智能化低等问题，难以用于现实域中进行实际部署与操作。
2、在目前研究中，提高强化学习的域自适应能力的研究成为一种趋势，因此需要考虑仿真域与现实域间的动态差异性，同时在局部路径规划中，单个飞行器进行局部路径规划容易存在决策错误现象，导致局部路径规划的准确率较低、智能化低等问题。
技术实现思路
1、本专利技术的技术解决问题是：克服现有技术的不足，提出一种复杂对抗环境域自适应智能路径规划方法，由于充分考虑到仿真域与现实域的动态差异性，确保每个飞行器能根据动态差异性进行局部路径重规划，同时利用无人集群的协同能力，进行局部路径规划的协同修正，解决了针对无人集群以“全局路径规划为基础，局部路径规划为核心”的架构中存在局部路径规划准确率低、智能化低、适应性弱等问题。
2、本专利技术的技术解决方案是：
3、一种复杂对抗环境域自适应智能路径规划方法，包括：
4、对无人集群中的飞行器进行全局路径规划，找到最佳
5、在仿真域中构建包含障碍物的仿真场景，并进行强化学习训练，无人集群中的飞行器在局部根据各自的状态进行动态决策，完成局部路径规划；
6、根据动态环境变量，计算得到仿真域与现实域的动态差异值，并对每个飞行器在最佳路径的基础上进行局部路径重规划；
7、根据无人集群中各飞行器的动态差异值，计算得到各飞行器决策权重值，根据决策权重值计算无人集群各个飞行器的局部路径规划的动作状态参数均值，利用该动作状态参数均值进行无人集群各飞行器的局部路径规划协同修正。
8、对无人集群中n个飞行器分别使用a*算法进行全局路径规划，初步找到最佳路径。
9、采用深度确定性策略梯度算法进行强化学习训练，无人集群中的飞行器在局部根据各自的状态进行动态决策，完成局部路径规划，包括：
10、actor网络根据飞行器i当前局部位置下的状态laser_state输出动作选择；由critic网络进行状态评估并计算下一状态laser_state'的奖励值；状态laser_state的奖励值ri的计算公式为：
11、
12、其中vi为无人集群中飞行器i的决策动作状态参数中线速度值，ωi为无人集群中飞行器i的决策动作状态参数中角速度值，θi为无人集群中飞行器i的决策动作状态参数中俯仰角值，ri为无人集群中飞行器i的决策动作状态参数中的最大化奖励值，ε为雷达检测数据的最低阈值；
13、采用状态laser_state'的奖励值和策略梯度法更新critic网络参数，同时更新actor网络的参数；
14、通过更新后的actor网络的输出动作状态ai＝[vi,ωi,θi,ri]，执行下一个动作，从而进行局部路径规划。
15、所述根据动态环境变量，计算得到仿真域与现实域的动态差异值，并对每个飞行器在最佳路径的基础上进行局部路径重规划，包括：
16、计算三种动态环境变量在仿真域与现实域中的动态差异值；
17、根据三种动态环境变量在仿真域与现实域中的动态差异值，计算无人集群中飞行器i的仿真域与现实域的动态差异值diffi；
18、根据无人集群中飞行器i的仿真域与现实域的动态差异值diffi，对飞行器i在最佳路径的基础上进行局部路径重规划。
19、所述计算三种动态环境变量在仿真域与现实域中的动态差异值，即：
20、
21、
22、
23、其中diffn,i为飞行器i在现实域与仿真域中雷达检测特征的动态差异值，ni为飞行器i在现实域中雷达检测特征，n′i为飞行器i在仿真域中雷达检测特征，diffs,i为飞行器i在现实域与仿真域中传感器灵敏度上的动态差异值，si为飞行器i在现实域中的传感器灵敏度，s′i为飞行器i在仿真域中的传感器灵敏度，diffb,i为飞行器i在现实域与仿真域中位置校准偏差向量上的动态差异值，bi为飞行器i在现实域中的位置校准偏差向量，b′i为飞行器i在仿真域中的位置校准偏差向量。
24、所述根据三种动态环境变量在仿真域与现实域中的动态差异值，计算无人集群中飞行器i的仿真域与现实域的动态差异值diffi，具体表示为：
25、diffi＝1-exp(-(diffn,i+diffs,i+diffb,i))。
26、所述根据无人集群中飞行器i的仿真域与现实域的动态差异值diffi，飞行器i进行局部路径重规划，得到新的动作状态a′i＝[v′i,ω′i,θ′i,r′i']，其中v′i＝(1-diffi)×vi，ω′i＝(1-diffi)×ωi，θ′i＝(1-diffi)×θi，r′i＝(1-diffi)×ri。
27、根据无人集群中各飞行器中动态差异值diffi，计算得到各飞行器决策权重值wi：
28、
29、根据决策权重值计算无人集群n个飞行器的局部路径规划的动作状态参数均值：
30、
31、其中为无人集群所有飞行器决策动作状态参数中线速度的均值，为无人集群所有飞行器决策动作状态参数中角速度的均值，为无人集群所有飞行器决策动作状态参数中俯仰角的均值。
32、利用该动作状态参数均值进行无人集群各飞行器的局部路径规划协同修正，包括：
33、
34、其中εv、εω和εθ分别为设定的线速度、角速度和俯仰角阈值，vi”为协同修正后的飞行器i线速度，ωi”为协同修正后的飞行器i角速度，θi”为协同修正后的飞行器i俯仰角。
35、与现有技术相比，本专利技术具有如下有益效果：
36、本专利技术考虑了复杂对抗环境下仿真域与现实域动态差异性，显著提高了域自适应能力以及智能路径规划的准确度，解决了现有技术中无人集群以“全局路径规划为基础，局部路径规划为核心”的架构中存在局部路径规划准确率低、智能化低、适应性弱等问题。
本文档来自技高网...【技术保护点】
1.一种复杂对抗环境域自适应智能路径规划方法，其特征在于包括：
2.根据权利要求1所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：对无人集群中n个飞行器分别使用A*算法进行全局路径规划，初步找到最佳路径。
3.根据权利要求2所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：采用深度确定性策略梯度算法进行强化学习训练，无人集群中的飞行器在局部根据各自的状态进行动态决策，完成局部路径规划，包括：
4.根据权利要求3所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：所述根据动态环境变量，计算得到仿真域与现实域的动态差异值，并对每个飞行器在最佳路径的基础上进行局部路径重规划，包括：
5.根据权利要求4所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：所述计算三种动态环境变量在仿真域与现实域中的动态差异值，即：
6.根据权利要求5所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：所述根据三种动态环境变量在仿真域与现实域中的动态差异值，计算无人集群中飞行器i的仿真域与现实域的动态差
7.根据权利要求6所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：所述根据无人集群中飞行器i的仿真域与现实域的动态差异值DIFFi，飞行器i进行局部路径重规划，得到新的动作状态a'i＝[v'i,ω'i,θ'i,r'i]，其中v'i＝(1-DIFFi)×vi，ω'i＝(1-DIFFi)×ωi，θi'＝(1-DIFFi)×θi，ri'＝(1-DIFFi)×ri。
8.根据权利要求7所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：根据无人集群中各飞行器中动态差异值DIFFi，计算得到各飞行器决策权重值Wi：
9.根据权利要求7所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：根据决策权重值计算无人集群n个飞行器的局部路径规划的动作状态参数均值：
10.根据权利要求8所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：利用该动作状态参数均值进行无人集群各飞行器的局部路径规划协同修正，包括：
...【技术特征摘要】
1.一种复杂对抗环境域自适应智能路径规划方法，其特征在于包括：
2.根据权利要求1所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：对无人集群中n个飞行器分别使用a*算法进行全局路径规划，初步找到最佳路径。
3.根据权利要求2所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：采用深度确定性策略梯度算法进行强化学习训练，无人集群中的飞行器在局部根据各自的状态进行动态决策，完成局部路径规划，包括：
4.根据权利要求3所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：所述根据动态环境变量，计算得到仿真域与现实域的动态差异值，并对每个飞行器在最佳路径的基础上进行局部路径重规划，包括：
5.根据权利要求4所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：所述计算三种动态环境变量在仿真域与现实域中的动态差异值，即：
6.根据权利要求5所述的一种复杂对抗环境域自适应智能路径规划方法，其特征在于：所述根据三种动态环境变量在仿真域与现实域中的动态差异值，计算无...
【专利技术属性】
技术研发人员：王佳林，黄虎，郑本昌，李君，吴志壕，李晟嘉，李丝然，刘峰，董启超，果昊涵，刘煜东，范中行，徐明钊，王天棋，祝兴晟，
申请(专利权)人：中国运载火箭技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。