一种航空器四维爬升航迹规划方法及系统技术方案

本发明专利技术公开了一种航空器四维爬升航迹规划方法及系统，本发明专利技术根据航空器性能获得飞行状态下的可选动作空间，采用单步时序差分更新评估策略的强化学习算法，求解航空器爬升中的最优动作，将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹，实现了高效与精细化航空器四维爬升航迹规划。细化航空器四维爬升航迹规划。细化航空器四维爬升航迹规划。

【技术实现步骤摘要】
一种航空器四维爬升航迹规划方法及系统


[0001]本专利技术涉及一种航空器四维爬升航迹规划方法及系统，属于航迹规划领域。

技术介绍

[0002]自基于航迹运行(Trajectory based operation，TBO)概念提出以来，四维航迹规划作为其关键技术之一得到了迅速的发展。传统的如A*算法、蚁群算法、遗传算法等路径规划方法在航空器时序差分上的处理流程复杂，导致其在四维爬升航迹规划中难以发挥优势，因此现在急需一种新的航空器四维爬升航迹规划方法。

技术实现思路

[0003]本专利技术提供了一种航空器四维爬升航迹规划方法及系统，解决了
技术介绍
中披露的问题。
[0004]为了解决上述技术问题，本专利技术所采用的技术方案是：
[0005]一种航空器四维爬升航迹规划方法，包括：
[0006]获取模拟飞行实验中航空器爬升时各飞行状态下的可选动作；
[0007]根据飞行状态下的可选动作，以到达巡航航路点油耗最小、运行时间最小为目标，采用单步时序差分更新评估策略的强化学习算法，求解航空器爬升中的最优动作；
[0008]将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹。
[0009]飞行状态包括水平位置、高度位置、速度和俯仰角，可选动作包括加速度和俯仰角速度。
[0010]强化学习算法中交互的模型包括环境模型和智能体模型；
[0011]环境模型：根据航空器所处环境的参数，计算航空器在当前飞行状态下运行单位时间的油耗与位置变化；根据油耗与位置变化，计算环境给予的奖励值，并将该奖励值作为评价航空器当前飞行状态的参数；
[0012]智能体模型：从可选动作中选择最优动作。
[0013]奖励值计算公式为：
[0014][0015]其中，r(s
t
,a
t
)为航空器在t时序，飞行状态s
t
下选择动作a
t
后，环境给予的奖励值；
[0016]r
t1
为航空器接近巡航航路点，获得的正奖励值；
[0017]r
t2
为航空器经过t时序，获得的负奖励值；
[0018]r
t3
为航空器做动作a
t
消耗燃油，获得的负奖励值。
[0019]将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹，包括：
[0020]根据航空器的性能，确定梯级爬升时航空器的转换高度和平飞距离；
[0021]根据转换高度和平飞距离，拟合基于最优动作所得的爬升航迹，获得航空器四维爬升航迹。
[0022]一种航空器四维爬升航迹规划系统，包括：
[0023]获取模块：获取模拟飞行实验中航空器爬升时各飞行状态下的可选动作；
[0024]强化学习模块：根据飞行状态下的可选动作，以到达巡航航路点油耗最小、运行时间最小为目标，采用单步时序差分更新评估策略的强化学习算法，求解航空器爬升中的最优动作；
[0025]航迹拟合模块：将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹。
[0026]飞行状态包括水平位置、高度位置、速度和俯仰角，可选动作包括加速度和俯仰角速度。
[0027]强化学习算法中交互的模型包括环境模型和智能体模型；
[0028]环境模型：根据航空器所处环境的参数，计算航空器在当前飞行状态下运行单位时间的油耗与位置变化；根据油耗与位置变化，计算环境给予的奖励值，并将该奖励值作为评价航空器当前飞行状态的参数；
[0029]智能体模型：从可选动作中选择最优动作。
[0030]奖励值计算公式为：
[0031]r(s
t
,a
t
)＝r
t1
+r
t2
+r
t3
[0032]其中，r(s
t
,a
t
)为航空器在t时序，飞行状态s
t
下选择动作a
t
后，环境给予的奖励值；
[0033]r
t1
为航空器接近巡航航路点，获得的正奖励值；
[0034]r
t2
为航空器经过t时序，获得的负奖励值；
[0035]r
t3
为航空器做动作a
t
消耗燃油，获得的负奖励值。
[0036]航迹拟合模块包括：
[0037]转换高度平飞距离确定模块：根据航空器的性能，确定梯级爬升时航空器的转换高度和平飞距离；
[0038]拟合模块：根据转换高度和平飞距离，拟合基于最优动作所得的爬升航迹，获得航空器四维爬升航迹。
[0039]本专利技术所达到的有益效果：本专利技术根据航空器性能获得飞行状态下的可选动作空间，采用单步时序差分更新评估策略的强化学习算法，求解航空器爬升中的最优动作，将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹，实现了高效与精细化航空器四维爬升航迹规划。
附图说明
[0040]图1为本专利技术方法的流程图；
[0041]图2为航空器状态
‑‑
动作空间one
‑
hot编码离散化示意图；
[0042]图3为智能体进行50万次学习过程中每100次平均总回合奖励值折线图；
[0043]图4为智能体进行50万次学习过程中每1000次平均总回合奖励值折线图；
[0044]图5为航迹拟合效果示意图。
具体实施方式
[0045]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术
的技术方案，而不能以此来限制本专利技术的保护范围。
[0046]如图1所示，一种航空器四维爬升航迹规划方法，包括以下步骤：
[0047]步骤1，获取模拟飞行实验中航空器爬升时各飞行状态下的可选动作；模拟飞行实验为基于航空器真实性能开展的模拟飞行实验；
[0048]步骤2，根据飞行状态下的可选动作，以到达巡航航路点油耗最小、运行时间最小为目标，采用单步时序差分更新评估策略的强化学习算法，求解航空器爬升中的最优动作；
[0049]步骤3，将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹。
[0050]上述方法根据航空器性能获得飞行状态下的可选动作空间，采用单步时序差分更新评估策略的强化学习算法，求解航空器爬升中的最优动作，将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹，实现了高效与精细化航空器四维爬升航迹规划。
[0051]航空器的飞行状态一般由飞行管理系统(FMS)获得，发送至驾驶员仪表盘以及管制员二次雷达或ADS
‑
B设备，故在航迹规划时想要获得飞行姿态并不是很困难的事情。在模拟飞行实验中可根据航空器真实性能模拟飞行员操作，获得航空器对应的飞行状态。
[0052]航空器位置、速度等都是连续的变量，为从连续空间中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种航空器四维爬升航迹规划方法，其特征在于：包括：获取模拟飞行实验中航空器爬升时各飞行状态下的可选动作；根据飞行状态下的可选动作，以到达巡航航路点油耗最小、运行时间最小为目标，采用单步时序差分更新评估策略的强化学习算法，求解航空器爬升中的最优动作；将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹。2.根据权利要求1所述的一种航空器四维爬升航迹规划方法，其特征在于：飞行状态包括水平位置、高度位置、速度和俯仰角，可选动作包括加速度和俯仰角速度。3.根据权利要求1所述的一种航空器四维爬升航迹规划方法，其特征在于：强化学习算法中交互的模型包括环境模型和智能体模型；环境模型：根据航空器所处环境的参数，计算航空器在当前飞行状态下运行单位时间的油耗与位置变化；根据油耗与位置变化，计算环境给予的奖励值，并将该奖励值作为评价航空器当前飞行状态的参数；智能体模型：从可选动作中选择最优动作。4.根据权利要求3所述的一种航空器四维爬升航迹规划方法，其特征在于：奖励值计算公式为：r(s
t
,a
t
)＝r
t1
+r
t2
+r
t3
其中，r(s
t
,a
t
)为航空器在t时序，飞行状态s
t
下选择动作a
t
后，环境给予的奖励值；r
t1
为航空器接近巡航航路点，获得的正奖励值；r
t2
为航空器经过t时序，获得的负奖励值；r
t3
为航空器做动作a
t
消耗燃油，获得的负奖励值。5.根据权利要求1所述的一种航空器四维爬升航迹规划方法，其特征在于：将基于最优动作所得的爬升航迹拟合，获得航空器四维爬升航迹，包括：根据航空器的性能，确定梯级爬升时航空器的转换高度和平飞距离；根据转换高度和平飞距离，拟合基于最优动作所得的爬升航迹，获得航空器四维爬升航迹。6.一种航空器四维爬升航迹规...

【专利技术属性】
技术研发人员：张洪海，周锦伦，万俊强，吕文颖，钟罡，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：