航空器轨迹的规划方法技术

本公开是关于一种航空器轨迹的规划方法，涉及航空技术领域，航空器轨迹的规划方法包括：获取航空器的初始状态和位置目标作为原始任务；将原始任务以高层策略网络在与或树中进行分解；其中，在与或树的每个或节点中确定与或节点两端的距离差最小的子目标，并根据或节点和子目标形成下层与节点的第一任务，将每个第一任务进行分解形成下层或节点的第二任务；将与或树中最后一层的各第二任务以低层策略网络进行学习，形成划分树，划分树中包括通过学习得到的航空器的多个初始轨迹；根据划分树，确定航空器的目标轨迹。由于在确定子目标时，子目标与或节点两端的距离差最小，能够加快第二任务处理的速度，从而提高了航空器轨迹规划的效率。规划的效率。规划的效率。

【技术实现步骤摘要】
航空器轨迹的规划方法


[0001]本公开涉及航空
，尤其涉及一种航空器轨迹的规划方法。

技术介绍

[0002]目前，随着空路交通流量的日益增长，在有限的空域资源下，预先规划出航空器的飞行轨迹尤为重要。但是，现有的航空器轨迹的规划方法中，由于规划过程复杂，导致航空器轨迹规划的效率低。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开提供了一种航空器轨迹的规划方法。
[0004]根据本公开实施例的第一方面，提供了一种航空器轨迹的规划方法，所述航空器轨迹的规划方法包括：获取航空器的初始状态和位置目标作为原始任务；将所述原始任务以高层策略网络在与或树中进行分解；其中，在所述与或树的每个或节点中确定与所述或节点两端的距离差最小的子目标，并根据所述或节点和所述子目标形成下层与节点的第一任务，将每个所述第一任务进行分解形成下层或节点的第二任务；将所述与或树中最后一层的各所述第二任务以低层策略网络进行学习，形成划分树，所述划分树中包括通过学习得到的所述航空器的多个初始轨迹；根据所述划分树，确定所述航空器的目标轨迹。
[0005]本公开一些实施例中，所述子目标与所述或节点两端的距离和最小。
[0006]本公开一些实施例中，所述高层策略网络的损失函数用于辅助所述高层策略网络的训练，所述损失函数由主要损失函数和辅助损失函数计算得到，所述主要损失函数和所述损失函数中的参数更新方法为随机梯度上升法，所述辅助损失函数中的参数更新方法为随机梯度下降法。
[0007]本公开一些实施例中，所述主要损失函数的公式如下：；所述辅助损失函数的公式如下：；所述损失函数的公式如下：；其中，为衡量所述高层策略网络的函数的梯度，为当前初始状态和当前位置目标的联合分布，为所述高层策略网络的参数，N为更新所述高层策略网络
的参数时所取的经验池的最小样本数，为第一权重参数，为第二权重参数，为第个所述子目标与所述当前初始状态的距离，为第个所述子目标与所述当前位置目标的距离，为所述辅助损失函数的权重，i为正整数。
[0008]本公开一些实施例中，所述将所述原始任务以高层策略网络在与或树中进行分解，包括：将所述原始任务作为所述与或树的根节点，所述根节点为所述与或树首层的所述或节点；循环执行以下第一过程，直至所述与或树的层数达到第一预设层数：将所述或节点输入所述高层策略网络，得到所述高层策略网络输出的高层行为；其中，所述高层行为与所述或节点两端的距离差最小；将所述高层行为确定为所述子目标；根据所述或节点和所述子目标，形成下层所述与节点的所述第一任务；将所述第一任务进行分解，形成下层所述或节点的所述第二任务，每个所述第二任务中均包含所述子目标。
[0009]本公开一些实施例中，当所述与或树的层数达到所述第一预设层数时，所述将所述原始任务以高层策略网络在与或树中进行分解，还包括：循环执行以下第二过程，直至所述与或树的层数达到第二预设层数：将所述与或树中最深层的各所述第二任务输入所述低层策略网络，得到所述低层策略网络输出的低层行为；根据所述低层行为，确定所述低层策略网络完成所述第二任务所学习的步数；若所述步数在预设步数范围内，将所述第二任务所在的所述或节点保存在所述与或树中；若所述步数在预设步数范围外，再次执行所述第一过程；其中，所述第二预设层数为所述与或树的最后一层。
[0010]本公开一些实施例中，所述高层策略网络输出的高层行为如下：；其中，为高层行为，为高层策略网络，为或节点的当前初始状态，为或节点的当前位置目标，为高层策略网络的参数，为均值是0的随机噪声。
[0011]本公开一些实施例中，所述将所述与或树中最后一层的各所述第二任务以低层策略网络进行学习，形成划分树，包括：将所述与或树中最后一层的各所述第二任务输入所述低层策略网络，得到所述低层策略网络输出的低层行为；根据所述低层行为，确定所述低层策略网络完成所述第二任务所学习的步数；若所述步数在预设步数范围内，将所述第二任务所在的所述或节点保存在所述与或树中，形成所述划分树。
[0012]本公开一些实施例中，所述低层策略网络输出的低层行为如下：
；其中，为低层行为，为低层策略网络，为或节点的当前初始状态，为或节点的当前位置目标，为低层策略网络的参数，为均值是0的随机噪声。
[0013]本公开一些实施例中，所述根据所述划分树，确定所述航空器的目标轨迹，包括：对所述划分树进行遍历，形成规划树；根据所述规划树，形成解树；根据所述解树，确定所述航空器的目标轨迹。
[0014]本公开的实施例提供的技术方案可以包括以下有益效果：将原始任务以高层策略网络在与或树中进行分解，形成与节点和或节点逐层交替的与或树。在每个或节点中，通过高层策略网络确定子目标，且子目标与或节点两端的距离差最小。根据或节点和子目标，形成下层与节点的第一任务，将第一任务分解后形成下层或节点的第二任务。当达到与或树的最后一层时，将最后一层的各第二任务以低层策略网络进行学习形成划分树。根据划分树，确定航空器的目标轨迹，实现航空器轨迹的规划。由于在确定子目标时，子目标与或节点两端的距离差最小，使得每层或节点中的各第二任务的复杂程度近似相同。当并行处理各第二任务时，能够加快第二任务处理的速度，从而提高了航空器轨迹规划的效率。同时，通过高层策略网络和低层策略网络将原始任务分解并形成划分树，降低了航空器轨迹规划的复杂性，从而提高了航空器轨迹规划的信度。
[0015]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
[0016]构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：图1是本公开一示例性实施例示出的分层结构的示意图；图2是本公开第一示例性实施例示出的航空器轨迹的规划方法流程图；图3是本公开第一示例性实施例示出的与或树的结构示意图；图4是本公开第二示例性实施例示出的与或树的结构示意图；图5是本公开第二示例性实施例示出的航空器轨迹的规划方法流程图；图6是本公开第三示例性实施例示出的航空器轨迹的规划方法流程图；图7是本公开第四示例性实施例示出的航空器轨迹的规划方法流程图；图8是本公开第五示例性实施例示出的航空器轨迹的规划方法流程图；图9是本公开一示例性实施例示出的解树的结构示意图；图10是本公开第六示例性实施例示出的航空器轨迹的规划方法流程图；图11是本公开第七示例性实施例示出的航空器轨迹的规划方法流程图；图12是本公开一示例性实施例示出的仿真环境的示意图；图13是本公开一示例性实施例示出的航空器轨迹的规划示意图。
具体实施方式
[0017]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种航空器轨迹的规划方法，其特征在于，所述航空器轨迹的规划方法包括：获取航空器的初始状态和位置目标作为原始任务；将所述原始任务以高层策略网络在与或树中进行分解；其中，在所述与或树的每个或节点中确定与所述或节点两端的距离差最小的子目标，并根据所述或节点和所述子目标形成下层与节点的第一任务，将每个所述第一任务进行分解形成下层或节点的第二任务；将所述与或树中最后一层的各所述第二任务以低层策略网络进行学习，形成划分树，所述划分树中包括通过学习得到的所述航空器的多个初始轨迹；根据所述划分树，确定所述航空器的目标轨迹。2.根据权利要求1所述的航空器轨迹的规划方法，其特征在于，所述子目标与所述或节点两端的距离和最小。3.根据权利要求2所述的航空器轨迹的规划方法，其特征在于，所述高层策略网络的损失函数用于辅助所述高层策略网络的训练，所述损失函数由主要损失函数和辅助损失函数计算得到，所述主要损失函数和所述损失函数中的参数更新方法为随机梯度上升法，所述辅助损失函数中的参数更新方法为随机梯度下降法。4.根据权利要求3所述的航空器轨迹的规划方法，其特征在于，所述主要损失函数的公式如下：；所述辅助损失函数的公式如下：；所述损失函数的公式如下：；其中，为衡量所述高层策略网络μ
h
的函数J的梯度，ρ为当前初始状态和当前位置目标的联合分布，为所述高层策略网络μ
h
的参数，N为更新所述高层策略网络μ
h
的参数时所取的经验池的最小样本数，λ1为第一权重参数，λ2为第二权重参数，为第i个所述子目标与所述当前初始状态的距离，为第i个所述子目标与所述当前位置目标的距离，α为所述辅助损失函数的权重，i为正整数。5.根据权利要求1所述的航空器轨迹的规划方法，其特征在于，所述将所述原始任务以高层策略网络在与或树中进行分解，包括：将所述原始任务作为所述与或树的根节点，所述根节点为所述与或树首层的所述或节点；循环执行以下第一过程，直至所述与或树的层数达到第一预设层数：将所述或节点输入所述高层策略网络，得到所述高层策略网络输出的高层行为；其中，所述高层行为与所述或节点两端的距离差最小；将所述高层行为确定为所述子目标；根据所述或节...

【专利技术属性】
技术研发人员：张筱，吴发国，郭宁，姚望，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：