【技术实现步骤摘要】
本专利技术涉及空中交通管理，具体涉及一种深层语义特征表示的空管指令小样本意图识别方法。
技术介绍
1、空中交通管理指令意图识别方法是一种通过分析并理解管制员与飞行员的语义信息，在指令交互中辅助管制员与飞行员发现因信息遗漏或理解错误等原因导致意图有误的情况，实现不安全事件的及时预警，确保人在环路场景下的飞机安全有序运行。
2、以人工智能技术辅助空管指令的安全监控在空管行业开始发展和应用，其中包括两个主要步骤，利用asr(自动语音识别，automatic speech recognition)对语音信号进行自动识别，接着利用nlu(自然语言理解，natural language understanding)来理解指令。意图是理解陆空通话双方指令的关键要素，是感知当前管制空域态势信息的最直接方式，也是预测未来运行状态的重要信息来源。实时、准确地识别出指令中的意图是完成全阶段飞行任务的关键，随着人工智能技术在空中交通管理领域逐步推广，以ai增强空管中管制员和飞行员的感知能力和态势预测的重要性日益增强。
3、目前较为常用的方法是利用指令语料集构建模型预测意图，基于大量已标注的指令构建特征表示固定的模型，但是由于不同场景的指令内容不同，仅依靠一个数据集建立固定的模型将不易应用到全飞行阶段。同时，由于民航运行的独特性，在不同的阶段和情境下使用的用语存在较大区别，一些对飞行状态调整很重要但使用频率不高的意图常常难以收集到足够的数据支持空管意图识别的研究。例如信息更改意图，即管制员和飞行员会因为多种因素导致指令发布错误而进
4、综上，现有技术中存在由于对样本量较少的指令的意图识别能力较差导致的对安全态势感知和语义表示的不全面和不可靠，并且难以兼顾提升模型的适用性和少量标注语料信息的问题。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种深层语义特征表示的空管指令小样本意图识别方法，解决了现有技术中由于对样本量较少的指令的意图识别能力较差导致的对安全态势感知和语义表示的不全面和不可靠，并且难以兼顾提升模型的适用性和少量标注语料信息的问题。
2、本专利技术提供了一种深层语义特征表示的空管指令小样本意图识别方法，先按照如下方式获取总体语言模型和意图识别模型：
3、构建预训练bert语言模型、掩码语言模型和基于对比学习的语言模型，并联合获得总体语言模型；构建分类器，对部分待预测区域空管指令预先标注后从中获取小样本，经总体语言模型提取深层语义特征表示后输入分类器，对分类器进行预训练得到意图识别模型；
4、再利用总体语言模型和意图识别模型对未预先标注的待预测区域空管指令进行深层语义特征表示的意图识别：
5、将未预先标注的待预测区域空管指令输入总体语言模型，提取对应指令的深层语义特征表示；再用意图识别模型对该对应指令的深层语义特征表示进行意图识别处理得到对应的预测结果，完成对未预先标注的待预测区域空管指令的意图识别。
6、进一步地，获取总体语言模型和意图识别模型具体包括如下步骤：
7、步骤s1.构建一个管制区域空管指令集和待预测区域空管指令集；其中，待预测区域空管指令集以3％～25％的比例预先按意图标注上实际标签；管制区域空管指令数据集以100％的比例预先按意图标注上实际标签；
8、分别对管制区域空管指令和待预测区域空管指令进行分词转化，得到管制区域空管指令分词序列和待预测区域空管指令分词序列；
9、步骤s2.构建bert语言模型；其中，bert语言模型的输入为对管制区域空管指令分词序列前添加特殊的词后的结果；
10、步骤s3.基于bert语言模型，构建掩码语言模型；其中，掩码语言模型的输入为先对待预测区域空管指令分词序列前添加特殊的词，再以预设概率进行分词的随机选择和替换后的结果；
11、步骤s4.基于bert语言模型的dropout层，构建基于对比学习的语言模型；其中，基于对比学习的语言模型的输入为对待预测区域空管指令分词序列前添加特殊的词后的结果；基于预先设置dropout层的概率，在训练过程中bert语言模型以该概率随机丢弃神经元，以得到不同的特征表示；
12、步骤s5.对bert语言模型、掩码语言模型和基于对比学习的语言模型进行联合预训练，获得总体语言模型；
13、步骤s6.构建分类器；对预先按意图标注上实际标签的待预测区域空管指令采用c-way+k-shot的方法从中获取小样本，然后输入总体语言模型提取对应指令的深层语义特征表示，用于对分类器进行预训练，得到意图识别模型。
14、进一步地，步骤s1具体利用jieba对中文分词、根据空格对英文指令分词分别对管制区域空管指令和待预测区域空管指令进行分词转化，得到管制区域空管指令分词序列和待预测区域空管指令分词序列。
15、进一步地，步骤s5具体包括：
16、步骤s501.构建与bert语言模型对应的交叉熵损失函数lce；构建与掩码语言模型对应的掩码语言损失函数lmlm；构建与基于对比学习的语言模型对应的对比学习损失函数lcon；
17、步骤s502.根据交叉熵损失函数、掩码语言损失函数和对比学习损失函数构建联合预训练的总损失函数，表示为：
18、l＝lce+λ1lmlm+λ2lcon；
19、其中，λ1和λ2分别对应两个模型的损失函数的权重参数；
20、以联合预训练的总损失最小化为联合预训练目标，基于交叉熵损失函数对bert语言模型、基于掩码语言损失函数对掩码语言模型以及基于对比学习损失函数对基于对比学习的语言模型进行联合预训练，获得总体语言模型。
21、进一步地，掩码语言损失函数具体表示为：
22、
23、其中，为预测出的被掩盖的分词；mj'为待预测区域空管指令中被掩盖掉的分词；c'表示待预测区域空管指令中除了被掩盖的词以外的其余分词；nmask表示待预测区域空管指令中被掩盖的分词总数。
24、进一步地，对比学习损失函数具体表示为：
25、
26、其中，ntarget为待预测区域空管指令的数量；hj和分别为指令xj通过bert语言模型后不同的dropout层输出的两个特征表示；为两个表示之间的余弦相似度；hk为与指令xj不同的其他指令的特征表示；τ为温度参数。
27、进一步地，步骤s502的联合预训练，基于交叉熵损失函数对bert语言模型的预训练具体包括：
28、步骤s502a-1.在管制区域空管指令分词序列前添加特殊的词，得到特定格式的管制区域空管指令，然后输入bert语言模型，输出管制区域空管指令的文本特征；
29、步骤s502a-2.根据管制区域空管指令的文本特征，计算获得管制区域空管指令的意图概率；
【技术保护点】
1.一种深层语义特征表示的空管指令小样本意图识别方法，其特征在于，先按照如下方式获取总体语言模型和意图识别模型：
2.根据权利要求1所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，获取总体语言模型和意图识别模型具体包括如下步骤：
3.根据权利要求2所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤S1具体利用jieba对中文分词、根据空格对英文指令分词分别对管制区域空管指令和待预测区域空管指令进行分词转化，得到管制区域空管指令分词序列和待预测区域空管指令分词序列。
4.根据权利要求3所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤S5具体包括：
5.根据权利要求4所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，掩码语言损失函数具体表示为：
6.根据权利要求5所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，对比学习损失函数具体表示为：
7.根据权利要求6所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤S50
8.根据权利要求7所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤S502A-1，特定格式的管制区域空管指令表示为：
9.根据权利要求8所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤S502A-1，BERT语言模型输出的管制区域空管指令的文本特征表示为：
10.根据权利要求9所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤S6具体包括：
...【技术特征摘要】
1.一种深层语义特征表示的空管指令小样本意图识别方法，其特征在于，先按照如下方式获取总体语言模型和意图识别模型：
2.根据权利要求1所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，获取总体语言模型和意图识别模型具体包括如下步骤：
3.根据权利要求2所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤s1具体利用jieba对中文分词、根据空格对英文指令分词分别对管制区域空管指令和待预测区域空管指令进行分词转化，得到管制区域空管指令分词序列和待预测区域空管指令分词序列。
4.根据权利要求3所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，步骤s5具体包括：
5.根据权利要求4所述的深层语义特征表示的空管指令小样本意图识别方法，其特征在于，掩码语言损失函数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。