一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备技术

本发明专利技术涉及民用航空空中交通管理领域，特别是一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备。本发明专利技术提出了一种基于深度学习的飞机驾驶舱安全辅助方法，通过基于深度学习的多任务空管语音识别模型、指令翻译模型和指令理解模型，对获取到的飞行员的地空通话语音信号进行处理和分析，实时检测对应航班的航线是否正常，以及飞行员的工作状态。减少了人在回路给空中交通安全带来的安全威胁，为民航空中交通管制提供了有效的安全辅助措施，提高了空管系统的运行效率。了空管系统的运行效率。了空管系统的运行效率。

【技术实现步骤摘要】
一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备


[0001]本专利技术涉及民用航空空中交通管理领域，特别是一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备。

技术介绍

[0002]空中交通管制的任务是保障空中交通安全有序地运行，不过日益增长的空中交通流量使得民航空中交通管制业务面临前所未有的复杂交通态势，飞行冲突愈发频繁，给航空安全带来了巨大的挑战，也对空管管制指挥调度提出了更高的要求。由于飞行员缺少有效手段感知飞行环境，因此为了保证航班飞行安全，飞行员必须严格按照空中交通管制员的飞行引导调整飞行姿态，这导致管制员与飞行员之间能否对管制指令做到正确地传达和反馈，会对空中交通安全产生极大影响。同时，飞行员在执行管制指令过程中的任何行为均潜在地影响空中交通安全。目前日益增长的工作负荷会严重降低管制员的指挥效率和安全水平，在航班密集区域内更为严重，极易出现“错、忘、漏”等情况，同时，长时间的高强度紧张工作会导致管制员和飞行员双方生理和心理的疲劳，造成“人为因素”安全隐患。
[0003]所以如今需要一种基于深度学习的飞机驾驶舱安全辅助系统及装置来管控人在回路给空中交通安全带来的安全风险，预先感知潜在风险和不稳定因素，防微杜渐，提高空管安全防护的性能与效率。

技术实现思路

[0004]本专利技术的目的在于为民航驾驶舱飞行员提供飞行辅助和安全检测系统，减少人在回路给空中交通带来的安全隐患，提供一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备。
[0005]为了实现上述专利技术目的，本专利技术提供了以下技术方案：一种基于深度学习的飞机驾驶舱安全辅助方法，包括以下步骤：S1：实时获取地空通话语音信号，对所述地空通话语音信号进行预处理以及按句切分处理，输出若干单句语音信号；所述预处理包括语音采样、滤波以及预加重；S2：将所述单句语音信号输入预构筑的多任务空管语音识别模型，提取并输出所述单句语音信号对应的转录文本、说话人角色和语种信息；S3：将所述转录文本分别输入到预构筑的空管指令翻译模型和空管指令理解模型，输出中英文双语管制指令，以及管制指令中的重要信息；所述重要信息包括呼号、指令意图以及指令参数；S4：获取航迹数据，提取各个航班的飞行数据，根据所述飞行数据、所述指令意图以及所述指令参数预测各个所述航班的飞行轨迹，根据所述飞行轨迹生成并输出局部空中交通态势的感知；S5：进行安全检测并输出安全检测结果；所述安全检测包括基于轨迹的安全辅助检测和基于空管指令的安全辅助检测；
所述多任务空管语音识别模型为编码器
‑
分类器结构，通过预先标注的数据集训练得到；所述分类器由全连接层构成；所述说话人角色包括管制员和飞行员；所述语种信息包括中文和英文；所述空管指令翻译模型和空管指令理解模型为编码器
‑
解码器结构，通过预先标注的数据集训练得到。作为本专利技术的优选方案，所述空管指令翻译模型和所述空管指令理解模型采用BART
‑
base模型。
[0006]本专利技术提出了一种基于深度学习的飞机驾驶舱安全辅助方法，通过基于深度学习的多任务空管语音识别模型、指令翻译模型和指令理解模型，对获取到的飞行员的地空通话语音信号进行处理和分析，通过深度学习方法实时检测对应航班的航线是否正常，以及飞行员的工作状态。减少了人在回路给空中交通安全带来的安全威胁，为民航空中交通管制提供了有效的安全辅助措施，提高了空管系统的运行效率。
[0007]作为本专利技术的优选方案，所述S4包括：S41：通过航电系统接收航迹数据，得到当前航班的飞行数据，并根据所述飞行数据以及所述指令意图预测当前航班的飞行轨迹；所述飞行数据包括航班位置、飞行速度和飞行姿态；S42：通过航电系统接收航迹数据，得到其他航班的飞行数据，根据所述飞行数据预测其他航班的飞行轨迹；S43：整合空域内所有航班的预测飞行轨迹，形成局部空中交通态势的感知。
[0008]作为本专利技术的优选方案，所述S4中采用基于深度神经网络的概率统计算法预测各个所述航班的飞行轨迹；所述概率统计算法的步骤如下：基于深度神经网络分层级的结构，使用高斯过程处理不同层节点之间的非线性映射关系；再以深度高斯过程的预测均值作为航班的预测标称轨迹，以深度高斯过程的预测方差作为航班的预测可信偏差范围，输出为飞行轨迹。
[0009]作为本专利技术的优选方案，所述航班预测的飞行轨迹概率分布函数为：；其中，表示高斯过程，为航班位置，为航班的预测位置，为高斯过程中的均值函数，为协方差函数。
[0010]作为本专利技术的优选方案，所述S5包括：S51：进行基于轨迹的安全辅助检测；所述基于轨迹的安全辅助检测包括潜在飞行冲突检测和飞行行为一致性检测；S52：进行基于空管指令的安全辅助检测；包括管制通话规范性检测、飞行员复诵正确性检测以及基于空管通话语音和文本的工作状态检测；S53：输出安全检测结果。本专利技术能够同时对管制对话进行管制用语规范性检查、飞行员复诵一致性检查、航班潜在飞行冲突检查、飞行行为一致性检查和工作状态检测，有效地为空中交通管制指挥提供安全辅助措施和安全保障。
[0011]作为本专利技术的优选方案，所述S51包括：S511：进行潜在飞行冲突检测：计算潜在飞行冲突概率，当其超过预设置的阈值，输出结果为存在潜在飞行冲突；否则输出结果为无潜在飞行冲突；
其中，所述潜在飞行冲突概率的计算方式为：在检测时间内，通过马尔科夫链蒙特卡洛方法在各个航班各个时刻的预测飞行轨迹分布中采集若干样本点，计算当前航班与任意航班在各个时间的相对距离是否满足预设的安全间隔要求，将不满足安全间隔要求的样本点个数与总样本点个数的比值作为发生潜在冲突的概率；S512：进行飞行行为一致性检测：通过航电系统接收航迹数据，计算现有航迹和预测航迹之间的差值，判断当前航班是否偏离航线；并根据所述S3得到的所述指令意图以及所述指令参数，判断当前航班是否按管制指令调整飞行参数；当所述航班未按时执行管制指令，输出结果为未按时进行管制指令操作；当现有航迹不在预测轨迹的可信区间内，输出结果为偏离航线；当所述航班未按管制指令调整飞行参数，输出结果为未按管制指令操作；否则输出结果为飞行行为一致。本专利技术通过基于统计概率分布的航班轨迹预测方法和以此为基础的冲突检测方法，能在考虑管制意图的情况下预测未来一段时间的航班飞行轨迹，提高空中交通运行效率并降低管制员的工作负荷；相较于现有机载设备中的碰撞检测系统，设计的冲突检测方法能够更早地发现局部空中交通态势中的潜在飞行冲突，由于飞行轨迹预测精度较高，潜在飞行冲突检测方法的性能也得到了进一步提高，能够更好地支撑空中交通管制业务。
[0012]作为本专利技术的优选方案，所述S52包括：S521：根据管制意图与指令参数之间的对应关系，构建空管指令规范知识库；S522：进行管制通话规范性检测：将所述S3中输出的所述指令意图输入到所述空管指令规范知识库，检查所述指令意图与所述指令参数是否对应；S523：进行指令复诵正确性检测：对飞行员和管制员的指令内容进行比较，判断飞行员指令复诵内容的正确性；S524本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的飞机驾驶舱安全辅助方法，其特征在于，包括以下步骤：S1：实时获取地空通话语音信号，对所述地空通话语音信号进行预处理以及按句切分处理，输出若干单句语音信号；所述预处理包括语音采样、滤波以及预加重；S2：将所述单句语音信号输入预构筑的多任务空管语音识别模型，提取并输出所述单句语音信号对应的转录文本、说话人角色和语种信息；S3：将所述转录文本分别输入到预构筑的空管指令翻译模型和空管指令理解模型，输出中英文双语管制指令，以及管制指令中的重要信息；所述重要信息包括呼号、指令意图以及指令参数；S4：获取航迹数据，提取各个航班的飞行数据，根据所述飞行数据、所述指令意图以及所述指令参数预测各个所述航班的飞行轨迹，根据所述飞行轨迹生成并输出局部空中交通态势的感知；S5：进行安全检测并输出安全检测结果；所述安全检测包括基于轨迹的安全辅助检测和基于空管指令的安全辅助检测；所述多任务空管语音识别模型为编码器
‑
分类器结构，通过预先标注的数据集训练得到；所述分类器由全连接层构成；所述说话人角色包括管制员和飞行员；所述语种信息包括中文和英文；所述空管指令翻译模型和空管指令理解模型为编码器
‑
解码器结构，通过预先标注的数据集训练得到。2.根据权利要求 1所述的一种基于深度学习的飞机驾驶舱安全辅助方法，其特征在于，所述S4包括：S41：通过航电系统接收航迹数据，得到当前航班的飞行数据，并根据所述飞行数据以及所述指令意图预测当前航班的飞行轨迹；所述飞行数据包括航班位置、飞行速度和飞行姿态；S42：通过航电系统接收航迹数据，得到其他航班的飞行数据，根据所述飞行数据预测其他航班的飞行轨迹；S43：整合空域内所有航班的预测飞行轨迹，形成局部空中交通态势的感知。3.根据权利要求1所述的一种基于深度学习的飞机驾驶舱安全辅助方法，其特征在于，所述S4中采用基于深度神经网络的概率统计算法预测各个所述航班的飞行轨迹；所述概率统计算法的步骤如下：基于深度神经网络分层级的结构，使用高斯过程处理不同层节点之间的非线性映射关系；再以深度高斯过程的预测均值作为航班的预测标称轨迹，以深度高斯过程的预测方差作为航班的预测可信偏差范围，输出为飞行轨迹。4.根据权利要求3所述的一种基于深度学习的飞机驾驶舱安全辅助方法，其特征在于，所述航班预测的飞行轨迹概率分布函数为：；其中，表示高斯过程，为航班位置，为航班的预测位置，为高斯过程中的均值函数，为协方差函数。5.根据权利要求1所述的一种基于深度学习的飞机驾驶舱安全辅助方法，其特征在于，
所述S5包括：S51：进行基于轨迹的安全辅助检测；所述基于轨迹的安全辅助检测包括潜在飞行冲突检测和飞行行为一致性检测；S52：进行基于空管指令的安全辅助检测；包括管制通话规范性检测、飞行员复诵正确性检测以及基于空管通话语音和文本的工作状态检测；S53：输出安全检测结果。6.根据权利要求5所述的一种基于...

【专利技术属性】
技术研发人员：林毅，戈文一，
申请(专利权)人：四川大学，
类型：发明
国别省市：