用于空中交通管制音频的语义解析的系统和/或方法技术方案

方法S200可以包括：在航空器处，从空中交通管制接收音频话语S210，将音频话语转换成文本，使用问题和答案模型从文本确定命令S240，以及可选地基于命令管制航空器S250。该方法用于自动解释来自空中交通管制(ATC)流的飞行命令。令。令。

【技术实现步骤摘要】
【国外来华专利技术】用于空中交通管制音频的语义解析的系统和/或方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年10月13日提交的第63/090,898号美国临时申请的权益，该美国临时申请通过本引用以其整体并入本文。


[0003]本专利技术总体上涉及航空领域，并且更具体地涉及航空领域中的新的和有用的语义解析器。
[0004]附图简述
[0005]图1是系统的变型的示意表示。
[0006]图2是方法的变型的图解表示。
[0007]图3是方法的变型的图解表示。
[0008]图4是在该方法的变型中训练ASR模型的示例的图解表示。
[0009]图5是在该方法的变型中训练语言模型的示例的图解表示。
[0010]图6是在该方法的变型中训练问题/答案模型的示例的图解表示。
[0011]图7是系统的示例的示意表示。
[0012]图8是在该方法的变型中领域专家评估工具的示例的图形表示。
[0013]图9是该方法的变型的图解表示。
[0014]图10A
‑
图10D分别是该系统的第一、第二、第三和第四变型的图解表示。
[0015]图11A
‑
图11C分别是基于树的查询结构的第一、第二和第三示例。
[0016]图12是系统和/或方法的变型的图解表示。
[0017]优选实施例的描述
[0018]本专利技术的优选实施例的以下描述并不意欲将本专利技术限制到这些优选实施例，而是意欲使本领域中的任何技术人员能够制造并使用本专利技术。
[0019]1.综述
[0020]该方法(图2中示出了该方法的示例)可以包括使用系统执行推断S200；并且可以可选地包括训练系统部件S100。该方法用于自动解释来自空中交通管制(ATC)无线电通信流的飞行命令。该方法可以附加地或替代地用于基于ATC通信来训练和/或更新自然语言处理系统。
[0021]执行推断S200可以包括：在航空器处，从空中交通管制接收音频话语S210，将音频话语转换成预定的格式S215，使用问题和答案模型确定命令S240，以及可选地基于命令管制航空器S250(图3中示出的示例)。该方法用于自动解释来自空中交通管制(ATC)流的飞行命令。飞行命令可以是：自动用于控制航空器飞行；呈现给用户(例如，飞行员、远程遥控机械手)；响应于用户(例如，飞行员)确认而中继到自动驾驶系统(auto
‑
pilot system)；和/或以其他方式使用。
[0022]在说明性示例中，该方法可以接收ATC音频流，将ATC音频流转换为ATC文本，并将ATC文本(作为参考文本)和预定的查询集合(每个查询与不同的飞行命令参数相关联)提供
给ATC调节的问题和答案模型(例如ATC调节的BERT)，该ATC调节的问题和答案模型分析ATC文本以获得查询答案。查询答案(例如，问题和答案模型的响应)然后可以用于选择后续查询和/或填写命令参数值，该命令参数值可以用于直接或间接航空器管制。可以使用ATC调节的集成语句边界检测和自动语音识别模型(SBD/ASR模型)和ATC调节的语言模型将ATC音频流转换成ATC文本，其中可以基于来自SBD/ASR模型和语言模型的联合分数来选择话语假设(例如，语句假设、单独的说话者的话语等)以包括在ATC文本中。
[0023]S200可以使用包括语音到文本模块以及问题和答案(Q/A)模块(例如，协作地形成语义解析器)的系统100来执行。该系统用于将音频空中交通管制(ATC)音频解释为飞行命令，并且可以可选地基于飞行命令集合来管制航空器。
[0024]系统100优选地安装到任何合适的运载工具(vehicle)(例如，系统可以包括运载工具)、安装在任何合适的运载工具(例如，系统可以包括运载工具)上、集成到任何合适的运载工具(例如，系统可以包括运载工具)中和/或配置成与任何合适的运载工具(例如，系统可以包括运载工具)一起操作。优选地，运载工具是航空器，但是可以可替代地是船只、陆基运载工具、航天器和/或任何其他合适的运载工具。该系统可以与任何合适的航空器集成，该航空器例如为旋翼机(例如直升机、多旋翼直升机)、固定翼航空器(例如飞机)、VTOL、STOL、轻于空气的航空器、多旋翼直升机和/或任何其他合适的航空器。然而，运载工具可以是自主(autonomous)航空器、无人驾驶航空器(UAV)、有人驾驶航空器(例如，由飞行员、由不熟练的操作员执行主要航空器管制)、半自主航空器和/或任何其他合适的航空器。在下文中，术语“运载工具”可以指任何合适的航空器，而术语“航空器”同样可以指任何其他合适的运载工具。
[0025]该系统优选地装备在自主航空器上，该自主航空器被配置成在没有用户(例如，飞行员)干预的情况下使用飞行处理系统根据飞行命令集合来管制航空器。可替代地，该系统可以装备在半自主运载工具和/或人类操作的运载工具上作为飞行辅助设备。在第一变型中，系统可以响应于用户(例如，飞行员)的确认而向用户(例如，飞行员)显示ATC命令和/或向自动驾驶系统中继ATC命令。
[0026]如关于神经网络、语言模型或其它方面引用的术语“调节(tune)”可以理解为涉及使用训练数据调节(例如，调整)模型参数。因此，ATC调节的网络可以理解为具有基于ATC音频和/或ATC特定语义训练数据调节的参数(与专用于特定射频频带的网络相反)。
[0027]2.益处
[0028]该技术的变型可以提供几个益处和/或优点。
[0029]首先，系统和方法的变型可以通过利用多查询(或重复的问题和答案)方法(例如通过神经网络(例如，BERT))赋予比传统系统更高的语义解析准确度，因为现有的深度神经网络模型在响应这些类型的问题时具有高的固有准确度。
[0030]第二，利用多查询方法的该技术的变型可以提高语义解析器的可解释性和/或可审核性，该多查询方法询问神经网络的自然语言问题(例如，“预期针对DAL 456的消息？”；“主题？”；“航向值(heading values)？”；等等)。在这样的变型中，当用户拒绝命令时，系统的特定模块/模型/查询可以被识别为故障点，这可以用于进一步训练/改进系统。在一些变型中，多查询方法可以附加地使得语义解析器的部分能够基于部分和/或不完整的标记响应(例如，其可以足以回答用于从ATC抄本提取命令的查询的子集)来训练。例如，当在训练
数据集中没有识别和/或验证值和/或航空器尾号时，可以使用训练数据。
[0031]第三，这种技术的变型可以在不使用语法规则或句法的情况下实现ATC话语的语义解析——这可能需要花费大量时间来开发，执行缓慢，并且产生不准确的结果(特别是在处理边缘情况场景或不寻常的语音模式时)。在示例中：当ATC和航空器之间的对话继续进行时，ATC管制员和飞行员经常缩短短语和/或偏离标准语音模板，这可能严重影响基于语法/句法的NLP方法的效用。在变型中，该系统和/或方法可以将未格式化的音频、句法本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于航空器的用于空中交通管制(ATC)话语的语义解析的系统，所述系统包括：所述航空器上的通信系统，所述通信子系统被配置为接收ATC无线电信号并将所述ATC无线电信号转换成音频信号；连接到所述通信系统的第一处理系统，其包括：语音到文本模块，其被配置为根据所述音频信号确定话语假设；以及问题和答案(Q/A)模块，其被配置为使用多个自然语言查询基于所述话语假设来确定航空器命令；以及第二处理系统，其连接到所述第一处理系统并被配置为基于所述航空器命令来管制所述航空器，其中，所述ATC话语在句法上是非标准化的，其中，所述第一处理系统被配置为以标准化格式自动向所述第二处理系统提供所述命令。2.根据权利要求1所述的系统，其中，所述第一处理系统被配置成将所述句法上非标准化的话语转换成所述标准化格式。3.根据权利要求1所述的系统，其中，利用所述Q/A模型确定航空器命令包括：根据所述自然语言查询的结构化序列查询预训练的神经网络模型。4.根据权利要求3所述的系统，其中，所述预训练的神经网络模型根据ATC音频进行调节。5.根据权利要求3所述的系统，其中，所述结构化序列包括基于树的序列，所述基于树的序列具有多个相关性，所述多个相关性将一个或更多个自然语言查询链接到所述航空器是对应于所述话语假设的话语的预期接收者的确定。6.根据权利要求5所述的系统，其中，所述话语假设包括说话者识别，其中，所述航空器是所述预期接收者的所述确定是基于所述说话者识别。7.根据权利要求3所述的系统，其中，每个命令包括命令参数和对应于所述命令参数的值的集合，其中，所述命令参数选自预定的命令参数集合，其中，所述值的集合和所述命令参数经由所述结构化序列的不同自然语言查询来确定。8.根据权利要求7所述的系统，其中，所述结构化序列包括基于树的序列，其中，响应于所述命令参数是所述话语的主题的确定而查询对应于所述命令参数的值。9.根据权利要求1所述的系统，其中，所述多个自然语言查询选自预定的集合。10.一种用于航空器的用于空中交通管制(ATC)话语的语义解析的系统，所述系统包括：所述航空器上的通信系统，所述通信子系统被配置为接收ATC无线电信号并将所述ATC无线电信号变换成音频信号；以及连接到所述通信系统的第一处理系统，其包括：语音到文本模块，其被配置为根据所述音频信号确定话语假设；以及...

【专利技术属性】
技术研发人员：迈克尔，
申请(专利权)人：梅林实验室公司，
类型：发明
国别省市：