一种飞行员听觉注意反应时测量及预测方法技术

本发明专利技术公开了一种飞行员听觉注意反应时测量及预测方法，飞行员在完整接收到飞行语音指令的时间到下一个注视点开始形成的时间认为是飞行员对相应飞行语音指令的听觉注意反应时。飞行员听觉注意反应时预测方法包括利用飞行语音指令语音识别方法识别飞行语音指令的文本信息，建立并训练听觉注意反应时预测模型，对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时。本发明专利技术可以对飞行语音指令预测听觉注意反应时，揭示飞行员对飞行语音指令的听觉注意力分配的规律。

【技术实现步骤摘要】
一种飞行员听觉注意反应时测量及预测方法
本专利技术涉及听觉注意力分配领域，特别是用于飞行员听觉注意反应时测量及预测方法。
技术介绍
听觉注意反应时为飞行员从接收飞行语音指令到做出反应的时间，对飞行员听觉注意反应时的测量及预测可以揭示飞行员对语音指令的听觉注意力分配规律。目前对飞行员听觉注意反应时的测量一般方法为给出相应的指令，被试根据指令进行相对应的操作，由给出指令到被试做出相应操作的时间被认为是听觉注意反应时。
技术实现思路
我们发现，对于飞行员而言，基于传统的时间间隔研究其听觉注意力分配规律是不合理的，实际上这样得出的反应时间会大于飞行员真实的反应时间，因为飞行员在接收到飞行语音指令后需要获取与操控、飞行状态、态势等相关的视觉信息，综合地做出判断，进而执行相应的操控。而实际上，在对飞行语音指令进行信息处理加工的过程中，飞行员在视觉通道信息的获取以及对信息的加工会形成视觉注视点，出现视觉转移，即视觉注意会转移到与飞行语音指令相关的操控或飞行信息上，通过视觉注视点采集设备可以采集到视觉注意转移和新的注视点形成的相关信息，因此通过捕获视觉注视点来测量飞行员的听觉注意反应时更加合理、准确。语音识别相关的算法已经相当成熟，而且近年来随着互联网技术、智能硬件设备的快速发展，语音识别、声纹识别、声源检测等语音智能交互技术开始从实验室走向用户。由于语音识别技术是基于语音的人机交互系统最核心的技术，目前识别率已经达到可用的准确率，能够满足一些特定场景特定需求应用的要求。对飞行员听觉注意反应时的预测是很重要的，这可以作为一种评价人机交互系统与飞行员的指标，进而对人机交互系统的效能增强提供依据，而且可以对系统进行人机工效的验证，然而目前对听觉注意反应时间预测的相关研究设计甚少。听觉注意反应时预测算法需要指令模型向量化，因为直接从文字信息难以判断出反应时间，因而需要对由飞行语音指令识别得到的文本信息进行再次处理，受自然语言处理的LDA主题模型启发，我们从飞行语音指令中提取出一些关键词，并将这些词划分为不同的主题，每一个主题作为特征向量的一个维度，从而得到飞行语音指令对应的特征向量。那么就可以将听觉注意反应时的判别问题转化为一个预测问题，即给定每个飞行语音指令的指令向量，得到对应的听觉注意反应时，相应的可以采用有监督的学习算法如双隐层的神经网络来解决该问题。本专利技术的技术方案为：所述一种飞行员听觉注意反应时测量方法，其特征在于：对于某一飞行语音指令，记录飞行语音指令结束时刻为飞行员完整接收到飞行语音指令的时刻T1；采用视觉注视点采集设备采集飞行员的注视点，得到飞行员在完整接收到飞行语音指令后发生视觉转移后下一个注视点的开始时刻T2，以T2-T1作为对于该条飞行语音指令的飞行员听觉注意反应时。进一步的，可以通过对相应飞行语音指令多次重复试验测量平均值得到飞行员的听觉注意反应时。所述一种飞行员听觉注意反应时预测方法，其特征在于：包括以下步骤：步骤1：利用飞行语音指令语音识别方法识别飞行语音指令的文本信息：步骤1.1：将预设的飞行语音指令字词音频文件进行分帧处理得到帧矢量时间序列，再对其中出现的字、词进行特征提取，生成的特征矢量时间序列作为一个模板，所有在飞行语音指令字词音频文件中出现过的字、词生成的模板组成最终的飞行语音指令模板库；步骤1.2：根据飞行语音指令中不同字、词包含的信息量，将模板库分成不同的词表，通过分析飞行语音指令的文法规则建立语义依存关系；步骤1.3：基于飞行语音指令模板库和语义依存关系，通过动态时间伸缩匹配方法对输入的飞行语音指令进行识别，识别得到飞行语音指令的文本信息；步骤2：建立并训练听觉注意反应时预测模型：步骤2.1：从所有预设的飞行语音指令中提取出关键词，并将这些关键词划分为不同的主题，每一个主题作为指令模型向量的一个维度；步骤2.2：对于某个飞行语音指令，通过步骤1识别得到文本信息后，选择能够表征这条飞行语音指令的关键词，将这些关键词在指令模型向量所对应主题的维度元素赋值为1，其余没有出现的主题维度元素赋值为0，得到了该飞行语音指令的指令模型向量；步骤2.3：通过指令模型向量，将从飞行语音指令中识别的文本转化为听觉注意反应时预测模型的输入样本，利用输入样本以及样本对应的测量得到的听觉注意力反应时间训练听觉注意反应时预测模型；步骤3：对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时。进一步的，在步骤1.3进行识别前，对输入的飞行语音指令进行滑窗分帧、特征提取处理，得到输入的飞行语音指令的特征矢量时间序列，然后基于输入的飞行语音指令的特征矢量时间序列，通过动态时间伸缩匹配方法进行识别。进一步的，步骤1中，飞行语音指令特征提取的特征参数采用标准的梅尔频率倒谱系数MFCC，并对MFCC参数进行一阶差分求得ΔMFCC，将ΔMFCC与MFCC组合作为特征矢量。进一步的，听觉注意反应时预测模型采用双隐层的神经网络，采用有监督的学习算法进行训练。有益效果本专利技术可以从飞行语音指令中提取需要的文本信息，并从识别的文本信息中依靠飞行语音指令模型将文本转化为判别模型的输入样本，进而依据输入样本预测听觉注意反应时，揭示飞行员对飞行语音指令的听觉注意力分配的规律。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为飞行语音指令测量示例图2为飞行语音指令识别方法图3为飞行语音指令字词音频文件示例图4为飞行语音指令模板示例图5为飞行语音指令词表示例图6为飞行语音指令主题词示例图7为飞行语音指令向量化示例图8为用于预测听觉注意反应时的神经网络结构图具体实施方式本专利技术的目的是对飞行员听觉注意反应时进行测量及预测，揭示飞行员对飞行语音指令的听觉注意力分配规律，可以作为一种评价人机交互系统和飞行员的指标，进而对人机交互系统的效能增强提供依据，而且可以对系统进行人机工效的验证。本专利技术主要包括两个部分，第一部分为听觉注意力反应时间的测量方法，第二部分为基于测量的听觉注意力反应时间以及识别的飞行语音指令而建立的听觉注意力的预测算法。听觉注意反应时的测量是指，飞行员在接收到飞行语音指令后对信息进行加工，在形成决策和操控之前会收集相关信息，在视觉通道上的信息收集形成新的注视点及出现视觉转移，即视觉注意会转移到与飞行语音指令相关的操控或飞行信息上，通过视觉注视点采集设备可以采集到视觉注意转移和新的注视点形成的相关信息。听觉注意反应时的测量值是飞行员在完整接收到飞行语音指令(即飞行语音指令结束的时间)到下一个注视点开始形成本文档来自技高网...

【技术保护点】
1.一种飞行员听觉注意反应时测量方法，其特征在于：对于某一飞行语音指令，记录飞行语音指令结束时刻为飞行员完整接收到飞行语音指令的时刻T1；采用视觉注视点采集设备采集飞行员的注视点，得到飞行员在完整接收到飞行语音指令后发生视觉转移后下一个注视点的开始时刻T2，以T2-T1作为对于该条飞行语音指令的飞行员听觉注意反应时。/n

【技术特征摘要】
1.一种飞行员听觉注意反应时测量方法，其特征在于：对于某一飞行语音指令，记录飞行语音指令结束时刻为飞行员完整接收到飞行语音指令的时刻T1；采用视觉注视点采集设备采集飞行员的注视点，得到飞行员在完整接收到飞行语音指令后发生视觉转移后下一个注视点的开始时刻T2，以T2-T1作为对于该条飞行语音指令的飞行员听觉注意反应时。


2.根据权利要求1所述一种飞行员听觉注意反应时测量方法，其特征在于：通过对相应飞行语音指令多次重复试验测量平均值得到飞行员的听觉注意反应时。


3.一种飞行员听觉注意反应时预测方法，其特征在于：包括以下步骤：
步骤1：利用飞行语音指令语音识别方法识别飞行语音指令的文本信息：
步骤1.1：将预设的飞行语音指令字词音频文件进行分帧处理得到帧矢量时间序列，再对其中出现的字、词进行特征提取，生成的特征矢量时间序列作为一个模板，所有在飞行语音指令字词音频文件中出现过的字、词生成的模板组成最终的飞行语音指令模板库；
步骤1.2：根据飞行语音指令中不同字、词包含的信息量，将模板库分成不同的词表，通过分析飞行语音指令的文法规则建立语义依存关系；
步骤1.3：基于飞行语音指令模板库和语义依存关系，通过动态时间伸缩匹配方法对输入的飞行语音指令进行识别，识别得到飞行语音指令的文本信息；
步骤2：建立并训练听觉注意反应时预测模型：
步骤2.1：从所有预设的飞行语音指令中提取出关键词，并将这些关键词划分为不同的主题，每一个主题作为指令模型向量的一个维度；
步骤2.2：对于某个飞行语音指令，通过步骤1识别得到文...

【专利技术属性】
技术研发人员：于薇薇，王海洋，蔡闻峰，姜民，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61