一种基于多特征融合的空中交通管制员认知负荷评估方法技术

本发明专利技术公开了一种基于多特征融合的空中交通管制员认知负荷评估方法。通过弱接触性设备采集心率、语音和眼动数据，并提取所有数据的管制负荷评估指标；基于CNN Transformer自注意力网络，第一分支网络提取心率和眼动深度特征，第二分支网络提取深度语音时空特征，并对提取到的特征进行融合和分类，并进行模型训练；最后应用模型，向网络模型输入所需识别的数据，模型输出相应的认知负荷水平。本发明专利技术方法通过使用多模态特征融合的深度学习方法，采用眼动指标、心脏活动指标和语音指标综合评估管制员的认知负荷；通过弱接触性设备采集数据，并使用注意力机制提高模型准确性，使得数据采集更加侵入性小、敏感性低、可靠性高、实用性佳。性佳。性佳。

【技术实现步骤摘要】
一种基于多特征融合的空中交通管制员认知负荷评估方法


[0001]本专利技术涉及空中交通管制领域，特别涉及一种基于多特征融合的空中交通管制员认知负荷评估方法。

技术介绍

[0002]空中交通管制是一项高风险的工作，需要持续获取信息、分析、评估和决策。民航局统计数据显示，由于管制员的因素造成的空管事故和事故症候以及空管不安全事件高达70%以上。这证实了人为因素已经发展成为影响航空安全的主要因素。
[0003]认知负荷是指管制员在短时间内接收、保持、加工飞机信息的“心理能量”的水平。认知负荷体现在管制员在监控飞行动态时所进行的情境意识保持、交通动态分析、冲突判断、制定调配预案、预案实施监控等心理活动。随着空中交通流量的增加，空中交通管理日益复杂，空中交通管制员普遍承受着巨大的认知负荷，这将严重影响整个人机系统的可靠性及工作效率，进而影响飞行安全。为了降低这种风险，至关重要的是为管制员保持合理的工作量，以减少可能危及安全的错误的可能性。
[0004]目前，空中交通管制员的认知负荷评估方法可以总结归纳为三类：任务评估法、主观评估法以及生理评估法。任务评估法，也称为任务绩效测量法，该方法最为主要的可量化客观参数即为时耗，通过对管制员执行某项管制指挥任务的时耗进行独立重复统计，使用时耗大小反映空中交通管制员工作负荷，但是该方法对测量指标权重赋值过程主观性较高，因此无法客观评价管制员工作负荷。主观评估法则是使用主观的等级制度让管制员根据紧张度、压力、操作难度等心理负荷进行主观评估，该方法以被试者填写调查表的形式进行，但主观评估测量的认知负荷是被试者对某项任务的一种主观感觉，且这种感觉因人而异，可能与真实的认知负荷值有所出入。生理评估法是指通过测量管制员在工作过程身体所产生的生理变化来评价其认知负荷，但是该方法需要使用测量仪器获取数据，对实验设备要求高，对被试者接触性较强，需要在特定的实验环境进行试验，同时在指标选取上面难度较大。
[0005]近年来，基于生理指标测量管制员认知负荷成为研究热点，目前常用的生理指标有脑电分析指标、心脏活动分析指标、眼动分析指标和语音分析指标。由于脑电分析指标需要在被试者头上带一些测试仪器，对管制员的正常操作有一定的影响，可能会影响结果的准确性，并且实验数据复杂，需要专业人员分析。而且，认知负荷的变化必然会引起多种生理指数的波动，单一的生理技术或指标准确性不高、误差较大，建立的模型也比较单一，尤其对于个人差异这一情况考虑欠缺。

技术实现思路

[0006]本专利技术的目的在于克服现有技术中所存在的上述不足，提供一种基于多特征融合的空中交通管制员认知负荷评估方法。
[0007]为了实现上述专利技术目的，本专利技术提供了以下技术方案：
一种基于多特征融合的空中交通管制员认知负荷评估方法，包括如下步骤：步骤1：通过弱接触性采集设备，获取、记录被采集人的心率数据、语音数据与眼动数据；步骤2：将所述步骤1获得的数据，提取管制负荷评估指标；步骤3：基于CNN Transformer自注意力网络构建网络模型，提取深度特征，并将所述深度特征融合、分类；使用所述步骤2获取的所述管制负荷评估指标训练模型，获得最佳的模型参数；步骤4：应用模型，向所述网络模型输入所需识别的所述心率数据、所述语音数据与所述眼动数据，模型输出相应的认知负荷水平。
[0008]本专利技术方法提出了一种基于多模态特征融合的空中交通管制员认知负荷评估方法，通过弱接触性设备采集多模态数据，提取特征后，采用特征级融合，并引入自注意力机制以融合不同生理特征，最终实现低侵扰、实时的管制员认知负荷评估。
[0009]优选地，所述步骤1中，所述采集设备包括：监测手环、录音设备、非接触式眼动仪。
[0010]本专利技术使用监测手环、录音设备、非接触式眼动采集、记录心率数据、语音数据与眼动数据三类指标评估管制员认知负荷，可综合评估管制认知负荷。
[0011]优选地，所述步骤2中，所述管制负荷评估指标包括：心率、语音梅尔频谱图、眨眼频率、扫视频率和瞳孔直径。
[0012]本方法使用弱接触性设备实时记录各管制负荷测试指标对应的指标数据，管制负荷评估指标较为全面，使得本专利技术的评估方法具有实时性和准确性。
[0013]优选地，所述步骤2中，使用腕表设备提取所述心率数据；使用librosa库提取所述语音梅尔频谱图；所述眨眼频率=眨眼次数/试验时间；所述扫视频率=扫视次序/试验时间；使用眼动仪获取瞳孔直径。
[0014]本专利技术通过腕表设备采集心率、通过无接触式眼动仪采集眼动指标数据、通过语音记录设备采集语音指标数据，在不影响管制员工作指挥的情况下完成各管制负荷测试指标采集，较为便捷实用。
[0015]优选地，所述步骤3中，基于CNN Transformer自注意力网络构建网络模型，所述网络模型包含两个分支网络。
[0016]优选地，所述步骤3中，第一分支网络包含若干个单头自注意力网络；第二分支网络包括：若干个3x3的卷积层、若干个2x2的最大池化层和若干个4x4的最大池化层；还包括若干个2x4的最大池化层和若干个Transformer编码器。
[0017]神经网络技术使得对各种多模态特征进行有效地融合成为可能，通过建立深度学习模型可以识别和利用多个输入特征之间的复杂关系，从而更准确地评估个体的认知负载。
[0018]优选地，所述步骤3包括以下步骤：步骤301、构建第一分支网络，包含若干个自注意力网络，将步骤2提取的所述心率数据和所述眼动数据输入网络中提取深度特征；步骤302、构建第二分支网络，包含多个卷积、池化层和Transformer编码器，将步骤2提取的语音梅尔频谱图输入到网络中提取深度时空特征，输入是尺寸为128
×
517的语音梅尔频谱图；
步骤303、对两个分支网络所得的向量以第二个维度为轴，并输入到Softmax函数中进行分类；步骤304、使用采集到的心率、语音和眼动数据对上述网络模型进行训练，获得最佳的模型参数。
[0019]本专利技术方法利用机器学习技术实现了特征的深度提取，实现了更准确的数据表征，并使用注意力机制，注意力机制能提取和关注更多有用的信息，而忽略冗余和低价值的部分，提高模型准确性。
[0020]优选地，所述步骤301中，包括：在每个单独的自注意力块中，输入特征经过线性变换得到Q、K、V三个向量；将Q向量和V向量计算点积，并进行Softmax归一化后得到注意力权重；再将注意力权重和值向量做加权求和得到自注意力网络的输出；将得到的并行的单头自注意力网络的输出向量拼接，得到输出特征；经过若干个自注意力网络后，使用全连接层将向量转换为相应的维度。
[0021]优选地，所述步骤302中，包括：利用conv2D_block模块，采用二维卷积神经网络来提取输入的梅尔频谱图的空间特征；利用Transformer_block模块，使用Transformer编码器提取梅尔频谱图的时间特征；梅尔频谱图经过四个堆叠的二维卷积和最大池化层后，得到深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的空中交通管制员认知负荷评估方法，其特征在于，包括如下步骤：步骤1：通过弱接触性采集设备，获取、记录被采集人的心率数据、语音数据与眼动数据；步骤2：使用所述步骤1获得的数据，提取管制负荷评估指标；步骤3：基于CNN Transformer自注意力网络构建网络模型，提取深度特征，并将所述深度特征融合、分类；使用所述步骤2获取的所述管制负荷评估指标训练模型，获得最佳的模型参数；步骤4：应用模型，向所述网络模型输入所需识别的所述心率数据、所述语音数据与所述眼动数据，模型输出相应的认知负荷水平。2.根据权利要求1所述的一种基于多特征融合的空中交通管制员认知负荷评估方法，其特征在于，所述步骤1中，所述采集设备包括：监测手环、录音设备、非接触式眼动仪。3.根据权利要求1所述的一种基于多特征融合的空中交通管制员认知负荷评估方法，其特征在于，所述步骤2中，所述管制负荷评估指标包括：心率、语音梅尔频谱图、眨眼频率、扫视频率和瞳孔直径。4.根据权利要求1或3所述的一种基于多特征融合的空中交通管制员认知负荷评估方法，其特征在于，所述步骤2中，使用腕表设备提取所述心率数据；使用librosa库提取所述语音梅尔频谱图；所述眨眼频率=眨眼次数/试验时间；所述扫视频率=扫视次序/试验时间；使用眼动仪获取瞳孔直径。5.根据权利要求1所述的一种基于多特征融合的空中交通管制员认知负荷评估方法，其特征在于，所述步骤3中，基于CNN Transformer自注意力网络构建网络模型，所述网络模型包含两个分支网络。6.根据权利要求1或5所述的一种基于多特征融合的空中交通管制员认知负荷评估方法，其特征在于，所述步骤3中，第一分支网络包含若干个单头自注意力网络；第二分支网络包括：若干个3x3的卷积层、若干个2x2的最大池化层和若干个4x4的最大池化层；还包括若干个2x4的最大池化层和若干个Transformer编码器。7....

【专利技术属性】
技术研发人员：杨红雨，杨静，武喜萍，吴郑源，
申请(专利权)人：四川大学，
类型：发明
国别省市：