【技术实现步骤摘要】
本专利技术涉及的是一种民用航空领域的技术，具体是一种基于多模态信息融合的飞行员行为状态评估及自动化辅助驾驶方法。
技术介绍
1、在飞行过程中，飞行员需处理大量信息并快速作出反应，但过高的认知负荷、疲劳或情绪波动等因素可能削弱其决策和行为，导致错误判断、操作失误或不安全的行为，从而增加飞行风险。因此准确评估飞行员的工作状态，及时识别其行为变化，并提供智能化的辅助驾驶支持，成为了提升航空安全性和飞行员工作效率的关键。然而，现有的飞行员行为监测和辅助驾驶系统大多侧重于通过飞行数据记录和传统飞行控制系统进行飞行员行为的分析，这些系统往往只能分析飞行员的操作行为(如控制输入、飞行轨迹等)，缺乏对飞行员行为细节的综合评估，同时在实时性和飞行员与辅助驾驶系统匹配度方面存在不足，无法为飞行员提供足够的支持。
技术实现思路
1、本专利技术针对现有技术未充分利用飞行阶段采集的操作数据、语音数据和图像数据的不足，提出了一种基于多模态信息融合的自动化辅助驾驶方法，通过融合飞行员操作、语音和图像不同传感器的数据，可以提供更全面和准确的飞行员状态信息，弥补单一数据源在特定场景下的不足，提高飞行员行为状态识别的鲁棒性和准确性，并能够根据飞行员状态和操作实时调整自动化辅助驾驶系统的等级模式，为飞行员提供可靠的自动化辅助驾驶支持，从而确保飞行安全。
2、本专利技术是通过以下技术方案实现的：
3、本专利技术涉及一种基于多模态信息融合的自动化辅助驾驶方法，通过对采集到的飞行员操作数据、飞行员语音
4、本专利技术涉及一种实现上述方法的飞行员认知状态识别系统，包括：数据采集模块、数据处理模块、特征融合模块、状态识别模块和自动化模式选择模块，其中：数据采集模块采集飞行员操作、语音和图像数据；数据处理模块对采集的数据进行预处理，并从预处理后的数据中提取关键特征；特征融合模块通过多模态transformer模型接收各模态特征，采用特征拼接的方式将各模态特征结合，形成综合特征向量；状态识别模块通过多模态transformer模型的全连接层和输出层对融合后的特征进行分类，输出飞行员的行为状态；自动化模式选择模块根据前述输出结果，进行自动化辅助驾驶系统的模式选择和调整。
5、技术效果
6、本专利技术通过多模态transformer模型对飞行员操作数据、语音数据和图像数据进行特征提取与融合，并采用特征拼接的方式生成综合特征向量，实现不同模态特征的深层交互与信息整合；基于自动化模式选择模块，根据多模态transformer模型输出的飞行员行为状态，自动调整自动化辅助驾驶系统的工作模式，以提升飞行安全性；基于多模态transformer的高效计算和实时特性，实现了在飞行过程中对认知状态的实时识别和动态调整。与现有技术相比，本专利技术通过融合操作、语音、图像多模态数据，提升了对飞行员认知状态识别的鲁棒性和准确性；通过自动化模式选择模块，将飞行员行为状态识别结果与辅助驾驶系统匹配，提高系统对飞行员状态变化的适应性，降低操作负荷，增强飞行安全性；在复杂动态任务场景中，系统能够实时响应飞行员状态变化并调整系统模式，实现更稳健的任务执行能力。
本文档来自技高网...【技术保护点】
1.一种基于多模态特征融合的飞行员认知状态识别方法，其特征在于，通过对采集到的飞行员操作数据、飞行员语音数据和飞行员图像数据进行进行预处理后，提取各模态的特征并生成样本集，用于训练多模态Transformer模型，在在线阶段采用训练后的多模态Transformer模型实时评估飞行员的行为状态，并将评估结果作为输入，进行自动化辅助驾驶系统的模式选择和调整。
2.根据权利要求1所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的预处理包括：对飞行员语音数据，通过带通滤波器去除背景噪声，将音频信号振幅进行归一化处理，并进行分帧与加窗；对飞行员图像数据，将采集的图像通过高斯滤波器进行去噪，并通过直方图均衡化进行图像增强。
3.根据权利要求1所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的特征提取，包括：操作时间间隔特征、标准操作程序符合度特征、关键指令与告警的响应时间特征、语音内容特征、语调特征、语速特征特征、面部行为特征、头部姿态和身体姿态特征，具体为：Foperation＝[t_devmean,t_devstd,SOPdegre
4.根据权利要求2所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的面部行为特征，利用关键点检测算法检测面部关键点提取面部关键点(包括眼角、鼻尖、嘴角和眉毛)，并从检测到的关键点中提取特征，具体为：Fface＝[Eclose,Eblink_rate,Dsmile,Dfrown]，其中：Eclose为眼睛闭合度；Eblink_rate为眨眼频率；Dsmile为微笑程度；Dfrown为皱眉程度；
5.根据权利要求2所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的头部姿态特征，利用姿态估计算法获得头部的欧拉角，具体为：Fhead＝[θpitch,θyaw,θroll]，其中：俯仰θpitch，偏航θyaw和滚转θroll；
6.根据权利要求2所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的身体姿态特征，利用骨架估计模型获取身体关键点(包括头部、肩部和腕部)，并计算各关节之间的相对位置和角度，具体为：Fbody＝[d1,2,d1,3,θ1,2,…]，其中：di,j是第i个和第j个关键点之间的距离；θi,j为第i个和第j个关键点之间的夹角；
7.根据权利要求1所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的多模态Transformer模型包括：输入层、自注意力机制层、融合层、全连接层和输出层，其中：输入层接收各模态特征后，通过线性变换将这些特征映射到同一维度，得到嵌入后的后的每个模态的特征；自注意力机制层捕捉模态间的关系后，融合层采用特征拼接的方式将各模态特征进行结合，并通过全连接层得到行为状态的预测概率分布，输出层将预测结果转化为飞行员行为状态的类别；
8.根据权利要求1所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的自动化辅助驾驶系统基于飞行员的行为状态变化，动态调整系统的自动化等级模式，其中，自动化等级分为5个模式，其中：
9.一种实现权利要求1-8中任一所述方法的飞行员认知状态识别系统，其特征在于，包括：数据采集模块、数据处理模块、特征融合模块、状态识别模块和自动化模式选择模块，其中：数据采集模块采集飞行员操作、语音和图像数据；数据处理模块对采集的数据进行预处理，并从预处理后的数据中提取关键特征；特征融合模块通过多模态Transformer模型接收各模态特征，采用特征拼接的方式将各模态特征结合，形成综合特征向量；状态识别模块通过多模态Transformer模型的全连接层和输出层对融合后的特征进行分类，输出飞行员的行为状态；自动化模式选择模块根据前述输出结果，进行自动化辅助驾驶系统的模式选择和调整。
10.根据权利要求9所述的飞行员认知状态识别系统，其特征是，所述的数据采集模块包括：操作数据采集单元、语音数据采集单元和图像数据采集单元，其中：操作数据采集单元通过飞行系统反馈，得到飞行员操作数据，语音...
【技术特征摘要】
1.一种基于多模态特征融合的飞行员认知状态识别方法，其特征在于，通过对采集到的飞行员操作数据、飞行员语音数据和飞行员图像数据进行进行预处理后，提取各模态的特征并生成样本集，用于训练多模态transformer模型，在在线阶段采用训练后的多模态transformer模型实时评估飞行员的行为状态，并将评估结果作为输入，进行自动化辅助驾驶系统的模式选择和调整。
2.根据权利要求1所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的预处理包括：对飞行员语音数据，通过带通滤波器去除背景噪声，将音频信号振幅进行归一化处理，并进行分帧与加窗；对飞行员图像数据，将采集的图像通过高斯滤波器进行去噪，并通过直方图均衡化进行图像增强。
3.根据权利要求1所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的特征提取，包括：操作时间间隔特征、标准操作程序符合度特征、关键指令与告警的响应时间特征、语音内容特征、语调特征、语速特征特征、面部行为特征、头部姿态和身体姿态特征，具体为：foperation＝[t_devmean,t_devstd,sopdegree,t_resmean,t_resmax,t_resmin]，fspeech＝[c,f0,δf0,rs]，fimage＝[fface,fhead,fbody]，其中：和分别为标准操作时间间隔与实际操作时间间隔的平均差异和标准差，sopdegree为执行的操作与标准操作程序的匹配程度，t_resmean，t_resmax和t_resmin分别为关键指令与告警的平均响应时间、最大响应时间和最小响应时间，c为mel频率倒谱系数特征向量，f0为基频特征向量，δf0为基频变化率向量，rs为语速。
4.根据权利要求2所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的面部行为特征，利用关键点检测算法检测面部关键点提取面部关键点(包括眼角、鼻尖、嘴角和眉毛)，并从检测到的关键点中提取特征，具体为：fface＝[eclose,eblink_rate,dsmile,dfrown]，其中：eclose为眼睛闭合度；eblink_rate为眨眼频率；dsmile为微笑程度；dfrown为皱眉程度；
5.根据权利要求2所述的基于多模态特征融合的飞行员认知状态识别方法，其特征是，所述的头部姿态特征，利用姿态估计算法获得头部的欧拉角，具体为：fh...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。