结合视频与量表的疲劳检测方法、电子设备及存储介质技术

本发明专利技术公开了一种结合视频与量表的疲劳检测方法、电子设备及存储介质，其方法包括：S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集；S2、构建疲劳程度识别模型并进行模型训练；S3、在应答测评量表从视频数据集提取文字数据构成量表，基于中文语言预训练模型从量表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A；S4、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B，通过加权融合得到加权疲劳数据结果。本发明专利技术通过疲劳程度识别模型进行疲劳程度评测计算，然后与文字评测结果的加权融合得到加权疲劳数据结果，能得到与真实情况符合度高的疲劳状态分值结果。的疲劳状态分值结果。的疲劳状态分值结果。

【技术实现步骤摘要】
结合视频与量表的疲劳检测方法、电子设备及存储介质


[0001]本专利技术涉及民航人员疲劳检测领域，尤其涉及一种结合视频与量表的疲劳检测方法、电子设备及存储介质。

技术介绍

[0002]当前国内多家航空公司依据《CCAR
‑
121
‑
R7大型飞机公共航空运输承运人运行合格审定规则》和《AC
‑
121
‑
FS
‑
014CCAR121部合格证持有人的疲劳管理要求》建立了疲劳风险管理要求，目前，对于民航工作人员疲劳风险管理国际上比较认可的科学分析方法是生物数学模型，基于不同的疲劳理论模型，预测人体疲劳即警觉性的变化趋势，提供了预测运行中飞行员个体潜在疲劳风险可能。中国专利(申请号202210695576.9)公开了一种基于rPPG的非接触式疲劳检测系统及方法本专利技术提供一种基于rPPG的非接触式疲劳检测系统及方法，该系统及方法采用多线程同步通讯，针对实时检测需求，基于python threading多线程模块，实现rPPG信号的实时采集与处理以及疲劳状态的同步检测；通过目适应多级滤波提高信噪比，通过多维度融合CNN模型实现呼吸和心率的高精度检测；最后，在呼吸和心率多通道数据融合的基础上，实现高精度的疲劳分类。但该专利技术需要额外硬件实现呼吸和心率的检测，使用较为复杂；生理信号检测受限于检测设备的灵敏度、佩戴是否规范、环境干扰等情况，易产生较大误差、无效信号甚至信号中断。国内航空公司的飞行员一般是飞四休二，在飞行后的两天休息日获得充分的生理和心理的恢复，可以利用休息期的睡眠情况获得相位峰值。目前，对于民航工作人员疲劳程度的评测主要依赖测试量表填写、人工观察评估，现有技术缺少对于民航工作人员疲劳程度的评测技术手段，不利于民航工作人员的疲劳检测及管理。

技术实现思路

[0003]本专利技术的目的在于解决
技术介绍
存在的技术问题，提供一种结合视频与量表的疲劳检测方法、电子设备及存储介质，在待测工作人员应答测评时采集视频及获取应答量表，通过疲劳程度识别模型进行疲劳程度评测计算，然后与文字评测结果的加权融合得到加权疲劳数据结果，能得到与真实情况符合度高的疲劳状态分值结果。
[0004]本专利技术的目的通过下述技术方案实现：
[0005]一种结合视频与量表的疲劳检测方法，其方法包括：
[0006]S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储；
[0007]S2、构建疲劳程度识别模型，对疲劳程度识别模型进行如下模型训练：
[0008]S21、构建视频数据样本集，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量；
[0009]S22、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集；
[0010]S23、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；通过神经网络节点A
j，i
产生信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据；
[0011]S24、疲劳程度识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示；
[0012]S3、在应答测评量表从视频数据集提取文字数据构成量表，构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集，基于中文语言预训练模型从量表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A；
[0013]S4、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B，疲劳状态分值结果包括疲劳类型及分值；按照如下公式得到结合视频与量表的加权疲劳数据结果：
[0014]S＝w
g
S
g
，其中w
g
表示疲劳状态分值结果为视频或量表的权重，S
g
表示疲劳状态分值结果为视频或量表的疲劳状态分值结果。
[0015]为了更好地实现本专利技术疲劳检测方法，表情识别模型采集民航待测人员的视频时构建有人脸检测获取框进行人脸对齐及配准，若民航待测人员所采集视频未在人脸检测获取框中，则触发警示并重新采集。
[0016]优选地，所述特征提取器包括神经网络ResNet，神经网络ResNet对视频帧样本集中的视频帧I进行特征项的计算与提取，将特征项汇集于特征集中；肌肉运动特征集包括内部眉毛抬起、抬起上眼皮、上扬嘴角；头部运动特征集包括头部向左转、头部向右转、头部向上抬、头部向下低、头部向左摇、头部向右右摇、头部向前移、头部向右移；眼睛运动特征集包括眼睛向左动、眼睛向右动、眼睛向上动、眼睛向下动。
[0017]优选地，本专利技术疲劳检测方法步骤S24的损失函数为：
[0018]其中m表示疲劳类型的个数，n表示总个数，T
m
表示疲劳类型k的预测值，y
k
表示疲劳类型k的原始标签。
[0019]优选地，中文语言预训练模型所提取的词向量为识别出意图及需求的关键信息并进行倾向分类与识别，词向量包括内容实体、语句层特征、因果关系向量。
[0020]一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本专利技术疲劳检测方法的步骤。
[0021]一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术疲劳检测方法的步骤。
[0022]本专利技术较现有技术相比，具有以下优点及有益效果：
[0023]本专利技术在待测工作人员应答测评时采集视频及获取应答量表，通过疲劳程度识别模型进行疲劳程度评测计算，然后与文字评测结果的加权融合得到加权疲劳数据结果，能得到与真实情况符合度高的疲劳状态分值结果。
附图说明
[0024]图1为本专利技术疲劳程度多模态融合检测方法的方法流程图；
[0025]图2为实施例中视频疲劳识别模型的训练过程示意图；
[0026]图3为实施例中视频疲劳识别模型视频帧样本集的流程示意图；
[0027]图4为实施例中LSTM模型内部机制示意图；
[0028]图5为实施例中结合视频与量表的疲劳检测系统的APP应用界面图。
具体实施方式
[0029]下面结合实施例对本专利技术作进一步地详细说明：
[0030]实施例
[0031]如图1～图4所示，一种结合视频与量表的疲劳检测方法，其方法包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合视频与量表的疲劳检测方法，其特征在于：其方法包括：S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储；S2、构建疲劳程度识别模型，对疲劳程度识别模型进行如下模型训练：S21、构建视频数据样本集，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量；S22、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集；S23、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；通过神经网络节点A
j，
i产生信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据；S24、疲劳程度识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示；S3、在应答测评量表从视频数据集提取文字数据构成量表，构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集，基于中文语言预训练模型从量表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A；S4、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B，疲劳状态分值结果包括疲劳类型及分值；按照如下公式得到结合视频与量表的加权疲劳数据结果：S＝w
g
S
g
，其中w
g
表示疲劳状态分值结果为视频或量表的权重，s
g
表示疲...

【专利技术属性】
技术研发人员：李郁，刘星俞，王旭辉，陈京松，乔静，荀向东，田先卉，
申请(专利权)人：中国民航科学技术研究院，
类型：发明
国别省市：