【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种多信息融合的人员工作状态识别方法及系统。
技术介绍
1、随着对人体健康的关注，对工作人员工作状态的重视也得到日益增强。综合判断工作人员的工作状态，应该包含着生理、心理和情绪等不同方面的内容。
2、在风险较高的现场作业环境中，由于条件受限，作业负责人常使用口头咨询或者查阅工作人员的历史体检报告的方法来识别工作人员的工作状态。其中，口头咨询的方法存在着极大的主观偏差，工作人员未必能如实告知或准确判断真实的工作状态，从而导致工作状态识别结果的准确性低；查阅历史体检报告受时限限制大，且只能反映工作人员的生理状态，无法综合判断其心理状态和情绪稳定程度，从而导致工作状态识别结果单一，不具备信服力。
技术实现思路
1、本专利技术提供一种多信息融合的人员工作状态识别方法及系统，适用于作业现场，并且能够简单快速、客观科学地判断检测人员的综合工作状态。
2、为了解决上述技术问题，本专利技术提供了一种多信息融合的人员工作状态识别方法，包括：
3、获取检测人员的视频帧；
4、使用预设的三维时空卷积残差网络从所述视频帧中提取出面部表情特征向量和检测人员的bvp信号；
5、对所述bvp信号进行频域变换和取最大值处理，得到检测人员的心率预测信号；
6、将面部表情特征向量输入至预设的三维时空卷积残差网络中，输出检测人员的舒张压和收缩压，得到检测人员的血压预测信号；
7、将所述视频帧输入至预设的基
8、使用perclos算法和回归神经网络预测所述视频帧中检测人员的疲劳状态；
9、结合检测人员的心率预测信号、血压预测信号、情绪得分和疲劳状态，预测检测人员的工作状态，生成识别结果。
10、针对适用于作业现场，并且能够简单快速、客观科学地判断检测人员的综合工作状态的技术问题，本专利技术提供了一种多信息融合的人员工作状态识别方法，通过获取现场人员面部视频数据，基于人体生理参数、情绪状态和疲劳状态三个方面的数据，综合分析判断人员的实时工作状态。
11、进一步的，所述使用预设的三维时空卷积残差网络从所述视频帧中提取出面部表情特征向量和检测人员的bvp信号，具体为：
12、在普通残差网络的基础上，使用皮尔逊相关系数作为损失函数进行网络训练，得到所述预设的三维时空卷积残差网络；
13、将所述视频帧输入至预设的三维时空卷积残差网络，输出面部表情特征向量和检测人员的bvp信号。
14、进一步的，所述对所述bvp信号进行频域变换和取最大值处理，得到检测人员的心率预测信号，具体为：
15、对所述bvp信号进行频域变换处理，得到bvp频域信号；
16、选取bvp频域信号的最大值作为实时心率，实时心率乘60得到每分钟平均心率，把每分钟平均心率作为检测人员的心率预测信号。
17、本专利技术在普通残差网络的基础上构建面向连续视频帧的三维时空卷积残差网络，所构建的残差网络用于从检测人员的视频帧中提取出面部表情序列特征和bvp信号，普适性和鲁棒性更强，计算速率更快。然后，通过进一步提取和处理得到心率预测信号和血压预测信号，以此表征检测人员的人体生理参数。
18、进一步的，所述将所述视频帧输入至预设的基于注意力机制的连续维度情绪识别残差网络中，得到检测人员的情绪得分，具体为：
19、在预设的三维时空卷积残差网络的基础上，加入基于输入项的软注意力机制，得到预设的基于注意力机制的连续维度情绪识别残差网络；
20、将所述视频帧输入至预设的基于注意力机制的连续维度情绪识别残差网络中，对所述视频帧中检测人员的不同表情赋予不同的表情权重；
21、对所述表情权重进行加权求和，输出检测人员的情绪得分。
22、本专利技术在三维时空卷积残差网络的基础上构建基于注意力机制的连续维度情绪识别残差网络，通过所构建的情绪识别残差网络处理检测人员的视频帧，对检测人员的不同表情赋予不同的表情权重，以使情绪表现更突出更强烈的表情得到更高的权重，而情绪表现更模糊更微弱的表情则得到更低的权重。继而对表情权重进行进一步处理得到检测人员的情绪得分，以此表征检测人员的情绪状态。
23、进一步的，所述使用perclos算法和回归神经网络预测所述视频帧中检测人员的疲劳得分，具体为：
24、基于所述视频帧中的人眼闭合度，使用perclos算法计算检测人员的眼部疲劳得分；
25、基于所述视频帧中的头部转动角度，使用回归神经网络计算检测人员的头部疲劳得分；
26、综合检测人员的眼部疲劳得分和检测人员的头部疲劳得分，获得检测人员的疲劳得分。
27、本专利技术使用perclos算法检测人眼闭合度，使用回归神经网络检测头部欧拉角，综合眼部和头部两个因素来分析判断检测人员的疲劳状态，提高了疲劳检测的准确性。
28、在上述方法项实施例的基础上，本专利技术对应提供了系统项实施例，提供了一种多信息融合的人员工作状态识别系统，包括：视频帧模块、初步提取模块、心率信号模块、血压信号模块、情绪得分模块、疲劳得分模块和工作状态模块；
29、所述视频帧模块，用于获取检测人员的视频帧；
30、所述初步提取模块，用于使用预设的三维时空卷积残差网络从所述视频帧中提取出面部表情特征向量和检测人员的bvp信号；
31、所述心率信号模块，用于对所述bvp信号进行频域变换和取最大值处理，得到检测人员的心率预测信号；
32、所述血压信号模块，用于将面部表情特征向量输入至预设的三维时空卷积残差网络中，输出检测人员的舒张压和收缩压，得到检测人员的血压预测信号；
33、所述情绪得分模块，用于将所述视频帧输入至预设的基于注意力机制的连续维度情绪识别残差网络中，得到检测人员的情绪得分；
34、所述疲劳状态模块，用于使用perclos算法和回归神经网络预测所述视频帧中检测人员的疲劳状态；
35、所述工作状态模块，用于结合检测人员的心率预测信号、血压预测信号、情绪得分和疲劳状态，预测检测人员的工作状态，生成识别结果。
36、进一步的，所述初步提取模块，包括：三维残差网络单元和特征提取单元；
37、所述三维残差网络单元，用于在普通残差网络的基础上，使用皮尔逊相关系数作为损失函数进行网络训练，得到所述预设的三维时空卷积残差网络；
38、所述特征提取单元，用于将所述视频帧输入至预设的三维时空卷积残差网络，输出面部表情特征向量和检测人员的bvp信号。
39、进一步的，所述心率信号模块，包括：频域变换单元和心率计算单元；
40、所述频域变换单元，用于对所述bvp信号进行频域变换处理，得到bvp频域信号；
41、所述心率计算单元，用于选取bvp频本文档来自技高网...
【技术保护点】
1.一种多信息融合的人员工作状态识别方法，其特征在于，包括：
2.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述使用预设的三维时空卷积残差网络从所述视频帧中提取出面部表情特征向量和检测人员的BVP信号，具体为：
3.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述对所述BVP信号进行频域变换和取最大值处理，得到检测人员的心率预测信号，具体为：
4.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述将所述视频帧输入至预设的基于注意力机制的连续维度情绪识别残差网络中，得到检测人员的情绪得分，具体为：
5.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述使用PERCLOS算法和回归神经网络预测所述视频帧中检测人员的疲劳得分，具体为：
6.一种多信息融合的人员工作状态识别系统，其特征在于，包括：视频帧模块、初步提取模块、心率信号模块、血压信号模块、情绪得分模块、疲劳得分模块和工作状态模块；
7.如权利要求6所述的一种多信息
8.如权利要求6所述的一种多信息融合的人员工作状态识别系统，其特征在于，所述心率信号模块，包括：频域变换单元和心率计算单元；
9.如权利要求6所述的一种多信息融合的人员工作状态识别系统，其特征在于，所述情绪得分模块，包括：情绪识别网络单元、权重赋予单元和加权求和单元；
10.如权利要求6所述的一种多信息融合的人员工作状态识别系统，其特征在于，所述疲劳状态模块，包括：眼部疲劳得分单元、头部疲劳得分单元和疲劳判定单元；
...【技术特征摘要】
1.一种多信息融合的人员工作状态识别方法，其特征在于，包括：
2.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述使用预设的三维时空卷积残差网络从所述视频帧中提取出面部表情特征向量和检测人员的bvp信号，具体为：
3.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述对所述bvp信号进行频域变换和取最大值处理，得到检测人员的心率预测信号，具体为：
4.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述将所述视频帧输入至预设的基于注意力机制的连续维度情绪识别残差网络中，得到检测人员的情绪得分，具体为：
5.如权利要求1所述的一种多信息融合的人员工作状态识别方法，其特征在于，所述使用perclos算法和回归神经网络预测所述视频帧中检测人员的疲劳得分，具体...
【专利技术属性】
技术研发人员：李华亮，林子悦，沈雅利，王琪如，熊超琳，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。