基于深度学习的待检测人员危险表情检测方法及系统技术方案

本发明专利技术公开了基于深度学习的待检测人员危险表情检测方法及系统，获取待检测人员视频；对待检测人员视频中的图像，进行人脸检测；捕获含有可识别人脸的单帧图像，得到待检测的人脸图像；对待检测人员视频中的单帧图像，进行人体关键点检测；将待检测的人脸图像进行人脸特征向量提取，得到人脸特征向量；将人脸特征向量和人脸关键点进行特征融合，并将融合后的特征输入到训练后的分类器中，输出表情初步分类结果；判断肢体关键点是否超过设定区域，如果超过，则得出危险肢体结果；结合肢体检测结果，对表情初步分类结果进行修正，得到单帧图像最终表情分类结果；本发明专利技术具有检测精度高、检测速度快和避免误判的优点。检测速度快和避免误判的优点。检测速度快和避免误判的优点。

【技术实现步骤摘要】
基于深度学习的待检测人员危险表情检测方法及系统


[0001]本专利技术涉及图像处理
，特别是涉及基于深度学习的待检测人员危险表情检测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]在实现本专利技术的过程中，专利技术人发现现有技术中存在以下技术问题：
[0004]网络时代下，视频通话技术不断发展，监管场所的会见形式也进行了与时俱进的更新，由同一个监管场所的面对面会见升级成为了可以在跨区域的两个监管场所之间进行的远程视频会见。传统的面对面会见需要多个监督人员在场，对会见过程中的待检测人员和亲属进行行为和语言上的监督，防止待检测人员传递敏感信息、发生过激行为等。同样，在进行远程视频时也需要对会见双方的行为举止进行实时监控，这将耗费监督人员大量的时间和精力。现阶段，远程视频会见中的实时情感计算还留有空白。
[0005]如今市场上已经存在七种分类的表情识别技术，但这并不适用于特殊的监管场所情景。因为监督人员需要对异常情况作出快速处理，所以需要一种二分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的待检测人员危险表情检测方法，其特征是，包括：获取待检测人员视频；对待检测人员视频中的图像，进行人脸检测；捕获含有可识别人脸的单帧图像，得到待检测的人脸图像；对待检测人员视频中的单帧图像，进行人体关键点检测，其中，人体关键点，包括：人脸关键点和肢体关键点；将待检测的人脸图像进行人脸特征向量提取，得到人脸特征向量；将人脸特征向量和人脸关键点进行特征融合，并将融合后的特征输入到训练后的分类器中，输出表情初步分类结果；判断肢体关键点是否超过设定区域，如果超过，则得出危险肢体结果；否则得出不危险肢体结果；结合肢体检测结果，对表情初步分类结果进行修正，得到单帧图像最终表情分类结果。2.如权利要求1所述的基于深度学习的待检测人员危险表情检测方法，其特征是，所述方法还包括：对待检测人员视频中，所有帧图像最终表情分类结果，进行平滑处理，将待检测人员视频的动态危险表情检测结果输出。3.如权利要求1所述的基于深度学习的待检测人员危险表情检测方法，其特征是，对待检测人员视频中的单帧图像，进行人体关键点检测，其中，人体关键点，包括：人脸关键点和肢体关键点；具体包括：使用Openpose库对图像对待检测人员视频中的单帧图像，进行人体关键点检测得到18个人体关键点，其中，18个人体关键点，包括：人脸关键点，包括：鼻子关键点nose、右眼关键点right_eye、左眼关键点left_eye、右耳关键点right_ear和左耳关键点left_ear；肢体关键点，包括：颈部关键点neck、右肩关节关键点right_shoudler、右肘关节关键点right_elbow、右手腕关键点right_wrist、左肩关节关键点left_shoudler、左肘关节关键点left_elbow、左手腕关键点left_wrist、右髋关节关键点right_hip、右膝关节关键点right_knee、右踝关节关键点right_ankle、左髋关节关键点left_hip、左膝关节关键点left_knee、左踝关节关键点left_ankle；因为鼻子处于人脸的中间部位，所以人脸及五官均可在鼻子周围查找得到，所以，以鼻子关键点的坐标(x,y)为中心，以鼻子到耳朵距离的二倍为边长，获得一个包含全脸的正方形区域；使用仿射矩阵将坐标(x,y)变化为新坐标(x,
′
y
′
)，利用Dlib训练好的模型“shape_predictor_68_face_landmarks.dat”对68个关键点进行标定，进而查找出人脸68个关键点坐标，实现将人脸关键点由5个扩增到68个。4.如权利要求1所述的基于深度学习的待检测人员危险表情检测方法，其特征是，将待检测的人脸图像进行人脸特征向量提取，得到人脸特征向量；将人脸特征向量和人脸关键点进行特征融合，并将融合后的特征输入到训练后的分类器中，输出表情初步分类结果；具体包括：将待检测的人脸图像输入到训练后的卷积神经网络CNN中进行人脸特征向量提取，得
到人脸特征向量；将人脸特征向量和人脸关键点进行特征融合，其中特征融合采用串联融合、并联融合或加权融合中的一种方式；将融合后的特征输入到训练后的分类器中，输出表情初步分类结果；或者，所述训练后的卷积神经网络CNN，具体训练步骤包括：构建训练集，所述训练集包括已知危险或不危险标签的人脸区域图像；将人脸区域图像和已知表情分类标签均作为卷积神经网络的输入值，对卷积神经网络进行训练；得到训练后的卷积神经网络；或者，所述训练后的分类器，具体训练步骤包括：对训练集中人脸区域图像进行人脸关键点提取，得到人脸区域图像的人脸关键点；将人脸区域图像的人脸关键点与训练后的卷积神经网络提取到的图像特征进行特征融合；将融合后的特征和对应的表情标签作为支持向量分类模型的输入值，对未经训练的支持向量分类模型进行训练，得到训练后的支持向量分类模型；或者，构建训练集，具体包括：利用已知的表情七分类图片数据库进行重新标记成为二分类图片数据库；将数据库中的Anger愤怒直接划分到危险表情分类；将数据库中的Happiness快乐、Sadness悲伤、Surprise惊讶、Neutral中性直接划分为安全表情分类；同时，因为Disgust厌恶和Fe...

【专利技术属性】
技术研发人员：郑来波，刘佩，张浩，李莹，王德强，
申请(专利权)人：山东大学，
类型：发明
国别省市：