一种基于多模态信息融合的多人实时疲劳检测方法技术

本发明专利技术公开了一种基于多模态信息融合的多人实时疲劳检测方法，涉及图像处理、目标检测和人工智能技术领域。其步骤S01：获取视频数据，对视频中人员进行检测与追踪；S02：人脸检测及面部关键点提取，对人员眼部、嘴部张合状态及头部姿态进行估计；S03：自适应阈值计算，根据不同人员的面部特征设置阈值参数；S04：基于多模态信息融合的疲劳分析，通过评估闭眼、眨眼、哈欠、低头等动作的持续时间及频率，获得人员疲劳状态信息。本发明专利技术可以根据不同人的面部特征设置独立阈值参数，更具有合理性和可靠性。性。性。

【技术实现步骤摘要】
一种基于多模态信息融合的多人实时疲劳检测方法


[0001]本专利技术属于图像处理、目标检测和人工智能
，特别涉及一种基于多模态信息融合的多人实时疲劳检测方法。

技术介绍

[0002]疲劳是人们连续学习或工作以后效率下降的一种现象。作为一种主观不适感觉，在客观上会在同等条件下，失去其完成原来所从事的正常活动或工作能力。为保证职员的工作状态和学生的学习效果，当出现疲劳状态时，管理者需及时进行干预。针对这种需求，如何有效进行疲劳状态的检测及预警，已经成为科学研究热点。
[0003]目前国内疲劳检测的应用主要集中在疲劳驾驶方面，通过架设摄像头对驾驶员面部状态进行分析，进而判定其是否处于疲劳状态。但是这种方法仅能实现单一人员的状态分析，如果要实现在办公室或课堂场景下的多人实时监控，则需架设多台摄像机，会有成本超支及资源浪费等问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于多模态信息融合的多人实时疲劳检测方法。该方法可以根据不同人的面部特征设置独立阈值参数，更具有合理性和可靠性。
[0005]本专利技术的目的通过以下技术方案实现：
[0006]一种基于多模态信息融合的多人实时疲劳检测方法，具体包括以下步骤：
[0007]S01：获取视频数据，对视频中人员进行检测与追踪；
[0008]S02：人脸检测及面部关键点提取，对人员眼部、嘴部张合状态及头部姿态进行估计；
[0009]S03：自适应阈值计算，根据不同人员的面部特征设置阈值参数；
[0010]S04：基于多模态信息融合的疲劳分析，通过评估闭眼、眨眼、哈欠、低头等动作的持续时间及频率，获得人员疲劳状态信息。
[0011]进一步的，S01具体包括以下过程：
[0012]S101：获取实时拍摄室内人员活动的视频，并将视频流加载成图像帧；
[0013]S102：使用YOLOV5网络进行目标检测，获得人员在当前图像中的位置信息；
[0014]S103：基于目标检测结果，使用OpenCV视觉库中的CSRT Tracker算法对人员目标进行追踪，目标人员的身份信息将由一个独立不重复的ID标识。
[0015]进一步的，S02具体包括以下过程：
[0016]S201：使用YOLOV5网络进行人脸检测，获得图像中出现的人脸位置信息；
[0017]S202：人脸检测结果与S102中得到的人体检测结果进行位置信息的匹配与关联，即若人脸检测框在人体检测框内，则进行关联；
[0018]S203：使用Dlib视觉库中的人脸关键点检测器对人脸图像块提取68组人脸关键点坐标；
[0019]S204：根据关键点的位置信息，计算得到包括眼睛纵横比EAR、嘴部纵横比MAR以及头部俯仰角度在内的生理信息数据，最终获得各人员的生理数据序列。
[0020]进一步的，S03具体包括以下步骤：
[0021]S301：通过自适应阈值计算，通过对视频前60帧的数据进行统计，获得待检测人员EAR、MAR、pitch的三组60维数据序列；
[0022]S302：眼睛正常睁开基准纵横比B_e与嘴巴正常闭合的基准纵横比B_m的计算基于大津阈值分割算法，求得类间方差最大的分割阈值，将数据分别分为睁眼/闭眼、张嘴/闭嘴两类，再对其中睁眼、闭嘴的两类数据求平均，即得所求；
[0023]S303：头部正常直视前方的基准俯仰角B_p，采用对数列取中位数的方法。
[0024]进一步的，S03的具体过程如下，
[0025]S301：通过自适应阈值计算，通过对视频前60帧的数据进行统计，获得待检测人员EAR、MAR、pitch的三组60维数据序列；
[0026]S302：眼睛正常睁开基准纵横比B_e与嘴巴正常闭合的基准纵横比B_m的计算基于大津阈值分割算法，求得类间方差最大的分割阈值，将数据分别分为睁眼/闭眼、张嘴/闭嘴两类，再对其中睁眼、闭嘴的两类数据求平均，即得所求；
[0027]S303：头部正常直视前方的基准俯仰角B_p，采用对数列取中位数的方法。
[0028]与现有技术相比，本专利技术的优势在于：
[0029]1.本专利技术基于室内监控视频，结合检测算法与追踪算法，可以同时追踪多目标人员的生理状态，通过统计待检测人员的闭眼、眨眼、哈欠、低头等动作的持续时间及频率，并将这些信息进行融合分析，可以较准确的分辨出人员疲劳状态。
[0030]2.相较传统基于面部动作的疲劳检测方法所采用的固定判断阈值而言，本专利技术提出自适应特征阈值算法，可以根据不同人的面部特征设置独立阈值参数，更具有合理性和可靠性。
附图说明
[0031]图1为本专利技术实施例中的方法流程示意图；
[0032]图2为本专利技术实施例中的基于视觉算法的面部生理数据生成流程图；
[0033]图3为本专利技术实施例中的眼部及嘴部关键点示意图；
[0034]图4为本专利技术实施例中的基于多模态信息融合的疲劳检测决策图。
具体实施方式
[0035]下面结合附图和实施例对本专利技术的具体实施方式作进一步详细的说明。
[0036]一种基于多模态信息融合的多人实时疲劳检测方法，如图1所示，具体过程为：
[0037]S01：获取视频数据，对视频中人员进行检测与追踪。
[0038]具体方式为：
[0039]S101：获取实时拍摄室内人员活动的视频流，并将视频流加载成图像帧；
[0040]S102：使用Yolov5网络进行目标检测，获得人员在当前图像中的位置信息。
[0041]Yolov5是一个开源的one
‑
stage目标检测算法，可以直接在输出层回归边界框的位置及所属类别。网络结构主要分为四个部分：输入端、Backbone、Neck、Prediction。输入
端使用Mosaic数据增强算法，通过对训练数据随机缩放、随机裁剪、随机排布的方式进行拼接，实现数据增强，达到提高目标检测效果的目的；Backbone即主干网络，由Focus、CBL、CSP、SPP等网络模块组成，用来抽象提取图片的特征；Neck采用FPN+PAN结构，构建出特征金字塔，将浅层特征的细节信息与深层特征的全局语义信息融合，可以更好的检测不同尺寸的目标；最后的Prediction预测模块输出最终特征映射向量，包括目标位置、类别、置信度等信息。
[0042]S103：基于目标检测结果，使用OpenCV视觉库中的CSRT Tracker算法对人员目标进行追踪，目标人员的身份信息将由一个独立不重复的ID标识。
[0043]CSRT tracker基于一种带通道和空间可靠性的判别相关滤波器(DCF
‑
CSR)，它使用空间可靠性映射来调整滤波器的支持度，使其适应帧中被选择区域的跟踪部分，是现在应用最广的跟踪算法。代码中通过调用Opencv MultiTracker类，并将trackerType配置为CSR本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息融合的多人实时疲劳检测方法，其特征在于，具体包括以下步骤：S01：获取视频数据，对视频中人员进行检测与追踪；S02：人脸检测及面部关键点提取，对人员眼部、嘴部张合状态及头部姿态进行估计；S03：自适应阈值计算，根据不同人员的面部特征设置阈值参数；S04：基于多模态信息融合的疲劳分析，通过评估闭眼、眨眼、哈欠、低头等动作的持续时间及频率，获得人员疲劳状态信息。2.根据权利要求1所述的一种基于多模态信息融合的多人实时疲劳检测方法，其特征在于，S01具体包括以下过程：S101：获取实时拍摄室内人员活动的视频，并将视频流加载成图像帧；S102：使用YOLOV5网络进行目标检测，获得人员在当前图像中的位置信息；S103：基于目标检测结果，使用OpenCV视觉库中的CSRTTracker算法对人员目标进行追踪，目标人员的身份信息将由一个独立不重复的ID标识。3.根据权利要求2所述的一种基于多模态信息融合的多人实时疲劳检测方法，其特征在于，S02具体包括以下过程：S201：使用YOLOV5网络进行人脸检测，获得图像中出现的人脸位置信息；S202：人脸检测结果与S102中得到的人体检测结果进行位置信息的匹配与关联，即若人脸检测框在人体检测框内，则进行关联；S203：使用Dlib视觉库中的人脸关键点检测器对人脸图像块提取68组人脸关键点坐标；S...

【专利技术属性】
技术研发人员：杨柳茂，郭军，庄圆，欧书佑，伍祐锟，王磊，姚蔚，赵飞，朱长仁，
申请(专利权)人：中华通信系统有限责任公司长沙分公司，
类型：发明
国别省市：