基于多模态融合的疲劳检测方法技术

本发明专利技术公开了基于多模态融合的疲劳检测方法，包括：本发明专利技术实施例提供基于多模态融合的疲劳检测方法，包括：数据获取：获取预设时间范围内连续帧数的人体检测框图片，记为人体检测框图片组；多模态融合检测：判断人体检测框图片组中的目标对象是否处于静止状态；当目标对象处于静止状态时，检测目标对象是否处于疲劳状态。通过先确定目标对象处于长时间静止状态之后，再对目标对象是否处于疲劳状态进行检测，提升了运算效率，节省了数据处理时间。进一步的，综合静止状态和三种疲劳任务的结合对目标对象是否处于疲劳状态进行监测，实现了多模态数据融合的检测方式，使得检测结果更加精确，可操作性强，提高了疲劳检测的准确性。提高了疲劳检测的准确性。提高了疲劳检测的准确性。

【技术实现步骤摘要】
基于多模态融合的疲劳检测方法


[0001]本说明书涉及图片目标检测
，具体涉及基于多模态融合的疲劳检测方法。

技术介绍

[0002]快节奏的生活和工作状态，正常人一般都会偶尔感到疲劳，严重的疲劳感会影响整个人的状态，尤其是驾驶员等岗位，强烈的疲劳感会对工作和生活产生重要的影响。现有的疲劳检测模型通常为基于单模态的模型，虽然装置简单，但是可及时检测出疲劳状态并进行报警等提示，以便于采取相应措施，应用范围广，给被检测人以安全保障。
[0003]但是，基于单模态的检测模型检测的数据较为单一，不够全面，影响了模型的监测效果。

技术实现思路

[0004]本专利技术克服现有技术中疲劳检测模型的检测和评价手段单一、实际工作环境复杂等问题，提供基于多模态融合的疲劳检测方法，提升了运算效率，节省了数据处理时间，提高了疲劳检测的准确性。
[0005]为了解决以上技术问题，本专利技术的技术方案如下：本专利技术实施例提供基于多模态融合的疲劳检测方法，包括：数据获取：获取预设时间范围内连续帧数的人体检测框图片，记为人体检测框图片组；多模态融合检测：判断人体检测框图片组中的目标对象是否处于静止状态；当目标对象处于静止状态时，检测目标对象是否处于疲劳状态。
[0006]通过利用静止状态和疲劳状态相结合的多模态融合的检测方式，提高了疲劳检测的结果；同时，先确定目标对象处于长时间静止状态之后，再对目标对象是否处于疲劳状态进行检测，节省了数据处理时间，提升了运算效率。
[0007]作为本专利技术的进一步改进，判断人体检测框图片组中的目标对象是否处于静止状态，包括：对人体检测框图片组中所有的人体检测框图片进行抠图处理，得到每张人体检测框图片的头部检测框坐标值；分别计算相邻帧头部检测框坐标值的坐标变化值；当坐标变化值小于第一预设阈值，判断目标对象处于静止状态。
[0008]使用头部检测算法进行目标识别，可节省人力成本，提升静止状态检测的准确率和召回率，提高了静止状态的检测的准确性。
[0009]作为本专利技术的进一步改进，判断人体检测框图片组中的目标对象是否处于静止状态，还包括：分别计算相邻帧头部检测框的头部像素值总和；
当头部像素值总和小于第二预设阈值，判断目标对象处于静止状态。
[0010]使用头部像素值辅助头部检测算法判断目标对象是否处于静止状态，进一步提升了静止状态检测的准确率和召回率，提高检测的准确性。
[0011]作为本专利技术的进一步改进，当人体检测框图片组中有多个人物对象时，基于多模态融合的疲劳检测方法还包括：获取目标对象的面部特征信息；依次对头部检测框进行人物相似度匹配；当匹配到目标对象时，确定目标对象对应的头部检测框，计算对应的头部检测框坐标值。
[0012]当某时刻的画面中出现多个人物时，对目标对象进行任务追踪，确定每张检测的图片中的目标对象为同一个人。
[0013]作为本专利技术的进一步改进，基于多模态融合的疲劳检测方法还包括：保存预设时间范围内连续帧数的人体检测框图片组；当获取到新的人体检测框图片时，对人体检测框图片组依次移位缓存，队首的人体检测框图片输出，新的人体检测框图片存入。
[0014]作为本专利技术的进一步改进，检测目标对象是否处于疲劳状态，包括：获取人体检测框图片组中的头部检测框；基于头部检测框，利用可分离卷积神经网络，分别判断目标对象是否处于闭眼疲劳任务、低头疲劳任务、睡觉疲劳任务；当目标对象处于上述任意一项任务，即判断目标对象处于疲劳状态。
[0015]作为本专利技术的进一步改进，判断目标对象是否处于低头疲劳任务，包括：将人体检测框图片组输入至低头检测模型，得到目标对象的低头角度；当低头角度小于预设角度且持续时间大于第二时间阈值时，判断目标对象处于低头疲劳任务。
[0016]作为本专利技术的进一步改进，判断目标对象是否处于闭眼疲劳任务，包括：基于人脸关键点定位算法，检测出头部检测框中的眼睛关键点，提取到眼睛特征点信息；根据眼睛特征点信息，计算眼睛的闭合状态；当眼睛处于闭合状态的时间大于第一时间阈值时，判断目标对象处于闭眼疲劳任务。
[0017]作为本专利技术的进一步改进，判断目标对象是否处于睡觉疲劳任务，包括：根据人体检测框图片组，提取头部关键点信息；将头部关键点信息输入至睡觉检测模型，得到目标对象的睡觉状态；当睡觉状态的持续时间大于第三时间阈值时，判断目标对象处于睡觉疲劳任务。
[0018]作为本专利技术的进一步改进，将头部关键点信息输入至睡觉检测模型，得到目标对象的睡觉状态，包括：根据头部关键点信息，计算头部运动轨迹；当头部运动轨迹满足第一状态且持续时间大于第三时间阈值时，判断目标对象处于睡觉疲劳任务。
[0019]通过增加对睡觉疲劳任务的检测，即增加对头部运行轨迹状态的检测，避免了因
睡眠习惯不同而出现的漏检的情况，使得检测数据更加全面，进一步提高了检测结果的准确性。
[0020]与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：通过先确定目标对象处于长时间静止状态之后，再对目标对象是否处于疲劳状态进行检测，实现了利用静止状态和疲劳状态相结合的多模态融合检测的效果，提高了疲劳检测的结果。
[0021]同时，当目标对象处于静止状态时再进行疲劳状态的检测，避免了眨眼、摇头等人为习惯带来的误检计算量，提升了运算效率，节省了数据处理时间。
[0022]进一步的，综合静止状态和三种疲劳任务的结合对目标对象是否处于疲劳状态进行监测，实现了多模态数据融合的检测方式，可操作性强，提高了疲劳检测的准确性。
附图说明
[0023]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
[0024]图1为本专利技术提供的基于多模态融合的疲劳检测方法的流程图；
[0007]图2为本专利技术提供的基于多模态融合的疲劳检测方法的68特征点图；
[0007]图3为本专利技术提供的基于多模态融合的疲劳检测方法的流程示意图。
具体实施方式
[0025]为使本专利技术的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本专利技术作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本专利技术的一种最佳实施例，仅用以解释本专利技术，并不限定本专利技术的保护范围，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤；所述处理可以对应于方法、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态融合的疲劳检测方法，其特征在于，包括：数据获取：获取预设时间范围内连续帧数的人体检测框图片，记为人体检测框图片组；多模态融合检测：判断所述人体检测框图片组中的目标对象是否处于静止状态；当所述目标对象处于静止状态时，检测所述目标对象是否处于疲劳状态。2.根据权利要求1所述的基于多模态融合的疲劳检测方法，其特征在于，判断所述人体检测框图片组中的目标对象是否处于静止状态，包括：对所述人体检测框图片组中所有的人体检测框图片进行抠图处理，得到每张所述人体检测框图片的头部检测框坐标值；分别计算相邻帧所述头部检测框坐标值的坐标变化值；当所述坐标变化值小于第一预设阈值，判断所述目标对象处于静止状态。3.根据权利要求2所述的基于多模态融合的疲劳检测方法，其特征在于，判断所述人体检测框图片组中的目标对象是否处于静止状态，还包括：分别计算相邻帧头部检测框的头部像素值总和；当所述头部像素值总和小于第二预设阈值，判断所述目标对象处于静止状态。4.根据权利要求2所述的基于多模态融合的疲劳检测方法，其特征在于，当所述人体检测框图片组中有多个人物对象时，所述方法还包括：获取所述目标对象的面部特征信息；依次对所述头部检测框进行人物相似度匹配；当匹配到所述目标对象时，确定所述目标对象对应的头部检测框，计算所述对应的头部检测框坐标值。5.根据权利要求1所述的基于多模态融合的疲劳检测方法，其特征在于，所述方法还包括：保存所述预设时间范围内连续帧数的所述人体检测框图片组；当获取到新的人体检测框图片时，对所述人体检测框图片组依次移位缓存，队首的人体检测框图片输出，所述新的人体检测框图片存入。6.根据权利要求1所述的基于多模态融合的疲劳检测方法，其特征在于，检测所述目标对象是...

【专利技术属性】
技术研发人员：王莽，赵天成，陆骁鹏，蒋轲磊，刘全，刘鹏，
申请(专利权)人：杭州联汇科技股份有限公司，
类型：发明
国别省市：