一种基于人脸视频的疲劳度检测方法及系统技术方案

本发明专利技术公开了一种基于人脸视频的疲劳度检测方法及系统，该方法包括：获取人脸视频的图像序列；对图像序列中的每个图像分别提取第一ROI区域，并在所述第一ROI区域中提取第二ROI区域；基于人脸图像序列的第一ROI区域进行第一疲劳度特征参数分析，基于人脸图像序列的第二ROI区域进行第二疲劳度特征参数分析；将第一疲劳度特征参数和第二疲劳度特征参数输入至预设分类模型，获取第一疲劳度。本发明专利技术有效提高了疲劳度检测的准确性和检测结果的稳定性。定性。定性。

【技术实现步骤摘要】
一种基于人脸视频的疲劳度检测方法及系统


[0001]本专利技术涉及计算机
，具体涉及一种基于人脸视频的疲劳度检测方法及系统。

技术介绍

[0002]随着智能化技术的不断完善及人们的消费水平及需求不断上升，智能手机的功能也在不断增加，简单用手机打电话已经满足不了用户需求，现有智能手机包含即时通讯、查看天气、运动健康监测等功能。现有智能手机的健康监测功能可以实时监测人的心律、血压、血氧等健康指标，但是目前健康监测系统还不够完善，缺乏实时监测人疲劳度的功能。

技术实现思路

[0003]针对上述现有技术存在的问题，本专利技术提供了一种基于人脸视频的疲劳度检测方法及系统，有效实现实时准确监测人疲劳度。具体来说：
[0004]本申请提供了一种基于人脸视频的疲劳度检测方法，包括如下步骤：
[0005]获取人脸视频的图像序列；
[0006]对图像序列中的每个图像分别提取第一ROI区域，并在所述第一ROI区域中提取第二ROI区域；
[0007]基于人脸图像序列的第一ROI区域进行第一疲劳度特征参数分析，基于人脸图像序列的第二ROI区域进行第二疲劳度特征参数分析；
[0008]将第一疲劳度特征参数和第二疲劳度特征参数输入至预设分类模型，获取第一疲劳度。
[0009]在一些实施方式中，所述第一ROI区域表征图像中的人脸区域，所述第二ROI区域表征人脸区域中的眼部区域。
[0010]在一些实施方式中，所述基于人脸图像序列的第一ROI区域进行第一疲劳度特征参数分析，包括：
[0011]基于第一ROI区域的图像像素数据分析第一ROI区域的像素特征分布参数；
[0012]对所有第一ROI区域的像素特征分布参数形成的像素特征分布参数序列数据进行信号降噪；
[0013]获取降噪后的像素特征分布参数序列数据的波峰、波谷和周期；
[0014]基于所述周期、波峰和波谷获取所述像素特征分布参数序列数据的频率作为第一疲劳度特征参数。
[0015]在一些实施方式中，所述基于第一ROI区域的图像像素数据分析第一ROI区域的像素特征分布参数，包括：
[0016]对第一ROI区域图像中的非嘴唇区域且非眼睛区域的像素平均值作为第一ROI区域的像素特征分布参数，对R、G、B通道图像的第一ROI区域的像素平均值分别记为第一通道像素特征分布参数、第二通道像素特征分布参数、第三通道像素特征分布参数；
[0017]基于图像序列中的每个图像对应的各个通道像素特征分布参数分别形成对应通道像素特征分布参数的序列数据；
[0018]基于各个通道像素特征分布参数序列数据在预设投影矩阵下进行投影，得到各个通道的所述序列数据的投影结果；
[0019]基于序列数据的投影结果进行优化得到优化后的第一ROI区域的像素特征分布参数序列数据；
[0020]所述投影模型为：
[0021]Q(t)＝V*X
n
(t)，其中，V＝(v
p
,v
i
)
T
为投影矩阵，Q(t)＝(q
p
(t),q
i
(t))
T
为X
n
(t)投影后的结果，X
n
(t)＝(r
n
(t),g
n
(t),b
n
(t))
T
，其中，r
n
(t)为第一通道像素特征分布参数的序列数据、g
n
(t)为第二通道像素特征分布参数的序列数据、b
n
(t)第三通道像素特征分布参数的序列数据，n为序列数据的长度；
[0022]预设投影矩阵为：
[0023][0024]所述基于序列数据的投影结果进行优化，包括：
[0025]p(t)＝
‑
2α*r
n
(t)+(1+α)*g
n
(t)
‑
(1
‑
α)*b
n
(t)，其中，
[0026]在一些实施方式中，所述对所有第一ROI区域的像素特征分布参数形成的像素特征分布参数序列数据进行信号降噪，包括：
[0027]基于第三通道像素特征分布参数的序列数据进行信号分解，获得噪声信号分量数据；
[0028]基于优化后的第一ROI区域的像素特征分布参数序列数据进行信号分解，并去除所述噪声信号分量数据，获得降噪后的像素特征分布参数序列数据。
[0029]在一些实施方式中，所述基于人脸图像序列的第二ROI区域进行第二疲劳度特征参数分析，包括：
[0030]基于第二ROI区域的灰度图像提取虹膜区域的高度数据；
[0031]获取所有第二ROI区域中的虹膜区域的高度数据中的最大值，并且获取每个第二ROI区域中的虹膜区域的高度数据与最大值的比值；
[0032]对于所述比值小于预设阈值的第二ROI区域对应的图像记为闭眼图像；
[0033]分析人脸图像序列采集时间段内的闭眼图像采集时刻的分布特征作为第二疲劳度特征参数，所述闭眼图像采集时刻的分布特征包括闭眼频率和单次闭眼时长。
[0034]在一些实施方式中，所述基于第二ROI区域的灰度图像提取虹膜区域的高度数据，包括：
[0035]针对第二ROI区域的灰度图像在水平和垂直方向分别进行灰度积分计算，得到水平和垂直方向的灰度积分曲线；
[0036]基于水平和垂直方向的所述灰度积分曲线的变化趋势确定虹膜区域，同时基于垂直方向的所述灰度积分曲线对应虹膜区域的灰度积分曲线确定所述虹膜区域的高度。
[0037]在一些实施方式中，所述基于第一疲劳度特征参数和第二疲劳度特征参数通过预
设分类模型判断所述第一疲劳度特征参数和第二疲劳度特征参数表征的第一疲劳度，包括：
[0038]所述预设分类模型采用XGboost模型。
[0039]在一些实施方式中，本申请的一种基于人脸视频的疲劳度检测方法，还包括：
[0040]基于第二疲劳度特征参数与预设疲劳度分类规则表进行匹配，确定所述第二疲劳度特征参数表征的第二疲劳度；
[0041]基于所述第一疲劳度和第二疲劳度的置信度大小进行对比，获取置信度大的疲劳度参数作为最终疲劳度参数。
[0042]本申请还提供了一种基于人脸视频的疲劳度检测系统，其特征在于，包括：
[0043]人脸视频图像单元，用于获取人脸视频的图像序列；
[0044]ROI区域图像提取单元，用于对图像序列中的每个图像分别提取第一ROI区域，并在所述第一ROI区域中提取第二ROI区域；
[0045]疲劳度特征参数提取单元，用于基于人脸图像序列的第一ROI区域进行第一疲劳度特征参数分析，基于人脸图像序列的第二ROI区域进行第二疲劳度特征参数分析；
[0046]第一疲劳度分析单元，用于基于第一疲劳度特征参数和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸视频的疲劳度检测方法，其特征在于，包括：获取人脸视频的图像序列；对图像序列中的每个图像分别提取第一ROI区域，并在所述第一ROI区域中提取第二ROI区域；基于人脸图像序列的第一ROI区域进行第一疲劳度特征参数分析，基于人脸图像序列的第二ROI区域进行第二疲劳度特征参数分析；将第一疲劳度特征参数和第二疲劳度特征参数输入至预设分类模型，获取第一疲劳度。2.根据权利要求1所述的一种基于人脸视频的疲劳度检测方法，其特征在于，所述第一ROI区域表征图像中的人脸区域，所述第二ROI区域表征人脸区域中的眼部区域。3.根据权利要求1所述的一种基于人脸视频的疲劳度检测方法，其特征在于，所述基于人脸图像序列的第一ROI区域进行第一疲劳度特征参数分析，包括：基于第一ROI区域的图像像素数据分析第一ROI区域的像素特征分布参数；对所有第一ROI区域的像素特征分布参数形成的像素特征分布参数序列数据进行信号降噪；获取降噪后的像素特征分布参数序列数据的波峰、波谷和周期；基于所述周期、波峰和波谷获取所述像素特征分布参数序列数据的频率作为第一疲劳度特征参数。4.根据权利要求3所述的一种基于人脸视频的疲劳度检测方法，其特征在于，所述基于第一ROI区域的图像像素数据分析第一ROI区域的像素特征分布参数，包括：对第一ROI区域图像中的非嘴唇区域且非眼睛区域的像素平均值作为第一ROI区域的像素特征分布参数，对R、G、B通道图像的第一ROI区域的像素平均值分别记为第一通道像素特征分布参数、第二通道像素特征分布参数、第三通道像素特征分布参数；基于图像序列中的每个图像对应的各个通道像素特征分布参数分别形成对应通道像素特征分布参数的序列数据；基于各个通道像素特征分布参数序列数据在预设投影矩阵下进行投影，得到各个通道的所述序列数据的投影结果；基于序列数据的投影结果进行优化得到优化后的第一ROI区域的像素特征分布参数序列数据；所述投影模型为：Q(t)＝V*X
n
(t)，其中，V＝(v
p
,v
i
)
T
为投影矩阵，Q(t)＝(q
p
(t),q
i
(t))
T
为X
n
(t)投影后的结果，X
n
(t)＝(r
n
(t),g
n
(t),b
n
(t))
T
，其中，r
n
(t)为第一通道像素特征分布参数的序列数据、g
n
(t)为第二通道像素特征分布参数的序列数据、b
n
(t)第三通道像素特征分布参数的序列数据，n为序列数据的长度；预设投影矩阵为：所述基于序列数据的投影结果进行优化，包括：
p(t)＝
‑...

【专利技术属性】
技术研发人员：方丽萍，李鹏，李国要，吴琦，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：