一种非接触式驾驶员心率检测方法技术

本发明专利技术涉及远程光电体积扫描术领域，具体涉及一种非接触式驾驶员心率检测方法；该方法获取驾驶员的人脸图像，通过KTL算法、引导滤波等方式获取rPPG信号矩阵；对rPPG信号矩阵进行降维、ICA和快速傅里叶变换，最终得到当前时刻的心率测量值；采用卡尔曼滤波器计算上一时刻的心率预测值，根据当前时刻的心率测量值和上一时刻的心率预测值得到当前时刻的心率预测值。值。值。

【技术实现步骤摘要】
一种非接触式驾驶员心率检测方法


[0001]本专利技术涉及远程光电体积扫描术领域，具体涉及一种非接触式驾驶员心率检测方法。

技术介绍

[0002]心率是指每分钟人体心脏进行心博的次数，他是人体生理和心理健康的检测指标之一。人在安静而没有进行剧烈运动时的心率被称为静息心率。心率检测根据检测技术的不同可以分为接触式和非接触式两种；接触式检测通过ECG等智能设备采用光电容积脉搏波(Photo Plenthysmo Graphy,PPG)的方法进行测量，需要近距离接触人体皮肤，会带来较大的不舒适性，也可能产生刺激或疼痛，进而影响检测结果；同时对于婴儿、烧伤患者等群体会产生更大的刺激。
[0003]随着计算机技术、摄像头等的普及，有学者提出了远程光电容积脉搏波(rPPG)，rPPG与传统的PPG原理一样，由于每次心跳都会引起人体皮肤组织中得血液和微血管得周期性变化，光的吸收和反射也会形成周期性变化，人眼无法观察到这种周期性的变化，但可以从高清摄像机采集的视频图像中进行分析，从而实现心率的检测。因此，这种方法也被称为超感心率检测。它的优势并不局限于被检测人员不需要佩戴任何设备，它可用于长时间的生理检测，当今社会，交通事故频发，除了我们熟知的酒驾，超速等原因，驾驶员的健康状态也是导致交通事故频发的一大原因，心率作为人生理健康的金指标，基于视频流的非接触式心率估计能够有效的对驾驶员的健康进行检测，但是这种方法容易受到头部运动产生运动伪影，和光照的影响。

技术实现思路

[0004]为解决上述问题，本专利技术提供了一种非接触式驾驶员心率检测方法，其特征在于，包括以下步骤：
[0005]S1.在驾驶员头部正前方安装摄像头，采用摄像头采集驾驶员的人脸图像视频；
[0006]S2.采用OpenCV中的dlib人脸检测器检测人脸图像视频中每一帧人脸图像的人脸矩形，同时在人脸矩形中定位人脸的68个面部特征点的坐标；
[0007]S3.采用KLT算法在人脸图像视频中通过68个面部特征点的位移情况跟踪驾驶员的头部运动情况，输出稳定人脸图像视频；
[0008]S4.对稳定人脸图像视频中的每一帧稳定人脸图像进行引导滤波，得到滤波人脸视频；
[0009]S5.计算滤波人脸图像视频中每一帧滤波人脸图像的额头、左脸颊、右脸颊和鼻子四个区域的平均值向量，并将每一帧滤波人脸图像的四个区域的平均值向量加权平均得到每一帧滤波人脸图像的rPPG强度信号；
[0010]S6.将所有rPPG强度信号汇总得到rPPG信号矩阵，对rPPG信号矩阵进行降维处理，得到低维rPPG信号矩阵；
[0011]S7.通过ICA分离低维rPPG信号矩阵得到血液静动态信号向量，对血液动态信号向量进行快速傅里叶变换得到当前时刻的心率测量值；
[0012]S8.通过卡尔曼滤波器计算上一时刻的心率预测值，根据当前时刻的心率测量值和上一时刻的心率预测值得到当前时刻的心率预测值。
[0013]进一步的，在步骤S4中，采用引导滤波对稳定的人脸图像视频中的每一帧人脸图像进行引导滤波得到滤波人脸图像，引导图像与滤波人脸图像的局部线性关系表示为：
[0014]q
i
＝a
k
I
i
+b
k
[0015]为确定引导图像与滤波人脸图像的线性系数，同时满足稳定人脸图像与滤波人脸图像的差别最小化，将引导滤波过程转化为最优化问题，表示为：
[0016][0017]求解最优化问题，得到：
[0018][0019][0020]其中，I
i
表示引导图像I在局部窗口内的第i个像素的灰度值，p
i
表示稳定人脸图像p在局部窗口内的第i个像素点的灰度值，q
i
表示滤波人脸图像q在局部窗口内的第i个像素点的灰度值，ω
k
表示长度为k的局部窗口，a
k
表示局部窗口ω
k
的第一常量线性系数，b
k
表示局部窗口ω
k
的第二常量线性系数，ω表示局部窗口ω
k
内的像素点总数，∈表示正则化系数，表示局部窗口ω
k
内所有第二常量线性系数的均值，μ
k
表示通过引导图像I在局部窗口ω
k
内所有像素点计算的均值，表示通过引导图像I在局部窗口ω
k
内所有像素点计算的方差，表示通过稳定人脸图像p在局部窗口ω
k
内所有像素点计算的平均灰度值。
[0021]进一步的，根据求解最优化问题，得到滤波人脸图像与引导图像间确定的线性系数，表示为：
[0022][0023]其中，表示滤波人脸图像q在局部窗口内的第i个像素点的平均灰度值。
[0024]进一步的，在步骤S6中将rPPG信号矩阵与降维矩阵相乘得到低维rPPG信号矩阵，降维矩阵表示为：
[0025][0026]其中，T表示矩阵的转置运算。
[0027]进一步的，步骤S7具体包括：
[0028]S11.定义低维rPPG信号矩阵为S，并计算去均值低维rPPG信号矩阵计算公式为：
[0029][0030]其中，E{S}表示低维rPPG信号矩阵S的单位矩阵；
[0031]S12.计算去均值低维rPPG信号矩阵的协方差矩阵，并对其进行特征值分解，得到白化矩阵；
[0032]S13.采用ICA处理白化矩阵得到血液静动态信号向量；血液静动态信号向量包括血液静态信号分量和血液动态信号分量两个不同的分量；
[0033]S14.对血液静动态信号向量做快速傅里叶变换，变换后的血液静动态信号向量中峰值低的分量则为血液静态信号分量；
[0034]S15.采用带通滤波器处理血液动态信号分量，并将处理后的血液动态信号分量的峰值频点作为当前时刻的心率测量值。
[0035]进一步的，步骤S12计算去均值低维rPPG信号矩阵的协方差矩阵包括：
[0036]Cov(S)＝QΛQ
T
[0037]Cov(S)＝SS
T
＝PRov(S)P
T
＝E
[0038][0039]其中，Q表示特征向量组成的正交矩阵，Λ表示特征值组成的对称阵，Cov(S)表示低维rPPG信号矩阵S的协方差矩阵，P表示交换矩阵，Rov(S)表示低维rPPG信号矩阵S的自相关矩阵，E表示单位阵。
[0040]进一步的，采用卡尔曼滤波计算心率预测值的公式为：
[0041][0042]E
n
＝E
n
‑1+k
n
·
(M
n
‑
x
n
‑1)
[0043]P
n
＝(1
‑
k
n
)
·
P
n
+Q
[0044]其中，P...

【技术保护点】

【技术特征摘要】
1.一种非接触式驾驶员心率检测方法，其特征在于，包括以下步骤：S1.在驾驶员头部正前方安装摄像头，采用摄像头采集驾驶员的人脸图像视频；S2.采用OpenCV中的dlib人脸检测器检测人脸图像视频中每一帧人脸图像的人脸矩形，同时在人脸矩形中定位人脸的68个面部特征点的坐标；S3.采用KLT算法在人脸图像视频中通过68个面部特征点的位移情况跟踪驾驶员的头部运动情况，输出稳定人脸图像视频；S4.对稳定人脸图像视频中的每一帧稳定人脸图像进行引导滤波，得到滤波人脸视频；S5.计算滤波人脸图像视频中每一帧滤波人脸图像的额头、左脸颊、右脸颊和鼻子四个区域的平均值向量，并将这四个区域的平均值向量加权平均，得到每一帧滤波人脸图像的rPPG信号强度；S6.将所有rPPG强度信号汇总得到rPPG信号矩阵，对rPPG信号矩阵进行降维处理，得到低维rPPG信号矩阵；S7.通过ICA分离低维rPPG信号矩阵得到血液静动态信号向量，对血液动态信号向量进行快速傅里叶变换得到当前时刻的心率测量值；S8.通过卡尔曼滤波器计算上一时刻的心率预测值，根据当前时刻的心率测量值和上一时刻的心率预测值得到当前时刻的心率预测值。2.根据权利要求1所述的一种非接触式驾驶员心率检测方法，其特征在于，在步骤S4中，采用引导图像对稳定人脸图像视频中的每一帧稳定人脸图像进行引导滤波得到滤波人脸图像，引导图像与滤波人脸图像的局部线性关系表示为：q
i
＝a
k
I
i
+b
k
为确定引导图像与滤波人脸图像的线性系数，同时满足稳定人脸图像与滤波人脸图像的差别最小化，将引导滤波过程转化为最优化问题，表示为：求解最优化问题，得到：求解最优化问题，得到：其中，I
i
表示引导图像I在局部窗口内的第i个像素的灰度值，p
i
表示稳定人脸图像p在局部窗口内的第i个像素点的灰度值，q
i
表示滤波人脸图像q在局部窗口内的第i个像素点的灰度值，ω
k
表示长度为k的局部窗口，a
k
表示局部窗口ω
k
的第一常量线性系数，b
k
表示局部窗口ω
k
的第二常量线性系数，ω表示局部窗口ω
k
内的像素点总数，∈表示正则化系数，表示局部窗口ω
k
内所有第二常量线性系数的均值，μ
k
表示通过引导图像I在局部窗口ω
k
内所有像素点计算的均值，表示通过引导图像I在局部窗口ω
k
内所有像素点计算的方差，表示通过稳定人脸图像p在局部窗口ω...

【专利技术属性】
技术研发人员：刘鹏泽，陈昌川，夏开羿，代少升，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：