一种基于面部视频序列的心率非接触式测量方法技术

本发明专利技术公开了一种基于面部视频序列的心率非接触式测量方法，该方法通过获取包含人体面部信息的视频序列，并结合图像的局部纹理特征和肤色模型，检测并实时跟踪人体面部区域，将该区域设定为感兴趣区域(ROI)；然后将ROI区域从RGB颜色空间映射到LAB颜色空间，计算出A、B两通道的空域均值，并对均值信号进行非线性去趋势操作，在此基础上将AB两通道之差设定为包含心率脉动信息的原始信号；最终针对该信号进行非线性时频分析以及带通滤波操作，并基于有效频率范围内的功率谱密度占比和峰值功率谱密度占比之和最大这一准则来获得心率具体数值，本发明专利技术克服了现有技术的不足，该方法可有效实现心率的非接触测量，提供了一种快速便捷的心率测量方式。

A non-contact heart rate measurement method based on facial video sequence

【技术实现步骤摘要】
一种基于面部视频序列的心率非接触式测量方法
本专利技术涉及非接触式心率测量方法
，具体属于一种基于面部视频序列的心率非接触式测量方法。
技术介绍
在多种疾病的预防和诊断中，心率常被用来反映人体机能运行状态的重要生理参数之一。在实际临床诊断中，评估心率有多种方法，比如传统的听诊器、心电图、心率胸带、基于光电透射测量的指夹式脉搏仪、超声多普勒雷达、热成像技术等。针对目前的心率测量方法，可将其分为接触式和非接触式测量两大类。接触式或与皮肤直接接触，或需佩戴冗杂的测量设备，给测量过程带来了不便，并可能会存在卫生安全、皮肤过敏等问题，在新生儿、皮肤创伤患者以及癫痫患者等特定情况下适用性较差。超声多普勒雷达以及热成像这类非接触式测量方法，虽不需要直接与人体产生接触，一定程度上克服了接触式测量方式的弊端，但所使用的设备价格昂贵。2008年Verkruysse等人首次论证了在环境光照条件下可利用消费级别的摄像头采集面部视频进行心率信号的提取，并指出了心率信号在在RGB颜色空间的不同通道具有不同的相对强度。自此，基于远程光电体积描记术(rPPG)的生理参数测量技术得到了极大的关注。Poh等人提出了基于独立成分分析方法来对RGB通道原始信号进行分解，以获取含心率脉动信号的三个独立分量，从而来计算心率。Lewandowska等人利用主成分分析方法来提取心率信号，并分析了光照条件以及不同感兴趣区域对心率测量精度的影响。目前，基于rPPG方式的心率非接触式测量技术推广应用的瓶颈在于当受试者头部运动以及周围光线强度发生变化时，均会造成对提取到的心率脉动信号一定程度的污染。因此如何消除这些人为干扰因素，从而提高心率测量稳定性和精度，是目前心率测量研究工作的主要关注点之一。
技术实现思路
为解决现有基于rPPG心率测量技术易受头部运动、环境光强变化等干扰的问题，本专利技术提供了一种基于面部视频序列的心率非接触式测量方法，该方法可以高效稳定对视频中多人的心率进行同时测量。为解决上述问题，本专利技术所采取的技术方案如下：一种基于面部视频序列的心率非接触式测量方法，其特征在于，包括如下步骤：S1，采集视频信息，获取面部区域，定义为ROI区域，对每帧视频中ROI区域内的面部进行特征编码及面部肤色RGB颜色自动检测；S2，对S1中检测到的面部肤色RGB颜色进行LAB彩色空间转换，得到A、B通道的信号；S3，通过A、B通道的信号构建色差信号模型，并对色差信号进行多模态分解，得到固有模态分量IMF；S4，筛选用于心率提取的模态分量IMF，进行心率数值的提取，计算出每分钟的心率次数。其中，所述的S1中还包括根据视频信息中图像的局部纹理特征，使用级联分类器检测每帧视频信息中面部，并对检测区域的大小以及和通过相邻帧面部检测区域对比，对视频中的面部进行定位并实时跟踪，采用椭圆肤色模型消除非皮肤像素。其中，所述的S1中的视频信息中包括至少一个面部区域。其中，所述的S2中LAB彩色空间转换包括以下步骤：将亮度分量L和颜色分量AB两通道分离，并对颜色分量A通道和B通道的值进行空域均值操作，空域均值操作的公式为：Sk(t)＝{∑(i,j)∈ROIPk(i,j,t)}/NROI(k＝A,B)，其中Pk(i,j,t)表示t时刻k通道像素位置(i,j)处的具体数值，NROI表示ROI区域的总像素值，得到时间序列信号SA(t)以及SB(t)，然后对A、B通道的时间序列信号再进行时域范围的归一化操作；然后采用先验平滑操作算子进行去除静态分量处理，计算公式为：Sac(t)＝S(t)·{I-(I+α2D2TD2)-1}式中Sac(t)即为去除静态分量后颜色通道的信号，I代表n×n阶单位矩阵，n为信号长度，α作为正规化参数，D2是2阶导数算子的离散逼近阶矩阵，其阶数为(n-2)×n，具体数值如下：得到A、B通道的信号。其中，所述的S3中构建色差信号模型，并对色差信号进行多模态分解的方法为：将A、B通道的信号相减，并构建3阶巴特沃斯带通滤波器对色差信号进行滤波，通带频率范围设定为0.7-4Hz，然后，采用集成经验模态分解EEMD对心率脉动信号进行分解，得到若干固有模态分量IMF。其中，所述的S4中筛选用于心率提取的模态分量IMF，进行心率数值的提取的方法为：对每个IMF模态分量进行频谱分析，计算出心率有效频率范围0.7-3Hz的功率谱密度占总频率范围的功率谱密度之比δ，计算公式为：δ＝Ph(w)/P(w)，其中为Ph(w)心率有效频率范围0.7-3Hz的功率谱密度之和，P(w)为所有频率范围内功率谱密度之和；然后对于δ大于0.75的IMF分量，进行功率谱峰值检测，并计算最大峰值处的功率谱密度占所有峰值的功率谱密度之比η，计算公式为：η＝Pmax-peak(w)/Ppeak(w)，其中Pmax-peak(w)为最大峰值处的功率谱密度，Ppeak(w)为所有峰值处的功率谱密度之和；最后，计算每个IMF分量的δ与η之和，以δ与η之和为最大的IMF分量用于提取心率脉动信号，对筛选出来用于心率提取的IMF分量，求取其最大功率谱密度处的频率fh，通过公式：HR＝fh×60，计算出每分钟的心率次数HR。本专利技术与现有技术相比较，本专利技术的实施效果如下：1、本专利技术考虑到头部转动以及眼睛、眉毛以及嘴巴等非皮肤像素对测量结果的影响，对每帧视频中的人脸区域和皮肤区域进行实时检测，保证了心率测量的源头信息的准确性；2、本专利技术将RGB空间转换到LAB空间，将亮度信息分离，仅对AB颜色通道进行处理，并去除了AB通道中的静态分量，仅保留因心率脉动引起的时变信号，提高了心率脉动信号的信噪比；3、构建了A、B两通道相减的色差信号模型来作为提取心率信号的原始信号，可有效消除因头部转动以及周围光线强度变化对测量结果的影响，保证心率测量结果的精度；4、本专利技术采用了在心率有效频率范围内的功率谱密度占比和峰值功率谱密度占比之和最大的筛选准则来选取用于提取心率信号的IMF分量，有效提高了测量结果的稳定性；5、本专利技术可以对视频中的多名受试者同时进行心率的非接触式测量，有效简化了心率测量的过程，具有低成本、高效率的优点。附图说明图1为本专利技术检测装置的示意图；图2为本专利技术利用普通RGB摄像头非接触式测量人体心率的方法流程图；图3为时间序列信号SA(t)和SB(t)；图4为色差信号与时间的关系图；图5为本专利技术筛选的用于提取心率的IMF分量；图6为用于提取心率的IMF分量的频谱分析结果；图7为基于本专利技术的方法心率测量结果与指夹式脉搏仪测量结果的偏差。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有本文档来自技高网...

【技术保护点】
1.一种基于面部视频序列的心率非接触式测量方法，其特征在于，包括如下步骤：/nS1，采集视频信息，获取面部区域，定义为ROI区域，对每帧视频中ROI区域内的面部进行特征编码及面部肤色RGB颜色自动检测；/nS2，对S1中检测到的面部肤色RGB颜色进行LAB彩色空间转换，得到A、B通道的信号；/nS3，通过A、B通道的信号构建色差信号模型，并对色差信号进行多模态分解，得到固有模态分量IMF；/nS4，筛选用于心率提取的模态分量IMF，进行心率数值的提取，计算出每分钟的心率次数。/n

【技术特征摘要】
20200420 CN 20201031166641.一种基于面部视频序列的心率非接触式测量方法，其特征在于，包括如下步骤：
S1，采集视频信息，获取面部区域，定义为ROI区域，对每帧视频中ROI区域内的面部进行特征编码及面部肤色RGB颜色自动检测；
S2，对S1中检测到的面部肤色RGB颜色进行LAB彩色空间转换，得到A、B通道的信号；
S3，通过A、B通道的信号构建色差信号模型，并对色差信号进行多模态分解，得到固有模态分量IMF；
S4，筛选用于心率提取的模态分量IMF，进行心率数值的提取，计算出每分钟的心率次数。


2.根据权利要求1所述的基于面部视频序列的心率非接触式测量方法，其特征在于，所述的S1中还包括根据视频信息中图像的局部纹理特征，使用级联分类器检测每帧视频信息中面部，并对检测区域的大小以及和通过相邻帧面部检测区域对比，对视频中的面部进行定位并实时跟踪，采用椭圆肤色模型消除非皮肤像素。


3.根据权利要求1所述的基于面部视频序列的心率非接触式测量方法，其特征在于，所述的S1中的视频信息中包括至少一个面部区域。


4.根据权利要求1所述的基于面部视频序列的心率非接触式测量方法，其特征在于，所述的S2中LAB彩色空间转换包括以下步骤：将亮度分量L和颜色分量AB两通道分离，并对颜色分量A通道和B通道的值进行空域均值操作，空域均值操作的公式为：
Sk(t)＝{∑(i,j)∈ROIPk(i,j,t)}/NROI(k＝A,B)，其中Pk(i,j,t)表示t时刻k通道像素位置(i,j)处的具体数值，NROI表示ROI区域的总像素值，得到时间序列信号SA(t)以及SB(t)，然后对A、B通道的时间序列信号再进行时域范围的归一化操作；然后...

【专利技术属性】
技术研发人员：张育中，董哲，舒双宝，陈晶晶，董敬涛，陆富成，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34