一种基于图像分析的心率检测方法及装置制造方法及图纸

本发明专利技术提供一种基于图像分析的心率检测方法及装置，提高心率测量结果的准确度。所述方法包括：获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色‑红色通道差分信号；将提取的绿色‑红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。本发明专利技术涉及生物医学领域。

A Heart Rate Detection Method and Device Based on Image Analysis

【技术实现步骤摘要】
一种基于图像分析的心率检测方法及装置
本专利技术涉及生物医学领域，特别是指一种基于图像分析的心率检测方法及装置。
技术介绍
人类每分钟心脏跳动的次数被称之为心率，是最直接反应人类心脏健康的标志。心率是人体相当重要且易于测量的生命体征。静息心率较高通常伴随心脏病发病率及病死率较高、急性心肌梗死致死率较高等，持续的心率测量和监控对于心脑血管等疾病的控制和预防有着很重要的作用。心率测量从与被测者是否接触的角度来看，分为接触式测量和非接触式测量两种方法。接触式测量有心电监护仪、指夹式脉搏监测仪以及近年来出现的可穿戴心率测量设备等，其操作复杂且不便用于新生儿及其他皮肤环境脆弱人群的日常测量。而非接触式心率测量便捷、无需消毒、能够实现自动化测量且舒适性较强。现有技术中，非接触式心率测量还未成熟，较为常见的是光电容积脉搏波描记法(Photoplethysmography，PPG)，它通过光电设备照射活体组织后测量反射光强度的方式，检测微动脉、毛细血管中血液容积的变化从而估计心率。但是基于PPG的心率测量方法对光照、背景等环境的要求较高。
技术实现思路
本专利技术要解决的技术问题是提供一种基于图像分析的心率检测方法及装置，以解决现有技术所存在的基于PPG的心率测量方法对光照、背景等环境的要求较高的问题。为解决上述技术问题，本专利技术实施例提供一种基于图像分析的心率检测方法，包括：获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。进一步地，所述对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正包括：提取所述人脸视频中的面部区域；对所述面部区域中的面部特征点进行追踪，提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：其中，s是缩放比例；T表示平移的位移；表示的平移位移；R是正交矩阵，RTR＝I，I表示单位矩阵；θ是旋转角度；上标T表示矩阵转置；将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，所述目标函数表示为：argmins,R,T||sRpT+T-qT||FsubjecttoRTR＝I其中，||·||F表示F-范数；利用奇异值分解方法求解目标函数的最优参数s，R，T，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)：进一步地，面部感兴趣区域颜色通道的光信号表示为：其中，|ROI|表示感兴趣区域的大小；q(u,v,t)表示时间为t时的坐标(u,v)处的像素值；iPPG表示面部运动信号，源于皮肤吸收光的强度变化。进一步地，所述根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号包括：根据确定的面部感兴趣区域颜色通道的光信号，构建基于三层皮肤模型的光信号模型；根据构建的光信号模型，通过颜色通道差分方法提取绿色-红色通道差分信号。进一步地，构建的基于三层皮肤模型的光信号模型表示为：Ii(t)＝αiβi(S0+γiS0iPPG(t)+R0)M(t),i∈{R,G,B}其中，Ii(t)表示构建的基于多层皮肤模型的光信号模型，S0是感兴趣区域内皮肤在白光照射下的散射光强度的平均值，R0是感兴趣区域内皮肤在白光照射下的漫反射光强度的平均值，i代表RGB通道中的一种通道，αi是i通道色光在标准化的照明光谱中的强度，βi是i通道色光在标准化的漫反射光谱中的强度，γi是i通道iPPG信号的交流分量与直流分量之比，M(t)为运动分量。进一步地，所述绿色-红色通道差分信号表示为：进一步地，GRD(t)中的αGβG和αRβR分别估算为：其中，是αGβG的估算值，是αRβR的估算值。进一步地，在运算GRD(t)之前，利用带通滤波处理GRD(t)中的IG(t)和IR(t)，再用αGβG的估算值和αRβR的估算值替代原GRD(t)公式中的αGβG和αRβR两项，得到：其中，IGf(t)、IRf(t)、Mf(t)表示经过带通滤波处理后的IG(t)、IR(t)、M(t)，且Mf(t)是通过跟踪技术减弱的。进一步地，所述将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率包括：通过快速傅里叶变换，将GRD(t)变换至频域，提取振幅最大值对应的频率作为用户当前的心率。本专利技术实施例还提供一种基于图像分析的心率检测装置，包括：校正模块，用于获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；确定模块，用于根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；提取模块，用于根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；变换模块，用于将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。本专利技术的上述技术方案的有益效果如下：上述方案中，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号，减小面部其他区域信息干扰；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号，消除运动干扰信息；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率，该心率检测方法对环境要求较低、实用性较高，且心率测量结果准确度高。附图说明图1为本专利技术实施例提供的基于图像分析的心率检测方法的流程示意图；图2为本专利技术实施例提供的面部特征点示意图；图3(a)为本专利技术实施例提供的采用G方法的检测结果示意图；图3(b)为本专利技术实施例提供的采用GRD方法的检测结果示意图；图3(c)为本专利技术实施例提供的采用盲源分离法的检测结果示意图；图3(d)为本专利技术实施例提供的采用POS方法的检测结果示意图；图3(e)为本专利技术实施例提供的采用基于图像分析的心率检测方法的检测结果示意图；图4为本专利技术实施例提供的基于图像分析的心率检测装置的结构示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本专利技术针对现有的基于PPG的心率测量方法对光照、背景等环境的要求较高的问题，提供一种基于图像分析的心率检测方法及装置。本实施例所述的基于图像分析的心率检测方法，使用的设备为普通摄像头，通过摄像头捕捉用户的人脸视频，人脸视频记录了心脏跳动引起的面部皮肤下血液容量呈周期性的变化，与之相伴的血液本文档来自技高网...

【技术保护点】
1.一种基于图像分析的心率检测方法，其特征在于，包括：获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色‑红色通道差分信号；将提取的绿色‑红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。

【技术特征摘要】
1.一种基于图像分析的心率检测方法，其特征在于，包括：获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。2.根据权利要求1所述的基于图像分析的心率检测方法，其特征在于，所述对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正包括：提取所述人脸视频中的面部区域；对所述面部区域中的面部特征点进行追踪，提取基准图像的面部特征点p(x，y)和测试图像的面部特征点q(u，v)，其中，经过图像平移、旋转、缩放后，特征点p(x，y)和特征点q(u，v)之间满足如下关系：其中，s是缩放比例；T表示平移的位移；表示的平移位移；R是正交矩阵，RTR＝I，I表示单位矩阵；θ是旋转角度；上标T表示矩阵转置；将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，所述目标函数表示为：argmins，R，T||sRpT+T-qT||FsubjecttoRTR＝I其中，||·||F表示F-范数；利用奇异值分解方法求解目标函数的最优参数s，R，T，根据仿射变换得到校正后的测试图像的面部特征点q(u，v)：3.根据权利要求1所述的基于图像分析的心率检测方法，其特征在于，面部感兴趣区域颜色通道的光信号表示为：其中，|ROI|表示感兴趣区域的大小；q(u，v，t)表示时间为t时的坐标(u，v)处的像素值；iPPG表示面部运动信号，源于皮肤吸收光的强度变化。4.根据权利要求1所述的基于图像分析的心率检测方法，其特征在于，所述根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号包括：根据确定的面部感兴趣区域颜色通道的光信号，构建基于三层皮肤模型的光信号模型；根据构建的光信号模型，通过颜色通道差分方法提取绿色-红色通道差分信号。5.根据权利要求4所述的基于图像...

【专利技术属性】
技术研发人员：支瑞聪，丁梓硕，陈健融，李志昌，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京,11