头部旋转运动自适应的非接触鲁棒性心率检测方法技术

本发明专利技术属于生物医疗监测、计算机视觉领域，公开了一种头部旋转运动自适应的非接触式鲁棒性心率检测方法。其步骤包括：通过成像设备采集人脸视频并且实时检测人脸特征点，基于特定人脸标志点选取的面部感兴趣区域逐帧生成脉搏波原始信号；采用去趋势滤波及小波滤波算法处理原始信号，选取功率谱特定范围峰峰值估算心率；最后，利用人脸二维和三维的特征点计算受试者运动中头部的偏航和俯仰欧拉角度，使用角度度量作为新型信号质量指数构建自适应Kalman滤波器并提供单一稳健的心率估计。本发明专利技术能够克服由受试者头部旋转非刚性运动引起的运动伪影噪声，在自发运动的真实场景下能有效提升心率检测的准确性，扩大了成像式光电容积描记技术在视频健康监测领域的使用场景。容积描记技术在视频健康监测领域的使用场景。容积描记技术在视频健康监测领域的使用场景。

【技术实现步骤摘要】
头部旋转运动自适应的非接触鲁棒性心率检测方法


[0001]本专利技术属于生物医疗监测、计算机视觉领域，具体涉及了一种头部旋转运动自适应的非接触鲁棒性心率检测方法。

技术介绍

[0002]心脑血管疾病已经成为威胁人类健康的主要疾病，根据心脑血管疾病早发现、早治疗，积极干预的防治需求[1]，需要寻求一种操作简单、结果准确、可重复性好、并可应用于大规模人群日常检测的测量技术和方法.成像式光电容积描记(ImagingPhotoplethysmography,IPPG)技术是一种基于成像设备的非接触生理参数检测技术，克服了传统接触式技术存在的缺陷，正逐渐应用于远程医疗监控等领域。基于人脸视频的IPPG心率测量技术，利用成像设备对包含被测部位的信息进行视频采集，将脉搏信号即由血液容积变化引起的光强变化用视频图像的方式记录下来，再通过对视频图像处理提取出脉搏波信号，最后通过脉搏波特征量的分析实现心率信号的提取[2]。
[0003]基于IPPG的心率测量技术研究目前已经取得了重要进展，可以在受试者静止及运动状态下实现心率准确测量.血红蛋白的光吸收在整个光谱范围内各不相同，其中绿色通道具有较强的脉冲信号强度，组合颜色通道的方法是常见的解决信号失真的方法.其中一类方法是基于数据的线性通道组合：例如主成分分析法(PrincipalComponentAnalysis,PCA)定义了颜色通道的三个独立线性组合，使用了盲源分离技术(BlindSourceSeparation，BSS)分离脉搏波信号及噪声.该方法认为携带脉搏信号的成分是先验未知的，同时假设脉搏信号显示出最强的周期性，但由于运动伪影也具有强周期性使得该方法不适用于运动场景.另一类组合方法是基于先验知识的通道组合，具有代表性的是基于色度(Chrominance,CHROM)的方法，根据不同的经验推理加权组合三通道信号产生色度信号，将RGB颜色空间转换为其他形式可以更好地将光体积描记效应与失真分离.此外还有一些基于图像处理的克服运动伪影方法，例如图像配准法、感兴趣区域ROI空间平均法、ROI跟踪法、依据时频分析法的抗运动频谱峰值跟踪，及适用于长距离移动的基于自适应变焦系统心率检测法[3]。
[0004]然而，现有方法的主要限制是均只适用于呼吸、头部轻微移动等非刚性运动场景，当受试者进行旋转头部、说话和行走等自发性运动时无法准确估计心率.从适用于受试者在真实场景中自发运动状态下的心率准确测量的角度考虑，基于IPPG技术的心率监测技术亟需具备克服头部运动引入伪影的能力。
[0005]以下文献是与本专利技术相关的技术背景资料:
[0006][1]Franco,M.,Cooper,R.S.,Bilal,U.,&Fuster,V..(2011).Challengesandopportunitiesforcardiovasculardiseaseprevention.AmericanJournalofMedicine,124(2),95
‑
102.
[0007][2]Sun,Y.,&Thakor,N..(2016).Photoplethysmographyrevisited:fromcontacttononcontact,frompointtoimaging.IEEETransactionsonBiomedical
Engineering,63(3),463
‑
477.
[0008][3]Sebastian,Z.,Alexander,T.,Daniel,W.,&Hagen,M..(2018).Cardiovascularassessmentbyimagingphotoplethysmography
–
areview.BiomedicalEngineering.

技术实现思路

[0009]为了解决现有技术中的上述问题，即现有方法的主要限制是均只适用于呼吸、头部轻微移动等非刚性运动场景，当受试者进行旋转头部、说话和行走等自发性运动时无法准确估计心率的问题，本专利技术提供了一种基于人脸图像的头部旋转运动自适应的非接触式鲁棒性心率检测方法，该非接触式心率测量方法包括:
[0010]步骤1:通过成像设备采集受试者的脸部视频；
[0011]步骤2:实时检测人脸68个特征点，基于特定的人脸标志点选取的面部感兴趣区域逐帧生成脉搏波原始信号：
[0012]步骤2
‑
1:首先利用人脸检测器检测到人脸矩形框，然后使用CLNF实时定位人脸68个特征点；
[0013]步骤2
‑
2:将面部68个标志点中第1、17、42和47个点选取毛细血管分布丰富的人脸的脸颊和鼻子区域作为ROI，并求取该ROI区域的灰度均值，随后将每一帧的均值按视频时间序列进行连接，生成IPPG脉搏波原始信号；
[0014]步骤3:采用去趋势滤波及小波滤波算法处理原始信号，选取功率谱特定范围峰峰值估算心率；
[0015]步骤4:结合人脸二维及三维特征点计算受试者头部在运动中姿势欧拉角度，根据角度绝对值得到新型信号质量指数用于反应信号的质量，利用新型信号质量指数估计自适应噪声协方差；
[0016]步骤5:估计的自适应噪声协方差调控Kalman增益，由此构建一个头部旋转运动自适应滤波器，该滤波器依据旋转角度的变化在由头部旋转运动引入噪声的片段动态滤除伪影并提供单一稳健的心率估计。
[0017]优选的，步骤4所述具体包括以下3个步骤：
[0018]步骤4
‑
1:首先利用CLNF算法得到的面部特征点坐标，将二维点坐标反向投影到三维人脸模型得到三维人脸标志点坐标，再通过相机标定参数及最小二乘法求解透视位姿计算出头部姿态欧拉角，本专利技术仅考虑俯仰及偏航角度；
[0019]步骤4
‑
2:对获得俯仰及偏航角度的绝对值分别进行归一化并取反操作，然后将二者的乘积作为新的信号质量指数θ
SQI
；
[0020]步骤4
‑
3:利用角度质量指数θ
SQI
调节由运动引起的测量噪声协方差估计，构成头部旋转自适应噪声协方差。
[0021]优选的，步骤5所述具体包括以下3个步骤：
[0022]步骤5
‑
1:由头部旋转自适应测量噪声协方差来调节Kalman增益系数；
[0023]步骤5
‑
2:结合Kalman增益系数、由步骤3得到的心率测量值和当前时刻的先验概率，根据头部姿势角度值的动态变化，改变其后验分布实现对新到达数据的自适应调制；
[0024]步骤5
‑
3:将当前状态的后验概率更新为后续状态的前验概率。
[0025]与已有技术相比，本专利技术有益效果体现在:
[0026]本文使用头部姿态角度估计作为心率信号的主要失真指标，作为一种新的信号质量指数对来自IP本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头部旋转运动自适应的非接触式鲁棒性心率检测方法，该方法包括如下步骤:S100、通过成像设备采集受试者的脸部视频；S200、实时检测人脸68个特征点，基于特定的人脸标志点选取的面部感兴趣区域(Region of Interest,ROI)逐帧生成脉搏波原始信号；S300、采用去趋势滤波及小波滤波算法处理原始信号，选取功率谱特定范围峰峰值估算心率；S400、结合人脸二维及三维特征点计算受试者头部在运动中姿势欧拉角度，根据角度绝对值得到新型信号质量指数用于反应信号的质量，利用新型信号质量指数估计自适应噪声协方差；S500、估计的自适应噪声协方差调控Kalman增益，由此构建一个头部旋转运动自适应滤波器，该滤波器依据旋转角度的变化在由头部旋转运动引入噪声的片段动态滤除伪影并提供单一稳健的心率估计。其中，所述步骤S400中，具体包括如下步骤：S401、首先利用约束局部神经域(Constrained Local Neural Field,CLNF)算法得到的面部特征点坐标，将二维点坐标反向投影到三维人脸模型得到三维人脸标志点坐标，再通过相机标定参数及最小二乘法求解透视位姿计算出头部姿态欧拉角；S402、对获得俯仰及偏航角度的绝对值分别进行归一化并取反操作，然后将二者的乘积作为新的信号质量指数θ
SQI
；S403、利用角度质量指数θ
SQI
调节由运动引起的测量噪声协方差估计，构成头部旋转自适应噪声协方差：其中，R0取经验值0.1。其中，所述步骤S500中，具体包括如下步骤：S501、假设第k
‑
1个心率为均值为协方差为的正态分布即第k
‑
1个时刻的后验估计的协方差为由头部旋转自适应测量噪声协方差来调节Kalman增益系数：S502、结合Kalman增益系数、由步骤3得到的心率测量值和当前时刻的先验概率，根据头部姿势角度值的动态变化，改变其后验分布实现对新到达数据的自适应调制；S503、将当前状态的后验概率更新为后续状态的前验概率。2.根据权利要求1所述的头部旋转运动自适应的心率检测方法,其特征是：使用网络摄像头或手机摄像头日常生活中常用的成像设备来实现心率测量。3.根据权利要求1所述的头部旋转运动自适应的心率检测方法,其特征是：所述步骤S200中，具体包括如下步骤：首先利用CLNF实时定位人脸68个特征点；将面部68个标志点中第1、17、42和47个点选取毛细血管分布丰富的人脸的脸颊和鼻子区域作为ROI，避免了眼睛
的眨动以及被测额头部分毛发的遮挡对ROI灰度值带来的影响；并求取该ROI区域的灰度均值，随后将每一帧的均值按视频时间序列进行连接，生成I...

【专利技术属性】
技术研发人员：孔令琴，巴图巴雅尔，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：