峰值信噪比和皮尔森相关系数融合的近红外心率检测方法技术

本发明专利技术公开了一种峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，包括如下步骤：数据采集、预处理、面部感兴趣区域(ROI)选取、信号去噪和心率估算；从近红外摄像头获得面部灰度图像，由于外部干扰或噪声，预定的ROI区域可能会存在低噪声比的问题。为此本发明专利技术不局限于某一预定ROI，而是在面部灰度图像中选取多个ROI。本发明专利技术在面部中选取多个ROI区域，来提高原始信号的信噪比。然后通过信号预处理算法来消除原始信号中的高频噪声、低频趋势、波形突变。并通过峰值信噪比和皮尔森相关系数的融合来挑选出心率信号。实验结果表明，该方法能够实时有效地完成心率检测，适合于不同光源环境下的心率检测，低于3％的误差。低于3％的误差。低于3％的误差。

【技术实现步骤摘要】
峰值信噪比和皮尔森相关系数融合的近红外心率检测方法


[0001]本专利技术涉及一种近红外心率检测方法，具体涉及一种利用峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，属于计算机视觉


技术介绍

[0002]心率的测量方法按照是否需要与人体皮肤相接触分为接触式和非接触式测量两种。接触式测量方法按照原理可以分为光电法、心电法、生物阻抗法和压力振荡法。
[0003]光电法：当一定波长的光线照射到皮肤表面时，光线将通过透射或反射方式发送到光电接收器，在此过程中光线会受到皮肤、肌肉和血液吸收的衰减，导致接收器监测到光的强度减弱。其中人体的皮肤、骨骼等组织对光的反射是固定的，而毛细血管中血液容积随着心脏跳动呈周期性增加和减少，使光接收器接收到的光强度随之呈周期性变化。通过光线强度的变换就可以提取出心率信息。
[0004]心电法：通过心脏在每个搏动周期中，由起搏点、心房、心室相继兴奋，伴随着无数心肌细胞动作电位周期性变化检测心率。传感器可以通过测量心肌收缩的电信号来提取心率信息。心电法的准确度高，但是传感器必须紧贴皮肤，放置位置相对固定，是医疗上最常用的测量方法。
[0005]生物阻抗法：心脏的周期性搏动会引起血管中血液容积的周期性改变，从而导致血管内的电阻率随之改变。该方法就是通过监控生物肌体自身阻抗的改变来实现心率信息的提取。该方法的测量误差相对较大。
[0006]压力振荡法：通过血压计袖带给手臂加压，并利用薄膜压力传感器监控动脉血管的搏动振幅，再进行电信号转换，从而测量血压与脉率。
[0007]近年来，基于视频图像的光电容积描记法这一类的非接触方法越来越受到研究人员的重视。这项技术的原理与光电容积描计法(photoplethysmography， PPG)类似，都是利用心脏收缩和舒张时，皮肤表面的血管中血液容积会发生周期性改变的生理现象。与光电容积描记法区别的是，图像光电容积描记法(ImagePhotoplethysmography，IPPG)不主动释放绿光或者其它颜色光源,并且分析的是被相机捕捉的皮肤表面视频。皮肤表面的颜色会随着血管中血液容积的改变而改变，这种颜色的变化能够准确反映人体心血管活动的规律。通过检测和扑捉这些细微的颜色变化，再通过数字信号处理技术，可以得到心率、呼吸率以及心率变化率等人体各项生理参数。
[0008]2008年，Verkruysse等人提出在正常自然光照条件下，可以从消费级相机采集的人脸面部正面视频中提取出心率信息。研究人员从人脸区域手动选择感兴趣区域(Region of Interest，ROI)，计算感兴趣区域中RGB三通道像素均值得到原始信号，并利用数字带通滤波器对原始信号进行去噪处理。研究发现，RGB三通道中都含有强度不同的心率信息，其中绿色通道含有的心率信息最多。
[0009]2013年，Poh等人利用Viola
‑
Jones人脸检测算法[16]来检测人脸面部区域，计算检测人脸区域的RGB通道的平均强度值作为原始信号，同时还采用独立成分分析
(Independent Component Analysis，ICA)技术将心率信号从原始信号中分离出来。研究表明，与从绿色通道轨迹提取的心率信号相比，通过 ICA算法提取的心率信号具有更高的信噪比。
[0010]2014年，Wang等人提出了一个运动鲁棒的IPPG算法，研究人员把面部每个像素作为远程IPPG传感器，并在空间域进行优化，提取其中的主要成分。研究人员使用Farneback的密集光流算法来跟踪两帧之间每个图像像素点的平移位移。
[0011]2015年，Kumar等人采用了KLT算法来逐帧跟踪感兴趣区域。此外，Kumar 等人使用加权平均法来组合面部不同跟踪区域的肤色变化信号，加权值取决于该区域的血液灌注和入射光强度。这是一种计算效率高的心率检测方法。
[0012]2018年，Prakash等人使用有界卡尔曼滤波器来追踪感兴趣区域，并利用模糊校正算法来校正运动模糊的视频帧来提高原始信号的信噪比。实验结果表明，该方法适用于日常头部和身体运动的场景。
[0013]目前为止，基于视频的非接触式心率检测方面的研究已经有很多，并且部分研究取得的心率测量的精度已达到很高的程度。但是大部分研究都是对彩色图像进行分析的，当外界光源稳定时，这些研究能够取得不错的心率检测结果，但是当处于一些特殊环境如黑暗环境时，这些基于彩色视频分析的算法很难取得理想的结果。为了拓展IPPG算法的应用范围，一些研究人员考虑使用近红外摄像头来采集单通道视频进行分析。
[0014]2018年，Qi等人使用KLT算法来追踪近红外图像中的人脸区域，研究人员计算每一帧中人脸矩形框中的单通道像素平均值作为原始信号，并且使用经验模态分析算法来滤除原始信号的高频噪声和趋势。研究表明，基于近红外图像分析的IPPG算法能在光照变化和黑暗场景下取得较高的心率检测精度。
[0015]2019年，Martinez等人使用人脸特征点检测算法构建人脸掩膜区域，并计算每个区域的单通道像素平均值作为原始信号，并且使用奇异值分解算法对原始数据进行降维，提取其中的主要成分。研究人员定义了一个信号质量指标来衡量多组IPPG信号的质量，并挑选具有最高值的信号作为心率信号。
[0016]2020年，王平等人提出了一种新的基于联合盲源分离技术和坐标延迟变换的近红外视频心率测量系统。研究人员在面部划分了多个感兴趣区域，并使用 KLT算法来对感兴趣区域进行追踪，计算每个感兴趣区域的像素均值作为原始信号，使用坐标延迟变换将每个单通道信号转换为多通道信号，并使用ICA算法来对信号进行去噪处理，最后选取其中信噪比最大的信号作为最终的心率信号。
[0017]综上所述，近红外摄像头具有能够适应多种复杂的环境，特别是暗场景的心率采集，不需要的稳定光源的依赖，并且次相机具有红外深度功能，且价格便宜，适合携带等的优点。非接触心率检测技术在地铁安检，航空航天，井下作业，特别是医院医疗有着不错的发展前景。因此，基于峰值信噪比和皮尔森相关系数融合的近红外心率检测方法会越来越受到研究者的关注，必将有着广阔的应用空间。

技术实现思路

[0018]基于现有技术中存在上述问题，本专利技术目的在于通过NIR摄像机采集近红外灰度视频，通过相对应的一些去噪算法，从复杂的原始信号中提取到真实有用的心率信号，该方
法使得基于灰度图像的非接触心率信号的提取称为可能，并且具有较高的准确度。
[0019]本专利技术解决其技术问题所采取的技术方案是：一种峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，该方法包括如下步骤：
[0020]步骤1：对近红外视频数据采集和预处理：通过NIR即近红外摄像机捕捉近红外灰度图像并将其组合成视频，利用标椎化算法将原始信号进行标准化处理，以便于下述算法的统一计算；
[0021]步骤2：选取感兴趣的区域ROI：通过人脸识别定位到人体面部之后对面部进行特征点定位，通过特征点选取R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：包括如下步骤：步骤1：对近红外视频数据采集和预处理：通过NIR即近红外摄像机捕捉近红外灰度图像并将其组合成视频，利用标椎化算法将原始信号进行标准化处理，以便于下述算法的统一计算；步骤2：选取感兴趣的区域ROI：通过人脸识别定位到人体面部之后对面部进行特征点定位，通过特征点选取ROI，组合不同的ROI和测试不同的距离以及光线影响从而确定最佳实验环境、最佳距离及最佳组合ROI；步骤3：进行相应算法去噪和计算心率：通过获得的标准化的心率数据，对其使用经验模态分解，滤除其中的高频噪声和低频趋势，通过盲源分析法提高信噪比，从而转到频域计算最终心率。2.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤1中，心率信号的采集是通过NIR相机采集，所述NIR相机与传统普通彩色摄像机相比，不需要稳定的光源，能够在暗环境中运行。3.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤1中，原始灰度图像只具有单通道的灰度信息，无法组成视频，通过将单通道的灰度信息复制三份，分别各R,G,B三通道，组成深度视频；对原始数据进行标准化处理，通过原始数据的均值和标准差进行数据标准化原始数据转变为无量纲的数据。4.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤2...

【专利技术属性】
技术研发人员：陈建新，徐国玉，周亮，陈柱安，黄湘君，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：