一种视频心率检测的rPPG信号预处理方法及系统技术方案

本发明专利技术公开了一种视频心率检测中的rPPG信号预处理方法及系统，由于摄像头拍摄视频帧与帧之间时间间隔不均匀，根据记录的视频帧对应时间进行信号相邻点间数值线性插值，对插值后整体信号按帧率做等间隔采样重构信号；使用L1去趋势滤波算法去除重构信号中的趋势成分；利用信号在相位上的连续性和分段平滑特性对信号进行整形，使得时域上周期性更强，频域上主瓣更突出。本发明专利技术提出的rPPG信号预处理方法在复杂场景下提高了信噪比，增强了心率检测的准确性。

【技术实现步骤摘要】
一种视频心率检测的rPPG信号预处理方法及系统
本专利技术属于生物医学信号处理领域，具体涉及一种视频心率检测的rPPG信号预处理方法及系统。
技术介绍
心率作为人体生命体征最重要的参数之一，随着人们生活水平的提高和对心血管疾病认知的提高，越来越得到重视。传统的心率检测方式具有诸多不便性，需使用电极接触人体皮肤且无法实现实时检测。非接触式心率检测是一种低侵入的检测方式，克服了传统心率检测的缺点。人脸视频心率检测作为非接触式心率检测技术之一，仅通过摄像头设备采集的面部视频从中进行心率相关的rPPG(remotePhotoplethysmograph)信号提取。这种检测方式无需检测设备与人体接触，测量成本较低且有利于长时间持续监控心率，应用前景巨大，具有较高的研究价值。最初的视频心率检测算法的研究主要针对理想环境(光线恒定不变、避免人体运动等)，在从面部ROI(RegionofInterest)提取原始rPPG信号后，预处理方法主要为去趋势和带通滤波。随着研究的深入，心率检测逐渐涉及多种复杂场景，如人脸转动、光照变化和运动后心率测量。而这些场景下提取到的rPPG信号通常掺杂干扰噪声，因此需对其进行预处理，以减少噪声成分，提高信噪比。而复杂场景下由于rPPG信号中包含噪声较多，因此需增加信号预处理抑制噪声。大多研究关注于心率检测算法的研究，却极少关注摄像头本身拍摄时间不均匀对rPPG信号的影响。根据拍摄的视频及其对应的各帧时间数据发现，视频帧与帧之间的时间间隔并不均匀。若将摄像头视为信号采集设备对连续时间上的rPPG信号进行采样，则这种采样并非为等间隔采样，故需要优化rPPG信号预处理方法以减小采集视频设备造成的影响。
技术实现思路
本专利技术的目的在于提供一种视频心率检测的rPPG信号预处理方法及系统。实现本专利技术目的的技术解决方案为：一种视频心率检测的rPPG信号预处理方法，在经面部感兴趣区域提取到原始rPPG信号后，根据视频各帧对应的时间，对原始rPPG信号相邻两帧数值进行线性插值，将插值信号按帧率等间隔抽取，重构出均匀采样的rPPG信号；对重构信号进行L1去趋势滤波，去除重构信号中趋势成分，抑制信号突变情况；对滤波后的信号进行相位追踪处理，将时域信号处理为周期性更强的信号，频域上突出心率对应的频率。进一步的，对原始rPPG信号进行插值和等间隔采样，具体如下：S11，在从面部视频序列中提取原始rPPG信号后，对整段信号相邻两点间进行线性插值，补全整数毫秒点上对应的数值；S12，根据帧率对插值信号进行等间隔采样，假设视频帧率为F，则采样间隔为1000/F；S13，以等间隔采样的重构信号代替原始rPPG信号。进一步的，对重构信号进行L1去趋势滤波，具体如下：S21，构造目标函数其中yt表示输入信号，xt表示趋势信号，n为信号序列长度，λ为非负的惩罚项系数。上式也可表示为其中矩阵D为最小化目标函数，所得的x即为趋势成分；S22，将重构信号减去S21中的计算出趋势项，结果即为去趋势后的信号；S23，通过巴特沃斯带通滤波器滤除心率对应频率范围以外的信号。进一步的，巴特沃斯带通滤波器阶数设置为8阶，滤波范围为[0.7-4Hz]。进一步的，对滤波后的信号进行相位追踪处理，将时域信号处理为周期性更强的信号，频域上突出心率对应的频率，具体方法为：S31，对上一步滤波处理后的信号进行希尔伯特变换，并计算信号的相位信息；S32，信号序列前w点的相位进行滑动平均，自w帧之后的数据则用其之前的w个相位信息线性预测当前相位；S33，相位调整，根据真实相位与预测相位的相位差和预测相位进行调整，调整策略为phasei＝phasepred+2kπ+α*phasediff式中phasei为真实相位，phasepred为预测相位，phasediff表示相位差。容忍系数0＜α＜1，k决定预测相位范围，k＝(phaseest+π)/2π并向上取整；S34，利用所得相位信息重构信号，根据相位经L2平滑后结果生成对应的类正弦信号作为最终处理结果。本专利技术还提供一种视频心率检测的rPPG信号预处理系统，包括：信号重构模块，用于根据视频各帧对应的时间，对原始rPPG信号相邻两帧数值进行线性插值，将插值信号按帧率等间隔抽取，重构出均匀采样的rPPG信号；滤波模块，用于对重构信号进行L1去趋势滤波，去除重构信号中趋势成分，抑制信号突变情况；相位追踪模块，用于对滤波后的信号进行相位追踪处理，将时域信号处理为周期性更强的信号，频域上突出心率对应的频率。一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的预处理方法。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的预处理方法。本专利技术与现有算法相比，具有以下优点：(1)本专利技术充分考虑摄像头拍摄的视频帧与帧之间时间不均匀对提取到的rPPG信号影响，并提出线性插值和等间隔抽取重构信号；(2)预处理算法针对复杂的心率检测情况，对光线变化、头部轻微转动等场景表现效果较好，有效提高信噪比。附图说明图1为本专利技术提出的视频心率检测的rPPG信号预处理方法流程图。图2为原rPPG信号线性插值和抽取示意图。图3为时间间隔不均匀优化前后频谱对比图。图4为L1去趋势前后频谱对比图。图5为相位追踪算法前后时域波形对比图。图6为相位追踪算法前后频谱对比图。具体实施方式结合图1，本发提供一种视频心率检测的rPPG信号预处理方法，在经面部感兴趣区域ROI提取到的原始rPPG信号后，具体预处理步骤如下：步骤1，根据视频各帧对应的时间(毫秒级)，对原始rPPG信号相邻两帧数值进行线性插值，将插值信号按帧率等间隔抽取，重构出均匀采样的rPPG信号。结合图2线性插值和等间隔抽取示意图，输出信号具有均匀采样的特点。步骤1.1根据拍摄视频时记录的视频各帧对应的时间，在原始rPPG信号相邻两个数值间整数毫秒位置进行线性插值，补全所有整数毫秒时间点的数值；步骤1.2对插值后的信号按视频帧率Fs进行等间隔抽取，抽取间隔为(1000/Fs)，得到的信号作为重构信号代替原信号。图3为等间隔重构信号和原信号频谱对比，重构信号中心率成分对应频率附近噪声明显减少，信噪比得到提高。所述的视频来源于正常的消费级摄像头，包括但不限于网络摄像头、手机摄像头、近红外摄像机等。通过摄像头硬件记录的每帧拍摄时间，或软件读取的帧时进行插值，并重构均匀采样的rPPG信号。步骤2，对步骤1得到的重构信号进行基于L1范数的去趋势滤波，去除重构信号中趋势成分，抑制信号突变情况。该步骤目的是缩短受光线变化影响的rPPG信号幅度突变的时长，为本文档来自技高网...

【技术保护点】
1.一种视频心率检测的rPPG信号预处理方法，其特征在于，在经面部感兴趣区域提取到原始rPPG信号后，/n根据视频各帧对应的时间，对原始rPPG信号相邻两帧数值进行线性插值，将插值信号按帧率等间隔抽取，重构出均匀采样的rPPG信号；/n对重构信号进行L1去趋势滤波，去除重构信号中趋势成分；/n对滤波后的信号进行相位追踪处理，将时域信号处理为周期性更强的信号，频域上突出心率对应的频率。/n

【技术特征摘要】
1.一种视频心率检测的rPPG信号预处理方法，其特征在于，在经面部感兴趣区域提取到原始rPPG信号后，
根据视频各帧对应的时间，对原始rPPG信号相邻两帧数值进行线性插值，将插值信号按帧率等间隔抽取，重构出均匀采样的rPPG信号；
对重构信号进行L1去趋势滤波，去除重构信号中趋势成分；
对滤波后的信号进行相位追踪处理，将时域信号处理为周期性更强的信号，频域上突出心率对应的频率。


2.根据权利要求1所述的视频心率检测的rPPG信号预处理方法，其特征在于，对原始rPPG信号进行插值和等间隔采样，具体如下：
S11，在从面部视频序列中提取原始rPPG信号后，对整段信号相邻两点间进行线性插值，补全整数毫秒点上对应的数值；
S12，根据帧率对插值信号进行等间隔采样，假设视频帧率为F，则采样间隔为1000/F；
S13，以等间隔采样的重构信号代替原始rPPG信号。


3.根据权利要求1所述的视频心率检测的rPPG信号预处理方法，其特征在于，对重构信号进行L1去趋势滤波，具体如下：
S21，构造目标函数



其中yt表示输入信号，xt表示趋势信号，n为信号序列长度，λ为非负的惩罚项系数；上式也可表示为



其中矩阵D为
最小化目标函数，所得的x即为趋势成分；
S22，将重构信号减去S21中的计算出趋势项，结果即为去趋势后的信号；
S23，通过巴特沃斯带通滤波器滤除心率对应频率范围以外的信号。


4.根据权利要求3所述的视频心率检测的rPPG信号预处理方法，其特征在于，所述巴特沃斯带通滤波器阶数设置为8阶，滤波范围为[0.7-4Hz]。


5.根据权利要求1所述的视频心率检测的rPPG信号预处理方法，其特征在于，对滤波后的信号进行相位追踪处理，将时域信号处理为周期性更强的信号，频域上突出心率对应的频率，具体方法为：
S31，对上一步滤波处理后的信号进行希尔伯特变换，并计算信号的相位信息；
S32，信号序列前w点的相位进行滑动平均，自w帧之后的数据则用其之前的w个相位信息线性预测当前相位；
S33，相位调整，根据真实相位与预测相位的相位差和预测相位进行调整，调整策略为
phasei＝phasepred+2kπ+α*phasediff
式中phasei为真实相位，phasepred为预测相位，phasediff表示相位差；容忍系数0＜α＜1，k决定预测相位范围，k＝(phaseest+π...

【专利技术属性】
技术研发人员：伏长虹，任杰，洪弘，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32