本发明专利技术属于计算机视觉、深度学习和医学技术领域，具体涉及了一种基于人脸图像的非接触式心率测量方法、系统及装置，旨在解决现有基于图像的非接触式心率测量方法受ROI区域选取以及环境等因素影响较大，心率求取误差率大、实时性低的问题。本发明专利技术包括：通过人脸关键点检测和定位，从人脸视频中获取人脸位置，逐帧提取人脸局部ROI区域作为网络模型输入；在卷积与时序网络级联模型的基础上，将心率区间划分为不同的区间类别，将通道注意力网络SENet嵌入卷积模块，按通道重要程度学习权重，最后获取输入视频对应的心率区间类别。本发明专利技术结合CNN特征提取以及LSTM长短时记忆神经网络，并嵌入通道注意力网络，实现误差率低、效率高的心率非接触式测量。心率非接触式测量。心率非接触式测量。
【技术实现步骤摘要】
基于人脸图像的非接触式心率测量方法、系统及装置
[0001]本专利技术属于计算机视觉、深度学习和医学
，具体涉及了一种基于人脸图像的非接触式心率测量方法、系统及装置。
技术介绍
[0002]心率测量方式具体可分为接触式测量与非接触式心率测量方式，接触式测量通常需要专业医疗设备与人体直接接触，较为不便。非接触式测量则包括基于图像、反射式光电测量、无线电磁场等方法获得人体的光电容积脉搏波描记法(PPG，photoplethysmography)信号，心脏的周期性波动引起外周血管的周期性收缩舒张，分析反射获取的PPG信号出现周期性变化获得人体心率，如图6示，为PPG信号成分示意图，PPG信号包括AC 1Hz的脉动性脉血信号以及DC的非脉动性动脉血信号、静脉血信号和皮肤肌肉骨骼组织信号。
[0003]基于图像的非接触式心率估计方法主要是利用摄像头采集人脸视频，分析人脸光照强度的逐帧变化，例如一种基于视觉摄像头的非接触式心率测量方法[1]，但是其ROI区域选取需要场景尽可能处于静止状态，对于运动变化场景下的心率识别几乎无法定位，并且通过人为设置的滤波带宽提取ROI区域的时域离散信号，心率求取误差率大，计算复杂度高、实时性低。传统的心率估计方法通常包括频域滤波，主成分分析方法(PCA)等对原始心率信号滤除干扰并获取心率值，例如一种基于典型相关分析的非接触式心率测量方法[2]，其ROI区域选取时包括了非脸部区域，引入了干扰，增加了算法计算量，并且易受表情、光线、运动因素的干扰，而且对于RGB不同的通道心率信号的信噪比没有对比分析，没有考虑不同信号对心率信号提取的重要程度，最终心率求取误差率大。Remote Heart Rate Measurement from Face Videos under Realistic Situations[3]提供了另一种心率测量方法，但是该方法ROI区域包括巴嘴唇等部位，易受表情、说话等非刚体运动影响，引入多余干扰，并且其人工设计的光线矫正方法具有局限性，光线变化干扰较大时，无法保持测量的鲁棒性。
[0004]由于深度学习方法在分割、识别、检测等视觉任务取得很大突破，相关算法在实际场景应用效果优于传统人工提取特征的模型，可以实现端到端的训练简化算法流程，并具有较高的鲁棒性。随着深度学习领域的发展，深度学方法开始被用来解决基于人脸视频进行非接触式心率监测问题，进而避免了传统方法人工设计特征和复杂的滤波流程，并且能够充分学习面部颜色变化与心率信号之间存在的关系。目前针对人脸视频心率估计的研究主要利用单一卷积神经网络处理单帧的视频数据，例如Visual Heart Rate Estimation with Convolutional Neural Network[4]，然而该方法输入图像为整张人脸以及背景信息，引入了过多的干扰信息，并且该方法使用单一的卷积神经网络，忽略了视频数据的时序信息，心率求取误差率大。
[0005]总的来说，现有技术ROI区域选取不当，导致干扰过多或者易受运动变化、光线变化等环境影响，并且不考虑视频数据的时序信息，从而心率求取误差率大、实时性低。
[0006]以下文献是与本专利技术相关的技术背景资料：
[0007][1]陈建新、林清宇、周亮、魏昕、蔡凯，一种基于视觉摄像头的非接触式心率测量方法，20180829，CN109259749A.
[0008][2]闫铮、俞谢益，一种基于典型相关分析的非接触式心率测量方法，20150630，CN105046209A.
[0009][3]Xiaobai Li、Jie Chen、Guoying Zhao、Matti Pietikainen，Remote Heart Rate Measurement from Face Videos under Realistic Situations，IEEE Conference on Computer Vision，201409.
[0010][4]R、Franc V，Visual Heart Rate Estimation with Convolutional Neural Network[J]，in BMVC，2108.
技术实现思路
[0011]为了解决现有技术中的上述问题，即现有基于图像的非接触式心率测量方法受ROI区域选取以及环境等因素影响较大，心率求取误差率大、实时性低的问题，本专利技术提供了一种基于人脸图像的非接触式心率测量方法，该非接触式心率测量方法包括：
[0012]步骤S10，获取包含设定帧图像的人脸视频作为待处理视频；
[0013]步骤S20，对于所述待处理视频的每一帧图像，通过人脸68特征点检测方法获取鼻翼、嘴唇位置，并截取设定长宽，获得待处理ROI区域序列；
[0014]步骤S30，通过训练好的心率类别识别模型获取所述待处理ROI区域序列属于预设的各心率类别区间的预测值；
[0015]步骤S40，以预测值最大的心率类别区间作为所述待处理视频的心率类别区间；
[0016]其中，所述心率类别识别模型为结合了CNN特征提取网络以及LSTM长短时记忆神经网络的级联模型，并在所述CNN特征提取网络中嵌入通道注意力网络SENet。
[0017]在一些优选的实施例中，所述心率类别区间包括14个：
[0018]40-49、50-59、60-69、70-79、80-89、90-99、100-109、110-119、120-129、130-139、140-149、150-159、160-169和170-179。
[0019]在一些优选的实施例中，所述心率类别识别模型，其训练方法为：
[0020]步骤B10，获取设定参数的设定时长的人脸视频及各帧图像对应的真实心率标注值；
[0021]步骤B20，将所述真实心率标注值划分入所述心率类别区间，将所述人脸视频划分为L个包含N帧人脸图像的视频序列；
[0022]步骤B30，对于L个包含N帧人脸图像的视频序列的每一帧图像，通过人脸68特征点检测方法获取鼻翼、嘴唇位置，并截取为设定长宽，获得L个N帧ROI区域序列，结合所述视频序列对应的真实心率类别区间，生成L个训练样本序列；
[0023]步骤B40，选取任一训练样本序列，通过心率类别识别模型获取所述样本序列属于预设的各心率类别区间的预测值，并计算最大的预测值与对应的真实心率类别区间的交叉熵损失值；
[0024]步骤B50，若所述交叉熵损失值不低于设定阈值，则调整所述心率类别识别模型的参数并跳转步骤B40，迭代训练直至所述交叉熵损失函数值低于设定阈值或达到设定训练次数，获得训练好的心率类别识别模型。
[0025]在一些优选的实施例中，所述设定参数的设定时长的人脸视频，其参数为：
[0026]设定时长：2min；
[0027]视频帧率：30/fps；
[0028]摄像头与被采集对象距离：1m；
[0029]视频图像大小：1920*1本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于人脸图像的非接触式心率测量方法，其特征在于，该非接触式心率测量方法包括：步骤S10，获取包含设定帧图像的人脸视频作为待处理视频；步骤S20，对于所述待处理视频的每一帧图像，通过人脸68特征点检测方法获取鼻翼、嘴唇位置，并截取设定长宽，获得待处理ROI区域序列；步骤S30，通过训练好的心率类别识别模型获取所述待处理ROI区域序列属于预设的各心率类别区间的预测值；步骤S40，以预测值最大的心率类别区间作为所述待处理视频的心率类别区间；其中，所述心率类别识别模型为结合了CNN特征提取网络以及LSTM长短时记忆神经网络的级联模型，并在所述CNN特征提取网络中嵌入通道注意力网络SENet。2.根据权利要求1所述的基于人脸图像的非接触式心率测量方法，其特征在于，所述心率类别区间包括14个：40-49、50-59、60-69、70-79、80-89、90-99、100-109、110-119、120-129、130-139、140-149、150-159、160-169和170-179。3.根据权利要求2所述的基于人脸图像的非接触式心率测量方法，其特征在于，所述心率类别识别模型，其训练方法为：步骤B10，获取设定参数的设定时长的人脸视频及各帧图像对应的真实心率标注值；步骤B20，将所述真实心率标注值划分入所述心率类别区间，将所述人脸视频划分为L个包含N帧人脸图像的视频序列；步骤B30，对于L个包含N帧人脸图像的视频序列的每一帧图像，通过人脸68特征点检测方法获取鼻翼、嘴唇位置，并截取为设定长宽，获得L个N帧ROI区域序列，结合所述视频序列对应的真实心率类别区间，生成L个训练样本序列；步骤B40，选取任一训练样本序列，通过心率类别识别模型获取所述样本序列属于预设的各心率类别区间的预测值，并计算最大的预测值与对应的真实心率类别区间的交叉熵损失值；步骤B50，若所述交叉熵损失值不低于设定阈值，则调整所述心率类别识别模型的参数并跳转步骤B40，迭代训练直至所述交叉熵损失函数值低于设定阈值或达到设定训练次数，获得训练好的心率类别识别模型。4.根据权利要求3所述的基于人脸图像的非接触式心率测量方法，其特征在于，所述设定参数的设定时长的人脸视频，其参数为：设定时长：2min；视频帧率：30/fps；摄像头与被采集对象距离：1m；视频图像大小：19...
【专利技术属性】
技术研发人员：李学恩，孙闻，张振山，王红星，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。