一种基于视频的人体心率及面部血容积精确检测方法和系统技术方案

本发明专利技术公开了一种基于视频的心率及脸部血液容积精确检测方法和系统，首先，对包含人面部的视频帧图像进行人脸检测，并提取时间维度上的人脸图像序列以及面部关键位置点，得到时间维度上面部总体信号和面部roi信号集合；其次，构建并训练心率预测模型，并根据所提取的面部关键位置点，定位并提取额头、面颊位置的数据，得到时间维度上面部关键位置图像序列，对该序列进行压缩得到时间维度上的面部信号，将该信号作为心率预测模型的输入样本；再次，基于面部总体信号和面部roi信号集合，检测面部血液容积分布；最后，分别采用心率预测模型和频谱分析方法检测心率值，融合检测结果，使检测方法具备了很强的鲁棒性，适用于较为复杂的应用场景。

【技术实现步骤摘要】
一种基于视频的人体心率及面部血容积精确检测方法和系统
本专利技术涉及利用摄像头采集人面部视频，基于图像处理、深度学习以及信号处理技术，精确检测人体心率和面部血液容积分布。
技术介绍
人体心率和面部血液容积分布是衡量人体生理健康程度的重要指标。目前，测量人体心率主要方式是心电信号检测、光电信号检测等手段，这些检测手段的共同特征是需要检测设备紧贴人体皮肤，通过皮肤电位变化信号或者血液容积信号对心率进行检测，但是被测量者需要佩戴传感器这一局限，限制了该测量方式的适用范围。目前，通过摄像头进行远端人体生理指标检测成为了当前研究的热点，由于外界环境的复杂性容易对远端检测方式容易造成干扰，为了消除上述干扰，通常单独或者综合采用小波分解、独立成分分析(ICA)、主成分分析(PCA)以及希尔伯特黄变换(HHT)等信号分解方法去除噪声，然而在外界噪声较强时，依靠信号分解方法不能很好的消除掉噪声影响，主要基于以下2点原因：1、信号分解模型往往是通用分解算法，未引入人体心率生理特征这一先验信息；2、对分解结果的选择上依赖主观判断，即从分解结果中选择最接近心率特征的信本文档来自技高网...

【技术保护点】
1.一种基于视频的人体心率及面部血容积精确检测方法，其特征在于所述方法包括以下步骤：/n(1)检测视频帧图像中人面部区域，提取时间维度上人脸图像序列和面部关键位置点；基于人脸图像序列提取面部总体信号和面部roi信号集合；对信号进行预处理；/n(2)基于预处理后的面部roi信号集合，计算心率值和面部血液容积分布；/n(3)利用基于LSTM和残差卷积神经网络模型构建的多模态心率检测模型；得到基于心率分布概率的预测心率值；/n(4)基于卡尔曼滤波方法融合步骤(2)和步骤(3)的心率值结果，得到融合心率值检测结果。/n

【技术特征摘要】
1.一种基于视频的人体心率及面部血容积精确检测方法，其特征在于所述方法包括以下步骤：
(1)检测视频帧图像中人面部区域，提取时间维度上人脸图像序列和面部关键位置点；基于人脸图像序列提取面部总体信号和面部roi信号集合；对信号进行预处理；
(2)基于预处理后的面部roi信号集合，计算心率值和面部血液容积分布；
(3)利用基于LSTM和残差卷积神经网络模型构建的多模态心率检测模型；得到基于心率分布概率的预测心率值；
(4)基于卡尔曼滤波方法融合步骤(2)和步骤(3)的心率值结果，得到融合心率值检测结果。


2.根据权利要求1所述的基于视频的人体心率及面部血容积精确检测模型构建方法，其特征在于所述的步骤(1)具体为：
(1.1)采用卷积网络模型检测视频帧图像中人面部区域和面部关键点，分别生成时间维度上人脸图像序列和面部关键位置点序列；
(1.2)基于上述人脸图像序列，分别提取面部总体信号和面部roi信号集合；面部总体信号计算如公式3所示，其中：face_sig为压缩后的信号，PCompress()为压缩函数，用于计算人脸图像序列中每一幅人脸图像的平均像素强度，face_seq为人脸图像序列；
face_sig＝PCompress(face_seq)(3)
采用R×R大小的roi子块划分人脸图像，得到时间维度上的roi子块图像序列，如公式4所示，其中：face_roii表示第i个roi子块图像序列，face_roi_seq为所有roi子块图像序列构成的集合，m×n为roi子块数量；
face_roi_seq＝{face_roi1,face_roi2,...,face_roii,...,face_roim×n}(4)
对每个roi子块图像序列进行压缩，如公式5所示，其中：face_roi_seq为所有roi子块图像序列构成的集合，PCompress()为压缩函数，用于计算集合中每一个roi子块图像序列对应的时间维度上的平均像素强度信号，face_roi_sig为压缩后得到的信号集合，即面部roi子块信号集合，其中每一个元素为roi子块图像序列压缩得到的信号；
face_roi_sig＝PCompress(face_roi_seq)(5)
其中：
face_roi_sig＝{face_roi_sig1,...,face_roi_sigi,...,face_roi_sigm×n}(6)
公式6中，face_roi_sigi为第i个roi子块图像序列对应的压缩后的信号，m×n为roi子块数量。
(1.3)对面部总体信号和面部roi信号集合进行预处理，消除指定频率范围以外的噪声信号。


3.根据权利要求1所述的基于视频的人体心率及面部血容积精确检测模型构建方法，其特征在于所述的步骤(2)具体为：
(2.1)采用线性加权的方式计算参考信号，如公式9所示，其中：sig_ref为参考信号，roi_sig_r为预处理后的面部roi信号集合，m×n为roi子块数量；



weight_set＝{w1,w2,...,wi,...,wm×n}
roi_sig_r＝sigprocess(face_roi_sig)(8)
其中：weight_set为计算得到的权重集合；sigprocess()为信号预处理函数；
(2.2)基于参考信号，采用lomb-scargle谱分析方法计算参考信号频谱，基于此得到心率值，心率值对应于频谱峰值；
(2.3)计算面部血液容积分布。


4.根据权利要求3所述的基于视频的人体心率及面部血容积精确检测模型构建方法，其特征在于所述的步骤(2.3)具体为：
如公式13所示，sig_ref_sd为参考信号频谱，v为计算得到的血液容积分...

【专利技术属性】
技术研发人员：鲍虎军，徐晓刚，王小龙，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33