一种基于人脸视频的非接触式心率检测装置和方法制造方法及图纸

本发明专利技术涉及一种基于人脸视频的非接触式心率检测装置和方法，通过人工数据合成、深度神经网络、人脸区域检测、波形分析等方法，将人脸视频中所包含的心率信号精准地提取出来，融合编码解码器模型与相关的检测和数据分析技术，搭建出一套基于深度学习的针对人脸的非接触式心率脉搏波的完整检测框架，同时又开发出一个数据合成的算法用于解决目前包含生物特征的人脸数据及标签短缺的问题，从而实现了基于人脸视频的非接触心率脉搏波检测，可用于临床诊断。床诊断。床诊断。

【技术实现步骤摘要】
一种基于人脸视频的非接触式心率检测装置和方法


[0001]本专利技术涉及心率检测领域，特别是涉及一种基于人脸视频的非接触式心率检测装置和方法。

技术介绍

[0002]心率是人体十分重要的一个生理参数，它能够及时地反映人体的健康水平。获取心率最直接的方式主要是通过接触式的传感器，如心电图仪和脉搏波检测仪，这些方式能够很精确地监测人体心率以及脉搏信息，然而它们需要外在地硬件设备以及与人体皮肤的直接接触才能获得被测信息。这些设备价格昂贵，不易携带，并且接触检测的形式经常给被测者带来很大的负担，因此检测成本很高，不利于使用者对自己生理信息的实时检测。
[0003]传统的非接触式心率检测方法主要基于通过建立数学模型来对心率进行远程估计。基于rPPG(remote photoplethysmography,远程光电脉搏容积描记法)原理，即人的心动周期内血液中的血红蛋白含量的变化会导致皮肤颜色发生微小的变化，通过对这个特征来对人体心率进行分析。早期的基于视频的非接触式心率估计方法中，常用的是信号分离、颜色通道分析和皮肤反射模型。如基于主成分分析的盲源分离法ICA，基于色度的方法CHROM和构建基于光照反射模型POS等数学模型方法。这些方法具有很好的泛化性能，但是在实际情况下有着比较低的信噪比，预测的心率准确性受到了很大的限制。
[0004]近年来随着深度学习的发展，一些深度学习模型被用来从人脸视频中更准确地检测心率。卷积神经网络在处理图像以及视频数据方面展现出了优异的性能，特别是对人脸肤色变化这种细微特征的检测上也有很不错的效果。现有很多基于深度学习的方法，需要精心设计人脸视频的手工特征表示，以确保成功地训练模型。比如在模型训练之前需要将多帧图片处理到一帧中，但是这样会引入额外的噪音，并且最后达到的检测精度也十分有限。与此同时，包含生理信息及标签的数据集十分有限，这也进一步限制深度学习模型的泛化性能，使得该方法在某些场景下获得很大误差。

技术实现思路

[0005]针对现有技术中存在的技术问题，本专利技术的目的之一是：提供一种基于人脸视频的非接触式心率检测装置，能够提高检测精度和泛化性能。
[0006]针对现有技术中存在的技术问题，本专利技术的目的之二是：提供一种基于人脸视频的非接触式心率检测方法。
[0007]为了达到上述目的，本专利技术采用如下技术方案：
[0008]一种基于人脸视频的非接触式心率检测方法，包括以下步骤，
[0009]获取不带肤色变化的人脸视频V，根据人脸视频V合成多个用于模拟真实人脸视频的视频V
rPPG
；
[0010]发送多个视频V
rPPG
作为训练样本对深度学习模型进行训练，以使深度学习模型对待检测心率的人脸图像进行信号放大，并从放大后的人脸图像中获得高信噪比的数据，进
而计算得到心率。
[0011]进一步，不带肤色变化的人脸视频V的获取方式为，选取一张基础图片c以及一段驱动视频V
d
，通过一阶运动模型，将基础图片c与驱动视频V
d
拟合成不带肤色变化的人脸视频V。
[0012]进一步，获取人脸视频V后还包括以下步骤，对人脸视频V利用函数s生成脉搏波信号，将脉搏波信号s(t,f)添加到合成的视频V
rPPG
中，用于深度学习模型的训练，
[0013][0014]其中，σ表示信号的尺度，f表示信号频率；t表示信号的长度；a
i
和b
i
是决定信号波形的常数；
[0015][0016]其中，p
j
表示在j通道中增加的信号强度，表示经过一阶运动模型生成的人脸视频V中图像的像素值，表示添加肤色变化信号之后图像的像素值。
[0017]进一步，合成视频V
rPPG
的实现方式包括，构建BVP曲线来模拟人脸的肤色变化，对构建的BVP曲线进行采样，采样频率与人脸视频V的帧率保持一致，采样值作为肤色信号强度并进行维度扩张之后添加到人脸视频V中，生成用于模拟真实人脸视频的视频V
rPPG
。
[0018]进一步，合成视频V
rPPG
时，同步生成与视频V
rPPG
对应的标签，使用V
rPPG
作为训练样本对深度学习模型进行训练时，采用与视频V
rPPG
对应的标签来计算损失；
[0019]采用的损失函数为，L
α
＝50L1+L
SSIM
；
[0020]其中，L
α
表示总损失，L1表示正则化损失，L
SSIM
表示结构相似性损失。
[0021]进一步，深度学习模型的训练方法包括以下步骤，首先构建一个包含多个人脸视频V的数据库，每一步训练迭代的过程中从数据库中随机选取人脸视频V；然后对选取的人脸视频V添加肤色变化，并随机调节其中函数的时间相位，将数据合成步骤的代码整合到网络训练的数据加载过程中，使数据合成与网络训练的过程同步进行。
[0022]进一步，在深度学习模型训练过程中，调整数据合成算法的参数以增加合成数据种类。
[0023]进一步，计算得到心率的实现方式包括，对待检测心率的人脸区域进行视频采集，对视频中每帧图像通过训练好的深度学习模型进行信号放大，计算放大后的人脸图像的均值，对计算出来的曲线进行峰值检测，分析出波峰之间的时间间隔并以此来计算该段时间内的平均心率。
[0024]一种基于人脸视频的非接触式心率检测装置，包括
[0025]视频处理模块，用于通过RVG数据合成算法，根据不带肤色变化的人脸视频V合成
多个用于模拟真实人脸视频的视频V
rPPG
；
[0026]深度学习模型，用于采用多个视频V
rPPG
作为训练样本进行训练，并对待检测心率的人脸图像进行信号放大；
[0027]心率计算模块，用于从放大后的人脸图像中获得高信噪比的数据，进而计算得到心率。
[0028]进一步，深度学习模型采用编码解码器结构，包括桥接块以及分别连接于桥接块的编码器和解码器，编码器用于接收视频V
rPPG
，解码器用于接收与视频V
rPPG
同步对应生成的标签，桥接区域设有用以调整信号放大倍率的放大系数α。
[0029]总的说来，本专利技术具有如下优点：
[0030]增加的数据合成环节能够保证深度学习模型有足够的数据进行目标特征的训练，以提高本专利技术提供深度学习模型的泛化性能，通过信号放大，能够极大地提高检测出来的脉搏波信号的信噪比，具有较高的检测精度。
附图说明
[0031]图1为本专利技术的RVG数据合成算法的步骤示意图。
[0032]图2为本专利技术的RVG数据合成算法生成视频的质量评估示意图一。
[0033]图3为本专利技术的RVG数据合成算法生成视频的质量评估示意图二。...

【技术保护点】

【技术特征摘要】
1.一种基于人脸视频的非接触式心率检测方法，其特征在于：包括以下步骤，获取不带肤色变化的人脸视频V，根据人脸视频V合成多个用于模拟真实人脸视频的视频V
rPPG
；发送多个视频V
rPPG
作为训练样本对深度学习模型进行训练，以使深度学习模型对待检测心率的人脸图像进行信号放大，并从放大后的人脸图像中获得高信噪比的数据，进而计算得到心率。2.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：不带肤色变化的人脸视频V的获取方式为，选取一张基础图片c以及一段驱动视频V
d
，通过一阶运动模型，将基础图片c与驱动视频V
d
拟合成不带肤色变化的人脸视频V。3.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：获取人脸视频V后还包括以下步骤，对人脸视频V利用函数s生成脉搏波信号，将脉搏波信号s(t,f)添加到合成的视频V
rPPG
中，用于深度学习模型的训练，其中，σ表示信号的尺度，f表示信号频率；t表示信号的长度；a
i
和b
i
是决定信号波形的常数；其中，p
j
表示在j通道中增加的信号强度，表示经过一阶运动模型生成的人脸视频V中图像的像素值，表示添加肤色变化信号之后图像的像素值。4.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：合成视频V
rPPG
的实现方式包括，构建BVP曲线来模拟人脸的肤色变化，对构建的BVP曲线进行采样，采样频率与人脸视频V的帧率保持一致，采样值作为肤色信号强度并进行维度扩张之后添加到人脸视频V中，生成用于模拟真实人脸视频的视频V
rPPG
。5.按照权利要求1所述的一种基于人脸视频的非接触式心率检测方法，其特征在于：合成视频V
rPPG
时，同步生成与视频V
rPPG
对应的标签，使用V
rPPG
作为训练样本对深度学习模型进行训练时，采...

【专利技术属性】
技术研发人员：胡国清，李光发，陈佳，付西敏，
申请(专利权)人：广东寰宇智慧医疗科技有限公司，
类型：发明
国别省市：