【技术实现步骤摘要】
本专利技术生物医学信号处理和图像处理领域，具体涉及一种基于光照消除模块和卷积网络的视频心率测量方法。
技术介绍
1、随着现代生活水平的进步，人们的健康意识不断增强。心率作为重要的生命体征信息，是人们生理和心理状况的重要参考指标。监测心率可以帮助检测及预防心脏疾病，同时也可以指导人们进行科学的体育运动。近些年，市面上的心率检测设备发展迅速，携带和测量方便是发展的必然趋势，但是它们都是使用接触式的传感器测量，都需要与受试者进行直接的身体接触，可能会引起患者的不适，尤其对于刚出生的婴儿之类的人群有着不适用性。因此，利用光电容积脉搏波描记法原理的非接触式心率检测方法在医学领域及家庭健康防范等领域有着非常广泛的应用前景。
2、非接触式心率检测方法分为传统方法和基于深度学习的方法。传统方法主要以基于盲源分离和基于光学反射模型两类为主，这些技术通过平面投影和通道组合可以很好的应对不同环境光带来的影响，然而对于深度学习方法来说，训练数据的光照环境会影响模型的训练，使得不同光照下人脸视频的心率测量结果不准确，因此，提高深度学习方法对不同光照人脸视频的鲁棒性是非常有不要的。
技术实现思路
1、本专利技术是为了解决上述中存在的不足之处，提出一种基于光照消除模块和卷积网络的视频心率测量方法，以期望能够提高生理信号提取模型对光照的鲁棒性，进而提高不同光照下人脸视频心率测量的准确性。
2、本专利技术采用如下技术方案，一种基于光照消除模块和卷积网络的视频心率测量方法，包括以下步骤：>
3、s1、获取包含人脸视频和对应脉搏波等生理信号的数据集；
4、s2、对获取的数据进行预处理，并对其进行数据集划分；
5、s3、构建由光照消除模块、时间编码—解码模块和特征投影—聚合模块组成的时空卷积神经网络模型，使用预处理后的人脸视频数据训练网络模型，以实现从人脸视频中预测脉搏波信号；
6、s4、对预测的脉搏波信号进行后处理得到心率值。
7、所述对获取的数据进行预处理和对其进行数据集划分，具体包括：
8、使用级联卷积神经网络对数据集中的人脸视频的第一帧进行人脸检测，并按照第一帧检测的人脸区域，对视频进行逐帧裁剪出人脸图像，从而得到只保留人脸区域的视频；
9、将裁剪后的人脸视频帧调整成适合模型输入的固定尺寸大小，得到预处理后的人脸视频x；
10、将对应脉搏波信号进行下采样至与人脸视频帧数相同，然后对脉搏波信号进行归一化处理，从而得到预处理后的脉搏波信号数据p；
11、将预处理后的人脸视频x和对应的脉搏波信号p裁剪成固定长度t的视频段x′和数据段p′。
12、根据比例将数据集划分为训练集和测试集。
13、所述构建由光照消除模块、时间编码—解码模块和特征投影—聚合模块组成的时空卷积神经网络模型，使用预处理后的人脸视频数据训练网络模型，实现对脉搏波信号的预测，具体包括：
14、搭建光照消除模块。光照消除模块由平均层、减法层和除法层组成通过光照消除模块，可以减少人脸视频中的光照信息，减少后期网络中特征筛选的难度，同时使网络适用于不同的光照强度，光照消除模块的处理如公式所示：
15、
16、式中c(t)表示人脸视频帧中某一个像素点对应的rgb向量，表示人脸视频帧中某一个像素点对应的时间平均rgb向量，cn(t)表示消除光照强度后的人脸视频帧中某一个像素点对应的rgb向量。
17、搭建时间编码—解码模块。时间编码—解码模块分为编码和解码两部分，通过编码部分对网络特征图在时间上进行下采样，使得提取的特征中包含更多的时间信息，然后使用解码部分使特征图还原到原来的长度；
18、搭建特征投影—聚合模块。特征投影—聚合模块分为投影和聚合两部分，通过使用投影部分，从人脸视频中提取关于脉搏波信号相关的特征，然后使用聚合部分，将这些特征映射成脉搏波信号；
19、将上述的三个模块，按照光照消除模块、时间编码模块、特征投影模块、时间解码模块和特征聚合模块的顺序串联最终的时空卷积神经网络。
20、将预处理后的人脸视频输入到上述搭建的网络模型中，输出预测的脉搏波信号r；
21、利用负皮尔逊相关系数作损失函数来衡量时空卷积神经网络模型所提取的脉搏波信号r与真实脉搏波信号p′的误差，并采用adam优化器对时空卷积神经网络模型的所有参数进行训练并优化，观察模型性能变化,从而获取模型的最优参数进行保存，即为训练好的时空卷积神经网络模型。
22、所述对预测的脉搏波信号进行后处理得到心率值，具体包括：
23、使用带宽为(0.75hz,4hz)的2阶巴特沃斯带通滤波器对预测的脉搏波信号滤波，滤除带宽以外的噪声以及谐波信号，最终得到经过滤波后的脉搏波信号r′；
24、计算滤波后的脉搏波信号r′的功率谱密度；
25、选择功率谱密度中峰值最高点对应的频率fhr作为最终预测的心率频率值，并计算出心率值。
26、本专利技术与现有技术相比，具有如下优点和有益效果：
27、本专利技术提出了一种基于光照消除模块和卷积网络的视频心率测量方法，通过在卷积网络模型中加入光照消除模块，消除人脸视频帧中的光照信息，提高了脉搏波提取模型对光照的鲁棒性，同时减少了模型在处理过程中对光照方法的特征筛选，加快了特征提取效率；同时通过使用时间编码模块，在时间上对模型特征图进行下采样，不仅使模型获取更长的时间上下文信息，而且减少了模型参数，提高了训练速度。
本文档来自技高网...【技术保护点】
1.一种基于光照消除模块和卷积网络的视频心率测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述对获取的数据进行预处理和对其进行数据集划分，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述构建由光照消除模块、时间编码—解码模块和特征投影—聚合模块组成的时空卷积神经网络模型，使用预处理后的人脸视频数据训练网络模型，以实现从人脸视频中预测脉搏波信号，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述对预测的脉搏波信号进行后处理得到心率值，具体包括：
【技术特征摘要】
1.一种基于光照消除模块和卷积网络的视频心率测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述对获取的数据进行预处理和对其进行数据集划分，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述构建由光照消除...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。