基于双通道输入的非接触式心率计算方法及系统技术方案

本发明专利技术提供一种基于双通道输入的非接触式心率计算方法、系统、存储介质和电子设备，涉及非接触式心率计算领域。本发明专利技术将面部可见光视频和面部差分图像序列分别作为基于双流输入的非接触式心率提取模型的输入，利用Transformer模型强大的自注意力机制，捕捉视频与视频差分间各个位置之间的关联关系，获取rPPG信号，通过快速傅里叶变换，获取被测试者的心率值。通过设计双流输入更好的聚合运动相关的细粒度信息，利用自注意力机制融合全局时空信息，从而提高算法对于运动的鲁棒性。此外，在模型训练过程中设计了一种梯度动态调节策略。会根据每一个mini batch中的数据动态调整梯度方向，有效解决了训练过程中优化方向不稳定的问题，有效增强了模型的泛化性能。

【技术实现步骤摘要】

本专利技术涉及非接触式心率计算领域，具体涉及一种基于双通道输入的非接触式心率计算方法、系统、存储介质和电子设备。

技术介绍

1、心率作为人体重要生理参数之一，可直接有效的反映人体健康状态，因此心率监测对于人体身体健康的监护起着不可替代的作用。传统的心率监测方式以接触式为主，随着技术的发展，当前非接触心率检测任务成为了该领域新的热点。

2、相关技术中，基于transformer模型的非接触式心率提取是一种可行的非接触心率检测方案，该方案直接在空间与时间维度将视频划分为一个个固定大小的基本单元(token,w×h×t)，再运用transformer模型强大的自注意力机制，计算出具有全局表示能力特征向量，实现视频内空间与时间信息的有效聚合。

3、然而，上述方案直接划分tokens进行自注意力计算，在被测试者运动情况下很难具有优异的性能，进而无法保证非接触心率检测结果的准确度。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本专利技术提供了一种基于双通道输入的非接本文档来自技高网...

【技术保护点】

1.一种基于双通道输入的非接触式心率计算方法，其特征在于，基于双流输入的非接触式心率提取模型，所述非接触式心率提取模型包括双流特征提取器、通道注意力模块以及基于Transformer模块的rPPG预测器；所述非接触式心率计算方法包括：

2.如权利要求1所述的非接触式心率计算方法，其特征在于，所述双流特征提取器包括两个结构相同的特征提取器；

3.如权利要求1所述的非接触式心率计算方法，其特征在于，所述通道注意力模块内置两个通道分支网络和一个Sigmoid层；

4.如权利要求1所述的非接触式心率计算方法，其特征在于，所述基于Transformer模块的rP...

【技术特征摘要】

1.一种基于双通道输入的非接触式心率计算方法，其特征在于，基于双流输入的非接触式心率提取模型，所述非接触式心率提取模型包括双流特征提取器、通道注意力模块以及基于transformer模块的rppg预测器；所述非接触式心率计算方法包括：

2.如权利要求1所述的非接触式心率计算方法，其特征在于，所述双流特征提取器包括两个结构相同的特征提取器；

3.如权利要求1所述的非接触式心率计算方法，其特征在于，所述通道注意力模块内置两个通道分支网络和一个sigmoid层；

4.如权利要求1所述的非接触式心率计算方法，其特征在于，所述基于transformer模块的rppg预测器包括一个transformer模块、两个结构相同的上采样块以及一个线性层；

5.如权利要求1所述的非接触式心率计算方法，其特征在于，所述...

【专利技术属性】
技术研发人员：宋程，张文杰，丁帅，王浩，刘子豪，高龙，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：