基于时空自注意力和深度神经网络的非接触心率检测方法技术

技术编号:40052453 阅读:16 留言:0更新日期:2024-01-16 21:25
本发明专利技术提出了一种基于时空自注意力和深度神经网络的非接触心率检测方法,该方法包括以下步骤:从远程生理测量的视频数据库中选取多个视频,通过使用人脸关键点检测,对每帧图像进行裁剪和人脸对齐操作,将裁剪过后的视频按相应的比例划分为训练集和测试集;将前述步骤中划分好的训练集进行帧间差异提取,留下人脸关键信息,去除环境背景等无用信息;构建结合时空自注意力机制的端到端可训练的深度神经网络模型;将处理后的训练集送入到深度神经网络中进行训练;在利用新的视频进行非接触心率测量时,将经过前述步骤得到的视频序列送入网络模型中,得到该视频对应的心率信号值。本发明专利技术的方法和系统提高了非接触测量心率的准确性和有效性。

【技术实现步骤摘要】

本专利技术属于图像处理,尤其涉及一种基于时空自注意力和深度神经网络的非接触心率检测方法


技术介绍

1、当前,基于视频的远程生理测量已经成为计算机视觉领域的重要分支之一。由于其无接触、超感知、舒适便利等特点,在很多场景下具有很大的优势,其主要应用于医疗护理、健康监护、测谎、情绪、疲劳状态等检测。现有的非接触心率检测方法在实验室环境下的数据集上已经取得了极高的识别准确率。但是真实环境下的数据中包含大量的干扰,如复杂的光照条件、不确定的姿态和遮挡等,对心率检测的准确率造成了极大的影响。

2、近几年来,随着自注意力机制在自然语言处理领域的成功实践,使用完全依赖自注意力神经网路结构就能达到很好地效果,并且还可以进行高效的并行化。相比较与传统的循环神经网络和卷积神经网络而言,基于自注意力的模型突破了以往的诸多限制,然而,以往基于纯自注意力机制的深度神经网络在时间和空间建模方面存在不足,无法有效提取视频序列信号的时间和空间特征,这对于视频序列而言仍然有一定缺陷。

3、通过将三维标记时空自注意力机制和深度神经网络结合,既可以利用自注意力机制能够建本文档来自技高网...

【技术保护点】

1.一种基于时空自注意力和深度神经网络的非接触心率检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的非接触心率检测方法,其特征在于,步骤3具体包括以下步骤:

3.根据权利要求2所述的非接触心率检测方法,其特征在于:在步骤3中,全局时空自注意力编码网络包括多个由三个残差块组成的全局时空自注意力编码模块,其中,第一残差块包括一个归一化层、三个全连接层以及一个多头空间注意力层,用以学习空间特征相关性;第二残差块包括一个归一化层、三个全连接层以及一个多头时间注意力层构成,用以学习时间特征相关性;第三残差块包括一个归一化层以及一个前馈全连接层

4....

【技术特征摘要】

1.一种基于时空自注意力和深度神经网络的非接触心率检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的非接触心率检测方法,其特征在于,步骤3具体包括以下步骤:

3.根据权利要求2所述的非接触心率检测方法,其特征在于:在步骤3中,全局时空自注意力编码网络包括多个由三个残差块组成的全局时空自注意力编码模块,其中,第一残差块包括一个归一化层、三个全连接层以及一个多头空间注意力层,用以学习空间特征相关性;第二残差块包括一个归一化层、三个全连接层以及一个多头时间注意力层构成,用以学习时间特征相关性;第三残差块包括一个归一化层以及一个前馈全连接层。

4.根据权利要求2所述的非接触心率检测方法,其特征在于:在步骤3中,所述心率信号表征网络包括多个上采样模块,所述上采样模块包括一个三维卷积层、一个批归一化层以及一个激活层。

5.根据权利要求2所述的非接触心率检...

【专利技术属性】
技术研发人员:孙宁易磊何佩鲜
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1