【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种基于时空自注意力和深度神经网络的非接触心率检测方法。
技术介绍
1、当前，基于视频的远程生理测量已经成为计算机视觉领域的重要分支之一。由于其无接触、超感知、舒适便利等特点，在很多场景下具有很大的优势，其主要应用于医疗护理、健康监护、测谎、情绪、疲劳状态等检测。现有的非接触心率检测方法在实验室环境下的数据集上已经取得了极高的识别准确率。但是真实环境下的数据中包含大量的干扰，如复杂的光照条件、不确定的姿态和遮挡等，对心率检测的准确率造成了极大的影响。
2、近几年来，随着自注意力机制在自然语言处理领域的成功实践，使用完全依赖自注意力神经网路结构就能达到很好地效果，并且还可以进行高效的并行化。相比较与传统的循环神经网络和卷积神经网络而言，基于自注意力的模型突破了以往的诸多限制,然而，以往基于纯自注意力机制的深度神经网络在时间和空间建模方面存在不足，无法有效提取视频序列信号的时间和空间特征，这对于视频序列而言仍然有一定缺陷。
3、通过将三维标记时空自注意力机制和深度神经网络结合，既可以利用自注意力机制能够建模时间和空间特征的优点，同时也缓解了完全基于自注意力的模型对数据库的规模要求较高的问题。
技术实现思路
1、本专利技术的主要目的是提供一种基于时空自注意力和深度神经网络的非接触心率检测方法，以提高非接触心率测量的准确性和有效性。
2、为实现以上目的，本专利技术提供了一种基于时空自注意力和深度神经网络的非接触心率检测方法
3、步骤1、从远程生理测量的视频数据库中选择多个视频，使用人脸关键点检测技术对每帧图像进行处理，实现裁剪和人脸对齐操作，最后按照指定的比例将裁剪后的视频分成训练集和测试集，其中，训练集用于训练学习神经网络模型，测试集用于评估经过训练的神经网络模型的性能；
4、步骤2、对所述训练集以及测试集进行帧间差异提取，留下有用信息，去除无用信息，以得到处理好的视频序列，其中，所述有用信息包括人脸信息，所述无用信息包括环境背景信息；
5、步骤3、构建结合时空自注意力机制的端到端可训练的深度神经网络模型，所述深度神经网络模型包括视频序列分割模块、时空自注意力编码模块以及心率信号表征模块；
6、步骤4、将步骤2中处理过的训练集送入到深度神经网络中进行训练，以得到训练后的深度神经网络模型；
7、步骤5、将经过步骤2处理的测试集输入到训练好的深度神经网络中进行测试，以验证该深度神经网络模型的效果和性能；
8、步骤6、对新的视频进行非接触心率测量，包括：利用步骤1与步骤2对需要进行非接触心率测量的视频进行处理，以得到处理后的对应视频序列，并输入到训练并验证后的深度神经网络模型中，最终表征得到心率信号测量值。
9、作为本专利技术的进一步改进，步骤3具体包括以下步骤：
10、步骤3-1、将步骤1、步骤2中处理好的视频序列输入视频序列分割模块，从时间、高度、宽度维度上将视频序列分割成无重叠的标记，并将其投影到高维空间，以得到视频序列对应的时空特征向量；
11、步骤3-2、对步骤3-1中得到的时空特征向量添加位置编码，经过池化后输入时空自注意力编码网络进行学习，对在同一空间维度上的时空特征向量两两进行时间注意力学习以建立时间特征相关性，再将在同一时间维度上的时空特征向量两两进行空间注意力学习以建立空间特征相关性；
12、步骤3-3、将步骤3-2中经过时空自注意力编码网络学习后的时空特征向量输入到心率信号表征网络中进行计算，最终得到视频序列的心率信号值。
13、作为本专利技术的进一步改进，在步骤3中，所述全局时空自注意力编码网络包括多个由三个残差块组成的全局时空自注意力编码模块，其中，第一残差块包括一个归一化层、三个全连接层以及一个多头空间注意力层，用以学习空间特征相关性；第二残差块包括一个归一化层、三个全连接层以及一个多头时间注意力层构成，用以学习时间特征相关性；第三残差块包括一个归一化层以及一个前馈全连接层。
14、作为本专利技术的进一步改进，在步骤3中，所述心率信号表征网络包括多个上采样模块，所述上采样模块包括一个三维卷积层、一个批归一化层以及一个激活层。
15、作为本专利技术的进一步改进，通过视频序列分割模块将帧归一化处理后的视频序列f∈rc×h×w×t分割成无重叠的标记p∈rc1×h1×w1×t1，其中h和w表示视频序列中图像的高和宽，高和宽都为224，t表示视频序列的长度，长度为96，c代表图像的通道数，通道数为3；通过线性层映射为包含心率信息的时空特征向量l∈rd×t×s，其中d代表特征的维度，s＝h×w代表每一帧图像的大小，将时空特征向量添加上位置编码信息epos，在经过池化后得到最终输入到时空自注意力编码网络的时空特征向量x0：x0＝dropout(l+epos)。
16、作为本专利技术的进一步改进，特征维度为256。
17、作为本专利技术的进一步改进，整个训练过程包括利用sgd优化算法来优化均方误差损失函数，其中，初始学习率设置为0.01，每10轮自动下降0.5倍，训练轮数为100轮。
18、本专利技术的有益效果：通过使用帧间差异提取的方式处理原视频序列，有效减少了非限制环境下大量干扰对非接触心率检测准确率的影响。借助视频序列分割模块将视频序列从时间，高度，宽度维度上分割成无重叠的标记，这在一定程度上融合了视频序列的时间和空间信息，并有效减小了网络计算的参数量，提高深度神经网络的计算效率和处理能力；引入时间自注意力机制和空间自注意力机制，对视频序列时域和空域上充分建模，解决了以往单一自注意力机制时空信息丢失的问题，有效的提高了模型的时空特征提取能力与训练效率。
本文档来自技高网...【技术保护点】
1.一种基于时空自注意力和深度神经网络的非接触心率检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的非接触心率检测方法，其特征在于，步骤3具体包括以下步骤：
3.根据权利要求2所述的非接触心率检测方法，其特征在于：在步骤3中，全局时空自注意力编码网络包括多个由三个残差块组成的全局时空自注意力编码模块，其中，第一残差块包括一个归一化层、三个全连接层以及一个多头空间注意力层，用以学习空间特征相关性；第二残差块包括一个归一化层、三个全连接层以及一个多头时间注意力层构成，用以学习时间特征相关性；第三残差块包括一个归一化层以及一个前馈全连接层。
4.根据权利要求2所述的非接触心率检测方法，其特征在于：在步骤3中，所述心率信号表征网络包括多个上采样模块，所述上采样模块包括一个三维卷积层、一个批归一化层以及一个激活层。
5.根据权利要求2所述的非接触心率检测方法，其特征在于：通过视频序列分割模块将帧归一化处理后的视频序列F∈RC×H×W×T分割成无重叠的标记P∈RC1×H1×W1×T1，其中H和W表示视频序列中图像的高和宽，高和宽都为
6.根据权利要求5所述的非接触心率检测方法，其特征在于：特征维度为256。
7.根据权利要求1所述的非接触心率检测方法，其特征在于：整个训练过程包括利用SGD优化算法来优化均方误差损失函数，其中，初始学习率设置为0.01，每10轮自动下降0.5倍，训练轮数为100轮。
...【技术特征摘要】
1.一种基于时空自注意力和深度神经网络的非接触心率检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的非接触心率检测方法，其特征在于，步骤3具体包括以下步骤：
3.根据权利要求2所述的非接触心率检测方法，其特征在于：在步骤3中，全局时空自注意力编码网络包括多个由三个残差块组成的全局时空自注意力编码模块，其中，第一残差块包括一个归一化层、三个全连接层以及一个多头空间注意力层，用以学习空间特征相关性；第二残差块包括一个归一化层、三个全连接层以及一个多头时间注意力层构成，用以学习时间特征相关性；第三残差块包括一个归一化层以及一个前馈全连接层。
4.根据权利要求2所述的非接触心率检测方法，其特征在于：在步骤3中，所述心率信号表征网络包括多个上采样模块，所述上采样模块包括一个三维卷积层、一个批归一化层以及一个激活层。
5.根据权利要求2所述的非接触心率检...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。