一种基于深度神经网络和自注意力机制的非接触心率检测方法和系统技术方案

本发明专利技术提出了一种基于深度神经网络和自注意力机制的非接触心率检测方法和系统，该方法包括以下步骤：从远程生理测量的视频数据库中选取多个视频，通过使用人脸关键点检测，对每帧图像进行裁剪和人脸对齐操作，将裁剪过后的视频按相应的比例划分为训练集和测试集；构建结合自注意力机制的端到端可训练的深度神经网络模型；将前述步骤中划分好的训练集送入到深度神经网络中进行训练；以及在利用视频进行非接触心率测量的时，将经过前述步骤裁剪得到的视频序列送入网络模型中，以时序信号预测的方式得到该视频对应的血液容积脉搏波的信号值。本发明专利技术的方法和系统提高了非接触测量心率的准确性。率的准确性。率的准确性。

【技术实现步骤摘要】
一种基于深度神经网络和自注意力机制的非接触心率检测方法和系统


[0001]本专利技术属于图像处理
，尤其涉及一种基于深度神经网络和自注意力机制的非接触心率检测方法和系统。

技术介绍

[0002]当前，基于视频的远程生理测量已经成为计算机视觉领域的重要分支之一。由于其无接触、超感知、舒适便利等特点，在很多场景下具有很大的优势，其主要应用于医疗护理、健康监护、测谎、情绪、疲劳状态等检测。特别在近几年中，随着深度神经网络的发展以及相关公开数据集的出现，基于深度神经网络的非接触心率检测任务成为了该领域新的热点。但是已有的网络在进行时空特征提取时，尤其是在时域进行建模时，并没有考虑到时域信号之间的长时间的关联性，会造成测量的准确性下降。
[0003]近几年来，随着自注意力机制在自然语言处理领域的成功实践，使用完全依赖自注意力的编码器和解码器结构就能达到很好地效果，并且还可以进行高效的并行化。相比较与传统的循环神经网络和卷积神经网络而言，基于自注意力的模型突破了以往的诸多限制，它具备同时建模长期和短期时序特征的能力，在长序列上效果更好。
[0004]通过自注意力机制和传统深度神经网络的结合，既可以利用自注意力机制能够建模长期时序特征的优点，同时也缓解了完全基于自注意力的模型对数据库的规模要求较高的问题。使用卷积神经网络来进行时空特征的提取，之后利用自注意力机制完成由序列到序列的预测任务。

技术实现思路

[0005]本专利技术的主要目的是，设计一种基于深度神经网络和自注意力机制的非接触心率检测方法和系统，以提高非接触心率测量的准确性。
[0006]为实现以上目的，本专利技术提供了一种基于深度神经网络和自注意力机制的非接触心率检测方法，包括以下步骤：
[0007]步骤1、从远程生理测量的视频数据库中选取多个视频，通过使用人脸关键点检测，对每帧图像进行裁剪和人脸对齐操作，将裁剪过后的视频按相应的比例划分为训练集和测试集；
[0008]步骤2、构建结合自注意力机制的端到端可训练的深度神经网络模型；
[0009]步骤3、将步骤1中划分好的训练集送入到深度神经网络中进行训练；
[0010]步骤4、在利用视频进行非接触心率测量的时，将经过步骤1裁剪得到的视频序列送入网络模型中，以时序信号预测的方式得到该视频对应的血液容积脉搏波的信号值。
[0011]本专利技术的进一步改进在于，步骤2中所述的结合自注意力机制的端到端可训练的深度神经网络包括包含心率信号时空特征投影网络、时域全局注意力编码网络、血液容积脉搏波信号预测网络。
[0012]本专利技术的进一步改进在于，步骤2进一步包括以下步骤：
[0013]步骤2
‑
1、将步骤1中处理好的视频序列送入到心率信号时空特征投影网络中，提取视频序列中与心率信号相关的时空特征，并将其投影到高维空间中，得到视频对应的时空特征向量；
[0014]步骤2
‑
2、将步骤2
‑
1中得到的特征向量加入位置编码，之后输入时域全局注意力编码网络进行学习，建立特征向量在时域上的全局相关性；
[0015]步骤2
‑
3、将步骤2
‑
2中的学习得到的向量送入到血液容积脉搏波信号预测网络中进行预测，考虑到时域序列前后帧之间的联系，最终得到该视频序列预测的血液容积脉搏波的信号值。
[0016]本专利技术的进一步改进在于，步骤2中的所述时域全局注意力编码网络，是由多个全局注意力编码模块构成的；全局注意力编码模块由两个残差块组成，第一个残差块由一个层归一化、三个全连接层、一个多头注意力层构成。第二个残差块有一个层归一化、一个前馈全连接层构成。
[0017]本专利技术的进一步改进在于，步骤2中所述血液容积脉搏波信号预测网络，是由多个全局注意力解码模块构成，全局注意力解码模块由三个残差块组成，第一个残差块包括一个层归一化、三个全连接层、一个掩膜多头自注意力模块；第二个残差块由一个多头自注意力模块和一个层归一化构成，第三个残差连接由一个层归一化，一个前馈全连接层构成。
[0018]本专利技术的进一步改进在于，通过心率信号时空特征投影网络将视频序列F∈R
C
×
H
×
W
×
T
,其中H和W表示视频序列中图像的高和宽，高和宽都为128，T表示视频序列的长度，长度为96，C代表图像的通道数，通道数为3，映射为包含生理信息的特征向量S∈R
D
×
T
，其中D代表特征的维度，之后需要添加位置编码E
pos
来编码位置信息，得到最终输入到自注意力编码网络的向量X0：X0＝S+E
pos
。
[0019]本专利技术的进一步改进在于，特征维度为64。
[0020]本专利技术的进一步改进在于，整个训练过程采用了SGD优化算法，采用了均方误差损失函数，初始学习率设置为0.01，每10轮自动下降0.5倍，经过100轮的训练。
[0021]本专利技术的进一步改进在于，步骤4中所述的以时序信号预测的方式得到该视频对应的血液容积脉搏波的信号值，在预测当前的输出时，充分考虑到先前帧的预测值，将已经得到的预测值送入网络中来预测当前值，考虑到了序列前后之间的相关性。
[0022]为了实现以上专利技术目的，本专利技术还提供了一种基于深度神经网络和自注意力机制的非接触心率检测系统，用于执行前述的方法。
[0023]本专利技术的有益效果：借助卷积神经网络提取特征能力的高效性，利用卷积层来提取浅层特征，将视频映射为包含生理信号信息的特征向量，缓解了完全基于自注意力机制的模型在训练时在较小的数据库上容易发生过拟合的问题；在时域序列建模方面，引入了全局注意力机制，充分考虑到时域序列每个时刻之间的相关性，具备建模长期时序特征的能力，完成由序列到序列的预测任务，该模块提高了网络并行计算的能力。
附图说明
[0024]图1为本专利技术方法的流程图。
具体实施方式
[0025]为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。
[0026]需要强调的是，在描述本专利技术过程中，各种公式和约束条件分别使用前后一致的标号进行区分，但也不排除使用不同的标号标志相同的公式和/或约束条件，这样设置的目的是为了更清楚的说明本专利技术特征所在。
[0027]如图1所示，本专利技术的基于深度神经网络和自注意力机制的非接触心率检测方法，主要包括以下步骤：
[0028]步骤1：从远程生理测量的视频数据库中选取多个视频，通过使用人脸关键点检测，对每帧图像进行裁剪和人脸对齐操作，将裁剪过后的视频按相应的比例划分为训练集和测试集；
[0029]步骤2：构建结合自注意力机制的端到端可训练的深度神经网络模型；
[0030]步骤3：将步骤1中划分好的训练集送入到深度神经网络中进行训练；
[0031]步骤4：在利用视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络和自注意力机制的非接触心率检测方法，其特征在于，包括以下步骤：步骤1、从远程生理测量的视频数据库中选取多个视频，通过使用人脸关键点检测，对每帧图像进行裁剪和人脸对齐操作，将裁剪过后的视频按相应的比例划分为训练集和测试集；步骤2、构建结合自注意力机制的端到端可训练的深度神经网络模型；步骤3、将步骤1中划分好的训练集送入到深度神经网络中进行训练；步骤4、在利用视频进行非接触心率测量的时，将经过步骤1裁剪得到的视频序列送入网络模型中，以时序信号预测的方式得到该视频对应的血液容积脉搏波的信号值。2.根据权利要求1所述的基于深度神经网络和自注意力机制的非接触心率检测方法，其特征在于：步骤2中所述的结合自注意力机制的端到端可训练的深度神经网络包括包含心率信号时空特征投影网络、时域全局注意力编码网络、血液容积脉搏波信号预测网络。3.根据权利要求1所述的基于深度神经网络和自注意力机制的非接触心率检测方法，其特征在于：步骤2进一步包括以下步骤：步骤2
‑
1、将步骤1中处理好的视频序列送入到心率信号时空特征投影网络中，提取视频序列中与心率信号相关的时空特征，并将其投影到高维空间中，得到视频对应的时空特征向量；步骤2
‑
2、将步骤2
‑
1中得到的特征向量加入位置编码，之后输入时域全局注意力编码网络进行学习，建立特征向量在时域上的全局相关性；步骤2
‑
3、将步骤2
‑
2中的学习得到的向量送入到血液容积脉搏波信号预测网络中进行预测，考虑到时域序列前后帧之间的联系，最终得到该视频序列预测的血液容积脉搏波的信号值。4.根据权利要求2所述的基于深度神经网络和自注意力机制的非接触心率检测方法，其特征在于：步骤2中的所述时域全局注意力编码网络，是由多个全局注意力编码模块构成的；全局注意力编码模块由两个残差块组成，第一个残差块由一个层归一化、三个全连接层、一个多头注意力层构成。第二个残差块有一个层归一化、一个前馈全连接层构成。5.根据权利要...

【专利技术属性】
技术研发人员：孙宁，王宁彬，易磊，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：