【技术实现步骤摘要】
本专利技术属于生理信号检测领域，尤其涉及一种基于时空特征增强的无监督对比远程生理测量方法。
技术介绍
1、监测心率(hr)、呼吸频率(rf)和心率变化率(hrv)等生理变化对于医疗保健和情绪分析以及犯罪侦查等特殊目的非常重要。与面部表情或言语等明确的行为相比，这些测量提供了更可靠、更不易操纵的人类反应洞察。传统的生理测量可以通过接触设备，如心电图(ecg)和光电体积脉搏图(ppg)来实现。ecg通过电极感应人体心脏电流提取hr。但是对于运动来说，它不是很健壮，并且应用场景有限。ppg是一种简单、低成本的hr采集方法，它使用光学技术来检测毛细血管的血容量变化。然而，这些ppg方法需要与人体接触，长期监测可能导致皮肤刺激或不适。近年来，远程光电容积脉搏波(rppg)提供了一种创新的替代方法来获取rppg信号。这项技术使用一个摄像头来检测人体皮肤表面的细微颜色变化，消除了对专门的生物医学传感器的需求，并克服了物理距离的限制。rppg已广泛应用于远程医疗、情感计算、深度伪造检测和欺骗检测。
2、在rppg研究的早期阶段，研究人员严重依赖于手工制作的特征来从面部视频中提取脉冲信号。这些方法大多利用经典的信号处理技术来分析面部感兴趣区域(roi)内的细微颜色变化。此外，采用一些颜色子空间变换方法对rppg信号进行全皮肤像素测量。然而，这些方法不可避免地会对被检测对象及其环境(例如，静止的物体或稳定的光源)进行假设，从而导致使用场景的局限性。后来，深度学习(dl)方法通过引入具有各种网络架构的监督方法，用于rppg信号测量。dl方
3、尽管无监督学习可以有效地学习视频中的时空表征，但目前rppg中的时空框架基于监督学习，无监督rppg方法尚未与时空框架相结合。此外，目前主流的时空框架是3dcnn，但是由于卷积核有限，3dcnn的时空接受场受到约束，可能导致模型无法有效处理长期依赖关系。且以往的研究关注的是理想照明条件的表现，而忽略了实际环境中低光场景的影响，特别是面对现实世界的可变性。相机捕捉到的生理信号非常微妙，这个问题在弱光条件下更加明显。
技术实现思路
1、专利技术目的：本专利技术的目的在于提供一种基于时空特征增强的无监督对比远程生理测量方法。提高测量心率的鲁棒性和准确性，保证在低光照条件下也能测量心率。
2、技术方案：本专利技术的一种基于时空特征增强的无监督对比远程生理测量方法，包括如下步骤：
3、步骤1、获取若干目标人员的人脸视频并进行预处理，得到预处理后的人脸视频序列；
4、步骤2、建立低光和时空特征增强模型st-phys，模型包括：低光增强模块、时间扩张模块和空间注意力模块；将预处理后的人脸视频序列输入低光和时空特征增强模型st-phys，输出时空注意力特征；
5、步骤3、在时间维度上对时空注意力特征进行采样，得到远程光电容积脉搏波rppg信号样本，对远程光电容积脉搏波rppg信号样本进行带通滤波后，通过傅里叶变化计算滤波后信号的最大频率，从而计算的目标人员的心率；
6、步骤4、采用圆边损失作为损失函数，并采用优化器对损失函数进行最小化求解，从而优化低光和时空特征增强模型st-phys的参数，得到优化后时空增强模型，并应用优化后时空增强模型对人脸视频中远程光电容积脉搏波rppg信号进行提取。
7、进一步的，步骤1具体为：使用openface生成面部地标，首先得到地标的最小和最大水平和垂直坐标来定位每一帧的中心面部点，边界框的大小为第一帧开始的地标垂直坐标范围的1.2倍，并在随后的帧中固定，在得到每一帧的中心人脸点和边界框的大小后，从每一帧裁剪人脸；裁剪的人脸被调整为128×128，从而得到一段帧数为t的视频序列x＝{x1,x2,...,xi,...,xt}∈rb×c×t×h×w，其中，xi表示第i帧人脸图像，b，c，h和w分别表示一次迭代中使用的训练样例的数量，每帧的通道数，高度和宽度。
8、进一步的，步骤2具体为：所述低光增强模块以此包括卷积层和leakyrelu激活函数；所述时间扩张模块依次包括卷积块、膨胀块、下采样块和上采样块；所述空间注意力模块依次包括自适应平均池化层、卷积层和空间注意力机制层；具体包括如下步骤：
9、步骤2.1、将视频序列x输入低光增强模块，得到低光增强后的图像序列x’＝{x1 ,x2 ,...,xi ,...,xn }∈rb×c×t×h×w，x和x’之间使用了结构相似指数损失ls来衡量图像的相似度，通过最小化ls生成更亮更清晰的图像；
10、步骤2.2、将低光增强后的图像序列x’输入时间扩张模块中，依次经过卷积块、膨胀块、2个下采样块、膨胀块和2个上采样块得到时间膨胀的特征t∈rb×c’×t×h’×w’，其中，c'=64,h'＝h/16和w'＝w/16；使用3×3×3核和2×1×1的扩展速率的膨胀卷积，使得沿时间维度的2像素扩展，增加接受域，而高度和宽度保持不变；
11、步骤2.3、将时间膨胀的特征t输入空间注意力模块中，使用自适应平均池化和1x1x1卷积核的卷积层将通道减少到1得到映射的特征t’∈rb×1×t×h’’×w’’，其中，h''=w''＝s，s是时空rppg块的空间维度，时空rppg块是rppg信号在时空维度上的集合；时间膨胀特征t输入所述空间注意力机制层进行处理后得到增强的空间注意力特征a∈rb×1×t×h’’×w’’；将空间维度上的所有时间序列和平均时间序列沿通道维度进行串联得到时空注意力特征p∈rb×n×t，其中，n=s×s+1。
12、进一步的，步骤2.1中，低光增强模块由四层3×3×3卷积层和三层leakyrelu激活层组成，卷积层1：采用3×3×3的卷积核，输入通道数为3，输出通道数为64，使用步幅为1和填充为1的设置，实现对输入视频序列x的特征提取；
13、leakyrelu激活层1：使用leakyrelu激活函数，通过引入非线性变换，增强网络的表达能力，提高对低光照条件下图像的适应性；
14、卷积层2：采用3×3×3的卷积核，输入和输出通道数均为64，同样使用步幅为1和填充为1的设置；
15、leakyrelu激活层2：再次使用leakyrelu激活函数，引入非线性变换；
16、卷积层3：采用3×3×3的卷积核，输入和输出通道数均为64，步幅为1，填充为1；
17、leakyrelu激活层3：同样使用leakyrelu激活函数，引入非线性元素；
18、卷积层4：最后一层卷积层采用3×3×3的卷积核，输入通道数为本文档来自技高网...
【技术保护点】
1.一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤1具体为：使用OpenFace生成面部地标，首先得到地标的最小和最大水平和垂直坐标来定位每一帧的中心面部点，边界框的大小为第一帧开始的地标垂直坐标范围的1.2倍，并在随后的帧中固定，在得到每一帧的中心人脸点和边界框的大小后，从每一帧裁剪人脸；裁剪的人脸被调整为128×128，从而得到一段帧数为T的视频序列X＝{X1 ,X2,...,Xi ,...,XT }∈RB×C×T×H×W，其中，Xi表示第i帧人脸图像，B，C，H和W分别表示一次迭代中使用的训练样例的数量，每帧的通道数，高度和宽度。
3.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤2具体为：所述低光增强模块以此包括卷积层和LeakyReLU激活函数；所述时间扩张模块依次包括卷积块、膨胀块、下采样块和上采样块；所述空间注意力模块依次包括自适应平均池化层、卷积层和空间注意力机制层；具体包括如下步
4.根据权利要求3所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤2.1中，低光增强模块由四层3×3×3卷积层和三层LeakyReLU激活层组成，卷积层1：采用3×3×3的卷积核，输入通道数为3，输出通道数为64，使用步幅为1和填充为1的设置，实现对输入视频序列X的特征提取；
5.根据权利要求3所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤2.2中，卷积块由卷积层1×5×5卷积层、BatchNorm层和ELU激活层组成，用于提取时空特征；膨胀块由平均池化层、3×3×3核和2×1×1的扩展速率的膨胀卷积层、BatchNorm层和ELU激活层组成，用于增加时域感受野；下采样块由平均池化层、3×3×3卷积层、BatchNorm层和ELU激活层组成，用于下采样；上采样块由3×1×1卷积层、BatchNorm层和ELU激活层组成，用于上采样。
6.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤3中，对时空注意力特征P进行时空采样，在时间维度上进行采样，得到rPPG样本P’=[P’1,…,P’N]；对每个样本，计算归一化的功率谱密度PSDs[f1,…,fN]，然后添加到列表中，最后得到的是采样rPPG列表F∈RT×1；将rPPG列表 F∈RT×1 进行带通滤波，滤除信号中超过阈值范围的信号，再用快速傅里叶变化计算滤波后的信号的最大频率f，从而计算目标人员的心率。
7.根据权利要求4所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤4具体为：采用圆边损失作为损失函数，并采用ADAMW优化器对损失函数L进行最小化求解，从而对时空增强模型中的所有参数进行优化；
...【技术特征摘要】
1.一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤1具体为：使用openface生成面部地标，首先得到地标的最小和最大水平和垂直坐标来定位每一帧的中心面部点，边界框的大小为第一帧开始的地标垂直坐标范围的1.2倍，并在随后的帧中固定，在得到每一帧的中心人脸点和边界框的大小后，从每一帧裁剪人脸；裁剪的人脸被调整为128×128，从而得到一段帧数为t的视频序列x＝{x1 ,x2,...,xi ,...,xt }∈rb×c×t×h×w，其中，xi表示第i帧人脸图像，b，c，h和w分别表示一次迭代中使用的训练样例的数量，每帧的通道数，高度和宽度。
3.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤2具体为：所述低光增强模块以此包括卷积层和leakyrelu激活函数；所述时间扩张模块依次包括卷积块、膨胀块、下采样块和上采样块；所述空间注意力模块依次包括自适应平均池化层、卷积层和空间注意力机制层；具体包括如下步骤：
4.根据权利要求3所述的一种基于时空特征增强的无监督对比远程生理测量方法，其特征在于，步骤2.1中，低光增强模块由四层3×3×3卷积层和三层leakyrelu激活层组成，卷积层1：采用3×3×3的卷积核，输入通道数为3，输出通道数为64，使用步幅为1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。