【技术实现步骤摘要】
本专利技术属于微小运动放大，具体为一种基于stb-disf的微小运动放大方法。
技术介绍
1、近年随着我国新型基础设施迅速发展，出现越来越多的大桥大坝、公路高铁等大型建筑，随之而来的是日益严峻的安全隐患问题，加强建筑结构健康监测势在必行。目前我国结构健康监测方法主要有基于传统传感器的监测方法、无损检测方法、基于光纤传感器的监测方法等。这些方法在一定程度上虽然能够实现建筑结构健康监测的目的，但各自均存在一定的局限性。例如传统传感器的安装和维护成本高且易受环境因素影响，无损检测方法通常需要专业人员操作且检测效率较低，光纤传感器虽具有抗干扰能力强、寿命长等优点，但设备造价昂贵难以普及应用。随着人工智能技术在结构健康监测领域的深入融合，视频微小运动放大技术因具有实时监测、部署方便等特点，为结构健康监测领域提供了一种新途径。微小运动放大主要利用视频数据中的目标和背景信息，通过放大目标物的微小运动来可视化目标结构形变，以达到实时监测物体的目的，并在医学健康监测、深度伪造监测、运动识别、微表情识别和结构模态分析等领域有着广泛应用。
2、目前，很多研究都是基于欧拉放大算法进行的各具特色的改进研究。wadhwa等人设计一种相位运动放大方法，该方法借助图像傅里叶变换将运动特征变换到频域上，再经过滤波器进行提取和放大。该方法不仅具有更低的计算成本，而且在更小运动中表现出更好的放大效果。传统运动放大算法实质上是利用滤波器设计来识别和放大微小运动，所以一方面易受噪声干扰而出现模糊和伪影问题，另一方面滤波器参数的选择往往凭借人工经验，致使该类方
3、但是通过深入分析可以总结出，基于深度学习的微小运动放大算法的性能主要受到三个方面的影响：第一，训练数据集较少，并且缺乏不同场景下的样本数据，导致深度学习网络的泛化能力不足。第二，目前方法难以准确地区分运动特征和背景特征，放大视频容易出现失真。第三，运动像素与噪声在空域和频域上都较为相近，在运动提取过程中易受噪声干扰，导致视频放大效果不佳。
技术实现思路
1、本专利技术的目的在于：为了解决上述提出的问题，提供一种基于stb-disf的微小运动放大方法。
2、本专利技术采用的技术方案如下：一种基于stb-disf的微小运动放大方法，其特征在于：所述基于stb-disf的微小运动放大方法包括以下步骤：
3、步骤1：获取具有连续帧的微小运动视频，并将其分割为连续的帧，选择第一帧图像视为参考帧，第二帧图像视为运动帧，使用绝对差分方法计算两帧之间的差异；差异图像将突出视频中的运动部分；对剩余的帧重复上述步骤，将每一帧作为运动帧，前一帧作为参考帧；这将生成一系列差异图像，捕捉视频中的微小运动；
4、步骤2：将两帧图像依次输入swin transformer网络，经过特征提取器结构处理，该结构包含浅层特征提取部分和深层特征提取部分；浅层特征提取部分使用卷积层和池化层对图像进行低级别的特征提取，深层特征提取部分使用多个swin transformer模块对图像进行高级别的特征提取；
5、步骤3：经过convolutional block attention module(cbma)注意力结构，对运动区域和背景区域的进行特征加权，增加重要区域的权重；
6、步骤4：在特征提取器结构的输出上，使用运动检测器对运动特征和背景特征进行区分和提取；运动检测器使用注意力机制和门控卷积网络，根据两帧图像的差异和相似度，生成一个运动掩码，用于区分运动区域和背景区域；
7、步骤5：将输入的代表参考帧的特征fas和代表运动帧的特征fbs经过ed ge-guided attention结构，进行边缘特征学习，加强运动区域边缘，降低生成视频中的振铃伪影，以期提升放大视频的质量；
8、步骤6：将输入的代表参考帧的特征fas和代表运动帧的特征fbs进行差值计算，然后将运动特征进行指定的放大因子α倍数放大；具体计算公式如下：
9、
10、步骤7：将放大的特征经过混合放大transformer模块，与提取的背景特征在操纵特征空间转回放大的帧；
11、步骤8：最终，生成运动放大视频，输出结果，之后即可结束整个基于stb-disf的微小运动放大流程。
12、在一优选的实施方式中，所述步骤s3中，针对输入特征层的高和宽，分别执行全局平均池化(avgpool)和全局最大池化(maxpool)操作，得到两个不同的特征向量；然后，将这两个特征向量通过一个共享的多层感知机(shared mlp)进行变换，得到两个新的特征向量；接着，将这两个新的特征向量相加，并通过sigmoid函数进行激活，得到一个通道注意力图(channel attention map)，表示输入特征层每个通道的重要程度(在0～1之间)；最后，将输入特征层与通道注意力图进行逐通道相乘，得到输出特征层。
13、在一优选的实施方式中，所述步骤s3中，mc(f)代表了通道注意力计算公式，ms(f)代表了空间注意力计算公式，具体公式如下：
14、mc(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)))
15、ms(f)＝σ(f7×7([avgpool(f)；maxpool(f)]))。
16、4.如权利要求1所述的一种基于stb-disf的微小运动放大方法，其特征在于：所述步骤s5中，将边缘的特征图分为两步获得，先将大小为m*n的输入灰度图像表示为具体公式如下：
17、
18、借助边缘增强算子s，以使梯度信息更加显著，具体公式如下：
19、
20、最后计算由边缘引导注意力生成的具体公式如下：
21、
22、综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
23、本专利技术中，使用cbma结构，增加对运动区域和背景区域特征的学习，增加运动特征的权重，使网络更加准确地识别运动区域位置。本专利技术使用了edge-guided attention结构，增强运动边缘区域特征提取，抑制特征融合时产生的振铃伪影，提升视频的放大效果。
本文档来自技高网...【技术保护点】
1.一种基于STB-DISF的微小运动放大方法，其特征在于：所述基于STB-DISF的微小运动放大方法包括以下步骤：
2.如权利要求1所述的一种基于STB-DISF的微小运动放大方法，其特征在于：所述步骤S3中，针对输入特征层的高和宽，分别执行全局平均池化(AvgPool)和全局最大池化(MaxPool)操作，得到两个不同的特征向量；然后，将这两个特征向量通过一个共享的多层感知机(Shared MLP)进行变换，得到两个新的特征向量；接着，将这两个新的特征向量相加，并通过Sigmoid函数进行激活，得到一个通道注意力图(Channel Attention Map)，表示输入特征层每个通道的重要程度(在0～1之间)；最后，将输入特征层与通道注意力图进行逐通道相乘，得到输出特征层。
3.如权利要求1所述的一种基于STB-DISF的微小运动放大方法，其特征在于：所述步骤S3中，
4.如权利要求1所述的一种基于STB-DISF的微小运动放大方法，其特征在于：所述步骤S5中，将边缘的特征图分为两步获得，先将大小为m*n的输入灰度图像表示为具体公式如下：<...
【技术特征摘要】
1.一种基于stb-disf的微小运动放大方法，其特征在于：所述基于stb-disf的微小运动放大方法包括以下步骤：
2.如权利要求1所述的一种基于stb-disf的微小运动放大方法，其特征在于：所述步骤s3中，针对输入特征层的高和宽，分别执行全局平均池化(avgpool)和全局最大池化(maxpool)操作，得到两个不同的特征向量；然后，将这两个特征向量通过一个共享的多层感知机(shared mlp)进行变换，得到两个新的特征向量；接着，将这两个新的特征向量相加，并通过sigm...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。