一种基于频域全局滤波的无监督视频目标分割方法技术

本发明专利技术公开了一种基于频域全局滤波的无监督视频目标分割方法。基于视频帧及其对应的光流估计图像；通过双流CNN骨干网络分别提取外观特征与运动特征；通过频域全局滤波模块，将每组外观特征与运动特征进行融合并通过快速傅里叶变换，由空间域转换到频域，在频域中经过可学习的权重矩阵捕获全局依赖关系，再通过快速傅里叶逆变换转换回空间域，实现对特征全局依赖关系的捕获；再将特征进行多尺度的特征提取；然后将低分辨率特征不断上采样恢复至高分辨率并与高分辨率特征拼接，最终输出分割完成的视频目标掩模。本发明专利技术的无监督视频目标分割方法在干扰目标多样、背景杂乱的场景中依旧能显著地提高分割结果的准确性和鲁棒性，并且保持较低的计算量。且保持较低的计算量。且保持较低的计算量。

【技术实现步骤摘要】
一种基于频域全局滤波的无监督视频目标分割方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于频域全局滤波的无监督视频目标分割方法。

技术介绍

[0002]无监督视频目标分割(UVOS)任务是给定一段视频，在不提供其他分割掩模信息的情况下，自动的分割出视频中的主要物体。该任务在自动驾驶、视频理解、线上会议等领域有着广泛的应用。
[0003]近年来，很多基于深度学习的方法被提出，通过捕获图像特征的全局依赖关系来更好的指导模型分割出具有相同语义信息的目标区域，这些方法一般都是在空间域中采用自注意力机制或者全局尺寸的卷积核来捕获图像特征的全局依赖关系。这样做在输入较大尺寸图像时，会带来巨大的计算量增加，加大对运行设备的要求，影响分割模型的实际应用。

技术实现思路

[0004]本专利技术所要解决的技术问题是：无监督视频目标分割(UVOS)任务中模型使用使用自注意力机制捕获特征全局依赖关系导致的计算量过大的问题。
[0005]为解决上述技术问题，本专利技术采用以下技术方案：
[0006]一种基于频域全局滤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于频域全局滤波的无监督视频目标分割方法，其特征在于：针对包含目标对象的视频，执行以下步骤，获得分割出目标对象的视频目标掩模：步骤1：针对包含目标对象的视频，获得视频包括的各视频图像帧；并基于对视频中目标对象的分割标注，获得每个视频图像帧对应的光流估计图像；步骤2：针对各视频图像帧、以及每个视频图像帧对应的光流估计图像，利用预训练的以视频图像帧、以及该视频图像帧对应的光流估计图像为输入，以该视频图像帧对应的分割出目标对象的图像目标掩模为输出的无监督视频目标分割模型，获得各视频图像帧分别对应的分割出目标对象的图像目标掩模，进而获得分割出目标对象的视频目标掩模。2.根据权利要求1所述一种基于频域全局滤波的无监督视频目标分割方法，其特征在于：所述步骤2中，所述预训练的以视频图像帧、以及该视频图像帧对应的光流估计图像为输入，以该视频图像帧对应的分割出目标对象的图像目标掩模为输出的无监督视频目标分割模型，包括双流CNN骨干网络模块、频域全局滤波模块、多尺度特征提取模块、残差优化模块、上采样解码模块；双流CNN骨干网络模块，包括视频图像帧和光流估计图像分别对应的特征提取网络模块，视频图像帧输入其对应的特征提取网络模块经各预设分辨率特征提取阶段获得各阶段分别对应的外观特征，光流估计图像输入其对应的特征提取网络模块经各预设分辨率特征提取阶段获得各阶段分别对应的运动特征；视频图像帧和光流估计图像分别对应的特征提取网络模块中特征提取的阶段数相同，阶段数越高输出的特征分辨率越低，相同阶段输出的特征分辨率相同；频域全局滤波模块，分别针对双流CNN骨干网络模块输出的各阶段的外观特征和动作特征进行特征融合获得各阶段分别对应的融合特征；分别针对各阶段分别对应的融合特征，将融合特征转换成频域特征，将频域特征与可学习的权重矩阵进行点乘操作，实现对频域特征的全局滤波，然后再转换成空间特征与融合特征进行点乘操作，获得该阶段对应的第一特征，进而获得各阶段分别对应的第一特征；多尺度特征提取模块，分别针对各阶段对应的第一特征，结合各预设尺寸的卷积核进行卷积操作，再将各预设尺寸的卷积核输出进行拼接，经过1
×
1卷积降维与激活函数后，获得该阶段对应的多尺度特征，进而获得各阶段分别对应的多尺度特征；残差优化模块，分别针对各阶段对应的多尺度特征，经过3
×
3卷积后的特征与该阶段的多尺度特征进行点乘，然后与该阶段的多尺度特征进行相加，获得该阶段对应的优化特征，进而获得各阶段分别对应的优化特征；上采样解码模块，基于各阶段对应的优化特征，将最后一阶段对应的优化特征迭代执行上采样，直至上采样至至视频图像帧分辨率，获得上采样特征；然后将上采样特征经过1
×
1卷积降维与激活函数获得目标特征，即视频图像帧对应的分割出目标对象的图像目标掩模。3.根据权利要求2所述一种基于频域全局滤波的无监督视频目标分割方法，其特征在于：所述频域全局滤波模块，分别针对双流CNN骨干网络模块输出的各阶段的外观特征和动作特征，具体执行以下过程，获得各阶段分别对应的第一特征：步骤A1：针对双流CNN骨干网络模块输出的第k阶段的外观特征A
k
与运动特征M
k
进行特征提取，经过1
×
1卷积和激活函数模块对外观特征A
k
与运动特征M
k
得到特征A
k
′
与M
k
′
，具体
公式为：A
k
′
＝σ(conv(A
k
)，M
k
′
＝σ(conv(M
k
)，其中，表示激活函数，conv表示1
×
1卷积，A
k
′
表示外观特征A
k
对应的特征提取后的特征，M
k
′
表示运动特征M
k
对应的特征提取后的特征；步骤A2：基于第k阶段的外观特征A
k
与运动特征M
k
进行特征提取获得的特征A
k
′
、M
k
′
，通过以下公式将特征A
k
′
...

【专利技术属性】
技术研发人员：王玉琛，宋慧慧，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：