一种基于时空解耦和区域增强的半监督视频目标分割方法技术

本发明专利技术提供一种基于时空解耦和区域增强的半监督视频目标分割方法，属于视频图像处理领域，针对半监督视频目标分割模型中Transformer网络提取的当前帧特征和长期记忆帧掩码，计算当前帧特征的结构化长期注意力，并结合当前帧特征和长期记忆帧掩码的区域条形注意力，来计算当前帧特征和目标区域的相似度；将相似度划分为时空部分和目标重要性部分，输出时空部分和目标重要性部分逐元素相加后的特征结果。本发明专利技术结合Transformer架构和区域条形注意力，解决了同类物体之间的遮挡和背景干扰的问题，同时提取像素的时空关系和目标的显著信息。

【技术实现步骤摘要】

本专利技术属于视频图像处理，具体涉及一种基于时空解耦和区域增强的半监督视频目标分割方法。

技术介绍

1、视频目标分割是一项重要的计算机视觉任务，在视频监控、自动驾驶、人机交互等领域有着广泛的应用。随着大量视频涌现，传统有监督的视频目标分割方法已经越来越不适合如今的环境。因此，本专利技术特别关注半监督视频目标分割，其中仅在第一帧中使用了真实标注，目的是在所有后续帧中跟踪和分割对象。

2、目前半监督视频目标分割多数使用基于匹配的方法，虽然有效，但并没有充分利用模型中的历史信息。为了克服这一限制，部分方法使用记忆机制将更多帧和相应的掩码编码到特征嵌入中，并将其存储在记忆库中以进行辅助分割。这种方法虽然有效，但依然存在两个问题：只关注时间空间信息，而不考虑目标重要性信息，无法提取目标的显著特征，无法排除前景中其他同类目标对目标的干扰；忽略了掩码中物体的位置信息，缺乏记忆帧中物体位置的先验信息，会产生背景中相似物体或噪声对模型匹配过程的干扰。

技术实现思路

1、针对现有技术的上述不足，本专利技术提供一种基于本文档来自技高网...

【技术保护点】

1.一种基于时空解耦和区域增强的半监督视频目标分割方法，其特征在于，所述方法针对半监督视频目标分割模型中Transformer网络提取的当前帧特征和长期记忆帧掩码，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，包括：所述计算当前帧特征的结构化长期注意力，并结合当前帧特征和长期记忆帧掩码的区域条形注意力，来计算当前帧特征和目标区域的相似度，包括：

3.根据权利要求2所述的方法，其特征在于，所述区域条形注意模块RSA，包括：

【技术特征摘要】

1.一种基于时空解耦和区域增强的半监督视频目标分割方法，其特征在于，所述方法针对半监督视频目标分割模型中transformer网络提取的当前帧特征和长期记忆帧掩码，包括如下步骤：

2.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：李俊杰，李杨，刘威，陈鹏宇，聂秀山，
申请(专利权)人：山东军地信息技术集团有限公司，
类型：发明
国别省市：