当前位置: 首页 > 专利查询>宁波大学专利>正文

一种基于图像标注的视频显著性目标检测方法技术

技术编号:44053246 阅读:28 留言:0更新日期:2025-01-17 15:56
本发明专利技术提供了一种基于图像标注的视频显著性目标检测方法,包括:步骤S1,建立训练集和测试集;步骤S2,构建渐进式显著性目标检测网络;步骤S3,利用训练集对渐进式显著性目标检测网络进行训练,利用粗定位网络识别测试集内视频帧以生成第一时空定位标签;步骤S4,获取视频帧的相邻帧,基于相邻帧间差分法识别相邻帧以生成第二时空定位标签;步骤S5,将第一时空定位标签和第二时空定位标签输入至双流定位网络中进行视频显著对象的定位;步骤S6,利用注意力采样器和精分割网络依次对视频帧对应的图像进行识别分割得到对应的显著对象定位图。有益效果是本发明专利技术能够降低视频显著性目标检测数据集的标注成本,实现对于丰富场景的适应。

【技术实现步骤摘要】

本专利技术涉及视频显著性目标检测的,具体而言,涉及一种基于图像标注的视频显著性目标检测方法


技术介绍

1、视频显著性目标检测是智能视频内容理解的重要任务,它在现实的视觉任务中有着广泛的应用,如视频目标分割、视频分类、视频摘要、视频监控、视频压缩、自动驾驶等。因此,视频显著性目标检测一直是计算机视觉领域的研究热点之一,与孤立的图像显著性目标检测不同,视频在上下文关联和丰富的帧间动态信息方面捕捉更具挑战性。现有的方法主要是利用递归网络或引入光流信息来补充动态信息,虽然视频显著性目标检测已经取得了很大的进展,但是有限的训练样本和场景多样性制约其进一步发展和应用,其中的主要原因是视频像素级标注的成本较高。

2、尽管无监督的方法使用手工制作的低层特征能够完全省去标注的成本,但是现有方法的性能较差,仅在几个考虑过的场景下工作良好,部分研究提出了一种利用稀疏标记帧的半监督显著性检测方法,这大大降低了手工标注成本,但仍然需要百分之二十的像素级标注。此外,部分方法通过涂鸦标注前景和背景,设计了一个弱监督的视频显著性目标检测模型,以减轻像素级标记的负担,虽然与像本文档来自技高网...

【技术保护点】

1.一种基于图像标注的视频显著性目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于图像标注的视频显著性目标检测方法,其特征在于,所述步骤S1中,对所述图像显著性目标数据集和所述视频显著性目标检测数据集进行预处理的过程为:

3.根据权利要求1所述的基于图像标注的视频显著性目标检测方法,其特征在于,所述步骤S2中构建的所述粗定位网络利用核大小为的二元膨胀操作放大所述输入图像以获取显著对象的位置分布并保留显著对象周围的背景信息,随后应用高斯模糊使用与二元膨胀操作相同的核大小生成所述主体注意力图。

4.根据权利要求1所述的基于图像标注的视频...

【技术特征摘要】

1.一种基于图像标注的视频显著性目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于图像标注的视频显著性目标检测方法,其特征在于,所述步骤s1中,对所述图像显著性目标数据集和所述视频显著性目标检测数据集进行预处理的过程为:

3.根据权利要求1所述的基于图像标注的视频显著性目标检测方法,其特征在于,所述步骤s2中构建的所述粗定位网络利用核大小为的二元膨胀操作放大所述输入图像以获取显著对象的位置分布并保留显著对象周围的背景信息,随后应用高斯模糊使用与二元膨胀操作相同的核大小生成所述主体注意力图。

4.根据权利要求1所述的基于图像标注的视频显著性目标检测方法,其特征在于,所述步骤s2中构建的所述注意力采样器通过函数将所述主体注意力图分解为两个维度:和,其中,w表示所述主体注意力图的宽度,h表示所述主体注意力图的高度,表示像素值,随后通过采样函数进行显著对象的采样得到所述注意力放大图:,其中,表示所述注意力放大图, 表示的逆函数。

5.根据权利要求1所述的基于图像标注的视频显著性目标检测方法,其特征在于,所述步骤s2中构建的所述精分割网络对所述注意力放大图进行尺度均匀化处理和分辨率提高处理以细化显著对象的边界,随后将高分辨率的显著对象置于图像的中心区域并压缩背景信息,通过分割处理得到包含显著对象的所述显著对象定位图。

6.根据权利要求1所述的基于图像标...

【专利技术属性】
技术研发人员:姜求平徐斌伟
申请(专利权)人:宁波大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1