基于仿生记忆链解决目标遮挡的端到端视频目标检测方法技术

技术编号:43304868 阅读:30 留言:0更新日期:2024-11-12 16:20
本发明专利技术涉及计算机视觉技术领域,提供了一种基于仿生记忆链解决目标遮挡的端到端视频目标检测方法。方法包括:对原始视频数据集中所有图像的感兴趣类别的目标进行实例级别的标注,得到带标注的标准训练数据集;定义基于仿生记忆链和遮挡目标实例监督的端到端视频目标检测算法模型;根据所述带标注的标准训练数据集,利用反向传播和梯度下降算法训练模型;利用训练好的模型对待检测视频进行视频目标检测。本发明专利技术更高效的融合包括当前帧与所有历史帧在内的时序特征,并且进行端到端的训练,训练速度较快,还可表征所有历史帧信息,并根据历史帧与当前帧的相关性和时间接近度来自适应地加权记忆,对被遮挡的目标具有强鲁棒性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,特别是涉及一种基于仿生记忆链解决目标遮挡的端到端视频目标检测方法


技术介绍

1、在计算机视觉领域中,视频目标检测是一个非常活跃并具有挑战性的研究方向,已经在近年的研究中取得了显著进展。视频目标检测旨在定位并分类连续视频帧中的目标,对自动驾驶、视频监控、通用视频理解的发展有着至关重要的意义。然而,视频中的目标往往会被其他目标或环境因素遮挡,这给检测带来了巨大的挑战。值得注意的是,存在遮挡的场景下的单帧特征非常有限,使用通用目标检测方法进行逐帧检测往往精度较低。

2、为了解决单帧特征中的缺陷,特别是遮挡,现有的视频目标检测方法通常利用堆叠式或流式建模来融合时间特征。其中,堆叠式建模在不同时间t时,将当前帧与可见时间范围(固定大小)内的历史帧融合,用于检测当前帧内的目标。这种方法计算量大,没有利用即时时间窗口之外的视觉特征,导致特征融合效率低下,降低了对长期遮挡的适应性。流式建模以固定大小的特征块表征所有历史帧信息,在时间t时,继承t-1时刻的特征块并与当前帧融合,融合后的特征块用于检测当前帧内的目标。这种方法通常无法对所本文档来自技高网...

【技术保护点】

1.一种基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,包括:

2.根据权利要求1所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述定义基于仿生记忆链和遮挡目标实例监督的端到端视频目标检测算法模型,具体包括:

3.根据权利要求1所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述根据所述带标注的标准训练数据集,计算预测标签,具体包括:

4.根据权利要求3所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述以标准训练数据集Itr作为识别网络模型的输入,利用特征金字塔网络模...

【技术特征摘要】

1.一种基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,包括:

2.根据权利要求1所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述定义基于仿生记忆链和遮挡目标实例监督的端到端视频目标检测算法模型,具体包括:

3.根据权利要求1所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述根据所述带标注的标准训练数据集,计算预测标签,具体包括:

4.根据权利要求3所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述以标准训练数据集itr作为识别网络模型的输入,利用特征金字塔网络模块提取多尺度特征,具体包括:

5.根据权利要求3所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述根据特征金字塔模块输出的多尺度特征,利用跨尺度编码器编码得到跨尺度融合特征,具体包括:

6.根据权利要求3所述的基于仿生记忆链解决目标遮挡的端到端视频目标检测方法,其特征在于,所述以跨尺度编码器编码得到的跨尺度融合...

【专利技术属性】
技术研发人员:王兴刚徐子扬吴连俊郭嘉豪刘文予
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1