System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于运动感知和相关滤波的卫星视频单目标跟踪方法技术_技高网

基于运动感知和相关滤波的卫星视频单目标跟踪方法技术

技术编号:40956208 阅读:6 留言:0更新日期:2024-04-18 20:32
本发明专利技术涉及一种基于运动感知和相关滤波的卫星视频单目标跟踪方法,在深浅特征融合的时空规则化相关滤波跟踪框架的基础上,利用运动感知和相关滤波两个子流程的互补性实现准确而稳定的卫星视频目标跟踪。跟踪过程中,运动感知子流程首先根据目标的历史运动信息给出其在当前帧的运动估计位置,并确定目标的搜索区域;然后相关滤波子流程进一步得到更精确目标检测位置;最后通过可靠性判别机制完成对目标检测位置的校验和修正,得到最终的跟踪结果。本发明专利技术的技术方案对于卫星视频中的目标尺寸过小、相似物干扰、遮挡等主要挑战因素具有较好的适应性。

【技术实现步骤摘要】

本专利技术属计算机视觉领域,涉及一种基于运动感知和相关滤波的卫星视频单目标跟踪方法


技术介绍

1、近年来,面向卫星视频的视觉目标跟踪技术引起了学术界和工业界的广泛关注,其成果可应用于交通管理、海洋监测、军事侦察等诸多领域。随着深度学习技术的快速发展,训练深度网络模型已经成为处理单目标跟踪任务的主流方法。然而,目前高质量的卫星视频公共标注数据集较少,基于端到端的深度网络模型在卫星视频跟踪场景中难以发挥其性能优势。相较而言,基于相关滤波的跟踪方法不依赖于大规模的训练数据,且能够在跟踪精度和跟踪速度之间取得较好的平衡,因此更适合应用于卫星视频单目标跟踪任务。

2、经典相关滤波范式中的循环样本假设会产生大量边界不连续的虚拟样本,即边界效应问题,从而影响滤波器模型的判别能力。为此,文献“learning spatiallyregularized correlation filters for visual tracking,ieee conference oncomputer vision and pattern recognition,2015:4310-4318”提出的空间规则化相关滤波方法(简称srdcf)采用空间正则化项约束模型的学习,以缓解边界效应问题。在srdcf的基础上,文献“learning spatial-temporal regularized correlation filters forvisual tracking,ieee conference on computer vision and pattern recognition,2018:4904-4913”提出的时空规则化相关滤波方法(简称strcf)又引入时间正则化项,将时域信息自适应地融入到模型学习和更新过程中,更好地处理了边界效应的同时也得到了更为鲁棒的目标外观模型,并且利用文献“distributed optimization and statisticallearning via the alternating direction method of multipliers,foundations andtrends in machine learning,2010,3:1-122”提出的交替方向乘子法(简称admm)实现了strcf模型的高效求解。因此,strcf是一个较为理想的相关滤波范式。但是,在应对卫星视频单目标跟踪任务时,由于受到视频中目标尺寸过小、相似物干扰及遮挡等因素的影响,以strcf为代表的相关滤波方法在跟踪准确性和鲁棒性方面仍然有较大的提升空间。


技术实现思路

1、要解决的技术问题

2、为了提高现有目标跟踪技术对卫星视频的适应性,本专利技术提出一种基于运动感知和相关滤波的卫星视频单目标跟踪方法,解决卫星视频跟踪场景中的目标尺寸过小、相似物干扰及遮挡等挑战性问题。

3、技术方案

4、基于运动感知和相关滤波的卫星视频单目标跟踪方法,其特征在于步骤如下:

5、步骤1:读取视频中第一帧图像数据以及目标所在的初始位置信息[x1,y1,m,n],其中x1和y1分别表示目标中心的横坐标和纵坐标,m和n分别表示目标的宽和高,将当前帧记为第t帧,目标中心的坐标记为pt=(xt,yt),则初始时t=1,p1=(x1,y1);

6、步骤2:判断当前帧是否为第一帧,当t=1时转步骤9,否则(即t>1)转步骤3;

7、步骤3:根据前两帧的目标中心pt-1和pt-2计算上一帧目标中心的实际偏移量δt-1,δt-1=[δxt-1,δyt-1],其中δxt-1和δyt-1分别表示横坐标和纵坐标方向的实际偏移量,当t=2时,δt-1=[0,0],当t>2时,δt-1=[xt-1-xt-2,yt-1-yt-2];

8、步骤4:按照下式计算当前帧目标的运动估计位置(中心)

9、

10、式中,δt表示当前帧目标的运动估计偏移量,当t=2时,δt=[0,0],当t>2时,δt的计算公式如下:

11、δt=αδt-1+(1-α)δt-1                          (2)

12、式中,α为平滑因子,设定为α=0.11,δt-1由步骤3计算得到;

13、步骤5:确定当前帧的目标搜索区域,该搜索区域的中心为步骤4得到的目标运动估计位置大小为目标尺寸[m,n]的5倍,并对该搜索区域对应的图像子块计算特征向量ft,包括hog(histogram of oriented gradient)、cn(color names)两种人工特征和vgg-m-2048网络模型第8层输出的单层深度特征;

14、步骤6:将上一帧的滤波器模型ht-1(在步骤10计算)作用于当前第t帧的搜索区域,按照下式计算响应图rest:

15、

16、式中,大写的变量fc和hc分别为第c个通道的特征向量fc和滤波器hc经快速傅里叶变换(fast fourier transform,fft)后的频域形式,上划线表示复共轭,c为总的通道数,⊙表示向量或矩阵的对应元素相乘(即hadamard乘积),f-1表示快速傅里叶逆变换(inversefft);

17、步骤7:将响应图rest的最高响应值记为max(rest),其对应的坐标位置即为目标在搜索区域的检测结果,记为再计算响应图的峰值旁瓣比(peak-to-sidelobe ratio,psr),记为psr(rest),其计算公式如下:

18、

19、式中,μ和σ分别为响应图rest的均值和标准差;

20、步骤8:根据max(rest)和psr(rest)计算当前帧响应图的融合指标得分ψ(rest),即ψ(rest)=max(rest)·psr(rest),再判断当前帧的检测结果是否可靠,即下式是否成立:

21、

22、式中,ψavg为从第1至t-1帧ψ(res)得分的历史均值,表示当前帧的跟踪不确定度,β为预定义的阈值,设定为β=1.1,若式(5)不成立,认为检测结果可靠,将其确定为当前帧的跟踪结果pt(即),若式(5)成立,则认为当前帧的跟踪不确定度过高,目标可能被遮挡,此时检测结果不可靠,将步骤4得到的运动估计位置pt确定为当前帧的跟踪结果pt(即);

23、步骤9:以pt为中心,提取目标尺寸[m,n]的5倍大小的图像子块,并计算其特征向量ft′,包括hog、cn两种人工特征和vgg-m-2048网络模型第8层输出的单层深度特征;

24、步骤10:根据下式求解基于时空正则化约束的滤波器模型ht的最优化问题:

25、

26、式中,g表示符合高斯分布的样本标签,*表示循环卷积运算,w表示空间正则化矩阵,λ为正则化参数,设定为λ=10,和||ht-ht-1||2分别表示空间和时间正则化约束项,当t=1时,时间正则化约束项为0,由于本文档来自技高网...

【技术保护点】

1.基于运动感知和相关滤波的卫星视频单目标跟踪方法,其特征在于步骤如下:

2.根据权利要求1所述基于运动感知和相关滤波的卫星视频单目标跟踪方法,其特征在于:所述平滑因子α设定为0.11。

3.根据权利要求1所述基于运动感知和相关滤波的卫星视频单目标跟踪方法,其特征在于:所述阈值参数β设定为1.1。

4.根据权利要求1所述一种基于相关滤波的分块跟踪方法,其特征在于:所述正则化参数λ设定为10。

5.根据权利要求1所述一种基于相关滤波的分块跟踪方法,其特征在于:所述超参数γ的初始值γ(0),最大值γmax设定为1,0.1。

6.根据权利要求1所述一种基于相关滤波的分块跟踪方法,其特征在于:所述尺度缩放因子ρ设定为10。

【技术特征摘要】

1.基于运动感知和相关滤波的卫星视频单目标跟踪方法,其特征在于步骤如下:

2.根据权利要求1所述基于运动感知和相关滤波的卫星视频单目标跟踪方法,其特征在于:所述平滑因子α设定为0.11。

3.根据权利要求1所述基于运动感知和相关滤波的卫星视频单目标跟踪方法,其特征在于:所述阈值参数β设定为1.1。

4.根...

【专利技术属性】
技术研发人员:林彬薛朝灿郑劲磊封全喜
申请(专利权)人:桂林理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1