System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于超分辨率特征的自适应跟踪方法和系统技术方案_技高网

一种基于超分辨率特征的自适应跟踪方法和系统技术方案

技术编号:41072633 阅读:2 留言:0更新日期:2024-04-24 11:29
本发明专利技术提供了一种基于超分辨率特征的自适应跟踪方法和系统,包括:确定初始目标框;根据初始目标框生成初始超分辨率模板图像;构建初始循环样本和初始标签,并训练得到初始检测模型;提取第一帧视频帧,并得到第一模板图像;生成第一超分辨率模板图像,并通过质心计算调整第一超分辨率模板图像的中心位姿,得到第一调整图像;计算第一调整图像的FHOG特征,得到第一特征;对第一特征进行多尺度变换,初始检测模型基于所述多尺度变换得到的图像输出多张第一响应图;确定第一帧视频中的第一目标框;以此循环,直到完成跟踪;以在核心部位特征缺乏、位姿变化以及尺度变化的情况下,仍能准确对目标进行跟踪,提高了跟踪的稳定性。

【技术实现步骤摘要】

本专利技术涉及目标跟踪,具体而言,涉及一种基于超分辨率特征的自适应跟踪方法和系统


技术介绍

1、中大型目标的核心部位通常是小目标,而小目标跟踪长期以来是目标跟踪中的一个难点。在现实场景中,由于小目标大量存在,因此小目标跟踪具有广泛的应用前景,在自动驾驶、无人机跟踪、智慧医疗、缺陷跟踪和航拍图像分析等诸多领域发挥着重要作用。近年来,深度学习技术的快速发展为小目标跟踪注入了新鲜血液。

2、然而,相对于常规尺寸的目标,小目标通常缺乏充足的外观信息,覆盖图像面积小,用于目标跟踪的有效特征少,但是常用跟踪器对小目标不敏感,因此难以将它们与背景的目标区分开来。由此可见,小目标跟踪仍然是充满挑战的。此外,真实场景是错综复杂的,通常会存在光照剧烈变化、目标遮挡、目标位姿变化和目标尺度变化等问题,而这些因素对小目标特征的影响是更加剧烈的,进一步加大了小目标跟踪的难度。

3、有鉴于此,本专利技术提供了一种基于超分辨率特征的自适应跟踪方法和系统,在核心部位特征缺乏、位姿变化以及尺度变化的情况下,仍能准确对目标进行跟踪,提高了跟踪的稳定性。


技术实现思路

1、本专利技术的目的在于提供一种基于超分辨率特征的自适应跟踪方法,包括:确定待检测视频中兴趣部位的初始目标框;根据所述初始目标框选择初始模板图像,并生成初始超分辨率模板图像;构建所述初始超分辨率模板图像的初始循环样本和初始标签,并基于所述初始循环样本和初始标签训练得到初始检测模型的模型参数;提取所述待检测视频的第一帧视频帧,并基于所述第一帧视频帧和所述初始目标框,得到第一模板图像;生成所述第一模板图像的第一超分辨率模板图像,并通过质心计算调整所述第一超分辨率模板图像的中心位姿,得到第一调整图像;计算所述第一调整图像的fhog特征,得到第一特征;对所述第一特征进行多尺度变换,并将多尺度变换后得到的图像分别输入所述初始检测模型,所述初始检测模型输出多张第一响应图;根据置信度最大的第一响应图及其尺度变换的尺寸,确定所述兴趣部位在所述第一帧视频中的第一目标框;基于所述第一目标框对所述待检测视频的第二帧视频帧进行跟踪,以此循环,直到完成所述待检测视频的最后一帧视频帧的跟踪。

2、进一步的,所述初始目标框通过目标检测模型检测得到。

3、进一步的,通过将模板图像输入srgan生成超分辨率模板图像。

4、进一步的,通过质心计算调整所述第一超分辨率模板图像的中心位姿,包括:计算所述第一超分辨率模板图像中所有像素的灰度值之和,得到灰度值和;计算所述第一超分辨率模板图像中每个像素与其对应的横轴坐标的横轴乘积之和以及每个像素与其对应的纵轴坐标的纵轴乘积之和;基于所述灰度值和、所述横轴乘积之和以及所述纵轴乘积之和,计算所述第一超分辨率模板图像的质心坐标。

5、进一步的,计算所述灰度值和的表达式为:

6、

7、其中,表示灰度值和;i表示横轴变量;j表示纵轴变量;表示横轴为i纵轴为j的像素点的灰度值。

8、进一步的,计算所述横轴乘积之和以及所述纵轴乘积之和的表达式为:

9、

10、其中,表示横轴乘积之和;i表示横轴变量;j表示纵轴变量;表示横轴为i纵轴为j的像素点的灰度值;表示纵轴乘积之和。

11、进一步的,计算所述质心坐标的表达式为:

12、

13、其中,表示横轴乘积之和;表示纵轴乘积之和;表示灰度值和;表示质心的横轴坐标;表示质心的纵轴坐标。

14、进一步的,所述多尺度包括三个尺度,分别为1倍尺度、1.05倍尺度和0.95倍尺度。

15、进一步的,确定所述兴趣部位在所述第一帧视频中的第一目标框为根据对应的尺度变换的尺寸,将置信度最大的第一响应图还原到原始尺寸,得到所述第一目标框。

16、本专利技术还提供一种基于超分辨率特征的自适应跟踪系统,包括初始目标框确定模块、初始化模块以及更新和检测模块;所述初始目标框确定模块用于确定待检测视频中兴趣部位的初始目标框;所述初始化模块用于根据所述初始目标框选择初始模板图像,并生成初始超分辨率模板图像;构建所述初始超分辨率模板图像的初始循环样本和初始标签,并基于所述初始循环样本和初始标签训练得到初始检测模型的模型参数;所述更新和检测模块用于提取所述待检测视频的第一帧视频帧,并基于所述第一帧视频帧和所述初始目标框,得到第一模板图像;生成所述第一模板图像的第一超分辨率模板图像,并通过质心计算调整所述第一超分辨率模板图像的中心位姿,得到第一调整图像;计算所述第一调整图像的fhog特征,得到第一特征;对所述第一特征进行多尺度变换,并将多尺度变换后得到的图像分别输入所述初始检测模型,所述初始检测模型输出多张第一响应图;根据置信度最大的第一响应图及其尺度变换的尺寸,确定所述兴趣部位在所述第一帧视频中的第一目标框;基于所述第一目标框对所述待检测视频的第二帧视频帧进行跟踪,以此循环,直到完成所述待检测视频的最后一帧视频帧的跟踪。

17、本专利技术实施例的技术方案至少具有如下优点和有益效果:

18、本专利技术提供的一种基于超分辨率特征的自适应跟踪方法和系统可广泛应用于核心部位小目标的跟踪,利用kcf目标跟踪框架,对核心部位的具体特性,加入深度学习的srgan方法、利用质心计算以及多尺度适应的方法能实现对核心部位小目标稳定跟踪。

19、由于镜头焦距的变化、目标远近移动等,导致目标框跟踪的不稳定性,本专利技术通过加入自适应尺度的方法可以有效避免目标因尺度的变化而导致目标跟踪的不稳定性。具体方法是应用三个尺度(原尺度、较小尺度、较大尺度)在kcf更新检测时对尺度进行自动选择。

本文档来自技高网...

【技术保护点】

1.一种基于超分辨率特征的自适应跟踪方法,其特征在于,包括:

2.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,所述初始目标框通过目标检测模型检测得到。

3.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,通过将模板图像输入SRGAN生成超分辨率模板图像。

4.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,通过质心计算调整所述第一超分辨率模板图像的中心位姿,包括:

5.根据权利要求4所述的基于超分辨率特征的自适应跟踪方法,其特征在于,计算所述灰度值和的表达式为:

6.根据权利要求4所述的基于超分辨率特征的自适应跟踪方法,其特征在于,计算所述横轴乘积之和以及所述纵轴乘积之和的表达式为:

7.根据权利要求4所述的基于超分辨率特征的自适应跟踪方法,其特征在于,计算所述质心坐标的表达式为:

8.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,所述多尺度包括三个尺度,分别为1倍尺度、1.05倍尺度和0.95倍尺度。

9.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,确定所述兴趣部位在所述第一帧视频中的第一目标框为根据对应的尺度变换的尺寸,将置信度最大的第一响应图还原到原始尺寸,得到所述第一目标框。

10.一种基于超分辨率特征的自适应跟踪系统,其特征在于,包括初始目标框确定模块、初始化模块以及更新和检测模块;

...

【技术特征摘要】

1.一种基于超分辨率特征的自适应跟踪方法,其特征在于,包括:

2.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,所述初始目标框通过目标检测模型检测得到。

3.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,通过将模板图像输入srgan生成超分辨率模板图像。

4.根据权利要求1所述的基于超分辨率特征的自适应跟踪方法,其特征在于,通过质心计算调整所述第一超分辨率模板图像的中心位姿,包括:

5.根据权利要求4所述的基于超分辨率特征的自适应跟踪方法,其特征在于,计算所述灰度值和的表达式为:

6.根据权利要求4所述的基于超分辨率特征的自适应跟踪方法,其特征在于,计算...

【专利技术属性】
技术研发人员:李油
申请(专利权)人:四川中科朗星光电科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1