目标跟踪方法和装置、电子设备、程序、存储介质制造方法及图纸

本公开实施例提供了一种目标跟踪方法和装置、电子设备、程序、存储介质，其中，方法包括：获取目标图像的多个参考图像的特征；基于所述多个参考图像的特征，确定所述目标图像中跟踪目标的多个初始预测位置；基于所述多个初始预测位置，确定所述目标图像中跟踪目标的最终位置。本公开上述实施例，能够避免目标跟踪对于参考图像的依赖，从而提高目标跟踪的鲁棒性。

【技术实现步骤摘要】
目标跟踪方法和装置、电子设备、程序、存储介质
本公开涉及计算机视觉技术，尤其是一种目标跟踪方法和装置、电子设备、程序、存储介质。
技术介绍
目标跟踪问题，通常指在给定视频序列第一帧目标物体位置信息的前提下，对视频中物体后续的位置做出预测；目标跟踪技术在视频监控、无人驾驶、人机交互等应用场景中有广泛的应用。由于单帧的检测技术和分割技术耗时相对较高，目标跟踪技术常用来与检测分割技术一起使用，来提高信息处理的速度，保证更好的实时性。基于深度学习的回归网络通过对参考图像与目标帧之间的物体位移进行建模来实现目标跟踪，可以达到较快的速度。
技术实现思路
本公开实施例提供的一种目标跟踪技术。根据本公开实施例的一个方面，提供的一种目标跟踪方法，包括：获取目标图像的多个参考图像的特征；基于所述多个参考图像的特征，确定所述目标图像中跟踪目标的多个初始预测位置；基于所述多个初始预测位置，确定所述目标图像中跟踪目标的最终位置。可选地，所述基于所述多个参考图像的特征，确定所述目标图像中跟踪目标的多个初始预测位置，包括：对所述目标图像进行特征提取，得到所述目标图像的多个特征；基于所述目标图像的多个特征与所述多个参考图像的特征，得到所述目标图像中跟踪目标的多个初始预测位置。可选地，基于所述目标图像的多个特征与所述多个参考图像的特征，得到所述目标图像中跟踪目标的多个初始预测位置，包括：连接所述目标图像的多个特征与所述多个参考图像的特征，得到多个连接特征；基于所述多个连接特征，得到所述目标图像中跟踪目标的多个初始预测位置。可选地，对所述目标图像进行特征提取，得到所述目标图像的多个特征，包括：对所述目标图像执行卷积操作，得到中间特征；对所述中间特征执行多个感兴趣区域RoI对齐操作，得到所述目标图像的多个特征。可选地，所述对所述中间特征执行多个感兴趣区域RoI对齐操作，得到所述目标图像的多个特征，包括：基于所述参考图像中跟踪目标的位置，对所述中间特征执行RoI对齐操作，得到所述目标图像的特征。可选地，所述基于所述参考图像中跟踪目标的位置，对所述中间特征执行RoI对齐操作，得到所述目标图像的特征，包括：将所述参考图像中跟踪目标对应的限位框在所述参考图像中的位置作为RoI进行RoI对齐操作，得到所述目标图像的特征。可选地，将所述参考图像中跟踪目标对应的限位框在所述参考图像中的位置作为RoI进行RoI对齐操作，得到所述目标图像的特征之前，还包括：对所述参考图像中跟踪目标的限位框放大第一预设倍数，得到所述参考图像跟踪目标对应的限位框。可选地，在所述对所述目标图像执行卷积操作，得到中间特征之前，还包括：对所述目标图像进行剪裁处理，获得裁剪图像；所述对所述目标图像执行卷积操作，得到中间特征，包括：对所述裁剪图像执行卷积操作，得到中间特征。可选地，所述对所述目标图像进行剪裁处理，获得裁剪图像，包括：基于至少一个第一图像中跟踪目标的位置信息，对所述目标图像进行裁剪处理，得到裁剪图像，其中，所述至少一个第一图像中的每个第一图像位于所述目标图像之前。可选地，所述基于至少一个第一图像中跟踪目标的位置信息，对所述目标图像进行裁剪处理，得到裁剪图像，包括：基于所述至少一个第一图像中跟踪目标的位置信息，确定所述剪裁图像的中心点；基于所述剪裁图像的中心点对所述目标图像进行剪裁处理，得到所述剪裁图像。可选地，所述基于所述剪裁图像的中心点对所述目标图像进行剪裁处理，得到所述剪裁图像，包括：将所述目标图像放大第二预设倍数，得到放大处理后的所述目标图像；基于所述裁剪图像的中心点，对所述放大处理后的所述目标图像进行裁剪处理，得到所述裁剪图像。可选地，基于所述多个初始预测位置，确定所述目标图像中跟踪目标的最终位置，包括：分别确定所述多个初始预测位置中每个初始预测位置与所述跟踪目标的外观参考位置之间的相似度，获得相似度大于第一预设阈值的至少一个初始预测位置；基于所述相似度大于第一预设阈值的至少一个初始预测位置，确定所述目标图像对应的最终位置。可选地，基于所述相似度大于预设阈值的至少一个初始预测位置，确定所述目标图像对应的最终位置，包括：对所述相似度大于第一预设阈值的至少一个初始预测位置进行加权平均，获得所述目标图像对应的最终位置。可选地，所述分别确定所述多个初始预测位置中每个初始预测位置与所述跟踪目标的外观参考位置之间的相似度，包括：基于所述初始预测位置对应的限位框与所述跟踪目标的外观参考位置对应的限位框之间的交并比，确定每个所述初始预测位置与所述跟踪目标的外观参考位置之间的相似度。可选地，还包括：将所述确定的目标图像中跟踪目标的最终位置存入第一缓存区，其中，所述第一缓存区用于存储所述跟踪目标的外观参考位置。可选地，基于所述多个初始预测位置，确定所述目标图像中跟踪目标的最终位置，包括：确定所述多个初始预测位置中每个初始预测位置的置信度；基于所述置信度大于第二预设阈值的至少一个所述初始预测位置，确定所述目标图像中跟踪目标的最终位置。可选地，基于所述置信度大于第二预设阈值的至少一个所述初始预测位置，确定所述目标图像中跟踪目标的最终位置，包括：对所述置信度大于第二预设阈值的至少一个所述初始预测位置进行加权平均，获得所述目标图像中跟踪目标的最终位置。可选地，确定所述每个初始预测位置对应的置信度，包括：利用置信度打分网络分别对所述每个初始预测位置进行处理，得到所述每个初始预测位置对应的置信度。可选地，所述利用置信度打分网络分别对所述每个初始预测位置进行处理，得到所述每个初始预测位置对应的置信度之前，还包括：利用所述置信度打分网络对样本图像的至少一个初始预测位置进行处理，得到对应每个所述初始预测位置的预测置信度；基于所述样本图像的标注位置，确定所述至少一个初始预测位置中每个初始预测位置的真实置信度；基于所述至少一个初始预测位置中每个初始预测位置的预测置信度和真实置信度，训练所述置信度打分网络。可选地，所述获取目标图像的多个参考图像的特征，包括：从第二缓存区获取目标图像的多个参考图像的特征。可选地，所述目标图像与多个所述参考图像之间间隔至少一个第二图像；或者所述多个参考图像包括相邻的至少两个图像帧；或者所述多个参考图像中的任意两个参考图像不相邻。可选地，在基于所述多个初始预测位置，确定所述目标图像中跟踪目标的最终位置之后，还包括：基于所述目标图像中跟踪目标的最终位置和所述多个参考图像中跟踪目标的位置，确定是否将所述目标图像添加至参考图像列表。可选地，所述基于所述目标图像中跟踪目标的最终位置和所述多个参考图像中跟踪目标的位置，确定是否将所述目标图像作为新添加的参考图像，包括：基于所述目标图像中跟踪目标的限位框与所述多个参考图像中跟踪目标的限位框之间的交并比，确定是否将所述目标图像添加至参考图像列表。可选地，所述基于所述目标图像帧中跟踪目标的限位框与所述多个参考图像中跟踪目标的各个限位框之间的交并比，确定是否将所述目标图像添加至参考图像列表，包括：分别确定目标图像中跟踪目标的限位框与所述多个参考图像中每个参考图像的跟踪目标的限位框之间的交并比；基于确定的多个交并比，获得平均交并比；响应于所述平均交并比大于或等于交并比阈值，确定将所述目标图像添加至参考图像列表。可选地，在基于所述多个初始预测本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，包括：获取目标图像的多个参考图像的特征；基于所述多个参考图像的特征，确定所述目标图像中跟踪目标的多个初始预测位置；基于所述多个初始预测位置，确定所述目标图像中跟踪目标的最终位置。

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：获取目标图像的多个参考图像的特征；基于所述多个参考图像的特征，确定所述目标图像中跟踪目标的多个初始预测位置；基于所述多个初始预测位置，确定所述目标图像中跟踪目标的最终位置。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个参考图像的特征，确定所述目标图像中跟踪目标的多个初始预测位置，包括：对所述目标图像进行特征提取，得到所述目标图像的多个特征；基于所述目标图像的多个特征与所述多个参考图像的特征，得到所述目标图像中跟踪目标的多个初始预测位置。3.根据权利要求2所述的方法，其特征在于，基于所述目标图像的多个特征与所述多个参考图像的特征，得到所述目标图像中跟踪目标的多个初始预测位置，包括：连接所述目标图像的多个特征与所述多个参考图像的特征，得到多个连接特征；基于所述多个连接特征，得到所述目标图像中跟踪目标的多个初始预测位置。4.根据权利要求2或3所述的方法，其特征在于，对所述目标图像进行特征提取，得到所述目标图像的多个特征，包括：对所述目标图像执行卷积操作，得到中间特征；对所述中间特征执行多个感兴趣区域RoI对齐操作，得到所述目标图像的多个特征。5.根据权利要...

【专利技术属性】
技术研发人员：刘绍辉，秦红伟，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11