视觉跟踪方法、装置、介质及设备制造方法及图纸

本申请的实施方式公开了一种视觉跟踪方法、装置、电子设备、计算机可读存储介质及计算机程序，其中的视觉跟踪方法包括：针对图像序列中的当前图像，获取目标对象的图像块；将所述图像块输入至跟踪控制网络，获取所述目标对象的跟踪策略信息；根据所述跟踪策略信息对所述目标对象进行跟踪处理；其中，所述跟踪控制网络是利用设置有目标对象位置标注信息的样本图像序列，采用强化学习方式训练获得的。

【技术实现步骤摘要】
视觉跟踪方法、装置、介质及设备
本申请涉及计算机视觉技术，尤其是涉及一种视觉跟踪方法、视觉跟踪装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
视觉跟踪通常是指对图像序列中的目标对象进行检测、提取以及跟踪，从而可以获得图像序列中的目标对象的位置变化、运动速度、加速度以及运动轨迹等运动参数。通过对目标对象的运动参数进行进一步的处理和分析，可以对目标对象的行为进行更为充分的理解，从而有利于完成其他视觉任务。在视觉跟踪过程中，跟踪决策往往需要人为设计。人为设计有很多局限性，实用性和鲁棒性较低。
技术实现思路
本申请实施方式提供一种视觉跟踪的技术方案。根据本申请实施方式其中一方面，提供一种视觉跟踪方法，包括：针对图像序列中的当前图像，获取目标对象的图像块；将所述图像块输入至跟踪控制网络，获取所述目标对象的跟踪策略信息；根据所述跟踪策略信息对所述目标对象进行跟踪处理；其中，所述跟踪控制网络是利用设置有目标对象位置标注信息的样本图像序列，采用强化学习方式训练获得的。在本申请一实施方式中，所述将所述图像块输入至跟踪控制网络包括：获取所述图像块的特征图或者热力图，并将所述特征图或者热力图输入至跟踪控制网络。在本申请又一实施方式中，针对多目标跟踪应用场景，所述跟踪策略信息包括：预先设置的至少两种不同的跟踪策略分别对应的概率。在本申请再一实施方式中，针对多目标跟踪应用场景，所述根据所述跟踪策略信息对所述目标对象进行跟踪处理包括：根据所述概率从预先设置的至少两种不同的跟踪策略中选择对应的跟踪策略；其中，所述至少两种不同的跟踪策略包括：由跟踪器对目标对象继续跟踪，和/或，针对当前图像全局检测所述目标对象。在本申请再一实施方式中，所述根据所述跟踪策略信息对所述目标对象进行跟踪处理还包括：在所述选择的跟踪策略为由跟踪器对目标对象继续跟踪的情况下，将所述当前图像的下一个图像作为当前图像并提供给所述跟踪器，由所述跟踪器对所述目标对象继续跟踪。在本申请再一实施方式中，所述根据所述跟踪策略信息对所述目标对象进行跟踪处理还包括：在所述选择的跟踪策略为针对当前图像全局检测所述目标对象的情况下，将所述当前图像提供给全局检测器，由所述全局检测器对所述当前图像进行目标对象检测。在本申请再一实施方式中，所述根据所述跟踪策略信息对所述目标对象进行跟踪处理还包括：根据全局检测器输出的目标对象位置信息，对跟踪器进行初始化设置；将所述当前图像的下一个图像作为当前图像，提供给跟踪器，以由跟踪器对所述目标对象继续跟踪。在本申请再一实施方式中，针对单目标跟踪应用场景，所述跟踪策略信息包括：跟踪器采用的跟踪策略的置信度。在本申请再一实施方式中，针对单目标跟踪应用场景，所述根据所述跟踪策略信息对所述目标对象进行跟踪处理包括：根据不同跟踪器各自对应的置信度以及不同跟踪器采用不同跟踪策略所形成的目标对象的位置信息，进行目标对象位置融合处理；其中，所述融合处理后的目标对象的位置被作为跟踪处理最终获得的目标对象的位置。在本申请再一实施方式中，针对多目标跟踪应用场景，训练所述跟踪控制网络的过程包括：针对样本图像序列中的当前图像样本，获取目标对象的图像块；将所述图像块提供给待训练的跟踪控制网络，获取所述待训练的跟踪控制网络输出的目标对象的跟踪策略信息；根据所述待训练的跟踪控制网络输出的跟踪策略信息，基于随机分布方式，确定最终跟踪策略信息；根据所述最终跟踪策略信息对所述目标对象进行跟踪处理；根据跟踪处理获得的多个图像样本的目标对象的位置信息与相应的图像样本的目标对象位置标注信息所对应的位置之间的面积重叠情况，确定所述样本图像序列的决策评价值，根据所述样本图像序列的决策评价值，采用强化学习方式，调整所述待训练的跟踪控制网络的网络参数。在本申请再一实施方式中，在所述面积重叠情况符合预定要求的情况下，所述待训练的跟踪控制网络训练成功。在本申请再一实施方式中，针对单目标跟踪应用场景，训练所述跟踪控制网络的过程包括：针对样本图像序列中的当前图像样本，获取不同跟踪器采用不同跟踪策略而获得的目标对象的不同图像块；将不同图像块分别提供给待训练的跟踪控制网络，获取所述不同跟踪器各自对应的置信度；根据不同跟踪器各自对应的置信度以及采用不同跟踪策略所形成的目标对象的位置信息，进行目标对象的位置融合处理；根据融合处理后的目标对象的位置初始化相应的跟踪器，并根据跟踪器输出的图像块位置与当前图像样本的目标对象位置标注信息所对应的位置，确定两位置之间的面积重叠情况，并根据面积重叠情况确定所述样本图像序列的决策评价值，根据所述样本图像序列的决策评价值，采用强化学习方式，调整所述待训练的跟踪控制网络的网络参数。在本申请再一实施方式中，所述跟踪控制网络包括：至少一卷积层、至少一全连接层以及至少一决策层。根据本申请实施方式其中一方面，提供一种视觉跟踪装置，包括：获取图像块模块，用于针对图像序列中的当前图像，获取目标对象的图像块；获取跟踪策略模块，用于将所述图像块输入至跟踪控制网络，获取所述目标对象的跟踪策略信息；跟踪处理模块，用于根据所述跟踪策略信息对所述目标对象进行跟踪处理；其中，所述跟踪控制网络是利用设置有目标对象位置标注信息的样本图像序列，采用强化学习方式训练获得的。在本申请又一实施方式中，所述获取跟踪策略模块进一步用于：获取所述图像块的特征图或者热力图，并将所述特征图或者热力图输入至跟踪控制网络。在本申请再一实施方式中，针对多目标跟踪应用场景，所述跟踪策略信息包括：预先设置的至少两种不同的跟踪策略分别对应的概率。在本申请再一实施方式中，针对多目标跟踪应用场景，所述跟踪处理模块包括：选择模块，用于根据所述概率从预先设置的至少两种不同的跟踪策略中选择对应的跟踪策略；其中，所述至少两种不同的跟踪策略包括：由跟踪器对目标对象继续跟踪，和/或，针对当前图像全局检测所述目标对象。在本申请再一实施方式中，所述跟踪处理模块还包括：第一提供图像模块，用于在所述选择模块所选择的跟踪策略为由跟踪器对目标对象继续跟踪的情况下，将所述当前图像的下一个图像作为当前图像并提供给所述跟踪器，由所述跟踪器对所述目标对象继续跟踪。在本申请再一实施方式中，所述跟踪处理模块还包括：第二提供图像模块，用于在所述选择模块所选择的跟踪策略为针对当前图像全局检测所述目标对象的情况下，将所述当前图像提供给全局检测器，由所述全局检测器对所述当前图像进行目标对象检测。在本申请再一实施方式中，所述跟踪处理模块还包括：初始化模块，用于根据全局检测器输出的目标对象位置信息，对跟踪器进行初始化设置；第三提供图像模块，用于将所述当前图像的下一个图像作为当前图像，提供给跟踪器，以由跟踪器对所述目标对象继续跟踪。在本申请再一实施方式中，针对单目标跟踪应用场景，所述跟踪策略信息包括：跟踪器采用的跟踪策略的置信度。在本申请再一实施方式中，针对单目标跟踪应用场景，所述跟踪处理模块包括：融合模块，用于根据不同的跟踪策略分别对应的概率以及采用不同跟踪策略所形成的目标对象的位置信息，进行目标对象位置融合处理；其中，所述融合处理后的目标对象的位置被作为跟踪处理最终获得的目标对象的位置。在本申请再一实施方式中，针对多目标跟踪应用场景，所述装置还包括：第一训练模块，用于：本文档来自技高网...

【技术保护点】
1.一种视觉跟踪方法，其特征在于，包括：针对图像序列中的当前图像，获取目标对象的图像块；将所述图像块输入至跟踪控制网络，获取所述目标对象的跟踪策略信息；根据所述跟踪策略信息对所述目标对象进行跟踪处理；其中，所述跟踪控制网络是利用设置有目标对象位置标注信息的样本图像序列，采用强化学习方式训练获得的。

【技术特征摘要】
1.一种视觉跟踪方法，其特征在于，包括：针对图像序列中的当前图像，获取目标对象的图像块；将所述图像块输入至跟踪控制网络，获取所述目标对象的跟踪策略信息；根据所述跟踪策略信息对所述目标对象进行跟踪处理；其中，所述跟踪控制网络是利用设置有目标对象位置标注信息的样本图像序列，采用强化学习方式训练获得的。2.根据权利要求1所述的方法，其特征在于，所述将所述图像块输入至跟踪控制网络包括：获取所述图像块的特征图或者热力图，并将所述特征图或者热力图输入至跟踪控制网络。3.根据权利要求1或2所述的方法，其特征在于，针对多目标跟踪应用场景，所述跟踪策略信息包括：预先设置的至少两种不同的跟踪策略分别对应的概率。4.根据权利要求3所述的方法，其特征在于，针对多目标跟踪应用场景，所述根据所述跟踪策略信息对所述目标对象进行跟踪处理包括：根据所述概率从预先设置的至少两种不同的跟踪策略中选择对应的跟踪策略；其中，所述至少两种不同的跟踪策略包括：由跟踪器对目标对象继续跟踪，和/或，针对当前图像全局检测所述目标对象。5.根据权利要求4所述的方法，其特征在于，所述根据所述跟踪策略信息对所述目标对象进行跟踪处理还包括：在所述选择的跟踪策略为由跟踪器对目标对象继续跟踪的情况下，将所述当前图像的下一个图...

【专利技术属性】
技术研发人员：钟钊，杨子琛，胡扬阳，武伟，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11