视觉目标跟踪方法及系统技术方案

本发明专利技术涉及一种视觉目标跟踪方法及系统，所述视觉目标跟踪方法包括：获取多个历史目标模板及待跟踪目标的当前视频序列的历史位置信息；根据各所述历史目标模板，从所述待跟踪目标的当前视频序列中确定多组目标模板图像及搜索区域；根据目标定位模型，及每组目标模板图像及搜索区域，预测所述目标模板图像在搜索区域中的预测位置信息；基于动作网络模型，根据所述目标模板图像的预测位置信息及所述历史位置信息，确定所述目标模板图像的目标位置预测收益值；比较各个目标模板图像的目标位置预测收益值，确定目标位置预测收益值最大的目标模板图像的预测位置信息，从而能够精准确定待跟踪目标的当前帧图像的预测位置信息。

Visual Target Tracking Method and System

The invention relates to a visual target tracking method and system. The visual target tracking method includes acquiring multiple historical target templates and the historical position information of the current video sequence of the target to be tracked, determining multiple sets of target template images and search areas from the current video sequence of the target to be tracked according to the historical target templates, and locating the target according to the target location model. And each group of target template images and search areas, to predict the predicted position information of the target template image in the search area; based on the action network model, according to the predicted position information and the historical position information of the target template image, to determine the target position predicted revenue value of the target template image; and to compare the target position predicted revenue value of each target template image. In order to accurately determine the predicted position information of the current frame image of the target to be tracked, the predicted position information of the target template image with the largest predicted profit value of the target position is determined.

【技术实现步骤摘要】
视觉目标跟踪方法及系统
本专利技术涉及图像处理
，特别是涉及一种视觉目标跟踪方法及系统。
技术介绍
视觉目标跟踪是计算机视觉中的一个重要的研究方向。在一个视频序列的每一帧中，跟踪算法需要确定待跟踪目标的位置和尺度信息。由于待跟踪物体的表观特征仅由第一帧给定，且跟踪过程中会出现光照变化、尺度变化、遮挡、运动模糊等多种因素影响，因此跟踪算法不仅需要对环境变化具有极强的鲁棒性，而且要对待跟踪目标的表观特征进行有较强判别力的建模。在这种条件下，传统的基于手工特征的目标跟踪算法表现欠佳。近年来，深度学习在计算机视觉的多个方向取得了巨大成功。其中，深度卷积神经网络利用大量训练数据和误差的反向传播算法自动地学习得到具有较强判别力的特征。同时，基于深度神经网络的强化学习算法在复杂环境中展现出了很大的潜力。即深度神经网络不仅可以用于图像的特征提取，而且可以拟合复杂的决策函数。现有的基于深度学习或强化学习的视觉目标跟踪算法尚有以下不足：首先，基于强化学习的目标跟踪算法只能通过多个离散的动作回归跟踪结果，不仅跟踪效率低，而且离散的动作导致跟踪精度较差；其次，已有的基于深度学习的跟踪算法在训练阶段仅仅利用离散的两帧图像进行训练，而没有在连续的视频序列上进行训练，这样会导致跟踪算法的累计误差较大，不能进行长时间的跟踪；最后，这些跟踪算法没有有效的目标模板更新策略，随着跟踪时间的变长，累计误差逐渐增加，最终导致跟踪失败。
技术实现思路
为了解决现有技术中的上述问题，即为了提高目标跟踪精度，本专利技术提供了一种视觉目标跟踪方法及系统。为实现上述目的，本专利技术提供了如下方案：一种视觉目标跟踪方法，所述视觉目标跟踪方法包括：获取多个历史目标模板及待跟踪目标的当前视频序列的历史位置信息；根据各所述历史目标模板，从所述待跟踪目标的当前视频序列中确定多组目标模板图像及搜索区域；根据目标定位模型，及每组目标模板图像及搜索区域，预测所述目标模板图像在搜索区域中的预测位置信息；基于动作网络模型，根据所述目标模板图像的预测位置信息及所述历史位置信息，确定所述目标模板图像的目标位置预测收益值；比较各个目标模板图像的目标位置预测收益值，确定目标位置预测收益值最大的目标模板图像的预测位置信息，用于跟踪待跟踪目标的当前帧图像。可选的，所述视觉目标跟踪方法还包括：根据预测位置信息，从当前帧图像中提取预测目标模板；将预测目标模板替换目标位置预测收益值最小的目标模板图像对应的目标模板，以更新历史目标模板。可选的，所述目标定位模型的构建方法包括：对待跟踪目标的历史视频序列进行目标位置标注，获取待跟踪目标的目标跟踪数据集；根据所述目标跟踪数据集，确定用于训练连体网络的训练数据；对所述训练数据进行连体网络训练，得到目标定位模型。可选的，所述对待跟踪目标的历史视频序列进行目标位置标注，获取待跟踪目标的目标跟踪数据集，具体包括：从所述历史视频序列中提取多帧图像；从每帧图像中确定对应的目标矩形框，每个目标矩形框为包含待跟踪目标的最小矩形框；根据各个目标矩形框，得到目标跟踪数据集；所述目标跟踪数据集包括多对由设定矩形框的左上角坐标信息和右下角坐标信息形成的坐标对。可选的，所述根据所述目标跟踪数据集，确定用于训练连体网络的训练数据，具体包括：根据目标跟踪数据集，确定各个目标矩形框的目标区域和搜索区域；针对每个目标矩形框，以所述搜索区域为基准，在所述目标区域中生成高斯形状的目标响应图；根据所述目标响应图，确定真值样本；所述训练数据包括多个真值样本。可选的，所述对所述训练数据进行连体网络训练，得到目标定位模型，具体包括：针对每个目标矩形框，将目标区域的目标图像和搜索区域的搜索图像进行像素缩放，得到一对缩放后的目标图像和缩放后的搜索图像；将每对缩放后的目标图像和缩放后的搜索图像进行的RGB三通道变化，得到一对彩色图像；分别对该对彩色图像进行减均值操作，得到一对减值彩色图像；对各对减值彩色图像进行深度网络进行训练，得到深度网络输出值；通过损失函数对深度网络输出值和真值样本，计算误差；根据误差，采用反向传播算法，得到目标定位模型；所述目标定位模型根据输入的目标模板图像和搜索区域，确定所述目标模板图像在搜索区域中的预测位置信息。可选的，所述目标定位模型包括两个结构相同、参数共享的第一子网络和一个反卷积第一子网络；两个所述第一子网络的输出端并联连接后与所述反卷积第一子网络的输入端连接；两个所述第一子网络的输出合并后作为所述反卷积第一子网络的输入；所述反卷积第一子网络的输出为预测位置信息，用于表征目标的中心位置和尺度信息。可选的，所述动作网络模型的构建方法包括：根据待跟踪目标的目标跟踪数据集，确定多个短视频序列；每个短视频序列包括多帧位置图像，每帧位置图像包含待跟踪物体的位置信息；根据各所述短视频序列及所述目标定位模型进行网络训练，确定动作网络模型。可选的，所述动作网络模型包括多个权值共享的第二子网络；各所述第二子网络的输入为预测位置信息及多个历史位置信息，输出为目标位置预测收益值。为解决上述技术问题，本专利技术还提供了如下方案：一种视觉目标跟踪系统，所述视觉目标跟踪系统包括：获取单元，用于获取多个历史目标模板及待跟踪目标的当前视频序列的历史位置信息；第一确定单元，用于根据各所述历史目标模板，从所述待跟踪目标的当前视频序列中确定多组目标模板图像及搜索区域；预测单元，用于根据目标定位模型，及每组目标模板图像及搜索区域，预测所述目标模板图像在搜索区域中的预测位置信息；第二确定单元，用于基于动作网络模型，根据所述目标模板图像的预测位置信息及所述历史位置信息，确定所述目标模板图像的目标位置预测收益值；跟踪单元，用于比较各个目标模板图像的目标位置预测收益值，确定目标位置预测收益值最大的目标模板图像的预测位置信息，用于跟踪待跟踪目标的当前帧图像。根据本专利技术的实施例，本专利技术公开了以下技术效果：本专利技术基于目标定位模型及动作网络模型，可根据历史目标模板及历史位置信息，得到多个预测位置信息，进而确定对应的目标位置预测收益值，通过比较目标位置预测收益值大小，从而能够精准确定待跟踪目标的当前帧图像的预测位置信息。附图说明图1为本专利技术视觉目标跟踪方法的流程图；图2为本专利技术视觉目标跟踪方法的实施例示意图；图3a为卷积模块结构示意图；图3b为反卷积模块结构示意图；图4为目标定位模型的结构示意图；图5为本专利技术视觉目标跟踪系统的模块结构示意图。符号说明：获取单元—1，第一确定单元—2，预测单元—3，第二确定单元—4，跟踪单元—5。具体实施方式下面参照附图来描述本专利技术的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。本专利技术提供一种视觉目标跟踪方法，基于目标定位模型及动作网络模型，可根据历史目标模板及历史位置信息，得到多个预测位置信息，进而确定对应的目标位置预测收益值，通过比较目标位置预测收益值大小，从而能够精准确定待跟踪目标的当前帧图像的预测位置信息。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。如图1及图2所示，本专利技术视觉目标跟踪方法包括：步骤100：获取多个历史目标模板及待跟踪目标的当前视频序列的历史本文档来自技高网...

【技术保护点】
1.一种视觉目标跟踪方法，其特征在于，所述视觉目标跟踪方法包括：获取多个历史目标模板及待跟踪目标的当前视频序列的历史位置信息；根据各所述历史目标模板，从所述待跟踪目标的当前视频序列中确定多组目标模板图像及搜索区域；根据目标定位模型，及每组目标模板图像及搜索区域，预测所述目标模板图像在搜索区域中的预测位置信息；基于动作网络模型，根据所述目标模板图像的预测位置信息及所述历史位置信息，确定所述目标模板图像的目标位置预测收益值；比较各个目标模板图像的目标位置预测收益值，确定目标位置预测收益值最大的目标模板图像的预测位置信息，用于跟踪待跟踪目标的当前帧图像。

【技术特征摘要】
1.一种视觉目标跟踪方法，其特征在于，所述视觉目标跟踪方法包括：获取多个历史目标模板及待跟踪目标的当前视频序列的历史位置信息；根据各所述历史目标模板，从所述待跟踪目标的当前视频序列中确定多组目标模板图像及搜索区域；根据目标定位模型，及每组目标模板图像及搜索区域，预测所述目标模板图像在搜索区域中的预测位置信息；基于动作网络模型，根据所述目标模板图像的预测位置信息及所述历史位置信息，确定所述目标模板图像的目标位置预测收益值；比较各个目标模板图像的目标位置预测收益值，确定目标位置预测收益值最大的目标模板图像的预测位置信息，用于跟踪待跟踪目标的当前帧图像。2.根据权利要求1所述的视觉目标跟踪方法，其特征在于，所述视觉目标跟踪方法还包括：根据预测位置信息，从当前帧图像中提取预测目标模板；将预测目标模板替换目标位置预测收益值最小的目标模板图像对应的目标模板，以更新历史目标模板。3.根据权利要求1所述的视觉目标跟踪方法，其特征在于，所述目标定位模型的构建方法包括：对待跟踪目标的历史视频序列进行目标位置标注，获取待跟踪目标的目标跟踪数据集；根据所述目标跟踪数据集，确定用于训练连体网络的训练数据；对所述训练数据进行连体网络训练，得到目标定位模型。4.根据权利要求3所述的视觉目标跟踪方法，其特征在于，所述对待跟踪目标的历史视频序列进行目标位置标注，获取待跟踪目标的目标跟踪数据集，具体包括：从所述历史视频序列中提取多帧图像；从每帧图像中确定对应的目标矩形框，每个目标矩形框为包含待跟踪目标的最小矩形框；根据各个目标矩形框，得到目标跟踪数据集；所述目标跟踪数据集包括多对由设定矩形框的左上角坐标信息和右下角坐标信息形成的坐标对。5.根据权利要求4所述的视觉目标跟踪方法，其特征在于，所述根据所述目标跟踪数据集，确定用于训练连体网络的训练数据，具体包括：根据目标跟踪数据集，确定各个目标矩形框的目标区域和搜索区域；针对每个目标矩形框，以所述搜索区域为基准，在所述目标区域中生成高斯形状的目标响应图；根据所述目标响应图，确定真值样本；所述训练数据包括多个真值样本。6.根据权利要求5所述的视觉目标跟踪方法，其特征在于，所述对所述训练数据进行连体网络训练，得到目标定位模型，具体包括：针对每个目标矩形框，将目标区域的目标图像和...

【专利技术属性】
技术研发人员：王金桥，赵飞，唐明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11