一种面向图像序列的视觉目标跟踪方法及系统技术方案

本发明专利技术公开了一种面向图像序列的视觉目标跟踪方法及系统，其中视觉目标跟踪方法包括以下步骤，利用给定的初始化图像和待跟踪目标矩形框，训练用于目标跟踪的卷积回归模型；利用训练得到的卷积回归模型预测目标的位置；在目标位置预测结果的基础上，进一步预测目标的大小；根据跟踪得到目标的位置和大小，更新卷积回归模型。本发明专利技术，涉及目标整体回归模型训练、目标纹理回归模型训练、目标位置预测、目标大小预测、跟踪模型更新等技术，能够充分克服跟踪场景中各种环境因素的干扰，实现对目标位置和大小的准确预测，具有较高的商业价值和研究意义。

A visual object tracking method and system for image sequences

The invention discloses a visual target tracking method and system oriented to image sequence, in which the visual target tracking method includes the following steps: training convolution regression model for target tracking by using given initialization image and rectangular frame of target to be tracked; predicting target position by using convolution regression model obtained from training On the basis of the result of target position prediction, the size of target is further predicted, and the convolution regression model is updated according to the location and size of target. The present invention relates to the techniques of target whole regression model training, target texture regression model training, target position prediction, target size prediction, tracking model updating, etc. It can fully overcome the interference of various environmental factors in tracking scene, realize accurate prediction of target position and size, and has high commercial value. Research significance.

【技术实现步骤摘要】
一种面向图像序列的视觉目标跟踪方法及系统
本专利技术涉及计算机视觉
，具体涉及一种面向图像序列的视觉目标跟踪方法及系统。
技术介绍
在计算机视觉领域中，通常需要利用智能算法自动识别和分析视频信息，从而实现对设备的智能化控制。基于视觉图像序列的目标跟踪算法能够充分利用现有的面向单幅图像的目标检测算法，快速可靠地追踪目标在视频中的运动轨迹，为理解和分析视频提高了技术支撑。随着工业生产规模的迅速扩大，工业产品生产过程中的自动化和智能化程度也需要不断提高。例如在视频监控系统中，需要智能算法自动识别和检测视频中出现的异常事件。而视觉目标跟踪算法能够自动地跟踪视频中每一个目标，并得到目标的运动轨迹，为分析和理解视频中的异常事件提供了关键的技术手段。但是传统的视觉目标跟踪算法还存在以下缺陷：(1)对于目标的大小无法很好地预测，特别是当目标发生明显的变形时，传统跟踪算法无法准确的预测目标大小，导致后续的跟踪中丢失目标，无法为视频分析理解提供可靠的底层信息。(2)在多种环境因素的干扰下不能准确、可靠的进行目标跟踪。有鉴于此，急需对现有的视觉目标跟踪算法进行改进，提出一种能够克服多种环境因素干扰，并准确预测目标位置和大小的视觉目标跟踪算法。
技术实现思路
本专利技术所要解决的技术问题是现有的视觉目标跟踪算法存在无法预测目标的位置和大小，以及跟踪过程容易受到环境的干扰，不能准确可靠进行目标跟踪的问题。为了解决上述技术问题，本专利技术所采用的技术方案是提供一种面向图像序列的视觉目标跟踪的技术方法，包括以下步骤：利用给定的初始化图像和待跟踪目标矩形框，训练用于目标跟踪的卷积回归模型；利用训练得到的卷积回归模型预测目标的位置；在目标位置预测结果的基础上，进一步预测目标的大小；根据跟踪得到目标的位置和大小，更新卷积回归模型。在上述方案中，训练卷积回归模型的方法包括以下步骤：步骤10，构建用于表达目标形貌特性的特征提取网络，该网络可以基于任意用于表达目标信息的特征提取方法实现；步骤11，利用步骤10中的特征提取网络提取当前输入图像对应的特征；步骤12，构建基于单个卷积网络层实现，且面向目标整体的卷积回归模型，该卷积层的卷积核大小与目标在特征空间的大小一致，同时卷积层网络的输出通道为1，该卷积层网络的输出可以用来预测目标的位置；步骤13，基于步骤11中提取的特征，生成对应的训练标记图，该训练标记图依据一个二维高斯函数生成，其峰值对应了目标真实的位置，利用梯度下降算法迭代优化步骤12中的单个卷积层；步骤14，构建基于单个卷积网络层实现，且面向目标纹理的卷积回归模型，该卷积层的卷积核大小与目标在特征空间的大小一致，同时卷积层网络的输出通道为1，该卷积层网络的输出可以用来预测目标的前景；步骤15，基于步骤11中提取的特征，生成对应的训练标记图，该标记图中用一个矩形框标识了目标的前景，该利用梯度下降算法迭代优化步骤12中的单个卷积层；步骤16，卷积回归模型初始训练结束。在上述方案中，目标位置预测方法具体包括了以下步骤：步骤20，利用步骤10中构建的特征提取网络，提取当前输入图像对应的特征，为后续的目标跟踪做准备；步骤21，将步骤20中得到的图像特征输入步骤12中得到的面向目标整体的卷积回归网络，计算得到基于目标整体回归模型的目标位置预测图H(xt,yt)；步骤22，将步骤20中得到的图像特征输入步骤14中得到的面向目标纹理的卷积回归网络，计算得到基于目标纹理回归模型的目标前景预测图T(xt,yt)；步骤23，在步骤22中得到的目标前景预测图上进行均值滤波操作，滤波模板的大小与目标的大小一致，计算得到基于目标前景的目标位置预测图F(xt,yt)；步骤24，将步骤21和步骤23中得到的两种目标位置预测图叠加在一起，得到最终的目标位置预测图，并根据位置预测图中的最大值对应的索引预测目标位置，计算公式为：在上述方案中，所述步骤23中基于目标前景的目标位置预测图F(xt,yt)的计算公式为：其中wt-1和ht-1分别标识在上一帧跟踪中得到的目标大小，R(xt,yt,wt-1,ht-1)表示坐标为(xt,yt)，大小为wt-1,ht-1的矩形框。T(i,j)代表在目标纹理回归模型的目标前景预测图的矩形框内每个像素点所对应的值，i，j为矩形框内的像素点在上述方案中，目标大小预测方法的包括以下步骤：步骤30，利用步骤10中构建的特征提取网络，提取当前输入图像对应的特征，为后续的目标跟踪做准备；步骤31，将步骤30中得到的图像特征输入步骤14中得到的面向目标纹理的卷积回归网络，计算得到基于目标纹理回归模型的目标前景预测图T(xt,yt)；步骤32，得到当前目标的位置xt,yt并且已知目标在上一帧中的大小wt,ht后，计算目标大小为wt,ht的后验概率；步骤33，重复利用步骤32中的方法计算多个目标候选大小对应的后验概率，选择后验概率最大的目标大小作为最终的目标大小预测值；步骤34，目标大小预测结束。在上述方案中，所述步骤32中目标大小为wt,ht的后验概率的计算公式为：P(wt,ht|O,xt,yt,wt-1,ht-1)＝P(O|xt,yt,wt,ht)P(wt,ht|wt-1,ht-1)，其中P(O|xt,yt,wt,ht)表示目标的位置和大小状态为(xt,yt,wt,ht)的概率，P(O|xt,yt,wt,ht)P(wt,ht|wt-1,ht-1)表示相邻两帧之间目标大小状态转移概率，P(O|xt,yt,wt,ht)＝A(wt,ht)-B(wt,ht)，其中A(wt,ht)表示候选目标矩形框(xt,yt,wt,ht)上的平均目标前景概率，B(wt,ht)表示目标矩形框(xt,yt,wt,ht)周围背景区域的平均目标前景概率。在上述方案中，更新卷积回归模型包括以下步骤：步骤40，根据已经预测得到的目标位置，生成用于训练面向目标整体的卷积回归模型的标记图，并利用梯度下降方法更新步骤12中的单卷积层网络参数；步骤41，根据已经预测得到的目标大小，生成用于训练面向目标纹理的卷积回归模型的标记图，并利用梯度下降方法更新步骤14中的单卷积层网络参数；步骤42，卷积回归模型更新结束。本专利技术还提供了一种面向图像序列的视觉目标跟踪系统，包括：训练模块，训练用于目标跟踪的卷积回归模型；目标位置预测模块，利用训练得到的卷积回归模型预测目标的位置；目标大小预测模块，在目标位置预测结果的基础上，进一步预测目标的大小；更新模块，根据跟踪得到目标的位置和大小，更新卷积回归模型。与现有技术相比，本专利技术涉及目标整体回归模型训练、目标纹理回归模型训练、目标位置预测、目标大小预测、跟踪模型更新等技术，能够充分克服跟踪场景中各种环境因素的干扰，实现对目标位置和大小的准确预测，具有较高的商业价值和研究意义。附图说明图1为本专利技术位本专利技术的流程示意图；图2为本专利技术的输入初始帧图像；图3为本专利技术的卷积回归模型训练流程示意图；图4是本专利技术的整体回归模型示意图；图5是本专利技术的纹理回归模型示意图；图6为本专利技术的目标位置预测流程示意图；图7是本专利技术的基于整体回归模型的目标位置预测图；图8是本专利技术的基于纹理回归模型的目标前景预测图；图9是本专利技术的基于纹理回归模型的目标位置预测图；图10为本专利技术的目标大小预测流本文档来自技高网...

【技术保护点】
1.一种面向图像序列的视觉目标跟踪的技术方法，其特征在于，包括以下步骤：利用给定的初始化图像和待跟踪目标矩形框，训练用于目标跟踪的卷积回归模型；利用训练得到的卷积回归模型预测目标的位置；在目标位置预测结果的基础上，进一步预测目标的大小；根据跟踪得到目标的位置和大小，更新卷积回归模型。

【技术特征摘要】
1.一种面向图像序列的视觉目标跟踪的技术方法，其特征在于，包括以下步骤：利用给定的初始化图像和待跟踪目标矩形框，训练用于目标跟踪的卷积回归模型；利用训练得到的卷积回归模型预测目标的位置；在目标位置预测结果的基础上，进一步预测目标的大小；根据跟踪得到目标的位置和大小，更新卷积回归模型。2.根据权利要求1所述的一种面向图像序列的视觉目标跟踪的技术方法，其特征在于，训练卷积回归模型的方法包括以下步骤：步骤10，构建用于表达目标形貌特性的特征提取网络，该网络可以基于任意用于表达目标信息的特征提取方法实现；步骤11，利用步骤10中的特征提取网络提取当前输入图像对应的特征；步骤12，构建基于单个卷积网络层实现，且面向目标整体的卷积回归模型，该卷积层的卷积核大小与目标在特征空间的大小一致，同时卷积层网络的输出通道为1，该卷积层网络的输出可以用来预测目标的位置；步骤13，基于步骤11中提取的特征，生成对应的训练标记图，该训练标记图依据一个二维高斯函数生成，其峰值对应了目标真实的位置，利用梯度下降算法迭代优化步骤12中的单个卷积层；步骤14，构建基于单个卷积网络层实现，且面向目标纹理的卷积回归模型，该卷积层的卷积核大小与目标在特征空间的大小一致，同时卷积层网络的输出通道为1，该卷积层网络的输出可以用来预测目标的前景；步骤15，基于步骤11中提取的特征，生成对应的训练标记图，该标记图中用一个矩形框标识了目标的前景，该利用梯度下降算法迭代优化步骤12中的单个卷积层；步骤16，卷积回归模型初始训练结束。3.根据权利要求,2所述的一种面向图像序列的视觉目标跟踪的技术方法，其特征在于，目标位置预测方法具体包括了以下步骤：步骤20，利用步骤10中构建的特征提取网络，提取当前输入图像对应的特征，为后续的目标跟踪做准备；步骤21，将步骤20中得到的图像特征输入步骤12中得到的面向目标整体的卷积回归网络，计算得到基于目标整体回归模型的目标位置预测图H(xt,yt)；步骤22，将步骤20中得到的图像特征输入步骤14中得到的面向目标纹理的卷积回归网络，计算得到基于目标纹理回归模型的目标前景预测图T(xt,yt)；步骤23，在步骤22中得到的目标前景预测图上进行均值滤波操作，滤波模板的大小与目标的大小一致，计算得到基于目标前景的目标位置预测图F(xt,yt)；步骤24，将步骤21和步骤23中得到的两种目标位置预测图叠加在一起，得到最终的目标位置预测图，并根据位置预测图中的最大值对应的索引预测目标位置，计算公式为：4.根据权利要求3所述的一种面向图像序列的视觉目标跟踪的技术方法，其特征在于，所述步骤23中基于目标前景的目标位置预测图F(xt,yt)的计算公式为：其中wt-1和h...

【专利技术属性】
技术研发人员：刘李漫，刘佳，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：湖北,42