一种基于生成对抗的目标跟踪方法技术

本发明专利技术公开了一种基于生成对抗的目标跟踪方法，包括如下步骤：步骤1：搭建基于生成对抗的目标跟踪网络；特征提取网络用于提取输入图像的深度特征，然后将提取出的图像特征矩阵输入二分类网络；同时，将上一帧计算出的目标坐标作为当前帧目标特征矩阵所在位置，将目标特征矩阵输入掩膜生成网络；步骤2：基于锚点生成掩膜来修改图像；步骤3：训练基于尺度自适应对抗式训练的目标跟踪网络；步骤4：实施目标跟踪；该方法可以有效提高目标跟踪的准确性和鲁棒性。

【技术实现步骤摘要】
一种基于生成对抗的目标跟踪方法
本专利技术涉及计算机视觉的图像处理领域，尤其涉及一种基于生成对抗的目标跟踪方法。
技术介绍
现代目标跟踪(ObjectTracking)算法分为两类。一类基于相关滤波(CorrelationFilter)，该目标跟踪算法利用循环相关的属性并在傅立叶域中执行运算来训练回归器，它可以进行在线跟踪并同时有效地更新过滤器的权重。另一类基于强大的深度学习网络(DeepLearningNetwork)，第一阶段绘制目标对象周围的稀疏样本集，第二阶段使用卷积神经网络将每个样本分类为目标对象或背景。这些基于深度学习的目标跟踪算法在跟踪基准上具有良好的表现，但它们的效率在跟踪框架的第一阶段受到了限制。原始图像中的样本通常作为深度卷积网络的输入，并且每个原始图像样本都需要由深度神经网络进行学习和推理，这会导致较高的计算负担和较低的运行速度。而随机进行采样得到的样本中存在大量的易分样本和少量的难分样本，这会导致训练时网络参数越来越拟合于跟踪易分样本，而跟踪算法的丢失几乎全部出现在跟踪难分样本时。所以在目标跟踪第一阶段提供更多高质量的正样本，从而提高深度学习目标跟踪算法的学习效率非常重要。早期的正样本增强主要采用以下技术。使用上采样技术和下采样技术，解决易分样本与难分样本分布不均的问题；随机选择图像的某个区域，将该区域所有像素值变为马赛克，来提高难分样本的数量；将图像旋转90度、180度、270度，或将图像水平翻转、竖直翻转，来增加样本的数量。2018年，SINT++目标跟踪算法将生成对抗网络(GenerativeAdversarialNetwork)加入目标跟踪算法中。该方法利用生成网络编码目标图像的高维流形(High-dimensionalmanifoldtopology)特征，来生成与目标图像特征相似的图片，同时用判别器来使生成图像与真实图像特征相似。这种方法可以生成大量与目标特征相似的正样本图像，为目标跟踪网络的训练提供了大量的正样本，提高了网络的跟踪效果。在目标跟踪网络的跟踪过程中，更多的正样本可以提高它的跟踪效果，但同时也会降低它的运行速度。利用生成对抗网络，可以约束正样本生成过程中的随机性，提高生成的正样本的质量。因此需要基于生成对抗网络，研究生成高质量正样本的方法，使目标跟踪网络在正样本较少的条件下达到更佳的跟踪效果。
技术实现思路
本专利技术的目的在于提出一种基于生成对抗的目标跟踪方法，适合对部分图像特征缺失、变化的目标进行稳定的跟踪。针对目标跟踪算法训练过程中目标样本尺度变化，缺少难分样本等问题，结合生成对抗网络，使用基于锚点的掩膜生成方法对图像进行特征更改，进而提高跟踪器对目标的非鲁棒特征的学习能力，提高跟踪器的跟踪准确度，具有跟踪精度高、鲁棒性强等优点。本专利技术采用如下技术方案：一种基于生成对抗的目标跟踪方法，包括如下步骤：步骤1：搭建基于生成对抗的目标跟踪网络；步骤2：基于锚点生成掩膜来修改图像；步骤3：训练基于尺度自适应对抗式训练的目标跟踪网络；步骤4：实施目标跟踪；在所述目标跟踪网络的搭建引入掩膜生成网络过程：特征提取网络用于提取输入图像的深度特征，然后将提取出的图像特征矩阵输入二分类网络；同时，将上一帧计算出的目标坐标作为当前帧目标特征矩阵所在位置，将目标特征矩阵输入掩膜生成网络；所述掩膜生成网络将输出一个被改变的目标特征矩阵，用被改变的目标特征矩阵替代图像特征矩阵中之前的目标矩阵部分，然后将新的图像特征矩阵输入二分类网络。所述二分类网络用于计算出目标坐标，该网络首先根据前一帧的跟踪框坐标，在以该框为中心的一定范围内生成大量的样本框，然后根据每个样本框中的图像特征矩阵，计算出每个框的分类概率，将分类概率最高的样本框作为目标的位置并输出。所述步骤3中训练基于尺度自适应对抗式训练的目标跟踪网络步骤如下：S1、构建数据集，将数据集划分为训练集和测试集；S2、初始化目标跟踪网络:不引入掩膜生成网络，直接将特征提取网络与二分类网络相连组成目标跟踪网络，利用训练集和分类损失函数训练网络，训练至f1次迭代以上且分类损失函数值在p次迭代内最大值与最小值相差小于h。S3、训练掩膜生成网络：在上一步得到的网络中引入掩膜生成网络，固定目标跟踪网络中的参数，将基于锚点生成掩膜修改的9张图像输入二分类网络进行推理，然后选择输出的概率最低的有掩膜图像作为标签M；利用训练集和生成损失函数训练掩膜生成网络，训练至f2次迭代以上且生成损失函数值在p次迭代内最大值与最小值相差小于h；S4、训练基于生成对抗的目标跟踪网络：固定掩膜生成网络的参数，并使用掩膜生成网络修改目标特征矩阵；用修改后的图像特征矩阵和对抗损失函数训练基于生成对抗的目标跟踪网络中，训练至f3次迭代以上且对抗损失函数值在p次迭代内最大值与最小值相差小于h；S5.重复S1步到S4步，训练多个基于生成对抗的目标跟踪网络，用测试集比较网络输出的坐标与真实坐标间的平均欧式距离，选择平均欧式距离最低的网络实施目标跟踪。所述步骤4中实施目标跟踪过程：S1、将第一帧的跟踪图像和目标位置标签输入跟踪网络，利用分类损失函数更新二分类网络的全连接层；S2、利用掩膜生成网络生成大量目标特征矩阵被修改的图像，利用修改过的图像和分类损失函数更新二分类网络的全连接层，迭代50次。S3、然后输入需要跟踪的后续图像到目标跟踪网络，跟踪网络将输出目标的坐标，以此对目标物体进行准确、鲁棒的跟踪定位。所述目标跟踪网络共设置损失函数3个损失函数，分别为：分类损失函数、生成损失函数和对抗损失函数；其中：分类损失函数用于训练二分类网络，生成损失函数和对抗损失函数用于训练掩膜生成网络；所述生成损失函数被定义为：LG＝D(G(C)·C)·log(1-D(G(C)·C))+λ||G(C)-M||2所述对抗损失函数被定义为：LD＝-logD(M·C)-D(G(C)·C)·log(1-D(G(C)·C))其中，G为掩膜生成网络，D为只包含特征提取网络和二分类网络的目标跟踪网络；G(C)为掩膜生成网络生成的掩膜矩阵，G(C)·C为被掩膜生成网络修改的目标特征矩阵；D(M·C)为跟踪网络对被锚点生成的掩膜矩阵修改的目标特征矩阵推理得到的概率，D(G(C)·C)为跟踪网络对被掩膜生成网络修改的目标特征矩阵推理得到的概率；M为基于锚点生成的掩膜矩阵，M·C为被锚点掩膜修改的目标特征矩阵，||G(C)-M||为两个掩膜矩阵间的欧氏距离。所述掩膜生成网络由反卷积层、卷积层和全连接层组成，所述掩膜生成网络是通过输入图像特征矩阵中的目标特征矩阵生成一个代表权重的矩阵，用于改变目标特征矩阵的一部分特征值。有益效果利用本专利技术提出的了一种基于生成对抗的目标跟踪方法，引入生成对抗网络、基于锚点的掩膜生成方法，对训练图像中的正样本进行增强，提高跟踪器对目标的非鲁棒特征的跟踪能力。该方法可以有效提高本文档来自技高网...

【技术保护点】
1.一种基于生成对抗的目标跟踪方法，包括如下步骤：/n步骤1：搭建基于生成对抗的目标跟踪网络；/n步骤2：基于锚点生成掩膜来修改图像；/n步骤3：训练基于尺度自适应对抗式训练的目标跟踪网络；/n步骤4：实施目标跟踪；/n其特征在于，在所述目标跟踪网络的搭建引入掩膜生成网络过程：/n特征提取网络用于提取输入图像的深度特征，然后将提取出的图像特征矩阵输入二分类网络；同时，将上一帧计算出的目标坐标作为当前帧目标特征矩阵所在位置，将目标特征矩阵输入掩膜生成网络；/n所述掩膜生成网络将输出一个被改变的目标特征矩阵，用被改变的目标特征矩阵替代图像特征矩阵中之前的目标矩阵部分，然后将新的图像特征矩阵输入二分类网络。/n所述二分类网络用于计算出目标坐标，该网络首先根据前一帧的跟踪框坐标，在以该框为中心的一定范围内生成大量的样本框，然后根据每个样本框中的图像特征矩阵，计算出每个框的分类概率，将分类概率最高的样本框作为目标的位置并输出。/n

【技术特征摘要】
1.一种基于生成对抗的目标跟踪方法，包括如下步骤：
步骤1：搭建基于生成对抗的目标跟踪网络；
步骤2：基于锚点生成掩膜来修改图像；
步骤3：训练基于尺度自适应对抗式训练的目标跟踪网络；
步骤4：实施目标跟踪；
其特征在于，在所述目标跟踪网络的搭建引入掩膜生成网络过程：
特征提取网络用于提取输入图像的深度特征，然后将提取出的图像特征矩阵输入二分类网络；同时，将上一帧计算出的目标坐标作为当前帧目标特征矩阵所在位置，将目标特征矩阵输入掩膜生成网络；
所述掩膜生成网络将输出一个被改变的目标特征矩阵，用被改变的目标特征矩阵替代图像特征矩阵中之前的目标矩阵部分，然后将新的图像特征矩阵输入二分类网络。
所述二分类网络用于计算出目标坐标，该网络首先根据前一帧的跟踪框坐标，在以该框为中心的一定范围内生成大量的样本框，然后根据每个样本框中的图像特征矩阵，计算出每个框的分类概率，将分类概率最高的样本框作为目标的位置并输出。


2.根据权利要求1所述的一种基于生成对抗的目标跟踪方法，其特征在于,所述步骤3中训练基于尺度自适应对抗式训练的目标跟踪网络步骤如下：
S1、构建数据集，将数据集划分为训练集和测试集；
S2、初始化目标跟踪网络:不引入掩膜生成网络，直接将特征提取网络与二分类网络相连组成目标跟踪网络，利用训练集和分类损失函数训练网络，训练至f1次迭代以上且分类损失函数值在p次迭代内最大值与最小值相差小于h。
S3、训练掩膜生成网络：在上一步得到的网络中引入掩膜生成网络，固定目标跟踪网络中的参数，将基于锚点生成掩膜修改的9张图像输入二分类网络进行推理，然后选择输出的概率最低的有掩膜图像作为标签M；利用训练集和生成损失函数训练掩膜生成网络，训练至f2次迭代以上且生成损失函数值在p次迭代内最大值与最小值相差小于h；
S4、训练基于生成对抗的目标跟踪网络：固定掩膜生成网络的参数，并使用掩膜生成网络修改目标特征矩阵；用修改后的图像特征矩阵和对抗损失函数训练基于生成对抗的目标跟踪网络中，训练至f3次迭代以上且对抗损失函数值在p次迭代内最大值与最小值相差小于h；
...

【专利技术属性】
技术研发人员：史再峰，孙诚，罗韬，樊强强，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12