基于形变样本生成网络的目标跟踪算法制造技术

基于形变样本生成网络的目标跟踪算法，利用卷积神经需要大数据集训练的特性，提出一种形变生成对抗网络，来增加训练的形变样本，从而使得跟踪器更好地分辨形变目标，达到较高的准确度和鲁棒性，该跟踪器能适应多种场景，有着广泛的应用前景。

Target tracking algorithm based on deformation sample generation network

【技术实现步骤摘要】
基于形变样本生成网络的目标跟踪算法
本专利技术属于计算机视觉的目标跟踪领域，更具体地，涉及一种深度学习方法来对形变目标自适应的目标跟踪算法即基于形变样本生成网络的目标跟踪算法。
技术介绍
随着计算机网络、信息存储技术、成像技术、计算机处理能力和数字通信等相关科学的迅速发展，使得现实世界的信息可以通过计算机视觉系统将其转变为计算机可以处理的数字信息。一个典型的计算机视觉系统一般分为目标检测、目标跟踪、目标行为识别和目标行为分析这四个步骤。其中目标跟踪是其中一个十分重要的研究方向，并且被应用于多个领域中，如：无人驾驶，人机交互和视频监控等方面。目前常用的目标跟踪算法主要分为两类：生成式和判别式目标跟踪算法。生成式目标跟踪算法是指利用上一帧得到的信息，在视频的下一帧，通过匹配的方法，来选择与目标最相似的候选样本，相似度最高的最为本帧跟踪的目标。判别式方法可以看做是一个二分类问题，即将目标与背景信息分开，从而获得我们要跟踪的目标物体。Henriques等人利用了核相关滤波器（KCF）实现了一个很好的跟踪性能；Bolme等人利用最小输出误差平方和（MOSSE）方法在实现较好的跟踪的特征的时候也实现了很快的跟踪速度。但是这些方法利用的都是一些低层次的手工特征，会造成目标特征提取不充分的情况。深度学习的出现解决了这个问题。Krizhevsky等人利用在大数据集上训练好的深层卷积神经网络实现了优异的跟踪性能。MDNet等方法利用视频序列去训练卷积神经网络，取得了很明显的进步，然而目标跟踪领域依然有很多难以克服的困难，如：遮挡，形变，光照变化等，这些挑战在大数据集和视频序列中出现的频率并不是很高，我们没有充分的困难样本去训练卷积神经网络，从而获得更好的性能。因此，增加训练样本，这是目前需要我们解决的问题之一。
技术实现思路
为了解决现有技术存在的问题，本专利技术提出一种基于形变样本生成网络的目标跟踪算法，利用卷积神经需要大数据集训练的特性，提出一种形变生成对抗网络，来增加训练的形变样本，从而使得跟踪器更好地分辨形变目标，达到较高的准确度和鲁棒性，该跟踪器能适应多种场景，有着广泛的应用前景。该跟踪器由三部分组成，第一部分是利用三层卷积层形成的特征提取网络，主要用来提取目标的特征，第二部分是形变样本生成网络，这一部分主要是利用生成对抗的思想，将第一部分得到的特征图进行形变，从而使得分类器更加难判断，从而训练分类器的性能。第三部分是分类器，主要是利用全连接层对目标和本经来进行分类，最后得到想要跟踪的目标的位置。基于形变样本生成网络的目标跟踪算法，主要分为训练部分和测试部分：1、训练过程如下：（1）特征提取在特征提取部分，我们采用了VGG-M网络，采用三层卷积层对输入的视频帧提取特征图，输入图片的大小为107×107（单位为像素）。在此次的算法中，对于负样本的筛选要处理应用了难例挖掘的思想。在跟踪检测中，大多数的负样本通常是冗余的，只有很少的具有代表性的负样本是对于训练跟踪器有用的。对于平常的随机梯度下降方法，很容易造成跟踪器的漂移问题。对于解决这个问题，最常用的就是难例挖掘的思想。（2）形变样本生成（这一部分内容是想要申请保护的创新性内容部分）利用前三层卷积层生成目标的特征图，输入到我们提出的形变样本生成网络(DSGN)。形变样本生成网络的主体是由三部分组成，第一部分是三层全连接层。用于生成形变样本参数，第二部分是网格生成器，主要用于将生成的形变样本参数生成网格；第三部分是采样器，用于将生成的网格与输入的特征图结合，从而生成形变样本。这一部分训练主要是训练三个全连接层，利用与最后分类器相反的损失函数（loss），对这一部分网络进行训练。分类器损失函数为：其中，y为真值，X为输入图片的特征图，f(x)为分类器的输入。那么，形变样本生成网络这一部分的训练loss为：具体做法为：交替训练形变样本生成网络和分类器，将最后训练分类器的loss的负数作为训练形变样本生成网络的loss，这样的目的是当形变样本生成网络生成的形变样本容易被分类器分类时，分类器会产生一个较小的loss，传给形变生成网络时为-loss,此时会对形变样本生成网络产生一个较大的loss，从而令形变样本生成网络生成更难分辨的形变样本，当更难分辨的形变样本传到分类器时，会令分类器产生一个较大的loss，此时形变样本生成网络的loss就会变小（因为这一部分loss为分类器loss的负数）。依据这个过程进行对抗交替训练，从而训练出更好性能的分类器。（3）边界框回归模型采用边界框回归技术，用来修正跟踪的边界框的位置，从而提高目标位置的精度。在测试序列中，此模型只在第一帧的时候被训练。当给定第一帧，使用三层卷积网络来训练一个简单的线性回归模型来预测目标的位置。在随后的视频序列的每一帧中，我们使用回归模型来调整目标的边界框的位置。（4）长短更新策略在跟踪过程当中，跟踪的目标有可能出现丢失的情况，针对这一情况，采用长短更新策略。长期更新策略采用的是有规律的间隔。在跟踪目标的时候，一旦发现我们跟丢了，就使用短期的跟新策略，在短期跟新策略中，用于更新网络的正样本还是这一段时间内采集到的正样本；而当长期处于丢失跟踪目标的情况下，我们将一段时间内收集到的正样本用来重新更新网络。两个更新策略中所使用的负样本都使用的短期更新模型中所收集到的负样本。我们规定和是两个帧索引集，短期设定为=20,长期设定为=100。采用这一个策略的目的就是使得样本可以保持为最“新鲜”的，这样对于跟踪结果更有利。2、测试过程在模型训练好了之后，我们将加入的形变样本生成网络模块去除，将剩下的特征提取模块和分类模块作为我们的测试网络：将训练好的网络的参数导入到测试网络中，然后将测试视频序列输入网络，开始测试。边界框回归技术和长短根性策略与训练部分一样。我们利用最后分类器输出的分类分数来判断哪一个候选样本是我们要跟踪的目标，跟踪目标判断公式如下：其中，为要跟踪的目标（即得分最高的候选样本块），为分类器判断候选正样本得分的函数，为第i个候选样本。选择得分最高的候选样本作为要跟踪的目标。在线跟踪算法如下：在线更新算法输入：预训练CNN的滤波器权重初始化目标的状态输出：估计目标的状态（t表示第t帧）1.随机初始化最后一层全连层的权重2.利用第一帧图片训练一个边界框回归模型3.抽取正样本和负样本4.使用抽取出的正样本和负样本来更新全连接层的权重5.设置长短帧索引集更新初始值：和6.重复抽取目标的候选样本（i表示第t帧的第i个候选样本）通过公式（3）找到最优的目标的状态使用边界框回归模型来调整预测的目标的位置如果分类器输出的正样本分类分数，然后使用短期模型中的正样本和负样本来更新权重其他情况使用短期本文档来自技高网...

【技术保护点】
1.基于形变样本生成网络的目标跟踪算法，其特征在于：具体方案如下：/n训练过程如下：/n（1）特征提取/n在特征提取部分，采用VGG-M网络，采用三层卷积层对输入的视频帧提取特征图，输入图片的大小为107×107（单位为像素）；/n（2）形变样本生成/n利用前三层卷积层生成目标的特征图，输入到形变样本生成网络(DSGN)；/n形变样本生成网络的主体是由三部分组成，第一部分是三层全连接层，用于生成形变样本参数；第二部分是网格生成器，主要用于将生成的形变样本参数生成网格；第三部分是采样器，用于将生成的网格与输入的特征图结合，从而生成形变样本；/n利用与最后分类器相反的损失函数（loss），对网络进行训练；/n分类器损失函数为：/n

【技术特征摘要】
1.基于形变样本生成网络的目标跟踪算法，其特征在于：具体方案如下：
训练过程如下：
（1）特征提取
在特征提取部分，采用VGG-M网络，采用三层卷积层对输入的视频帧提取特征图，输入图片的大小为107×107（单位为像素）；
（2）形变样本生成
利用前三层卷积层生成目标的特征图，输入到形变样本生成网络(DSGN)；
形变样本生成网络的主体是由三部分组成，第一部分是三层全连接层，用于生成形变样本参数；第二部分是网格生成器，主要用于将生成的形变样本参数生成网格；第三部分是采样器，用于将生成的网格与输入的特征图结合，从而生成形变样本；
利用与最后分类器相反的损失函数（loss），对网络进行训练；
分类器损失函数为：



其中，y为真值，X为输入图片的特征图，f(x)为分类器的输入；
形变样本生成网络这一部分的训练loss为：



具体做法为：交替训练形变样本生成网络和分类器，将最后训练分类器的loss的负数作为训练形变样本生成网络的loss，这样的目的是当形变样本生成网络生成的形变样本容易被分类器分类时，分类器会产生一个较小的loss，传给形变生成网络时为-loss,此时会对形变样本生成网络产生一个较大的loss，从而令形变样本生成网络生成更难分辨的形变样本，当更难分辨的形变样...

【专利技术属性】
技术研发人员：周圆，李孜孜，咸良，杜晓婷，李鸿儒，
申请(专利权)人：天津大学青岛海洋技术研究院，
类型：发明
国别省市：山东;37