基于全卷积孪生网络多层特征的模板更新目标跟踪算法制造技术

本发明专利技术公开了基于全卷积孪生网络多层特征的模板更新目标跟踪算法，具体为：构建整体网络并进行训练；使用训练好的网络对即将进行跟踪的视频图像序列进行初始化跟踪设置，得到初始目标模板与目标的初始位置信息；进入正常跟踪流程，得到当前帧的跟踪结果响应图；使用基于标准互信息的模板更新条件判断方法判断当前跟踪结果是否可靠，若可靠则更新模板，若不可靠则不更新模板，若保留的可靠跟踪结果达到2个，则用最新的结果替换最老的结果；使用最新模板对当前跟踪到的视频帧后续的视频图像序列继续进行正常跟踪；重复步骤3～步骤5，直至跟踪完毕所有视频图像序列，由此得到视频每一帧中目标所在位置，跟踪任务结束。跟踪任务结束。跟踪任务结束。

【技术实现步骤摘要】
基于全卷积孪生网络多层特征的模板更新目标跟踪算法


[0001]本专利技术属于视频的目标跟踪
，涉及基于全卷积孪生网络多层特征的模板更新目标跟踪算法。

技术介绍

[0002]目标跟踪是计算机视觉领域的一个重要课题，有着极其深远的研究意义，且广泛应用于智能视频监控、无人驾驶、人机交互等领域。
[0003]单目标跟踪任务是指，对于一组视频图像序列，给定视频第一帧中目标大小和位置信息后，根据目标跟踪算法定位该目标在后续帧中的位置的过程。随着深度学习技术的成熟,研究人员开始将其应用到目标跟踪中，以深度学习为基础的基于孪生神经网络的目标跟踪算法也逐渐成为一个主流的研究方向，其成果在科研领域与生活应用中都起到重要作用。
[0004]近年来，深度学习算法的发展迅猛，深度学习与目标跟踪算法的结合也越来越受到人们的重视。其中，基于孪生神经网络结构的算法是一个主流的方向。通过使用第一帧给出的目标图像生成模板，对后续的图像进行互相关运算，得到的响应图中的最大值的位置映射到原图就是目标最可能所在的位置。通常情况下基于孪生神经网络的目标跟踪算法所使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于全卷积孪生网络多层特征的模板更新目标跟踪算法，其特征在于，具体按照以下步骤实施：步骤1，构建整体网络，并对整体网络结构进行端到端的训练；步骤2，使用步骤1训练好的网络对即将进行跟踪的视频图像序列进行初始化跟踪设置，得到本次跟踪任务的初始目标模板与目标的初始位置信息；步骤3，进入正常跟踪流程，视频图像序列的每一帧都会计算出一个目标在图像中的位置，并在图像中对应处进行显示，得到当前帧的跟踪结果响应图；步骤4，得到步骤3的跟踪结果响应图后，使用基于标准互信息的模板更新条件判断方法判断当前跟踪结果是否可靠，若可靠则更新模板，若不可靠则不更新模板，若步骤3中保留的可靠跟踪结果达到2个，则用最新的结果替换最老的结果；步骤5，使用步骤4得到最新模板对当前跟踪到的视频帧后续的视频图像序列继续进行步骤3的正常跟踪；步骤6、重复步骤3～步骤5，直至跟踪完毕所有视频图像序列，由此得到视频每一帧中目标所在位置，跟踪任务结束。2.根据权利要求1所述的基于全卷积孪生网络多层特征的模板更新目标跟踪算法，其特征在于，步骤1中，整体网络结构分为三部分：第一部分为用于深度特征提取的孪生神经网络，第二部分是用于进行模板更新的3D卷积神经网络，即3D模板更新模块，第一部分和第二部分组成特征提取网络，第三部分包含分类分支和回归分支；孪生神经网络分为四层：前两层均由卷积层、最大池化层、激活函数层构成；后两层则每层均包含卷积层与激活函数层；3D模板更新模块则由一层3D卷积层构成。3.根据权利要求2所述的基于全卷积孪生网络多层特征的模板更新目标跟踪算法，其特征在于，步骤1中，每个视频选取10个图片对，每个图片对含有四张视频帧，第一张视频帧为该视频的第一帧，后面3张视频帧在该视频中随机选取，第二张视频帧和第三张视频帧间距不超过15帧，第三张视频帧和第四张视频帧间距不超过10帧，前三张视频帧作为目标图用于合成跟踪模板，最后一张视频帧作为搜索图，在搜索图处理中，导入到3D卷积更新模块的三张图是一样，都是图片对的最后一张视频帧，训练50次，损失函数采用和SiamFC算法一样的Logistic损失函数。4.根据权利要求3所述的基于全卷积孪生网络多层特征的模板更新目标跟踪算法，其特征在于，步骤1中生成图片对，需要对选取的图片进行数据增强，数据增强具体按照以下步骤实施：步骤1.1，首先对训练集中选择出的样本进行随机拉伸RandomStretch操作，拉伸后的尺寸倍数设置为0.095～1.005之间，放大后需要填充的部分使用线性插值法填充；然后进行中心裁剪CenterCrop操作，即从训练图片对的中心处裁剪出尺寸为263*263的区域，接着进行随机裁剪RandomCrop操作，从训练图片对中的随机位置裁剪出大小为255*255的区域，最后进行裁剪转换，将原始的GOT
‑
10K数据集中图片的BOX作为目标位置框，以(left、top、weight、height)形式给出，也就是目标位置框距离图片左边框与上边框的距离和目标位置框本身的宽与高，通过裁剪转换操作将目标位置框坐标形式转化为(n、m、h、w)即目标位置框的中心点的坐标与目标位置框的高和宽；步骤1.2，进行LOSS的计算
训练过程中分类分支的损失函数使用focal loss，回归分支的损失函数使用IoU损失，总损失L的计算公式为：式(1)中，{}是指标函数，如果下标中的条件成立，则取1，否则将取0；L
cls
表示分类结果的focal loss；L
quality
表示用于质量评估的二进制交叉熵损失；L
reg
表示边界框回归结果的IoU损失；p
x，y
、q
x，y
、t
x，y
分别表示分类分支的标签、质量评估的标签、回归分支的标签；分别表示分类分支预测结果、质量评估结果、回归分支预测结果；λ为常数；步骤1.3，使用梯度下降法进行参数优化，随机梯度下降方法SGD的计算公式如下：argmin
θ
E
(z，x，y)
L
(y，f(z，x，θ))
ꢀꢀꢀꢀ
(2)式(2)中，θ为得到的最优参数；z为输入的目标图片；x为搜索图；y为lable(标签)；f(z，x；θ)为预测结果；经过50遍的训练后网络的最终总损失L稳定在0.1以下，则训练过程结束。5.根据权利要求1所述的基于全卷积孪生网络多层特征的模板更新目标跟踪算法，其特征在于，步骤2具体按照以下步骤实施：步骤2.1，在视频图像序列的第一帧图像上指定出目标的位置，将目标从图像中截取后进行缩放，得到尺寸为127*127*3的目标图片，然后将目标图片传入整体网络中的孪生神经网络，得到四层特征，将最后一层特征作为高层特征传入回归分支，作为回归分支初始模板，将第一层特征作为低层特征传入分类分支，作为分类分支初始模板，回归分支初始模板和分类分支初始模板的尺寸均为6*6*256，单位为像素，回归分支初始模板和分类分支初始模板的计算公式均如下：φ
z(cls)
，φ
z(reg)
＝φ(z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式(3)中，z为输入的目标图片，函数φ()代表特征提取网络，φ
z(cls)
代表特征提取网络输出的分类分支的目标模板，φ
z(reg)
代表特征提取网络输出的回归分支的目标模板；步骤2.2，进行参数的初始化：在视频图像序列第一帧中，由人工标定给出的目标位置信息被称为BOX，BOX有四条信息分别是目标的横坐标、纵坐标、宽度、高度，因此，第一帧是不需要进行跟踪运算的，只需要按照人工标定的BOX将与其对应的目标初始中心坐标与初始宽高设定为BOX内的数值，即完成了目标的初始化过程，得到目标的初始位置信息。6.根据权利要求1所述的...

【专利技术属性】
技术研发人员：鲁晓锋，李小鹏，王轩，王正洋，柏晓飞，李思训，姬文江，黑新宏，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：