基于全卷积神经网络的目标追踪方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于全卷积神经网络的目标追踪方法及装置，在预训练阶段，利用全卷积神经网络提取训练样本图像的图像特征后，进行物体性判别及物体验证，训练得到全卷积神经网络模型。然后，利用该全卷积神经网络模型所包含的参数建立在线追踪网络；最后利用该在线追踪网络追踪待追踪视频中的目标。该方法在预训练阶段增加了物体性判别过程，使算法学习到什么是一个物体，解决了算法对于嘈杂背景不鲁棒的问题；同时，增加物体验证过程，即给定两个物体，判断这两个物体是不是同一物体，因此，物体验证更强调物体之间的差异，而弱化类间差异，从而将目标与背景及所有可能的干扰物体分别开，最终提高了目标追踪的准确率。

Target tracking method and device based on full convolution neural network

【技术实现步骤摘要】
基于全卷积神经网络的目标追踪方法及装置
本专利技术涉及计算机
，特别是涉及一种基于全卷积神经网络的目标追踪方法及装置。
技术介绍
目标追踪是视频分析技术中重要环节，即在一段视频的第一帧给定一个物体的边界框，追踪算法需要在后续的视频中自动找出此物体。追踪目标在整段视频中可能存在大范围形变，光照变化，干扰物体以及遮挡，而追踪算法接受的输入只有用户在第一帧的边界框，这要求追踪算法需要有自学能力，同时能够分辨出干扰物体和遮挡。近年来，随着深度学习算法快速发展，此类算法(例如，卷积神经网络)也被引入到目标追踪的领域，而且，基于卷积神经网络的特征表示对于目标追踪问题取得了很好的效果。深度学习算法需要进行预训练学习到追踪目标的特征，传统的基于卷积神经网络的目标追踪算法基于图片分类准则进行预训练，分类预训练的目标是将图片分到正确的类别中。因为分类只关心最终的类别，而忽略同一类内的不同物体之间的差异，例如，有一个类别是“猫”，分类预训练只需要将所有的猫准确分到“猫”类即可，无需关心猫的毛发颜色等与类别无关的属性。这样，会使追踪算法无法区分真正的目标和干扰物体，从而导致目标追踪的准确率较低。
技术实现思路
本专利技术实施例中提供了一种基于全卷积神经网络的目标追踪方法及装置，以解决现有技术中的目标追踪准确率低的问题。为了解决上述技术问题，本专利技术实施例公开了如下技术方案：第一方面，本专利技术提供一种基于全卷积神经网络的目标追踪方法，包括：利用全卷积神经网络获取训练样本图像的图像特征；根据所述图像特征判断所述训练样本图像是否是一个完整物体，以及，根据所述图像特征判断正负训练样本图像对所包含的物体是否是同一物体；根据所包含的物体是同一物体且是一个完整物体的训练样本图像，训练得到全卷积神经网络模型；根据所述全卷积神经网络模型所包含的参数建立在线追踪网络；利用所述在线追踪网络追踪所述待追踪视频中的目标。可选地，所述根据所述图像特征判断所述训练样本图像是否是一个完整物体，包括：利用LogisticsLoss函数作为损失函数，判断所述训练样本图像对应的图像特征是否是一个完整物体。可选地，所述根据所述图像特征判断正负训练样本图像对所包含的物体是否是同一物体，包括：利用归一化层对所述图像特征进行归一化，得到归一化结果；利用TripletLoss函数作为损失函数，计算输入的正训练样本图像的归一化结果与负训练样本图像的归一化结果之间的图像距离；如果所述图像距离小于预设距离，则确定所述正负训练样本图像对所包含的物体是同一物体；如果所述图像距离大于或等于所述预设距离，则确定所述正负训练样本图像对所包含的物体不是同一物体。可选地，根据所述全卷积神经网络模型所包含的参数建立在线追踪网络，包括：将所述全卷积神经网络模型中的所述归一化层更换为卷积层，以及将所述全卷积神经网络模型中的TripletLoss函数更换为L2loss层，得到所述在线追踪网络。可选地，所述利用所述在线追踪网络追踪所述待追踪视频中的目标，包括：利用提取所述待追踪视频的第一帧给定的追踪边界框内的追踪目标的图像特征；判断待追踪视频中所包含的物体是否是一个完整物体，得到物体性判断结果；利用替换后的所述卷积层对待追踪视频中的图像特征进行交替卷积处理，判断所述待追踪视频中的图像是否是所述追踪目标；利用L2loss函数计算对所述卷积层的输出结果进行微调，得到微调结果；将每个尺度的图像对应的所述物体性判断结果和所述微调结果做对应位置的乘积，得到数值最大的位置确定所述物体为所述追踪目标。第二方面，本专利技术提供一种基于全卷积神经网络的目标追踪装置，包括：特征提取模块，用于利用全卷积神经网络获取训练样本图像的图像特征；物体性判别模块，用于根据所述图像特征判断所述训练样本图像是否是一个完整物体；物体验证模块，用于根据所述图像特征判断正负训练样本图像对所包含的物体是否是同一物体；网络模型获取模块，用于当确定所述正负训练样本图像对所包含的物体是同一物体且是一个完整物体时，得到全卷积神经网络模型；在线追踪网络建立模块，用于根据所述全卷积神经网络模型所包含的参数建立在线追踪网络；目标追踪模块，用于利用所述在线追踪网络追踪所述待追踪视频中的目标。可选地，所述物体性判别模块，具体用于：利用LogisticsLoss函数作为损失函数，判断所述训练样本图像对应的图像特征是否是一个完整物体。可选地，所述物体验证模块包括：归一化子模块，用于利用归一化层对所述图像特征进行归一化，得到归一化结果；图像距离获取子模块，用于利用TripletLoss函数作为损失函数，计算输入的正训练样本图像的归一化结果与负训练样本图像的归一化结果之间的图像距离；第一确定子模块，用于当所述图像距离小于预设距离时，确定所述正负训练样本图像对所包含的物体是同一物体；第二确定子模块，用于当所述图像距离大于或等于所述预设距离时，确定所述正负训练样本图像对所包含的物体不是同一物体。可选地，所述在线追踪网络建立模块，具体用于：将所述全卷积神经网络模型中的所述归一化层更换为卷积层，以及将所述全卷积神经网络模型中的TripletLoss函数更换为L2loss层。可选地，所述目标追踪模块，包括：目标特征提取子模块，用于提取所述待追踪视频的第一帧给定的追踪边界框内的追踪目标的图像特征；物体性判别子模块，用于判断待追踪视频中所包含的物体是否是一个完整物体，得到物体性判断结果；目标判断子模块，用于利用替换后的所述卷积层对待追踪视频中的图像特征进行交替卷积处理，判断所述待追踪视频中的图像是否是所述追踪目标；微调子模块，用于利用L2loss函数计算对所述卷积层的输出结果进行微调，得到微调结果；目标确定子模块，用于将每个尺度的图像对应的所述物体性判断结果和所述微调结果做对应位置的乘积，得到数值最大的位置确定所述物体为所述追踪目标。由以上技术方案可见，本专利技术实施例提供的基于全卷积神经网络的目标追踪方法，在预训练阶段，利用全卷积神经网络提取训练样本图像的图像特征后，判断该图像特征是否是一个完整物体，以及判断输入的正负训练样本图像对所包含的物体是否是同一物体；根据图像特征是一个完整物体，且是同一物体的训练样本图像训练得到全卷积神经网络模型。然后，利用该全卷积神经网络模型所包含的参数建立在线追踪网络；最后，利用在线追踪网络追踪待追踪视频中的目标。该方法在预训练阶段增加了判断物体是否是一个完整物体的物体性判别过程，使算法学习到什么是一个物体，解决了算法对于嘈杂背景不鲁棒的问题；同时，增加物体验证过程，即给定两个物体，判断这两个物体是不是同一物体，因此，物体验证更强调物体之间的差异，而弱化类间差异，从而将目标与背景及所有可能的干扰物体分别开，最终提高了目标追踪的准确率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一种基于全卷积神经网络的目标追踪方法的流程示意图；图2为本专利技术实施例一种预训练阶段采用的全卷积神经网络模型示意图；图3为本专利技术实施例一种在线追踪阶段采用的全卷积神经网络模型示意图；图4为本本文档来自技高网...

【技术保护点】
一种基于全卷积神经网络的目标追踪方法，其特征在于，包括：利用全卷积神经网络获取训练样本图像的图像特征；根据所述图像特征判断所述训练样本图像是否是一个完整物体，以及，根据所述图像特征判断正负训练样本图像对所包含的物体是否是同一物体；根据所包含的物体是同一物体且是一个完整物体的训练样本图像，训练得到全卷积神经网络模型；根据所述全卷积神经网络模型所包含的参数建立在线追踪网络；利用所述在线追踪网络追踪所述待追踪视频中的目标。

【技术特征摘要】
1.一种基于全卷积神经网络的目标追踪方法，其特征在于，包括：利用全卷积神经网络获取训练样本图像的图像特征；根据所述图像特征判断所述训练样本图像是否是一个完整物体，以及，根据所述图像特征判断正负训练样本图像对所包含的物体是否是同一物体；根据所包含的物体是同一物体且是一个完整物体的训练样本图像，训练得到全卷积神经网络模型；根据所述全卷积神经网络模型所包含的参数建立在线追踪网络；利用所述在线追踪网络追踪所述待追踪视频中的目标。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征判断所述训练样本图像是否是一个完整物体，包括：利用LogisticsLoss函数作为损失函数，判断所述训练样本图像对应的图像特征是否是一个完整物体。3.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征判断正负训练样本图像对所包含的物体是否是同一物体，包括：利用归一化层对所述图像特征进行归一化，得到归一化结果；利用TripletLoss函数作为损失函数，计算输入的正训练样本图像的归一化结果与负训练样本图像的归一化结果之间的图像距离；如果所述图像距离小于预设距离，则确定所述正负训练样本图像对所包含的物体是同一物体；如果所述图像距离大于或等于所述预设距离，则确定所述正负训练样本图像对所包含的物体不是同一物体。4.根据权利要求3所述的方法，其特征在于，根据所述全卷积神经网络模型所包含的参数建立在线追踪网络，包括：将所述全卷积神经网络模型中的所述归一化层更换为卷积层，以及将所述全卷积神经网络模型中的TripletLoss函数更换为L2loss层，得到所述在线追踪网络。5.根据权利要求4所述的方法，其特征在于，所述利用所述在线追踪网络追踪所述待追踪视频中的目标，包括：利用提取所述待追踪视频的第一帧给定的追踪边界框内的追踪目标的图像特征；判断待追踪视频中所包含的物体是否是一个完整物体，得到物体性判断结果；利用替换后的所述卷积层对待追踪视频中的图像特征进行交替卷积处理，判断所述待追踪视频中的图像是否是所述追踪目标；利用L2loss函数计算对所述卷积层的输出结果进行微调，得到微调结果；将每个尺度的图像对应的所述物体性判断结果和所述微调结果做对应位置的乘积，得到数值最大的位置确定所述物体为所述追踪目标。6.一种基于全卷积神经网络的目标追踪装置，其特征在于，...

【专利技术属性】
技术研发人员：王乃岩，
申请(专利权)人：北京图森未来科技有限公司，
类型：发明
国别省市：北京,11