一种基于深度学习的行人目标跟踪方法技术

本发明专利技术公开一种基于深度学习的行人目标跟踪方法，将深度学习与相关滤波相结合进行目标跟踪，在保证实时跟踪的前提下，有效提高跟踪的准确性。针对跟踪过程中目标姿态变化大的问题，将基于行人属性的深层卷积特征应用到跟踪中；针对遮挡问题，使用余弦相似度的方法进行遮挡的判断，以有效避免因遮挡带来的脏数据引入；为了提高效率、解决深层卷积特征在相关滤波器中的使用问题，提出双线性插值的方法，在去除量化误差的同时又能避免特征的重复提取，大幅度提高效率；针对目标高速运动的问题，提出将预选框策略融入到跟踪算法中，不仅能对全局图像进行搜索，同时预选框能够作为强负样本加入训练，提高相关滤波器的区分能力。

A Pedestrian Target Tracking Method Based on Deep Learning

The invention discloses a pedestrian target tracking method based on depth learning, which combines depth learning with correlation filtering to track the target, and effectively improves the accuracy of tracking on the premise of ensuring real-time tracking. Aiming at the problem of large change of target attitude in tracking process, the deep convolution feature based on pedestrian attributes is applied to tracking; for occlusion problem, the cosine similarity method is used to judge occlusion, in order to effectively avoid the introduction of dirty data caused by occlusion; in order to improve efficiency and solve the problem of using deep convolution feature in relevant filters, bilinear interpolation is proposed. The method not only eliminates the quantization error, but also avoids the repeated extraction of features and greatly improves the efficiency. Aiming at the problem of high-speed target movement, this paper proposes to integrate the preselected box strategy into the tracking algorithm, which can not only search the global image, but also train the preselected box as a strong and negative sample, so as to improve the discriminating ability of the relevant filter.

【技术实现步骤摘要】
一种基于深度学习的行人目标跟踪方法
本专利技术涉及属于计算机视觉领域，更具体地，涉及一种基于深度学习的行人目标跟踪方法。
技术介绍
近来，国内外恐怖事件频繁发生，严重威胁了人民的生命财产安全和健康幸福生活。随着“平安城市”的建设，大量摄像头的搭建，给人们的生命财产安全、幸福高质量的生活带来保障的同时，也带来了视频数据的爆发式的增长，给视频分析处理技术带来了极大的挑战。在视频监控系统产生的大量数据中绝大多数都是与人相关，而且我们所关心的也大都是人的特征、姿态、动作、行为等等，因此与人相关的信息获取就至关重要。行人目标跟踪，就是对视频序列中行人与背景进行区分，获得一个目标在整个视频序列中完整的运动轨迹。这能有效的把视频中的快照进行关联，大量减少分析的快照数量，提高分析处理速度。另外，行人目标跟踪对行人的运动速度、行人动作分析、事件检测都提供了基础。跟踪算法一般来说可以分为生成模型方法和判别模型方法。生成模型方法的大概流程是，根据当前帧的目标区域建立模型，在下一帧中寻找与模型最相似的区域，该区域即为预测的目标位置。这一类方法，在面对跟踪过程中的复杂变化时，其鲁棒性和准确度方面的表现都不尽人意。判别模型方法，又称为tracking-by-detection，与处理其他经典计算机视觉问题的思路一致，即图像特征加机器学习。大体流程是，在提取图像特征后，以真实目标区域为正样本，背景区域为负样本，使用机器学习的方法训练一个分类器，在之后视频帧中，用这个分类器进行预测，查找出最优的区域，并根据预测结果继续对分类器参数进行更新。相关滤波方法(correlationfilter，CF)最早是用在信号领域，用来描述信号之间的相关性。在目标跟踪领域中，该方法设计出密集采样，并引入了循环矩阵和核的概念，解决了传统目标跟踪算法中稀疏采样导致的样本冗余问题，同时对于岭回归快速求解的研究，使得目标跟踪效率极大的提高。另外，结合不同的特征，将其应用到相关滤波器算法中，能够有效的应对形状、尺度、光照等各种变化情况，跟踪效果的鲁棒性更强。深度卷积神经网络提取的图像特征能够在更高层更加抽象的表达出图像语义特征，对于行人目标跟踪问题，深度卷积特征是一种鲁棒性强、表达能力好的特征。但将其应用到行人目标跟踪任务中，也包含着很多问题，比如针对性的特征选取问题、卷积特征的尺度缩放带来的量化误差问题、训练样本选取问题、遮挡问题等。综上所述，目前在行人目标跟踪领域进行了大量的研究工作，已经有很多目标跟踪的算法，但是在实际应用场景中，将深度学习应用到行人目标跟踪任务中的方法并不多，主要是现有方法存在提取的特征针对性不强、深度卷积特征跟踪目标位置精确度不高、遮挡带了训练样本的污染等问题，不能直接应用于实际的使用场景中。因此，如何有效利用深度卷积特征的优势，解决其带来的各种问题，同时有能保证实时性，是一个亟待解决的难题。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于解决现有行人目标跟踪方法存在提取的特征针对性不强、深度卷积特征跟踪目标位置精确度不高、遮挡带了训练样本的污染等问题，不能直接应用于实际的使用场景中的技术问题。为实现上述目的，本专利技术提供一种基于深度学习的行人目标跟踪方法，包括以下步骤：(1)对包含行人目标的视频解码获得每一帧视频图像；(2)提取每一帧视频图像的特征信息；(3)根据每一帧视频图像的特征信息，使用区域候选网络(RegionProposalNetwork,RPN)生成每一帧视频图像的预选框区域，以粗粒度搜索每一帧视频图像，获取每一帧视频图像中有可能是行人目标的候选区域；(4)在上一帧视频图像行人目标周围产生目标框，将所述目标框与前后关联帧视频图像中有可能是行人目标的候选区域合并，成为细粒度搜索候选集；(5)用双线性插值算法，将每一帧视频图像特征信息对应的特征图进行扩展，使得扩展后的特征图与原始视频图像分辨率相同，去除因量化带来的目标位置预测不准确的问题，在扩展后的特征图上，确定所述细粒度搜索候选集中各个目标框对应位置的特征；(6)使用相关滤波器，对细粒度搜索候选集中的区域计算响应值，响应值最大者即为预测的行人目标位置，同时对相关滤波器进行在线更新。可选地，所述步骤(2)具体包括：基于行人属性的特征提取模型进行图像特征的提取，所述行人属性的特征提取模型在CaffeNet的基础上，在第6个全连接层后分裂成多个，分别对应于多个行人属性的标签，每个标签对应于各自的分类损失和验证损失层，该模型的训练过程包括：(21)从N个训练样本中随机选取一个批次的样本进行预处理，所述N个训练样本为N个包含行人图像的图片，用于训练得到行人属性的特征提取模型；(22)以ImageNet预训练的模型进行网络权重参数的初始化，将一个批次的训练样本和标签输入网络进行正向传播，计算网络各层的值，分别计算得到分类损失和验证损失，最终计算得到总体损失；(23)若预定总迭代次数达到或者总体损失小于一定阈值，则训练结束；否则，继续步骤(24)；(24)进行反向传播，用链式法则将损失梯度一层层向前进行传播，每一层利用各自的损失梯度，使用梯度下降算法对网络模型参数进行更新；重复步骤(21)至(23)。可选地，所述步骤(3)具体包括：在提取图像特征后，将其输入到RPN网络用于预选框的生成，特征提取网络模型与RPN网络模型的联合训练过程包括：(31)对训练样本、真实目标区域和相应的行人ID、属性标签进行预处理；(32)用步骤(2)中的训练得到网络参数，对特征提取模型权重参数进行初始化，并随机初始化RPN参数；(33)固定卷积参数，训练网络，更新RPN和全连接层参数；(34)固定卷积参数和RPN参数，用RPN生成预选框，使用预选框区域的卷积特征进行训练，更新全连接层参数。可选地，所述步骤(5)具体包括：(51)将每一帧视频图像特征信息对应的卷积特征图与原始图像进行映射，以对卷积特征图进行扩展，此时卷积特征图中将只有部分区域有值；(52)根据双线性插值公式，对扩展后的卷积特征图进行横向插值，对每一行进行逐一插值；(53)根据双线性插值公式，对扩展后的卷积特征图进行纵向插值，对每一列进行逐一插值。可选地，所述步骤(6)具体包括：(61)将细粒度搜索候选集中的目标框对应区域特征分别通过相关滤波器，计算响应值，并通过比较得出相应值最大者，响应值最大者即为预测的目标位置；(62)计算预测目标位置与上一帧目标位置之间的特征余弦相似度，若相似度大于阈值，则进行步骤(63)，否则结束；(63)根据预测结果，对候选集中的目标框进行标记，并以此为预测的行人目标位置，对相关滤波参数进行更新。可选地，分类损失的计算方式如下：其中j表示属性标签，每种标签有K(j)个类别，是图像In对于属性j的预测值属于每个类别k的概率；验证损失的计算方式如下：其中，代表该特征对所对应的行人对的第j个标签是否一致，表示欧式距离，即L2范数，M为一个阈值，用来防止离群图像特征对间距离过大，|*|表示向量每一项的绝对值，1表示单位向量，‖*‖1表示第一范数，表示第n组图像对中第一张图像的属性j的特征，表示第n组图像对中第二张图像的属性j的特征；总体损失的计算方式如下：其中，μ表示分类所占损失权重，LC表示总体分类损失，LV表示总体本文档来自技高网...

【技术保护点】
1.一种基于深度学习的行人目标跟踪方法，其特征在于，包括以下步骤：(1)对包含行人目标的视频解码获得每一帧视频图像；(2)提取每一帧视频图像的特征信息；(3)根据每一帧视频图像的特征信息，使用区域候选网络RPN生成每一帧视频图像的预选框区域，以粗粒度搜索每一帧视频图像，获取每一帧视频图像中有可能是行人目标的候选区域；(4)在上一帧视频图像行人目标周围产生目标框，将所述目标框与前后关联帧视频图像中有可能是行人目标的候选区域合并，成为细粒度搜索候选集；(5)用双线性插值算法，将每一帧视频图像特征信息对应的特征图进行扩展，使得扩展后的特征图与原始视频图像分辨率相同，去除因量化带来的目标位置预测不准确的问题，在扩展后的特征图上，确定所述细粒度搜索候选集中各个目标框对应位置的特征；(6)使用相关滤波器，对细粒度搜索候选集中的区域计算响应值，响应值最大者即为预测的行人目标位置，同时对相关滤波器进行在线更新。

【技术特征摘要】
1.一种基于深度学习的行人目标跟踪方法，其特征在于，包括以下步骤：(1)对包含行人目标的视频解码获得每一帧视频图像；(2)提取每一帧视频图像的特征信息；(3)根据每一帧视频图像的特征信息，使用区域候选网络RPN生成每一帧视频图像的预选框区域，以粗粒度搜索每一帧视频图像，获取每一帧视频图像中有可能是行人目标的候选区域；(4)在上一帧视频图像行人目标周围产生目标框，将所述目标框与前后关联帧视频图像中有可能是行人目标的候选区域合并，成为细粒度搜索候选集；(5)用双线性插值算法，将每一帧视频图像特征信息对应的特征图进行扩展，使得扩展后的特征图与原始视频图像分辨率相同，去除因量化带来的目标位置预测不准确的问题，在扩展后的特征图上，确定所述细粒度搜索候选集中各个目标框对应位置的特征；(6)使用相关滤波器，对细粒度搜索候选集中的区域计算响应值，响应值最大者即为预测的行人目标位置，同时对相关滤波器进行在线更新。2.根据权利要求1所述的基于深度学习的行人目标跟踪方法，其特征在于，所述步骤(2)具体包括：基于行人属性的特征提取模型进行图像特征的提取，所述行人属性的特征提取模型在CaffeNet的基础上，在第6个全连接层后分裂成多个，分别对应于多个行人属性的标签，每个标签对应于各自的分类损失和验证损失层，该模型的训练过程包括：(21)从N个训练样本中随机选取一个批次的样本进行预处理，所述N个训练样本为N个包含行人图像的图片，用于训练得到行人属性的特征提取模型；(22)以ImageNet预训练的模型进行网络权重参数的初始化，将一个批次的训练样本和标签输入网络进行正向传播，计算网络各层的值，分别计算得到分类损失和验证损失，最终计算得到总体损失；(23)若预定总迭代次数达到或者总体损失小于一定阈值，则训练结束；否则，继续步骤(24)；(24)进行反向传播，用链式法则将损失梯度一层层向前进行传播，每一层利用各自的损失梯度，使用梯度下降算法对网络模型参数进行更新；重复步骤(21)至(23)。3.根据权利要求2所述的基于深度学习的行人目标跟踪方法，其特征在于，所述步骤(3)具体包括：在提取图像特征后，将其输入到RPN网络用于预选框的生成，特征提取网络模型与RPN网络模型的联合训练过程包括：(31)对训练样本、真实目标区域和相应的行人ID、属性标签进行...

【专利技术属性】
技术研发人员：凌贺飞，余成跃，李平，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42