一种基于卷积神经网络特征学习的人物再识别方法技术

本发明专利技术提供了一种基于卷积神经网络特征学习的人物再识别方法，涉及视频处理技术领域，将任务数据集图像缩放成相同大小尺寸，利用归一化方法对任务数据集图像进行处理，构建深度卷积神经网络，并训练深度卷积神经网络，将查询人物p与所有候选人物进行计算，计算后即可得到查询人物p的再识别结果，本发明专利技术由于本发明专利技术将深度卷积神经网络引入到人物再识别问题中，设计具有双分支的网络结构，从原始输入图像上学习适合解决人物再识别问题的特征表示，通过构造再识别任务比较函数，将特征学习与相似性比较模型整合到一个网络框架中，实现端到端的解决人物再识别任务的目的。

【技术实现步骤摘要】
一种基于卷积神经网络特征学习的人物再识别方法
本专利技术涉及视频处理
，尤其是一种人物再识别方法。
技术介绍
人物再识别技术是对人物离开一个摄像机视野范围，进入另外一个摄像机视野或重新进入当前摄像机视野内时进行再识别。人物再识别技术是跨摄像机追踪的基础，对分析理解人物在摄像机网络行为活动有重要作用。随着摄像机网络广泛部署，人物再识别技术受到越来越多的关注。由于监控摄像机分辨率较低、监控摄像机较远的原因，人物面部及步姿等生物信息难以捕获。另一方面，由于摄像机视野不同，连续追踪信息以及摄像机内的运动信息也无法应用于再识别问题。因此，在人物再识别的相关研究中，研究工作主要集中在构建人物外观特征表示模型方面。由于摄像机光照、视角、人物非刚性形变等原因，相同人物在不同摄像机视野中差异较大，而不同人物在相同摄像机视野中差异较小，即人物外观表示模型的类内方差大于类间方差。利用人物外观信息构建特征表示模型的研究方法可以分为手工设计特征及基于相似性学习两大类。在第一类的研究方法中，研究人员通过设计、抽取人物具有分辨能力的特征信息构建稳定的特征表示模型。一方面全局及局部如颜色，纹理，边缘形状等不变信息以直方图形式被抽取整合，另一方面空间信息如Pictorial结构模型，Co-occurrence表示模型，对称因子(Symmetryfactors)，显著性信息等也被应用特征表示模型中，用以消除直方图特征表示中没有空间信息的局限性，能够进一步增强特征表示模型在关联、匹配中的对应性。在基于相似性学习的研究方法中，研究人员借助距离量度学习(DistanceMetricLearning)等方法，对特征表示模型在特征空间中投影、映射，使得相同人物的特征实例在特征空间中距离接近，而不同人物的特征实例在特征空间中距离较远。相关研究方法，如Zheng等人的相对距离比较(RelativeDistanceComparison)，Li等人的局部特征对齐变换(LocalAlignedFeatureTransform)，以及Zhang等人的临近距离比较(LocalDistanceComparison)方法等都取得了很好的再识别准确率。上述研究方法或基于手工设计特征，或基于已有特征构建上层比较模型。因此，特征表示是上述研究方法的基础，好的特征表示模型会辅助上层比较模型共同提高再识别任务准确率；相反，不好的特征表示模型会破坏上层比较模型的能力，影响再识别任务的准确率。构建适用于人物再识别任务的特征表示模型是十分困难的，一方面，手工设计特征需要专家知识以及大量的时间开销，另一方面针对不同的再识别任务的特征表示，需构建不同的比较模型，使得解决人物再识别任务更加复杂。
技术实现思路
为了克服现有技术的不足，本专利技术目的为设计一种基于卷积神经网络特征学习的人物再识别方法，在原始输入图像上直接学习适用于具体人物再识别任务的特征表示及比较模型，替代传统手工设计人物特征表示及比较模型的人物再识别方法。本专利技术解决其技术问题所采用的技术方案包括以下步骤：第一步：将任务数据集图像缩放成相同大小尺寸，利用归一化方法对任务数据集图像进行处理，进一步将数据集划分为训练集与测试集；第二步：构建深度卷积神经网络卷积神经网络结构包含两个输入分支，分别与不同摄像机中人物图像连接，两个输入分支分别包含一个卷积层C1及一个池化层S2；两个池化层S2产生的特征图，通过一个卷积层C3的卷积操作进行合并；池化层S4与卷积层C5顺序连接在卷积层C3输出的特征图之后，卷积层C5生成的特征图与权重层W6相连，输出为一维节点，表示输入图像对的相似程度；卷积层C1设定为32个卷积核，卷积核大小为7×7，两个分支共享卷积层参数；池化层S1设定为MaxPooling操作，池化窗口大小为2×2；卷积层C3设定为64个卷积核，卷积核大小为5×5；池化层S4设定为AveragePooling，池化窗口大小为2×2；卷积层C5设定32个卷积核，卷积核大小为3×3；权重层W6设定为768维神经元节点，网络输入为RGB三通道34×54大小图像，卷积层C1与池化层S2特征图大小为28×28，14×24；卷积层C3与池化层S4特征图大小为10×20，5×10；卷积层C5与权重层W6的神经元节点均为768维度大小；第三步：训练深度卷积神经网络构建训练数据对：将相同人物出现在不同摄像机中的图像，作为正样本图像对，标签为“+1”，将不同人物出现在不同摄像机中的图像对作为负样本，标签为“-1”，根据训练数据对，本专利技术通过优化如下目标函数实现对权重层W6的更新与求解：其中，xn表示卷积层C5的输出特征表示，tn表示出入样本图像对的标签，w表示权重层W6的神经元参数，ζn为与xn关联的松弛变量，M表示网络训练一个批次中包含的样本数，C为惩罚系数，池化层S4与卷积层C5节点h＝(h1，...，h768)T间连接的梯度，通过如下公式计算：公式(2)中，|z|+＝max(z，0)，根据公式(1)与公式(2)，利用反向传播(BackPropagation，BP)算法，对深度卷积神经网络进行更新；第四步：深度卷积神经网络测试在测试集中，将查询人物图像p与候选人物图像作为图像对xn输入卷积神经网络中，网络输出结果表示为：On＝wTxn(3)公式(3)中，w为权重层W6参数，xn为卷积层C5输出特征表示，On为xn到决策边缘(DecisionBoundary)距离，将查询人物p与所有候选人物按照公式(3)进行计算，计算后On值最大的候选人物tn即为查询人物p的再识别结果。本专利技术的有益效果在于由于本专利技术将深度卷积神经网络引入到人物再识别问题中，设计具有双分支的网络结构，从原始输入图像上学习适合解决人物再识别问题的特征表示，通过构造再识别任务比较函数，将特征学习与相似性比较模型整合到一个网络框架中，实现端到端的解决人物再识别任务的目的。附图说明图1为本专利技术基于卷积神经网络特征学习的人物再识别方法的流程图。具体实施方式下面结合附图和实施例对本专利技术进一步说明。本专利技术利用深度卷积神经网络，从原始图像上学习解决人物再识别任务的特征表示，将特征学习与相似性比较整合到一个网络框架中，实现端到端的解决人物再识别任务的目的。本专利技术提出的深度卷积神经网络，利用目标任务数据集的训练数据集进行网络模型训练与更新；在测试数据集上，网络训练模型估计查询人物与候选人物之间相似性，将相似性最大的候选人作为查询人物的再识别结果。为使本专利技术提出的基于卷积神经网络特征学习的人物再识别方法更加清楚，如图1所示，为本专利技术基于卷积神经网络特征学习的人物再识别方法的流程图，下面以本专利技术在人物再识别数据集CAVIAR4REID上的使用为例，对本专利技术进一步说明。本专利技术包括以下步骤：第一步：将任务数据集图像缩放成相同大小尺寸，利用归一化方法对任务数据集图像进行处理，进一步将数据集划分为训练集与测试集；本专利技术对CAVIAR4REID训练数据集中人物图像数据缩放成大小一致，采用归一化方法对图像进行预处理，并将数据集划分为训练集与测试集。第二步：构建深度卷积神经网络卷积神经网络结构包含两个输入分支，分别与不同摄像机中人物图像连接，两个输入分支分别包含一个卷积层C1及一个池化层S2；两个池化层S2产生本文档来自技高网...

【技术保护点】
一种基于卷积神经网络特征学习的人物再识别方法，其特征在于包括下述步骤：第一步：将任务数据集图像缩放成相同大小尺寸，利用归一化方法对任务数据集图像进行处理，进一步将数据集划分为训练集与测试集；第二步：构建深度卷积神经网络卷积神经网络结构包含两个输入分支，分别与不同摄像机中人物图像连接，两个输入分支分别包含一个卷积层C1及一个池化层S2；两个池化层S2产生的特征图，通过一个卷积层C3的卷积操作进行合并；池化层S4与卷积层C5顺序连接在卷积层C3输出的特征图之后，卷积层C5生成的特征图与权重层W6相连，输出为一维节点，表示输入图像对的相似程度；卷积层C1设定为32个卷积核，卷积核大小为7×7，两个分支共享卷积层参数；池化层S1设定为MaxPooling操作，池化窗口大小为2×2；卷积层C3设定为64个卷积核，卷积核大小为5×5；池化层S4设定为AveragePooling，池化窗口大小为2×2；卷积层C5设定32个卷积核，卷积核大小为3×3；权重层W6设定为768维神经元节点，网络输入为RGB三通道34×54大小图像，卷积层C1与池化层S2特征图大小为28×48，14×24；卷积层C3与池化层S4特征图大小为10×20，5×10；卷积层C5与权重层W6的神经元节点均为768维度大小；第三步：训练深度卷积神经网络构建训练数据对：将相同人物出现在不同摄像机中的图像，作为正样本图像对，标签为“+1”，将不同人物出现在不同摄像机中的图像对作为负样本，标签为“‑1”，根据训练数据对，本专利技术通过优化如下目标函数实现对权重层W6的更新与求解：...

【技术特征摘要】
1.一种基于卷积神经网络特征学习的人物再识别方法，其特征在于包括下述步骤：第一步：将任务数据集图像缩放成相同大小尺寸，利用归一化方法对任务数据集图像进行处理，进一步将数据集划分为训练集与测试集；第二步：构建深度卷积神经网络卷积神经网络结构包含两个输入分支，分别与不同摄像机中人物图像连接，两个输入分支分别包含一个卷积层C1及一个池化层S2；两个池化层S2产生的特征图，通过一个卷积层C3的卷积操作进行合并；池化层S4与卷积层C5顺序连接在卷积层C3输出的特征图之后，卷积层C5生成的特征图与权重层W6相连，输出为一维节点，表示输入图像对的相似程度；卷积层C1设定为32个卷积核，卷积核大小为7×7，两个分支共享卷积层参数；池化层S1设定为MaxPooling操作，池化窗口大小为2×2；卷积层C3设定为64个卷积核，卷积核大小为5×5；池化层S4设定为AveragePooling，池化窗口大小为2×2；卷积层C5设定32个卷积核，卷积核大小为3×3；权重层W6设定为768维神经元节点，网络输入为RGB三通道34×54大小图像，卷积层C1与池化层S2特征图大小为28×48，14×24；卷积层C3与池化层S4特征图大小为10×20，5×10；卷积层C5与权重层W6的神经元节点均为768维度大小；第三步：训练深度卷积神经网络构建训练数据对：将相同人物出现在不同摄像机中的图像，作为正样本图像对，标签为“+1”，将不同人物出现在不同摄像机中...

【专利技术属性】
技术研发人员：张冠文，周巍，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61