一种基于整体和局部深度特征融合的行人再识别方法技术

本发明专利技术实施例公开了一种基于整体和局部深度特征融合的行人再识别方法，该方法包括：构建局部特征目标网络和整体特征目标网络；把训练行人图像子区域对输入局部特征目标网络，得到局部特征学习模型；把测试行人图像子区域输入局部特征学习模型，得到子区域特征向量；把训练行人图像整幅输入整体特征目标网络，得到整体特征学习模型；把测试行人图像整幅输入整体特征学习模型，得到整体特征向量；将子区域特征向量和整体特征向量组合形成最终特征表示，计算该行人图像与训练图像的相似度，得到行人识别结果。本发明专利技术充分利用深度学习的优势，挖掘行人图像的局部特征和整体特征，最终结合两种特征形成图像的特征向量，提高了行人再识别的匹配正确率。

【技术实现步骤摘要】
一种基于整体和局部深度特征融合的行人再识别方法
本专利技术属于模式识别、人工智能领域，具体涉及一种基于整体和局部深度特征融合的行人再识别方法。
技术介绍
随着计算机技术的发展，公共场所安装了大量的监控设备。人工操作难以在大量的监控数据中提取有效信息，利用计算机解决此问题已经成为必然趋势，因此近年来行人再识别技术被广泛关注。但是由于真实场景中行人外观、姿态以及外界环境的光线和拍摄角度变化较大，使得行人再识别技术面临着很大的挑战。为了提高计算机对行人再识别的匹配正确率，经过多年的研究，人们提出了多种有效的方法。在特征表示方面，Gray等人提出了局部特征集合(EnsembleofLocalFeatures，ELF)。Liao等人提出了局部最大共生特征(LocalMaximalOccurrence，LOMO)。在度量学习方法，Zheng等人提出了概率相对距离比较算法(ProbabilisticRelativeDistanceComparison，PRDC)。Liao等人提出了一种交叉视角的二次性判别分析度量方法(Cross-viewQuadraticDiscriminantAnalysis，XQDA)。目前很多研究者将深度学习算法应用到行人再识别领域，并且取得了不错的效果。Xiao等人训练了一个分类模型并且提出了弃权函数来处理大量的类别。Zheng等人联合了分类摸型和验证模型，并且同时利用三个损失函数训练网络。Yi等人把一幅图像分为三个水平子区域，用子区域同时训练三个网络。Zheng等人提出利用生成式对抗网络产生标签，取得了较好的实验效果。深度学习方法已经达到了比较好的效果，大部分方法都是利用整幅图像作为输入提取整体特征，同时也有一些方法提取了局部特征，但都没有充分的挖掘出图像的特征表示方法。
技术实现思路
本专利技术的目的是要解决行人的整体特征或局部特征在深度学习中未被充分利用的技术问题，为此，本专利技术提供一种基于整体和局部深度特征融合的行人再识别方法。为了实现所述目的，本专利技术提出的一种基于整体和局部深度特征融合的行人再识别方法包括以下步骤：步骤S1，对预训练网络进行初始化，构建提取局部特征的局部特征目标网络；步骤S2，把训练集的行人图像分别划分为n个水平子区域，对应位置的子区域为子区域对，把子区域对输入到所述局部特征目标网络中，得到局部特征学习模型；步骤S3，把测试集的行人图像同样地划分为n个水平子区域，把每个子区域输入至所述局部特征学习模型中，得到子区域的特征向量pi(i＝1,2,…n)，其中，pi(i＝1,2,…n)表示第i个子区域的特征向量；步骤S4，对预训练网络进行初始化，构建提取整体特征的整体特征目标网络；步骤S5，基于构建的整体特征目标网络，把训练集的行人图像整幅输入至所述整体特征目标网络中，得到整体特征学习模型；步骤S6，基于所述整体特征学习模型，把测试集的行人图像整幅输入至所述整体特征学习模型中，得到行人图像的整体特征向量B；步骤S7，合并每幅行人图像的所有子区域特征向量形成行人图像的局部特征向量P，局部特征向量与整体特征向量B结合组成该行人图像的最终特征表示；步骤S8，基于行人图像最终的特征表示，计算该行人图像与训练集中任意一幅图像间的相似度，相似度最高的被认为是相同的行人，得到行人识别结果。可选地，所述步骤S1包括以下步骤：步骤S11，获取m个已预先训练好的深度学习网络模型，并对其分别进行初始化，其中m为自然数，m＝2，3，…；步骤S12，将初始化后的m个深度学习网络模型进行并行组合，并在m个网络模型的末端进行合并；步骤S13，根据组合网络卷积层中神经元的激活值得到待建局部特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的局部特征目标网络结构。可选地，所述步骤S12包括以下步骤：步骤S121，将初始化后的m个深度学习网络模型进行并行组合，m个深度学习网络模型上下并行同时进行传播，共享权重，在末端生成特征向量f1、f2…fm；步骤S122，将m个深度学习网络模型在末端进行合并形成平方层，在该层中计算得到特征向量f1、f2…fm之间的相似性fs；步骤S123，在平方层后增加卷积层。可选地，所述步骤S13包括以下步骤：步骤S131，根据所述卷积层中神经元的激活值得到局部特征目标网络的预测概率yi：其中，ai表示卷积层中第i个神经元的激活值；步骤S132，根据所述预测概率将所述局部特征目标网络中的损失函数设置为LV，形成完整的局部特征目标网络结构，其中，损失函数LV表示为：其中，pi表示子区域对正负概率值。可选地，所述步骤S2包括以下步骤：步骤S21，把训练集中的每一幅行人图像划分为n个水平子区域，定义相同行人的对应子区域为正子区域对，不同行人的对应子区域为负子区域对；步骤S22，随机抽取子区域对，将子区域对进行预处理，然后分别输入到所述局部特征目标网络中的子网络中，得到局部特征学习模型。可选地，所述步骤S3包括以下步骤：步骤S31，把测试集中的每一幅行人图像同样地划分为n个水平子区域；步骤S32，按照训练的方式将子区域进行预处理，然后分别输入至所述局部特征学习模型中，得到n个子区域各自的特征向量pi(i＝1,2,…n)。可选地，所述步骤S4包括以下步骤：步骤S41，获取已预先训练好的深度学习网络模型，并对其进行初始化；步骤S42，在初始化后的深度学习网络模型后加入卷积层；步骤S43，根据所述卷积层中神经元的激活值得到待建整体特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的整体特征目标网络结构。可选地，所述步骤S43包括以下步骤：步骤S431，根据所述卷积层中神经元的激活值得到整体特征目标网络的预测概率yj，表示为：其中，aj表示卷积层中第j个神经元的激活值，C为行人图像的类别总数。步骤S432，根据所述预测概率将所述整体特征目标网络中的损失函数设置为LI，形成完整的整体特征目标网络结构，其中，损失函数LI表示为：其中，qj表示标签概率，K为类别标签总数。可选地，所述步骤S5包括以下步骤：步骤S51，把训练集中的每一幅行人图像进行预处理；步骤S52，将预处理后的行人图像输入至所述整体特征目标网络中，经过学习得到整体特征学习模型。可选地，所述步骤S6包括以下步骤：步骤S61，将测试集中的行人图像进行预处理；步骤S62，将预处理后的行人图像输入至所述整体特征目标网络中，得到行人图像的整体特征向量B。本专利技术的有益效果为：本专利技术通过深度学习利用整体特征学习模型和局部特征学习模型获得行人图像的整体特征向量和局部特征向量，组合两种特征向量形成最终的特征表示，达到充分挖掘行人图像的特征表示的目的，从而提高行人再识别匹配的正确率。需要说明的是，本专利技术得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津市应用基础与前沿技术研究计划青年基金项目No.15JCQNJC01700，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201700001、No.201800002，中国国家留学基金No.201708120040、No.20本文档来自技高网...

【技术保护点】
1.一种基于整体和局部深度特征融合的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1，对预训练网络进行初始化，构建提取局部特征的局部特征目标网络；步骤S2，把训练集的行人图像分别划分为n个水平子区域，对应位置的子区域为子区域对，把子区域对输入到所述局部特征目标网络中，得到局部特征学习模型；步骤S3，把测试集的行人图像同样地划分为n个水平子区域，把每个子区域输入至所述局部特征学习模型中，得到子区域的特征向量pi(i＝1,2,…n)，其中，pi(i＝1,2,…n)表示第i个子区域的特征向量；步骤S4，对预训练网络进行初始化，构建提取整体特征的整体特征目标网络；步骤S5，基于构建的整体特征目标网络，把训练集的行人图像整幅输入至所述整体特征目标网络中，得到整体特征学习模型；步骤S6，基于所述整体特征学习模型，把测试集的行人图像整幅输入至所述整体特征学习模型中，得到行人图像的整体特征向量B；步骤S7，合并每幅行人图像的所有子区域特征向量形成行人图像的局部特征向量P，局部特征向量与整体特征向量B结合组成该行人图像的最终特征表示；步骤S8，基于行人图像最终的特征表示，计算该行人图像与训练集中任意一幅图像间的相似度，相似度最高的被认为是相同的行人，得到行人识别结果。...

【技术特征摘要】
1.一种基于整体和局部深度特征融合的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1，对预训练网络进行初始化，构建提取局部特征的局部特征目标网络；步骤S2，把训练集的行人图像分别划分为n个水平子区域，对应位置的子区域为子区域对，把子区域对输入到所述局部特征目标网络中，得到局部特征学习模型；步骤S3，把测试集的行人图像同样地划分为n个水平子区域，把每个子区域输入至所述局部特征学习模型中，得到子区域的特征向量pi(i＝1,2,…n)，其中，pi(i＝1,2,…n)表示第i个子区域的特征向量；步骤S4，对预训练网络进行初始化，构建提取整体特征的整体特征目标网络；步骤S5，基于构建的整体特征目标网络，把训练集的行人图像整幅输入至所述整体特征目标网络中，得到整体特征学习模型；步骤S6，基于所述整体特征学习模型，把测试集的行人图像整幅输入至所述整体特征学习模型中，得到行人图像的整体特征向量B；步骤S7，合并每幅行人图像的所有子区域特征向量形成行人图像的局部特征向量P，局部特征向量与整体特征向量B结合组成该行人图像的最终特征表示；步骤S8，基于行人图像最终的特征表示，计算该行人图像与训练集中任意一幅图像间的相似度，相似度最高的被认为是相同的行人，得到行人识别结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：步骤S11，获取m个已预先训练好的深度学习网络模型，并对其分别进行初始化，其中m为自然数，m＝2，3，…；步骤S12，将初始化后的m个深度学习网络模型进行并行组合，并在m个网络模型的末端进行合并；步骤S13，根据组合网络卷积层中神经元的激活值得到待建局部特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的局部特征目标网络结构。3.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：步骤S121，将初始化后的m个深度学习网络模型进行并行组合，m个深度学习网络模型上下并行同时进行传播，共享权重，在末端生成特征向量f1、f2…fm；步骤S122，将m个深度学习网络模型在末端进行合并形成平方层，在该层中计算得到特征向量f1、f2…fm之间的相似性fs；步骤S123，在平方层后增加卷积层。4.根据权利要求2所述的方法，其特征在于，所述步骤S13包括以下步骤：步骤S131，根据所述卷积层中神经元的激活值得到局部...

【专利技术属性】
技术研发人员：张重，司统振，刘爽，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津,12