一种基于迁移学习和特征融合的行人重识别方法技术

本发明专利技术公开了一种基于迁移学习和特征融合的行人重识别方法，包括以下步骤：获取行人数据，通过神经网络进行初步训练，修改完了结构并结合改进的损失函数在数据集中进行再次训练；进行手工特征提取和神经网络特征提取；提取特征之后，对两种特征进行融合，得到高‑低级特征；使用XQDA算法对高‑低级特征进行分类和验证，获取重识别结果；本发明专利技术采用交叉熵损失函数和三元组损失函数对整个网络加以更强的约束，再提取手工特征和卷积网络特征进行特征融合，形成高‑低级特征，覆盖行人特征表达的不同层次，达到较好的识别效果，并以微调的形式减少训练时间，对于小数据集具有良好的泛化性和可移植性。

A Pedestrian Recognition Method Based on Migration Learning and Feature Fusion

The invention discloses a pedestrian recognition method based on migration learning and feature fusion, which includes the following steps: obtaining pedestrian data, preliminary training through neural network, modifying structure and retraining in data set combined with improved loss function; carrying out manual feature extraction and neural network feature extraction; after extracting features, merging the two features. Combining, high-level and low-level features are obtained; XQDA algorithm is used to classify and verify high-level and low-level features to obtain re-recognition results; cross-entropy loss function and triple loss function are adopted to restrict the whole network more strongly, and then manual features and convolution network features are extracted for feature fusion to form high-level and low-level features, covering different levels of pedestrian feature expression. It achieves better recognition effect and reduces training time in the form of fine-tuning. It has good generalization and portability for small data sets.

【技术实现步骤摘要】
一种基于迁移学习和特征融合的行人重识别方法
本专利技术涉及计算机视觉的研究领域，特别涉及一种基于迁移学习和特征融合的行人重识别方法。
技术介绍
行人重识别过程主要由两部分组成，即特征学习部分和度量学习部分。现有的行人重识别方法多是试图提取出一个足够好的特征表达，使其可以描述一个人在不同条件下具有独特性和鲁棒性的特征，基于此目的研究者们从色彩，纹理和形状等不同角度设计出多种手工特征，并取得了较好的结果。度量学习方面，使用标准的距离度量如欧式距离不能很好的计算行人特征的相似度，所以度量学习方面的研究是学习一个合适的度量，使得同一行人不同图像的距离小于不同人图像的距离。如今，深度学习在诸多计算机视觉任务中取得了出色的结果，其中卷积神经网络在当前最大型的图像识别数据库ImageNet上达到了最优水平。由于在计算机视觉中，不同领域图像的底层卷积特征具有通用性，将在ImageNet等大型数据库预先训练好的基础网络在其他领域数据库上进行微调训练，以作为新数据的特征提取器，这种方法称为迁移学习中的微调方法。神经网络的迁移学习解决两方面问题，一是数据量少不足以训练出较好的神经网络，二是减少训练时间；现本文档来自技高网...

【技术保护点】
1.一种基于迁移学习和特征融合的行人重识别方法，其特征在于，包括以下步骤：S1、从公开数据集中获取行人数据；S2、搭建神经网络ResNet，在数据集ImageNet上进行初步训练，得到初次训练的网络集合，并进行保存；S3、将初步训练得到的网络集合，在数据集MARS上进行微调，使用行人重识别数据作为网络输入，移除神经网络ResNet最后一层，加入一层softmax分类层，将输出层前一层的结果作为三元组损失的输出，即进行第二次训练，得到第二次训练的网络集合；具体为：将

【技术特征摘要】
1.一种基于迁移学习和特征融合的行人重识别方法，其特征在于，包括以下步骤：S1、从公开数据集中获取行人数据；S2、搭建神经网络ResNet，在数据集ImageNet上进行初步训练，得到初次训练的网络集合，并进行保存；S3、将初步训练得到的网络集合，在数据集MARS上进行微调，使用行人重识别数据作为网络输入，移除神经网络ResNet最后一层，加入一层softmax分类层，将输出层前一层的结果作为三元组损失的输出，即进行第二次训练，得到第二次训练的网络集合；具体为：将表示为第i个样本，由三个部分组成，Ii为选定行人图片，为正例，为负例；F为卷积网络，则有三元组损失函数：将正例与选定图片间的距离定义为：将负例与选定图片间的距离定义为：通过三元组损失函数与交叉熵损失函数，组合为联合函数，给神经网络约束，使得学习一个相同行人的图片具有相似输出，不同行人具有不相似输出：联合函数为：其中，T(Ii,yi)为交叉熵损失函数，Ii为第i张图片，yi为第i张图片的类别标记；S4、进行特征提取，提取卷积网络特征和提取手工特征，具体过程为：首先输入行人图片，提取卷积网络特征FCNN(Ii)，即CNN特征；手工特征方面，采取表达像素特征的层级分布描述子GOG，定义为Fhand(Ii)，即GOG手工特征；将卷积网络特征FCNN(Ii)和手工特征Fhand(Ii)进行拼接，得到高-低特征Fjoint，表示为：Fjoint＝[FCNN(Ii),Fhand(Ii)]，S5、利用交叉视角的二次判别方法XQDA，对高-低级特征Fjoint进行分类；具体为：将数据集分为测试集与训练集，使用步骤S4中提取高-低级特征的方法提取训练集高-低级特征，在XQDA上进行训练，学习出行人的样本间距离；对测试集提取高-低级特征，得到测试集高-低级特征，输入测试集高-低级特征进行验证，输出行人的样本间距离，根据行人的样本间距离评估样本相似度即行人相似度，其后和行人的真实类别进行对比验证；XQDA具体为：其中，Δ＝x-z表示不同视角的样本x和样本z之间的差异，πI为组内差异，πE为组间差异，P(Δ|π)表示Δ符合π的高斯分布；进一步，引...

【专利技术属性】
技术研发人员：杨天奇，陈英智，
申请(专利权)人：暨南大学，
类型：发明
国别省市：广东,44