一种基于迁移学习和深度特征融合的行人重识别方法技术

本发明专利技术提供了一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：预训练‑人体姿态矫正和分割‑特征向量‑深度特征融合‑训练模型‑测试模型‑识别结果。本发明专利技术通过利用深度卷积神经网络提取行人全局和局部特征，对两种特征进行深度融合获得最终的行人特征表征，然后在深度卷积神经网络训练过程中，采用迁移学习的方式进而获得效果更好的行人重识别网络模型，最终使得行人重识别网络模型提取的特征具有更强的分辨能力，从而达到提升行人重识别准确率的目的。

A Pedestrian Recognition Method Based on Migration Learning and Deep Feature Fusion

【技术实现步骤摘要】
一种基于迁移学习和深度特征融合的行人重识别方法
本专利技术涉及一种基于迁移学习和深度特征融合的行人重识别方法，属于深度学习、迁移学习

技术介绍
行人重识别，主要目的在非重叠视角域多摄像头网络下进行的行人匹配任务，即找出不同位置的摄像头在不同时刻拍摄的目标行人。随着人工智能技术的发展，在公共安防、图像检索等应用场景中行人重识别技术被广泛研究域关注。但是行人重识别技术与人脸识别、手势识别等传统生物识别技术相比，因监控视频的环境复杂不可控等原因，进而面临图像分辨率低、视角变化、姿态变化、光线变化以及遮挡等因素导致识别精度低的问题。因此，行人重识别技术在实际应用场景下面临较大的挑战。为了提升行人重识别的准确率和增强系统的鲁棒性，众多学者经过长期的研究，提出了不同的行人重识别方法。旷视科技Facce++在行人重识别领域取得巨大的进展，该团队发表的论文AlignedReID中提出了一种新方法，通过动态对准(DynamicAlignment)和协同学习(MutualLearing)，然后在重新排序(Re-Ranking)，该论文通过实验发现，在测试阶段提取行人全局特征和融合行人全局与局部特征的识别准确率相差无几；Yi等基于孪生卷积神经网络提出了一种深度度量学习方法，取得了不错的效果；Liu等基于邻域成分分析和深度置信网络提出一种深度非线性度量学习方法，邻域变换分析的作用是通过数据变换使训练数据中每类数据的可识别样本数目最大化，为了扩展邻域变换分析中的数据变换，采用深度置信网络来学习非线性特征变换。但在研究中发现，上述行人重识别方法大部分在训练过程中基于行人全局图像作为输入提取全局特征向量，同时有些方法虽然提取了局部特征，并没有充分利用行人局部特征进行深度融合，获得具有区分性的图像表征。且在使用预训练模型在行人数据库上进行简单的微调，并没有考虑到源域与目标域数据集之间的数据分布差异。进而到网络迁移效果不理想。
技术实现思路
为解决上述技术问题，本专利技术提供了一种基于迁移学习和深度特征融合的行人重识别方法，该基于迁移学习和深度特征融合的行人重识别方法能够针对行人全局特征与局部特征未进行深度融合，以及在网络微调过程中没有充分考虑到数据分布的差异。本专利技术通过以下技术方案得以实现。本专利技术提供的一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：①预训练：将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；②人体姿态矫正和分割：在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络检测出的十四个关键点中，并进行人体姿态矫正和行人局部ROI分割，获取数据增强后的难分样本对、矫正后的全局和局部图像；③特征向量：将矫正后的全局和局部图像、数据增强后的难分样本对，输入到行人重识别预训练网络模型，获取行人局部和全局特征向量；④深度特征融合：将行人局部和全局特征向量进行深度特征融合，获取最终行人特征向量；⑤训练模型：采用迁移学习的方式和步骤④中最终行人特征向量，对行人重识别预训练网络模型进行微调，并在行人重识别预训练网络模型中共添加自适应层，获取行人重识别网络模型；⑥测试模型：输入查询行人和目标行人图像，仅使用行人重识别网络模型提取两个具有区分性的行人全局特征向量；⑦识别结果：基于步骤中⑥的行人全局特征向量，计算查询行人与目标行人数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人。训练阶段中的行人重识别网络模型的输入，采用三元组行人图像。所述步骤①分为以下步骤：(1.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；(1.2)在行人重识别数据上预训练深度卷积神经网络模型时，仅利用了样本标注信息对深度卷积网络模型进行微调。所述步骤(1.2)分为以下步骤：(1.2.1)将在ImageNet数据集上预训练的ResNet50网络模型，去除顶层的全连接层，在最大池化层后添加两层全连接层和一层softmax层；(1.2.2)利用行人图像标注的标签信息对构建的深度卷积神经网络进行微调，在微调过程中固定深度卷积神经网络的前三层；(1.2.3)根据深度卷积神经网络获取行人全局图像的预测概率；(1.2.4)根据预测概率定义深度卷积神经网络中的损失函数。所述步骤②中获取的矫正后的全局和局部图像，为难分正负样本三元组行人图像、人体姿态矫正后的行人全局图像和局部ROI图像。所述步骤②分为以下步骤：(2.1)将每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图像，每个batch含有P×K张行人图像；(2.2)将每一个训练batch中图像为锚样本Hn，选择一个最难的正样本和一个最难的负样本和Hn组成一个三元组，选择难分样本对的要求是最大，最小；(2.3)将三元组行人图像输入到人体骨骼关键点检测网络，分别检测出十四个人体骨骼关键点，包括头部、四肢、上半身、下半身，并以十四个关键点为坐标对人体姿态进行矫正；(2.4)根据十四个人体骨骼关键点，将行人全局图像分割为头部、上半身、下半身三个行人局部ROI图像，获取一张矫正后行人全局图像和三张行人局部图像。所述步骤(2.2)中，使用步骤(1.1)中的预训练深度卷积神经网络模型，在与锚样本Hn相同行人ID图像中选择得分最低的行人图像样本组成难分正样本对，在与锚样本Hn不同行人ID图像中选择得分最高的行人图像样本组成难分负样本对。所述步骤③分为以下步骤：(3.1)获取经过步骤(1.1)预训练深度卷积神经网络模型和经过步骤②矫正后的全局和局部图像，并去除预训练深度卷积神经网络模型顶层的softmax层和一层全连接层；(3.2)将数据增强后的难分样本对、矫正后的全局和局部图像分别输入到深度卷积神经网络模型，经过步骤(3.1)构建的深度卷积神经网络模型，获取行人全局特征向量和行人局部特征向量。所述步骤④分为以下步骤：(4.1)将步骤③中的行人局部和全局特征向量输入到一层全连接层，进行深度特征融合，获取输出融合后的行人特征向量；(4.2)将融合后的行人特征向量和步骤(3.2)中的行人局部特征向量，分别输入一层平方层，平方层使用平方欧氏距离度量难分样本对之间的相似度。所述步骤⑥分为以下步骤：(6.1)将查询与目标行人图像输入到人体关键点与姿态矫正网络进行人体姿态矫正；(6.2)将人体姿态矫正后的行人图像输入行人重识别网络模型，获取行人全局特征向量。本专利技术的有益效果在于：通过利用深度卷积神经网络提取行人全局和局部特征，对两种特征进行深度融合获得最终的行人特征表征，然后在深度卷积神经网络训练过程中，采用迁移学习的方式进而获得效果更好的行人重识别网络模型，最终使得行人重识别网络模型提取的特征具有更强的分辨能力，从而达到提升行人重识别准确率的目的。附图说明图1是本专利技术的流程图；图2是本专利技术实施例全局特征与局部特征深度融合的网络结构图；图3是本专利技术实施例基于深度卷积神经网络的深度特征融合与局部特征学习模型的网络结构图。具体实施方式下面进一步描述本专利技术的技术方案，但要求保护的范围并不局限于所述。如图1所示，一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：①预训练：将基于ImageN本文档来自技高网...

【技术保护点】
1.一种基于迁移学习和深度特征融合的行人重识别方法，其特征在于：包括以下步骤：①预训练：将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；②人体姿态矫正和分割：在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络检测出的十四个关键点中，并进行人体姿态矫正和行人局部ROI分割，获取数据增强后的难分样本对、矫正后的全局和局部图像；③特征向量：将矫正后的全局和局部图像、数据增强后的难分样本对，输入到行人重识别预训练网络模型，获取行人局部和全局特征向量；④深度特征融合：将行人局部和全局特征向量进行深度特征融合，获取最终行人特征向量；⑤训练模型：采用迁移学习的方式和步骤④中最终行人特征向量，对行人重识别预训练网络模型进行微调，并在行人重识别预训练网络模型中共添加自适应层，获取行人重识别网络模型；⑥测试模型：输入查询行人和目标行人图像，仅使用行人重识别网络模型提取两个具有区分性的行人全局特征向量；⑦识别结果：基于步骤中⑥的行人全局特征向量，计算查询行人与目标行人数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人。

【技术特征摘要】
1.一种基于迁移学习和深度特征融合的行人重识别方法，其特征在于：包括以下步骤：①预训练：将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；②人体姿态矫正和分割：在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络检测出的十四个关键点中，并进行人体姿态矫正和行人局部ROI分割，获取数据增强后的难分样本对、矫正后的全局和局部图像；③特征向量：将矫正后的全局和局部图像、数据增强后的难分样本对，输入到行人重识别预训练网络模型，获取行人局部和全局特征向量；④深度特征融合：将行人局部和全局特征向量进行深度特征融合，获取最终行人特征向量；⑤训练模型：采用迁移学习的方式和步骤④中最终行人特征向量，对行人重识别预训练网络模型进行微调，并在行人重识别预训练网络模型中共添加自适应层，获取行人重识别网络模型；⑥测试模型：输入查询行人和目标行人图像，仅使用行人重识别网络模型提取两个具有区分性的行人全局特征向量；⑦识别结果：基于步骤中⑥的行人全局特征向量，计算查询行人与目标行人数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人。2.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：训练阶段中的行人重识别网络模型的输入，采用三元组行人图像。3.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：所述步骤①分为以下步骤：(1.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；(1.2)在行人重识别数据上预训练深度卷积神经网络模型时，仅利用了样本标注信息对深度卷积网络模型进行微调。4.如权利要求3所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：所述步骤(1.2)分为以下步骤：(1.2.1)将在ImageNet数据集上预训练的ResNet50网络模型，去除顶层的全连接层，在最大池化层后添加两层全连接层和一层softmax层；(1.2.2)利用行人图像标注的标签信息对构建的深度卷积神经网络进行微调，在微调过程中固定深度卷积神经网络的前三层；(1.2.3)根据深度卷积神经网络获取行人全局图像的预测概率；(1.2.4)根据预测概率定义深度卷积神经网络中的损失函数。5.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：所述步骤②中获取的矫正后的全局和局部图像，为难分正负样本三元组行人图像、人体姿...

【专利技术属性】
技术研发人员：丁剑飞，王进，阚丹会，闫盈盈，曹扬，
申请(专利权)人：中电科大数据研究院有限公司，
类型：发明
国别省市：贵州,52