一种基于属性信息辅助的行人再识别方法技术

本发明专利技术公开了一种基于属性信息辅助的行人再识别方法，包括如下步骤：S1：在ID维度上标注行人属性；S2：构建行人重识别深度学习网络模型：包括骨干网络、ID分支网络以及属性分支网络，骨干网络作为ID分支网络以及属性分支网络的输入，其中ID分支网络输出行人全局特征向量并预测行人ID，属性分支网络输出属性特征向量并预测行人属性；S3：构建损失函数；S4：准备训练数据集，进行行人重识别深度学习模型训练；S5:提取被查询图像特征；S6：计算被查询图像与图库图像特征之间的相似度。本发明专利技术增加属性以学习更多区分性特征表示，结构化行人特征，补充行人身份标签信息，提高行人辨识度，辅助行人再识别，优化行人重识别排序结果。

【技术实现步骤摘要】
一种基于属性信息辅助的行人再识别方法
本专利技术属于行人再识别
，具体涉及一种基于属性信息辅助的行人再识别方法。
技术介绍
行人再识别是指通过目标人物的查询图像检索不同摄像头下目标是否出现的识别过程。在安防监控领域，由于摄像头的角度、距离、光照、遮挡、复杂环境等客观因素影响了人脸识别的有效性，行人重识别技术补充了传统人脸识别在智能监控上的缺陷。随着深度学习的快速发展，行人再识别方面的研究也取得了突破，普遍的方法是利用深度学习模型提取目标行人的全局特征进行相似度计算得到排序结果。其中存在的问题是，忽略了行人身份信息与行人属性信息的互补关系，导致全局特征缺少特定于行人的局部属性描述，排序结果出现属性差异大的现象。
技术实现思路
本专利技术的目的在于提供一种基于属性信息辅助的行人再识别方法。为实现上述目的，本专利技术提供如下技术方案：一种基于属性信息辅助的行人再识别方法，包括如下步骤：S1：在ID维度上标注行人属性；S2：构建行人重识别深度学习网络模型：包括骨干网络、ID分支网络以及属性分支网络，骨干网络作为ID分支网络以及属性分支网络的输入，其中ID分支网络输出行人全局特征向量并预测行人ID，属性分支网络输出属性特征向量并预测行人属性；S3：构建损失函数；S4：准备训练数据集，进行行人重识别深度学习模型训练；S5:提取被查询图像特征；S6：计算被查询图像与图库图像特征之间的相似度；S7：根据相似度得分进行排序得到识别结果。<br>进一步的，所述行人属性包括性别、年龄段、是否戴帽、头发长度、上衣袖子长度、上衣颜色、下衣类型、下衣长度、下衣颜色、携带包类型，并将多标签属性转为二值标签属性。进一步的，所述骨干网络采用resnet结构。进一步的，骨干网络resnet的conv4_x输出作为ID分支网络的输入，所述ID分支网络：包括的网络层结构有全局平均池化层、BatchNorm层、全连接层，其中BatchNorm层输出作为行人全局特征向量，全连接层预测行人ID。进一步的，骨干网络resnet的conv4_x输出作为属性分支网络的输入，属性分支网络包括conv5_x模块、全局平均池化层、全连接层、sigmoid层，其中全局平均池化层输出为深层属性特征向量，后连接四个全连接分支，每个全连接分支后连接各身体部位属性预测全连接层,sigmoid层进行属性得分预测。进一步的，还包括浅层属性特征网络：提取属性相关浅层特征，骨干网络resnet的conv3_x输出作为浅层属性分支网络的输入，经过全局平均池化层、降维卷积层输出浅层属性特征向量；深层属性特征网络，提取深层属性特征，骨干网络resnet的conv4_x输出作为深层属性分支网络的输入，深层属性分支网络包括conv5_x模块、全局平均池化层、降维卷积层，其中降维卷积层输出为深层属性特征向量；属性分类网络，将浅层属性特征与深层属性特征进行拼接形成属性特征向量，后连接四个全连接分支，每个全连接分支后连接各身体部位属性预测全连接层，sigmoid层得到属性评分预测向量。进一步的，构建损失函数，ID分支网络采用triplet损失和softmax交叉熵进行训练；属性分支网络利用tripletloss和focalloss损失函数分别对属性特征向量、属性评分预测向量进行约束，属性分支损失为Latttri和Lattfocal，深度学习模型总损失L：L＝Lid_tri+Lid_ce+Latt_tri+Latt_focal。进一步的，步骤S6中利用人重识别深度学习模型对行人图像进行特征提取，ID分支网络输出2048维行人全局特征向量并进行归一化处理得到idfeature，属性分支输出33维属性得分向量attscore。进一步的，步骤S7相似度计算步骤如下：(3)计算欧式距离并归一化映射到[0，1]，其中α∈[0，1]为平衡特征的权重：(4)将归一化后的距离转化为相似度得分：与现有技术相比，本专利技术的有益效果是：本专利技术增加属性以学习更多区分性特征表示，结构化行人特征，补充行人身份标签信息，提高行人辨识度，辅助行人再识别，优化行人重识别排序结果。附图说明图1为本专利技术的整体流程结构图。图2为本专利技术实施例中提及的第一种行人重识别深度学习网络。图3为本专利技术实施例中提及的第二种行人重识别深度学习网络。图4为本专利技术实施例提及的属性分支网络的结构示意图。图5是本专利技术实施例中提及的一个应用例。图6是本专利技术实施例中提及的另一个应用例。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本实施例提出一种基于属性信息辅助的行人再识别方法，具体步骤如下：步骤1：在ID维度上标注行人属性，所诉行人属性包括性别(男性/女性)、年龄段(儿童/青少年/成人/老人)、是否戴帽(戴/不戴)、头发长度(短发/长发)、上衣袖子长度(短袖/长袖)、上衣颜色(黑/白/粉/红/黄/绿/蓝/紫/灰/棕)、下衣类型(裤装/裙装)、下衣长度(短/长)、下衣颜色(黑/白/粉/红/黄/绿/蓝/紫/灰/棕)、携带包类型(手提包/背包/无)共10个属性大类别，且将多标签属性转为二值标签属性。步骤2：构建行人重识别深度学习网络模型，包括骨干网络、ID分支网络、属性分支网络三个部分。其中骨干网络采用resnet结构，ID分支网络和属性分支网络共享骨干网络resnet的conv4_x以前的网络参数，具体结构见图1。具体的：ID分支网络，预测行人身份类别，骨干网络resnet的conv4_x输出作为ID分支网络的输入，包括的网络层结构有全局平均池化层、BatchNorm层、全连接层，其中BatchNorm层输出作为行人全局特征向量，全连接层预测行人ID。属性分支网络，预测深层语义属性，参照图2所示，骨干网络resnet的conv4_x输出作为属性分支网络的输入，属性分支网络包括conv5_x模块、全局平均池化层、全连接层、sigmoid层，其中全局平均池化层输出为深层属性特征向量，后连接四个全连接分支，每个全连接分支后连接各身体部位属性预测全连接层，分别对应8维全局属性(性别、年龄段、携带包类型)、2维头部属性(是否戴帽、头发长度)、11维上半身属性(上衣袖子长度、上衣颜色)和12维下半身属性(下衣类型、下衣长度、下衣颜色)，通过sigmoid层进行属性得分预测，具体结构见图4；在本实施例的另一个优选方案，参照图3所示：(1)ID分支网络，预测行人身份类别，骨干网络resnet的conv4_x输出作为ID分支网络的输入，包括的网络层结构有全局平均池化层、B本文档来自技高网...

【技术保护点】
1.一种基于属性信息辅助的行人再识别方法，其特征在于：包括如下步骤：/nS1：在ID维度上标注行人属性；/nS2：构建行人重识别深度学习网络：包括骨干网络、ID分支网络以及属性分支网络，骨干网络作为ID分支网络以及属性分支网络的输入，其中ID分支网络输出行人全局特征向量并预测行人ID，属性分支网络输出属性特征向量并预测行人属性；/nS3：构建损失函数，深度学习模型总损失为ID损失与属性损失的和；/nS4：准备训练数据集，进行行人重识别深度学习模型训练；/nS5:提取被查询图像特征；/nS6：计算被查询图像与图库图像特征之间的相似度；/nS7：根据相似度得分进行排序得到识别结果。/n

【技术特征摘要】
1.一种基于属性信息辅助的行人再识别方法，其特征在于：包括如下步骤：
S1：在ID维度上标注行人属性；
S2：构建行人重识别深度学习网络：包括骨干网络、ID分支网络以及属性分支网络，骨干网络作为ID分支网络以及属性分支网络的输入，其中ID分支网络输出行人全局特征向量并预测行人ID，属性分支网络输出属性特征向量并预测行人属性；
S3：构建损失函数，深度学习模型总损失为ID损失与属性损失的和；
S4：准备训练数据集，进行行人重识别深度学习模型训练；
S5:提取被查询图像特征；
S6：计算被查询图像与图库图像特征之间的相似度；
S7：根据相似度得分进行排序得到识别结果。


2.如权利要求1所述的一种基于属性信息辅助的行人再识别方法，其特征在于：所述行人属性包括性别、年龄段、是否戴帽、头发长度、上衣袖子长度、上衣颜色、下衣类型、下衣长度、下衣颜色、携带包类型，并将多标签属性转为二值标签属性。


3.如权利要求1所述的一种基于属性信息辅助的行人再识别方法，其特征在于：所述骨干网络采用resnet结构。


4.如权利要求3所述的一种基于属性信息辅助的行人再识别方法，其特征在于：骨干网络resnet的conv4_x输出作为ID分支网络的输入，所述ID分支网络：包括的网络层结构有全局平均池化层、BatchNorm层、全连接层，其中BatchNorm层输出作为行人全局特征向量，全连接层预测行人ID。


5.如权利要求3所述的一种基于属性信息辅助的行人再识别方法，其特征在于：骨干网络resnet的conv4_x输出作为属性分支网络的输入，属性分支网络包括conv5_x模块、全局平均池化层、全连接层、sigmoid层，其中全局平均池化层输出为深层属性特征向量，后连接四个全连接分支，每个全连接分支后连接各身体部位属性预测全连接层,sigmoid层进...

【专利技术属性】
技术研发人员：易珂，徐晓刚，刘静，管慧艳，龚心满，
申请(专利权)人：杭州云栖智慧视通科技有限公司，
类型：发明
国别省市：浙江;33