基于局部和通道组合特征的行人重识别方法技术

本发明专利技术提供一种基于局部和通道组合特征的行人重识别方法。本发明专利技术通过数据增强的方式，模拟各种遮挡发生的情况，提升了对于遮挡问题的鲁棒性。同时使用STN对图片进行缩放，旋转和平移，来对齐行人图片。将图片进行水平分割，得到不同部位的特征。对于整张行人图片的全局特征，通过分类损失使其正确分类行人身份，再通过相似度损失使得相同行人的特征分布地更加紧密，不同行人的特征分布地更加疏远。对于局部和通道组合特征，通过相似度损失对这些不同身体部位上的不同模式进行比较。最终将两种特征融合作为行人描述符，进一步提升了行人描述符的判别力。通过提高行人描述符的抗遮挡和判别能力，可以进行较为准确的行人重识别。

【技术实现步骤摘要】
基于局部和通道组合特征的行人重识别方法
本专利技术属于计算机视觉、图像检索领域，涉及一种基于局部和通道组合特征的行人重识别方法。该方法解决了行人重识别领域中一些常见的问题。
技术介绍
随着监控系统的发展和普及，越来越多的行人图像数据亟待处理。行人重识别技术是根据某一摄像头拍摄的行人图像，在其他摄像头拍摄的行人图像中，找出该行人的图像。其在现实生活中有着广泛的应用场景，例如智能安保、刑事侦查、人机交互等，同时也与行人检测，行人跟踪等其他领域密切联系。目前普遍使用的行人重识别方法是基于卷积神经网络(ConvolutionalNeuralNetwork，CNN)进行的。因此一些方法旨在设计或改良网络模型，提取更具判别力的行人图像特征，例如在ImageNet数据集上预训练并在行人重识别数据集上微调的残差网络ResNet-50。同时一些方法致力于改良或设计损失函数，损失函数主要分为两类：1)分类损失，将每个行人当作一个特定的类别，例如交叉熵损失(cross-entropyloss)；2)相似度损失，约束了行人图像间相似度的关系，例如对比损失(co本文档来自技高网...

【技术保护点】
1.一种基于局部和通道组合特征的行人重识别方法，其特征在于，包括以下流程：/n一、训练流程：对神经网络进行训练，以获得最佳的网络参数；训练数据集中的样本由行人图片x和其对应的行人身份ID(x),ID(x)∈{1,...,C}组成；C代表行人身份总数，一个身份的行人具有多张图片；/n二、测试流程：/n测试数据集分为查询集和仓库集，查询集包含已知其身份的行人图片，仓库集包含和查询集中行人身份相同的图片以及和查询集中行人身份不同的图片；数据集的构建是先由视角不重叠的监控摄像头拍摄下行人的图片，再由行人检测器(Deformable Parts Model，DPM)自动地标注出行人矩形框，最后保留矩形框...

【技术特征摘要】
1.一种基于局部和通道组合特征的行人重识别方法，其特征在于，包括以下流程：
一、训练流程：对神经网络进行训练，以获得最佳的网络参数；训练数据集中的样本由行人图片x和其对应的行人身份ID(x),ID(x)∈{1,...,C}组成；C代表行人身份总数，一个身份的行人具有多张图片；
二、测试流程：
测试数据集分为查询集和仓库集，查询集包含已知其身份的行人图片，仓库集包含和查询集中行人身份相同的图片以及和查询集中行人身份不同的图片；数据集的构建是先由视角不重叠的监控摄像头拍摄下行人的图片，再由行人检测器(DeformablePartsModel，DPM)自动地标注出行人矩形框，最后保留矩形框中的行人图片，并添加上行人的身份标签，同一行人在查询集和仓库集中的图片的拍摄视角不同。


2.根据权利要求1所述的一种基于局部和通道组合特征的行人重识别方法，其特征在于，训练流程具体步骤如下：
步骤1、对训练集中的样本进行采样生成小批量数据：
一个小批量数据中包含P×K张图片，即不同身份的行人P个，每个行人K张图片；如果在训练集中，一个行人的图片数量大于K张，则从中随机采样K张；小于K张，则采样其所有的图片，不够的再重复采样；
步骤2、通过数据增强的方式提升模型的抗遮挡能力：
2-1、生成一个可以存放不同分辨率图片的图片池(Pool)；
2-2、在每张图片输入到网络之前，会以p1概率复制其中一小块图片存入Pool中；假设图片的分辨率为H×W，一小块图片即图片块的分辨率随机落在区间[0.1H,0.2H]×[0.1W,0.2W]之间，位置也是随机选择；
2-3、然后以p2概率从Pool中随机挑选一图片块覆盖在该图片上，覆盖的位置随机选择；
步骤3、加载预训练网络：
使用在ImageNet数据集上预训练的ResNet-50网络，保留该网络全局平均池化(GlobalAveragePooling，GAP)层之前的结构，并将最后一个卷积层(ConvolutionalLayer)的步长设置为1，将其记作“卷积基网络”；一张分辨率为256×128的图片输入卷积基网络后输出尺寸为16×8×2048的张量特征图T；
步骤4、对通道分组获得每组通道的特征：
将步骤3中得到的尺寸为16×8×2048的张量特征图T沿着通道(即最后一个维度)平均分成4组，每组的张量特征图尺寸为16×8×512，分别记作T1,T2,T3,T4；
步骤5、对张量特征图进行切割获得局部特征：
将步骤4获得的每组张量特征图T1,T2,T3,T4，沿着其水平方向平均切割成4块局部张量特征图，每块局部张量特征图的尺寸为4×8×512，分别记作T11～T14,T21～T24,T31～T34,T41～T44；T经过步骤4和5得到16块局部张量特征图T11～T14,T21～T24,T31～T34,T41～T44；每块局部张量特征图代表着不同位置和不同通道的组合特征；
步骤6、对特征图进行压缩：
对张量特征图T进行卷积，卷积核尺寸为16×8×512，个数为512个，参数随机初始化，得到尺寸为1×1×512的全局特征g；同样对T11～T14,T21～T24,T31～T34,T41～T44分别进行卷积，每块局部张量特征图对应的卷积核尺寸为4×8×512，个数为512，参数随机初始化，得到16个尺寸为1×1×512的局部通道组合特征pc1～pc16；
步骤7、对不同的特征应用不同的损失函数：
对于局部通道组合特征pc1～pc16，分别应用批难样本三元组损失(BatchHardTripletLoss)：



式(1)中X代表步骤1采样得到的小批量数据，θ代表网络的参数；代表第i个行人对应K张图片中的第a张图片，代表第i个行人对应K张图片中的第p张图片，因两张图片属于同一行人，称之为正样本对；代表第j个行人对应K张图片中的第n张图片，因和属于不同行人，称之为负样本对；fθ(x)代表图片x输入网络运算后输出的特征，D(x,y)代表特征x和特征y的欧几里得距离(EuclideanDistance)；m是一个常数，约束了两个特征对距离之间的关系，[x]+＝max(0,x)；对于一个行人的一张图片来说，遍历该行人对应K张图片中的每张图片找到特定的使得和分别输入网络运算后得到的两个特征间欧几里得距离最大，即为一个正难样本对；同时，遍历其余行人的每张图片(共(P-1)×K张图片)找到特定的使得和分别输入网络运算后得到的两个特征间欧几里得距离最小，即为一个负难样本对；该损失函数找出每个行人的每张图...

【专利技术属性】
技术研发人员：徐尔立，翁立，王建中，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33