一种基于深度表示学习跟动态匹配的行人再识别方法技术

本发明专利技术公开了一种基于深度表示学习跟动态匹配的行人再识别方法，用于判别在不同时间或者区域的行人身份。包括：构建特征提取模型，用于提取全局、局部特征，利用全局特征、局部特征进行联合学习；实现不同行人局部特征之间的动态匹配，使用三元组损失函数进行学习模型；取检索库和查询库中行人图片的全局特征，计算查询库行人和检索库行人的全局特征间的相似度分数，并利用相似度分数进行排序，获取查询库中行人在检索库中所对应的行人。本发明专利技术利用全局特征跟局部特征进行联合学习，其中实现了局部特征之间的对齐，这样使得模型学习到的全局特征同时关注了局部信息跟全局信息。缓解了行人再识别中的局部不对齐问题，提升了模型再识别的性能。

A pedestrian recognition method based on depth representation learning and dynamic matching

【技术实现步骤摘要】
一种基于深度表示学习跟动态匹配的行人再识别方法
本专利技术涉及计算机视觉领域，更具体地，涉及一种基于深度表示学习跟动态匹配的行人再识别方法。
技术介绍
行人再识别可以看作是行人检索问题，具体是给定一个查询行人，在一个大的特定的行人数据集中检索出来具有相同身份的行人。随着深度学习的兴起，深度表示学习方法可以说是统治着这个领域，基于传统特征的行人再识别方法已经渐行渐远。这是因为，深度学习方法能够通过网络自行学习具有区分性的行人特征。即便如此，在现实场景中，行人往往存在着姿态的变化、摄像头的视角变化、行人跟摄像头之间的距离差异性大等等这些现象，进一步会导致不同行人之间他们的局部不对齐，也就是说，图像中相应的位置表示的行人部件不一致。这样在匹配计算相似度过程中，往往会造成一定的误差，致使建立的模型泛化性能下降。为了解决行人局部特征之间的不对齐问题，有研究人员提出一些深度表示学习方法利用行人部件的局部特征，对它们进行整合，尝试通过这样的方法实现行人局部特征之间的对齐。目前常用的基于部件的行人再识别方法主要有以下几种：利用图像切块的方式提取局部特征。通过把原始的图像切割成多个水平条纹来实现行人间的局部特征对齐，最后的特征通过融合每个水平条纹的特征来使得模型更加关注局部，而不仅仅是关注行人的全局特征。比如，PCB(基于部件的卷积神经网络基线)(YifanSun.Beyondpartmodels：Personretrievalwithrefinedpartpooling.InECCV，2018.)通过把行人图像平均切分成水平条纹，再使用一种机制，重新把像素分配到相应的条纹。基于姿态估计跟关键点估计的局部对齐方法。这个方法先是利用姿态估计模型估计出人体的关键点，然后利用仿射变换使得相同的关键点对齐，从而使得人体不同的部位有了相对应的对齐。但是这种方法会依赖于一个外部的姿态估计、关键点估计模型。CVPR2017的工作SpindleNet(HaiyuZhao，MaoqingTian.Spindlenet：Personre-identificationwithhumanbodyregionguidedfeaturedecompositionandfusion[C].CVPR，2017.)利用了14个人体关键点来提取局部特征。虽然有了一定的方法来解决行人局部特征之间的对齐问题，但是对齐的效果仍然有着较大的提升空间。在基于水平条纹的图像切块方法中，一些姿态变换、遮挡、不正确的检测框等依旧会造成行人之间存在着很大的不对齐；而在就姿态估计跟关键点估计的局部对齐方法中，需要额外的监督信息，并且需要一个姿态估计的步骤；更为糟糕的是，姿态估计过程中会存在倾向估计错误的情形；如此一来，行人局部特征之间的对齐更加不可行。
技术实现思路
为了解决行人局部特征之间的不对齐问题，本专利技术提出了一种基于深度表示学习跟动态匹配的行人再识别方法，该方法把行人进行水平切割，但是允许水平条纹之间可以有重叠，假设条纹之间通过弹簧来连接，如此实现动态匹配，进一步实现行人间的匹配。本专利技术的目的通过以下的技术方案实现：一种基于深度表示学习跟动态匹配的行人再识别方法，包括步骤：步骤S1：获取不同摄像头下的行人图片，构建行人检索库和查询库；步骤S2：构建局部特征、全局特征提取模型，利用全局特征、局部特征进行联合学习；步骤S3：实现不同行人局部特征之间的动态匹配，使用三元组损失函数进行模型学习；步骤S4：提取检索库和查询库中行人图片的全局特征，计算查询库行人和检索库行人的全局特征间的相似度分数，并利用相似度分数进行排序，获取查询库中行人在检索库中所对应的行人。本专利技术利用全局特征跟局部特征进行联合学习，其中实现了局部特征之间的对齐，这样使得模型学习到的全局特征同时关注了局部信息跟全局信息，缓解了行人再识别中的局部不对齐问题，提升了模型再识别的性能。优选的，步骤S2中所述局部特征、全局特征提取模型使用在Imagenet上进行预训练的Resnet50，全局特征分支跟局部特征分支共享卷积神经网络，用于提取特征图，全局特征通过直接对特征图进行全局的池化获取；局部特征的获得通过如下方法：先对卷积神经网络提取的特征图进行水平方向上的池化，而后使用一个1x1卷积层对其通道数进行降维。优选的，所述步骤S3中，实现不同行人局部特征之间的动态匹配，方法是：定义物体表示的是行人，一个部件表示的是行人的一个水平条纹，假设水平条纹通过弹簧连接，这允许条纹能够滑动且偏离固定分割的位置，给定两张待匹配的图像(I0，I1)，通过可形变的条纹来动态匹配图片，试图找到两者之间的最佳对齐方式：定义配置C为图像I1中每个条纹的位置信息，C*为动态分割的最优配置，S表示两张图像之间的相似性，公式表示如下：S(I0，I1)＝maxCS(C；I0，I1；θ)；(1)基于配置C，S(C；I0；I1；θ)的计算公式为：S(C；I0；I1；θ)＝Sapp(C；I0；I1；θ)-λ·Sdef(C；I0；I1；θ)；(2)其中，Sapp(C；I0；I1；θ)表示两张图像的相似性度量；Sdef(C；I0；I1；θ)是空间形变代价；θ表示参数空间。由于图像已经被水平分割，故当前配置C下两者之间的相似性度量可进一步表示为：此处，F(x，y)表示分别来自图像I0，I1的两个相对应的条纹的相似性度量；d(x，y)表示两个对用条纹的空间性变代价；表示图像的条纹，k＝0，1；λ是惩罚系数，而E则为图像I1中连接两个相邻条纹的边，一个配置C的相似性度量Sapp(C；I0；I1；θ)是F(x，y)在所有条纹对的累加，F(x，y)是一种距离；固定分割图像I0，动态滑动分割图像I1，分别计算跟之间的相似性度量以及相关的空间形变代价；根据动态规划算法，搜索整体的动态分割的最优配置C*，在此最优配置下，得到两张图像的局部相似性度量，从而实现不同行人局部特征之间的动态匹配。优选的，步骤S3中使用三元组损失函数进行学习模型，是指给定一个anchor(锚)，选取跟它具有相同身份信息的positive(正)样本以及不同身份的negative(负)样本，三者组成一个三元组；通过三元组损失函数的学习，使得anchor跟positive之间的距离变小，而anchor跟negative之间的距离变大，三元组损失函数公式如下：其中，f(x)表示映射函数，表示anchor输入；表示positive样本输入；表示negative样本输入；α为超参数。更进一步的，所述三元组损失函数的学习过程中，三元组损失函数采用困难三元组损失函数，困难三元组是指针对每个anchor，相同身份中相似度最小的positive样本跟不同身份中相似度最大的negative样本，这样的(anchor，positive，negative)就是困难三元组；在挖掘困难三元组时使用的是基于全局特征所计算的相似度；而在计算三元组损失函数时利用本文档来自技高网...

【技术保护点】
1.一种基于深度表示学习跟动态匹配的行人再识别方法，其特征在于，包括步骤：/n步骤S1：获取不同摄像头下的行人图片，构建行人检索库和查询库；/n步骤S2：构建局部特征、全局特征提取模型，利用全局特征、局部特征进行联合学习；/n步骤S3：实现不同行人局部特征之间的动态匹配，使用三元组损失函数进行模型学习；/n步骤S4：提取检索库和查询库中行人图片的全局特征，计算查询库行人和检索库行人的全局特征间的相似度分数，并利用相似度分数进行排序，获取查询库中行人在检索库中所对应的行人。/n

【技术特征摘要】
1.一种基于深度表示学习跟动态匹配的行人再识别方法，其特征在于，包括步骤：
步骤S1：获取不同摄像头下的行人图片，构建行人检索库和查询库；
步骤S2：构建局部特征、全局特征提取模型，利用全局特征、局部特征进行联合学习；
步骤S3：实现不同行人局部特征之间的动态匹配，使用三元组损失函数进行模型学习；
步骤S4：提取检索库和查询库中行人图片的全局特征，计算查询库行人和检索库行人的全局特征间的相似度分数，并利用相似度分数进行排序，获取查询库中行人在检索库中所对应的行人。


2.根据权利要求1所述的基于深度表示学习跟动态匹配的行人再识别方法，其特征在于，步骤S2中所述局部特征、全局特征提取模型使用在Imagenet上进行预训练的Resnet50，全局特征分支跟局部特征分支共享卷积神经网络，用于提取特征图，全局特征通过直接对特征图进行全局的池化获取；局部特征的获得通过如下方法：先对卷积神经网络提取的特征图进行水平方向上的池化，而后使用一个1x1卷积层对其通道数进行降维。


3.根据权利要求1所述的基于深度表示学习跟动态匹配的行人再识别方法，其特征在于，所述步骤S3中，实现不同行人局部特征之间的动态匹配，方法是：
定义物体表示的是行人，一个部件表示的是行人的一个水平条纹，假设水平条纹通过弹簧连接，这允许条纹能够滑动且偏离固定分割的位置，给定两张待匹配的图像(I0,I1),通过可形变的条纹来动态匹配图片，试图找到两者之间的最佳对齐方式：
定义配置C为图像I1中每个条纹的位置信息，C*为动态分割的最优配置，S表示两张图像之间的相似性，公式如下：



此处，F(x,y)表示分别来自图像I0,I1的两个相对应的条纹的相似性度量；d(x,y)表示两个对用条纹的空间性变代价；表示图像的条纹，k＝0,1；λ是惩罚系数，而E则为图像I1中连接两个相邻条纹的边，一个配置C的相似性度量Sapp(C；I0；I1；θ)是F(x,y)在所有条纹对的累加，F(x,y)是一种距离；θ表示参数空间，m为分成的条纹；
固定分割图像I0，动态滑动分割图像I1，分别计算跟之间的相似性度量以及相关的空间形变代价，i＝1,2,…,m；根据动态规划算法，搜索整体的动态分割的最优配置C*，在此最优配置下，得到两张图像的局部相似性度量，从而实现不同行人局部特征之间的动态匹配。


4.根据权利要求1所述的基于深度表示学习跟动态匹配的行人再识别方法，其特征在于，步骤S3中使用三元组损失函数进行学习模型，是指给定一个anchor，选取跟它具有相同身份信息的positive样本以及不...

【专利技术属性】
技术研发人员：谢晓华，宋展仁，赖剑煌，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44