一种基于稀疏图相似度迁移的视觉行人重识别方法技术

本发明专利技术提供一种基于稀疏图相似度迁移的视觉行人重识别方法，该方法包括使用同一个训练好的深度卷积网络抽取行人图像数据库中的每张行人图像和查询图像的特征并通过特征向量表示，通过特征向量计算任意两张行人图像的相似度，并构建数据库图像密集关联图；对数据库图像密集关联图进行稀疏约束得到数据库图像稀疏图；使用能量最小随机游走模型，将计算查询图像和行人图像的相似度的值当成一种能量在数据库图像稀疏图随机迁移，稳定后的能量值为查询图像和行人图像的一致性得分，基于一致性得分对数据库图像稀疏图进行排序，并返回得分最高的行人图像。采用上述方案的本发明专利技术提高视觉行人重识别的检索精度和速度。

【技术实现步骤摘要】
一种基于稀疏图相似度迁移的视觉行人重识别方法
本专利技术涉及计算机算法领域，可应用于行人重识别任务的重排序学习，尤其涉及一种基于稀疏图相似度迁移的视觉行人重识别方法。
技术介绍
行人重识别可以帮助人们快速查找特定人物，借助于当前数量日益增长的城市监控摄像头，维护社会治安，促进社会公共安全乃至国家安全。由于在安防领域的重要作用和突出价值，行人重识别成为计算机视觉研究社区的重要研究方向。研究者们一直在试图建立一个强大的行人重识别模型，可以快递建立特定行人画像和监控摄像头下真实画面中的行人画面的关联关系，进而实现智能识别和定位的目的，但是开放环境下拍摄到的行人画面具有多种多样的特征，比如角度，环境光照，遮挡等等，给行人的精准识别带来了严峻的挑战。当前的研究主要集中在如何学习有效的行人特征。得益于深度学习和大数据的发展，基于深度卷积神经网络的行人重识别模型在精确检索性能上取得了很大的提升，在一些日常使用的标准评测数据集上取得了超过人类指标的成绩。一般的，这些方法都是希望卷积神经网络学习到不同身份的行人的显著性特征。对于给定的查询图片和数据库里的图片，模型首先使用多层的卷积层和下采样层将高维图像信息映射到低维的特征空间，比如1024维。很多工作在卷积神经网络的结构设计上进行研究，比如设计了多粒度的特征提取头，以及结合注意力机制的特征抽取方法。也有一些工作探索卷积神经网络的训练学习机制，比如融合验证损失函数和度量学习的损失函数，使得训练更加平稳，收敛更加快速，得到的模型泛化能力更强。尽管基于行人特征学习的行人重识别方法可以取得不错的性能，但是由于实际场景中错综复杂的应用条件，无法保证模型能够学习到通用的行人特征，导致检索到的行人和查询可能不相符。为了提升行人重识别系统的准确率，研究者提出了重排序学习的方法，进一步提高行人重识别的准确度。比如使用查询扩展的方法进一步调优查询图像的行人特征，然后做二次查询；基于互为k近邻的重排序方法对查询图像和数据库图像集的近邻关系加强约束，使得互为近邻的图像能够优先被检索到；为了捕捉特征流形空间的几何结构信息，基于流形学习的方法利用标签传播的方法将有标注图像的信息转移到相同流形上的无标注图像上，进而提升检索效果。当前的重识别方法可以极大地提升行人重识别的检索准确率，但是也存在算法复杂度高，计算效率低下的问题。比如基于查询扩展的方法需要进行两次特征度量学习和一次特征融合，互为k近邻的方法需要遍历所有图像以确定互为近邻的图像，流形学习的方法得对大量有标签数据建立密集关联图进行标签传播学习，尽管可以采用线下学习的方式，但是巨大的关联图限制了其计算效率。因此，探索高效精准的重排序方法以提高视觉行人重识别的检索精度仍需要进一步的研究。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种基于稀疏图相似度迁移的视觉行人重识别方法，该方法可以线下学习特征流形上图像之间的相似关联关系，并能在线上快速重计算查询图像和流行空间中数据点的一致性得分，实现线上快速重排序，并提高重排序后的检索准确性。这种重排序方法可以被广泛应用于视觉行人重识别任务中，包括有监督行人重识别，无监督行人重识别，跨模态行人重识别等。本专利技术的第二个目的在于提出一种计算机设备。本专利技术的第三个目的在于提出一种非临时性计算机可读存储介质。为达到上述目的，本专利技术第一方面实施例提出一种基于稀疏图相似度迁移的视觉行人重识别方法，该方法包括以下步骤：步骤S10，使用同一个训练好的深度卷积网络分别针对行人图像数据库中的每张行人图像和查询图像的特征进行抽取，抽取的特征通过特征向量表示；步骤S20，通过特征向量计算所述行人图像数据库中任意两张行人图像的相似度，将所述每张行人图像看作一个节点，任意两张行人图像之间有一条边连接，所述相似度表示节点之间的边的权重，得到一个数据库图像密集关联图；步骤S30，对得到的所述数据库图像密集关联图进行稀疏约束，得到数据库图像稀疏图；步骤S40，通过特征向量计算所述查询图像和所述行人图像的相似度；以及步骤S50，将所述查询图像和所述行人图像的相似度的度量当成是数据库图像稀疏图中对应节点的软标签，使用随机游走模型，稳定后，得到的能量值是查询图像和行人图像数据库中的每张行人图像的一致性得分，根据所述一致性得分对数据库图像稀疏图进行排序，并返回得分最高行人图像。另外，根据本专利技术上述实施例的多波长阵列式快速高空间分辨率拉曼成像方法还可以通过下述方式实现：进一步地，在本专利技术第一方面实施例中，在步骤S10中，所述行人图像的特征在线下抽取，查询图像的特征在线上抽取。进一步地，在本专利技术第一方面实施例中，在步骤S30中，所述数据库图像密集关联图通过以下方式进行稀疏约束：当知道行人图像数据库的所述每张行人图像的身份时，使用身份信息来限制所述节点之间的连接；当无法获取所述行人图像数据库的所述每张行人图像的身份时，使用聚类的方式将所述节点分为多个聚类；使用阀值预断，对与每个所述节点，选择跟它相似度大于设定阈值的节点建立边，否则，不建立边。进一步地，在本专利技术第一方面实施例中，所述当知道行人图像数据库的所述每张行人图像的身份时，使用身份信息来限制所述节点之间的连接，则数据库图像稀疏图的边权为：其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，Wij为图像Ii和Ij的边权，i和j为图像的索引，yi和yj为图像Ii和Ij的身份信息。进一步地，在本专利技术第一方面实施例中，所述当无法获取所述行人图像数据库的所述每张行人图像的身份时，使用聚类的方式将所述节点分为多个聚类，聚类的序号当做是图像的伪标签，则数据库图像稀疏图的边权为：其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，Wij为图像Ii和Ij的边权，i和j表示图像的索引，yi'是图像Ii的伪标签。yj'是Ij的伪标签。进一步地，在本专利技术第一方面实施例中，所述使用阀值截断，对与每个所述节点，选择跟它相似度大于设定阈值的节点建立边，否则，不建立边，则数据库图像稀疏图的边权为：其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，Wij为图像Ii和Ij的边权，i和j表示图像的索引τ为截断阈值。进一步地，在本专利技术第一方面实施例中，所述通过特征向量计算所述查询图像和所述行人图像的相似度的公示为：其中，q为查询图像，Ii为行人图像数据库中任意一张行人图像，S(q,Ii)为查询图像和行人图像的相似度，fq为查询图像的特征向量，fidb为第Ii张行人图像的特征向量。进一步地，在本专利技术第一方面实施例中，所述将所述查询图像和所述行人图像的相似度的度量当成是数据库图像稀疏图中对应节点的软标签，使用能量最小随机游走模型，其能量函本文档来自技高网...

【技术保护点】
1.一种基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，该方法包括以下步骤：/n步骤S10，使用同一个训练好的深度卷积网络分别针对行人图像数据库中的每张行人图像和查询图像的特征进行抽取，抽取的特征通过特征向量表示；/n步骤S20，通过特征向量计算所述行人图像数据库中任意两张行人图像的相似度，将所述每张行人图像看作一个节点，任意两张行人图像之间有一条边连接，所述相似度表示节点之间的边的权重，得到一个数据库图像密集关联图；/n步骤S30，对得到的所述数据库图像密集关联图进行稀疏约束，得到数据库图像稀疏图；/n步骤S40，通过特征向量计算所述查询图像和所述行人图像的相似度；以及/n步骤S50，将所述查询图像和所述行人图像的相似度的度量当成是数据库图像稀疏图中对应节点的软标签，使用最小随机游走模型，稳定后，得到的能量值是查询图像和行人图像数据库中的每张行人图像的一致性得分，根据所述一致性得分对数据库图像稀疏图进行排序，并返回得分最高行人图像。/n

【技术特征摘要】
1.一种基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，该方法包括以下步骤：
步骤S10，使用同一个训练好的深度卷积网络分别针对行人图像数据库中的每张行人图像和查询图像的特征进行抽取，抽取的特征通过特征向量表示；
步骤S20，通过特征向量计算所述行人图像数据库中任意两张行人图像的相似度，将所述每张行人图像看作一个节点，任意两张行人图像之间有一条边连接，所述相似度表示节点之间的边的权重，得到一个数据库图像密集关联图；
步骤S30，对得到的所述数据库图像密集关联图进行稀疏约束，得到数据库图像稀疏图；
步骤S40，通过特征向量计算所述查询图像和所述行人图像的相似度；以及
步骤S50，将所述查询图像和所述行人图像的相似度的度量当成是数据库图像稀疏图中对应节点的软标签，使用最小随机游走模型，稳定后，得到的能量值是查询图像和行人图像数据库中的每张行人图像的一致性得分，根据所述一致性得分对数据库图像稀疏图进行排序，并返回得分最高行人图像。


2.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，在步骤S10中，所述行人图像的特征在线下抽取，查询图像的特征在线上抽取。


3.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，其特征在于，在步骤S30中，所述数据库图像密集关联图通过以下方式进行稀疏约束：
当知道行人图像数据库的所述每张行人图像的身份时，使用身份信息来限制所述节点之间的连接；
当无法获取所述行人图像数据库的所述每张行人图像的身份时，使用聚类的方式将所述节点分为多个聚类；
使用阀值预断，对与每个所述节点，选择跟它相似度大于设定阈值的节点建立边，否则，不建立边。


4.根据权利要求3所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述当知道行人图像数据库的所述每张行人图像的身份时，使用身份信息来限制所述节点之间的连接，则数据库图像稀疏图的边权为：



其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，Wij为图像Ii和Ij的边权，i和j为图像的索引，yi和yj为图像Ii和Ij的身份信息。


5.根据权利要求3所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述当无法获取所述行人图像数据库的所述每张行人图像的身份时，使用聚类的方式将所述节点分为多个聚类，聚类的序号当做是图像的...

【专利技术属性】
技术研发人员：丁贵广，陈辉，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11