一种基于对比学习的相机内有监督跨相机行人重识别方法技术

本发明专利技术公开了一种基于对比学习的相机内有监督跨相机行人重识别方法。首先经过多相机拍摄采集，获得子图片集和待训练的行人图片集，独立地在每个相机下对图片所代表行人进行标注，不对跨相机行人进行标注。之后以每个相机下的每个行人作为一个节点构造行人图，基于行人图对跨相机行人进行关联，对待训练的行人图片集处理获得每个图片的伪标签；将待训练的行人图片集以小批次训练方式输入到参考网络模型中进行训练，使用渐进对比损失函数进行监督；重复小批次训练；重复进行多次训练周期的训练，将多次训练周期的训练过程分为两个阶段，对参考网络模型进行迭代优化，训练结束后，对训练所得的基础网络模型进行跨相机行人重识别应用。本发明专利技术方法在只需同个相机内标注的半监督场景下，可达到与全监督场景相当的重识别准确率。

【技术实现步骤摘要】
一种基于对比学习的相机内有监督跨相机行人重识别方法
本专利技术属于计算机视觉
的一种跨相机行人图像处理方法，尤其是涉及了一种基于对比学习的相机内有监督跨相机行人重识别方法。
技术介绍
行人重识别要解决的问题是在不同的相机之间对同一个行人进行检索和匹配，也即跨相机行人重识别；由于行人重识别在安防、监控等方面的重要应用，这一任务在近几年吸引了工业界和学术界的广泛研究与关注。虽然行人重识别任务取得了较大的发展，但目前行人重识别模型和方法的高性能依赖于大量的标注数据；在实际应用场景中，由于行人繁多复杂，数据量大，对数据集进行完全标注十分昂贵，代价较高，限制了行人重识别技术在实际生产生活中的应用。在行人图片的标注过程中，最费时费力的往往是对跨相机行人的标注。而在同相机中，由于行人的轨迹大多在时间上具有连续性，对同一个相机下的行人进行行人标注是相对更为容易的。相机内有监督场景最早被提出是在ZhuXiangping等人发表在《ProceedingsoftheIEEEInternationalConferenceonComputerVisionWorkshops》的《Intra-camerasupervisedpersonre-identification:Anewbenchmark》文章中，这一场景假设行人编码标签是在每个相机内被独立标注的，而跨相机之间的行人关系未知。由于只有同相机内的行人标注信息，没有跨相机的行人关联信息，这一场景下的方法设计面临着一定的挑战，之前在这一场景下被提出的方法包括：ZhuXiangping等人发表在《ProceedingsoftheIEEEInternationalConferenceonComputerVisionWorkshops》的《Intra-camerasupervisedpersonre-identification:Anewbenchmark》，QiLei等人发表在《arXiv:1908.05669》的《ProgressiveCross-cameraSoft-labelLearningforSemi-supervisedPersonRe-identification》，ZhuXiangping等人发表在《arXiv:2002.05046》的《Intra-camerasupervisedpersonre-identification》，QiLei等人发表在《arXiv:1908.00862》的《Intra-camerasupervisedpersonre-identification》，以及MenglinWang等人发表在《2021WinterConferenceonApplicationsofComputerVision(WACV’21)》的《Towardspreciseintra-camerasupervisedpersonre-identification》；这些方法虽然取得了较好的模型性能，但与全监督相比仍存在较大的差距，尤其是在一些规模较大的数据集上和全监督模型的差距较为明显。现有针对相机内有监督场景的行人重识别方法，主要存在的问题是没有充分利用已知的同相机内标注信息，以及对于跨相机行人的关联没有进行准确预测，因而有待改进。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术提供了一种基于对比学习的相机内有监督跨相机行人重识别方法，利用现有在全监督场景下性能较优的神经网络模型作为基础网络模型，在此基础上挖掘同相机内有监督场景的数据特点来设计方法，从而有效提高模型在同相机内有监督场景下的性能，达到与全监督场景相当的行人重识别准确率。本专利技术是针对只有同相机内标注信息的场景进行多相机(跨相机)图像行人识别处理。本专利技术的技术方案如下：(1)在同一场景区域采用多相机进行拍摄采集，每个相机拍摄的图片组成子图片集，每张图片中只有一个行人，由多个相机拍摄的子图片集组成待训练的行人图片集，对待训练的行人图片集处理获得每个图片的伪标签h；(2)将待训练的行人图片集以小批次训练方式输入到参考网络模型中进行训练，以小批次的图片作为输入，训练过程使用ADAM优化算法，使用本专利技术特殊设计的渐进对比损失函数进行监督；(3)重复所述步骤(2)直至达到预设的批次训练数量num_batch，批次训练数量num_batch为小批次的批次数，作为一个训练周期；(4)重复所述步骤(2)-(3)进行多次训练周期的训练，将多次训练周期的训练过程分为两个阶段，以预设固定数量的训练周期为第一个阶段，剩余的为第二阶段；对参考网络模型进行迭代优化，直至迭代次数达到预设的训练迭代次总数num_epoch；(5)训练结束后，对训练所得的基础网络模型进行跨相机行人重识别应用。所述(1)具体为：(1.1)分别独立地对每个子图片集中标注每张图片的行人局部标签y和相机标签c，并根据每张图片的局部标签y和相机标签c处理获得每张图片的全局标签z；局部标签、相机标签和全局标签作为同相机标注信息；本专利技术独立地在每个相机下对图片所代表行人进行标注，不对跨相机行人进行标注。(1.2)采用基础网络模型并预训练后修改获得参考网络模型，将待训练的行人图片集，构造行人记忆特征矩阵K并将其中的各个元素全零初始化，行人记忆特征矩阵的第p行表示全局标签的值为p的行人特征；(1.3)对待训练的行人图片集，使用参考网络模型提取每张图片的用于区分不同行人的图片特征，参考网络模型的输入是图片，输出是图片特征，对具有相同全局标签zk的所有图片的图片特征进行平均，得到全局标签等于zk的行人的最新平均特征，进而得到各个行人的最新平均特征；具有相同全局标签zk意味着这些相同全局标签zk的所有图片中的行人是同一个，相机也是同一个。(1.4)以每个行人作为一个节点构造带权重的行人图，并采用所设计的基于相机内有监督约束的图分割方法将行人图划分成若干个子图，其中每个子图中有若干个行人的节点，对各个子图中的行人赋上伪标签h；伪标签h具体是区分不同行人的标签。所述步骤(1.1)中，每个相机拍摄的子图片集是指在所述行人图片集中来自同一相机拍摄的图片所组成的图片集合；所述行人图片集一共有来自C个相机的总共M张图片，经过相机内标注总共获得N个同相机标注行人，所述的同相机标注行人是在同一个相机下独立标注所获得的若干个行人中的任一个行人；相机内标注是指独立地在每个相机下，对该相机的子图片集中每张图片所代表的行人进行标注。注意实际上同一个行人可能出现在多个相机下，所以在所有不同相机下标注的若干个行人可能实际属于同一个行人。参看更改之后的图3，每一个“同相机标注行人”是指在同一个相机下独立标注所获得的若干个行人中的任一个行人，例如图3中的#1是一个行人，#2是另一个行人，…,#4也是一个行人，不同的行人可能属于同一个人物个体，也可能属于不同人物个体。这里说是在不同相机拍摄的实际属于同一个行人的行人，感觉是不正确的；本专利技术想要表示的“同相机标注行人”，就是本文档来自技高网...

【技术保护点】
1.一种基于对比学习的相机内有监督跨相机行人重识别方法，其特征在于，方法包括：/n(1)在同一场景区域采用多相机进行拍摄采集，每个相机拍摄的图片组成子图片集，由多个相机拍摄的子图片集组成待训练的行人图片集，对待训练的行人图片集处理获得每个图片的伪标签h；/n(2)将待训练的行人图片集以小批次训练方式输入到参考网络模型中进行训练，训练过程使用ADAM优化算法，使用渐进对比损失函数进行监督；/n(3)重复所述步骤(2)直至达到预设的批次训练数量num_batch，作为一个训练周期；/n(4)重复所述步骤(2)-(3)进行多次训练周期的训练，将多次训练周期的训练过程分为两个阶段，对参考网络模型进行迭代优化，直至迭代次数达到预设的训练迭代次总数num_epoch；/n(5)训练结束后，对训练所得的基础网络模型进行跨相机行人重识别应用。/n

【技术特征摘要】
1.一种基于对比学习的相机内有监督跨相机行人重识别方法，其特征在于，方法包括：
(1)在同一场景区域采用多相机进行拍摄采集，每个相机拍摄的图片组成子图片集，由多个相机拍摄的子图片集组成待训练的行人图片集，对待训练的行人图片集处理获得每个图片的伪标签h；
(2)将待训练的行人图片集以小批次训练方式输入到参考网络模型中进行训练，训练过程使用ADAM优化算法，使用渐进对比损失函数进行监督；
(3)重复所述步骤(2)直至达到预设的批次训练数量num_batch，作为一个训练周期；
(4)重复所述步骤(2)-(3)进行多次训练周期的训练，将多次训练周期的训练过程分为两个阶段，对参考网络模型进行迭代优化，直至迭代次数达到预设的训练迭代次总数num_epoch；
(5)训练结束后，对训练所得的基础网络模型进行跨相机行人重识别应用。


2.根据权利要求1所述的一种基于对比学习的相机内有监督跨相机行人重识别方法，其特征在于：所述(1)具体为：
(1.1)分别独立地对每个子图片集中标注每张图片的行人局部标签y和相机标签c，并根据每张图片的局部标签y和相机标签c处理获得每张图片的全局标签z；
(1.2)采用基础网络模型并预训练后修改获得参考网络模型，将待训练的行人图片集，构造行人记忆特征矩阵K并将其中的各个元素全零初始化，行人记忆特征矩阵的第p行表示全局标签的值为p的行人特征；
(1.3)对待训练的行人图片集，使用参考网络模型提取每张图片的图片特征，对具有相同全局标签zk的所有图片的图片特征进行平均，得到全局标签等于zk的行人的最新平均特征，进而得到各个行人的最新平均特征；
(1.4)以每个行人作为一个节点构造带权重的行人图，并采用所设计的基于相机内有监督约束的图分割方法将行人图划分成若干个子图，其中每个子图中有若干个行人的节点，对各个子图中的行人赋上伪标签h。


3.根据权利要求2所述的一种基于对比学习的相机内有监督跨相机行人重识别方法，其特征在于：所述步骤(1.1)中，所述行人图片集一共有来自C个相机的总共M张图片，经过相机内标注总共获得N个同相机标注行人，所述的同相机标注行人是在同一个相机下独立标注所获得的若干个行人中的任一个行人；
在第c个相机下子图片集一共有Mc张图片，每张图片具有相同的相机标签cc，相机标签cc为第c个相机的序数；每张图片根据行人的不同设置行人局部标签yk，行人局部标签yk为同相机标注行人的序数，第k张图片xk的行人局部标签yk取值范围是[0，Nc-1]，Nc表示第c个相机下行人总数，由图片的行人局部标签yk和相机标签ck处理获得该图片的全局标签zk：



其中，k表示图片的序号。


4.根据权利要求2所述的一种基于对比学习的相机内有监督跨相机行人重识别方法，其特征在于：所述步骤(1.2)中，所述的基础网络模型采用ResNet-50神经网络，通过标准图片集进行预训练获得训练后的基础网络模型；然后再对训练后的基础网络模型保留除最后用于分类的全连接层之外的其余网络结构及参数作为参考网络模型；建立大小为N*d的行人记忆特征矩阵K，其中d为基础网络模型输出特征的维度，N为行人图片集中的同相机标注过行人的总数。


5.根据权利要求2所述的一种基于图指导对比学习的相机内有监督场景跨相机行人重识别方法，其特征在于：
所述步骤(1.4)中，以一个同相机标注行人作为一个节点，节点间通过边连接，以同相机标注行人间的不相似度作为边，从而构造带权重的行人图，表示为：












其中，表示所构造带权重的行人图包含的数据；表示所有节点的集合，每个节点表示一个同相机标注行人；ε＝{eij|i，j∈{1，2，...，N}}表示节点之间的边的集合，＜＞表示集合，C表示相机标签的集合，W表示节点间的不相似度的集合；eij表示同相机标注行人i和同相机标注行人j所在节点之间的边，w(eij)表示同相机标注行人i和同相机标注行人j之间的不相似度；
行人图中，节点之间的边eij表示为：



Dist(i，j)＝＝||fa(i)-fa(j)||
其中，∧表示交集，T1代表预先设定的距离阈值，c(i)代表同相机标注行人i的相机标签；Dist(i，j)表示同相机标注行人i和同相机标注行人j之间的欧氏距离，fa(i)和fa(j)分别代表同相机标注行人i的最新平均特征和同相机标注行人j的最新平均特征，||*||代表欧氏距离；
所设计...

【专利技术属性】
技术研发人员：王梦琳，龚小谨，赖百胜，黄健强，华先胜，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33