基于相机风格和人体姿态适应的半监督人物重识别方法技术

本发明专利技术公开了一种基于相机风格和人体姿态适应的半监督人物重识别方法，包括：选取涵盖所有身份、所有相机风格的有标签数据的步骤；对所述的有标签数据进行数据扩充、生成相机内不同姿态的图像和相机间不同风格的图像的步骤；扩充后的有标签数据联合无标签数据一起训练网络模型的步骤；以无标签数据与有标签数据特征之间的平均距离和各类别图像的个数相约束的策略进行伪标签分配的步骤。本发明专利技术解决了现有技术的有标签数据量少的问题和伪标签分配不合理的问题。

【技术实现步骤摘要】
基于相机风格和人体姿态适应的半监督人物重识别方法
本专利技术属于深度学习和机器视觉
，特别涉及一种基于相机风格和人体姿态适应的半监督人物重识别方法。
技术介绍
人物重识别是机器视觉领域中跨摄像机视图检索探测行人图像的目的，传统人物重识别方法通常需要借助行人身份信息，即有监督人物重识别，但是获取标注信息具有可实施性差以及人工成本高等缺点，并且为了充分利用这些有限的标注信息，传统人物重识别方法通常关注于网络层数的深度以及网络结构的复杂性，这显然将导致计算和存储需求的大幅增加。因此，最近几年，基于无监督、半监督的人物重识别方法的研究应运而生。半监督人物重识别训练数据包括两部分：有标签数据和无标签数据，即训练数据中有少部分图像带有标签信息，大多数图像没有标签信息。现有的半监督人物重识别方法可以分为以下两类：(1)首先，从数据集中随机选择一定比例的类别，这些被选中类别的图像带有标签信息作为有标签数据，其余的图像不带有标签信息作为无标签数据。然后，使用有标签数据训练一个分类模型，使用训练好的模型提取无标签数据的特征，采用聚类算法对无标本文档来自技高网...

【技术保护点】
1.基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，包括：/n选取涵盖所有身份、所有相机风格的有标签数据的步骤；/n对所述的有标签数据进行数据扩充、生成相机内不同姿态的图像和相机间不同风格的图像的步骤；/n扩充后的有标签数据联合无标签数据一起训练网络模型的步骤；/n以无标签数据与有标签数据特征之间的平均距离和各类别图像的个数相约束的策略进行伪标签分配的步骤。/n

【技术特征摘要】
1.基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，包括：
选取涵盖所有身份、所有相机风格的有标签数据的步骤；
对所述的有标签数据进行数据扩充、生成相机内不同姿态的图像和相机间不同风格的图像的步骤；
扩充后的有标签数据联合无标签数据一起训练网络模型的步骤；
以无标签数据与有标签数据特征之间的平均距离和各类别图像的个数相约束的策略进行伪标签分配的步骤。


2.根据权利要求1所述的基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，具体包括以下步骤：
步骤1、预训练GAN网络模型，得到用于生成不同相机风格的图像的模型和用于生成不同姿态的图像的模型；
步骤2、选择有标签数据：从数据集中每个类别下的每个相机图像中各随机选取一张为有标签数据，其余的为无标签数据；
步骤3、扩充有标签数据：使用步骤1中预训练好的GAN网络模型对有标签数据进行数据扩充，得到的不同风格、不同姿态的图像对和原始图像对属于同一行人，都作为有标签数据；
步骤4、有标签数据和无标签数据联合训练网络，其中无标签数据因为没有行人身份信息，使用它们的索引作为标签，这些使用索引作为标签的无标签数据称为索引标签数据；将有标签数据的损失和无标签数据损失相结合，在训练时使用基于动量的梯度下降法更新优化网络参数，优化模型；
步骤5、有标签数据的损失计算：包括有标签数据的交叉熵损失和有标签数据的困难三元组损失；
步骤6、无标签数据的损失计算：包括多样性损失；
步骤7、无标签数据的伪标签估计：使用步骤5、6中的损失训练一个模型，采用得到的模型提取无标签数据的特征，根据无标签数据与有标签数据特征之间的平均距离进行伪标签估计；
步骤8、无标签数据分配为伪标签数据：按照伪标签估计的置信度，结合各类别图像的个数相约束的策略，选取可靠伪标签估计的无标签数据分配伪标签；
步骤9、迭代步骤3-8，采用渐进式方式不断从无标签数据中分配伪标签数据，直到所有无标签数据都分配为伪标签数据。


3.根据权利要求2所述的基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，步骤1中，使用人物重识别数据集预训练CycleGAN网络模型，将数据集中的图像按照身份和相机两个信息进行分类，同一身份在不同相机下的图像预训练一个风格转换GAN网络，用来生成不同相机风格的图像，称为CameraGAN，得到表现良好的生成模型Gc；借助关键点检测算法获取行人的人体部位关键点信息，利用关键点信息对同一相机下的相同身份的图像预训练一个姿态转换GAN网络，用来生成不同姿态的图像，称为PoseGAN，得到表现良好的生成模型Gp。


4.根据权利要求3所述的基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，步骤3中，针对不同相机捕获到的图像风格不统一的问题，在具有相同身份不同相机信息的图像对之间使用Gc模型生成彼此风格的图像；针对行人多变的外观，在具有相同身份相同相机信息的图像对之间使用Gp模型生成彼此姿态的图像；
其中，有标签数据n代表数据集中身份的个数，其中第i个身份被mi个相机捕获到，所以第i个身份有mi个来自不同相机图片为有标签数据；
第一次迭代时只有相机间的风格转换；每一个身份的有标签图像按照排列组合的方式得到不同相机风格的图像对...

【专利技术属性】
技术研发人员：黄磊，朱辉，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37