一种基于集中学习与深度网络学习的遮挡行人再识别方法技术

本发明专利技术公开了一种基于集中学习与深度网络学习的遮挡行人再识别方法，该方法通过遮挡模拟器从原始未遮挡训练样本生成多种类型遮挡训练样本，生成的遮挡训练样本与原始训练样本组成联合训练集用于模型的训练，同时添加遮挡与非遮挡分类损失到行人分类损失中去，用多任务损失函数代替以往的单任务损失函数，有效地应对遮挡下行人再识别的问题，使得深度网络学习特征的时候考虑遮挡与非遮挡的先验信息进行特征的提取。实验表明，本发明专利技术能较大幅度地提高现有的深度网络在遮挡行人再识别上的性能，具有广泛的应用价值。

【技术实现步骤摘要】
一种基于集中学习与深度网络学习的遮挡行人再识别方法
本专利技术涉及一种针对遮挡问题的行人再识别方法，更具体地，涉及一种基于集中学习与深度网络学习的遮挡行人再识别方法。
技术介绍
行人再识别任务是在一个摄像头下识别出另一个摄像头出现的同一个目标对象。其中，遮挡问题是行人再识别中亟待解决的重点问题。行人遮挡一般会出现在人群密集或者建设复杂的场景，而这些场景往往是事故多发地，比如，一个嫌疑犯在密集区域可能被行人或者其他物体如汽车、行李、路牌等遮挡到。在这种情况下摄像头拍摄得到的是带有遮挡的行人图像，我们需要在行人库或其他摄像头下搜索这个完整的行人，就是遮挡的行人再识别任务。因此，研究遮挡的行人再识别在现实的公共安全应用中尤为重要。传统的行人再识别的研究工作主要可以分为两个方面，分别是特征提取和度量学习。特征提取是为了得到具有鲁棒性和判别性的特征，使得特征对于光照、角度等变化能够有较好的不变性；度量学习是为了学习匹配的度量方法或投影的子空间使得同类样本距离更近，不同类样本距离更远。近年来，深度学习方法也被应用于行人再识别的任务中，主要网络结构可以分为三种，分别是分类网络、Siamese网络和Triplet网络。分类网络是将行人再识别问题当作分类问题，这种网络可以提取到有判别性的特征达到较好的行人再识别效果。Siamese网络通过计算两个相邻图像对的相似度来学习一个度量标准判断两张图像是否属于同一行人。Triplet网络是Siamese网络的一种扩展形式，输入是每组三个样本，通过计算三个样本之间的相似度来对网络进行训练和约束。尽管行人再识别研究工作已得到较好的发展，但是现有技术几乎都是不考虑遮挡的情况下进行行人再识别，很少针对遮挡的行人图像来建立模型。遮挡部分给提取的图像特征带来了干扰，导致在实际应用中遇到遮挡情况的行人再识别效果不佳。
技术实现思路
本专利技术针对遮挡的行人再识别，即实现遮挡行人图像对行人库中或者其他摄像头下未遮挡行人图像的搜索，提出一种基于集中学习与深度网络学习的遮挡行人再识别方法，该方法具有较好的鲁棒性。本专利技术的目的通过以下的技术方案实现：一种基于集中学习与深度网络学习的遮挡行人再识别方法，包括步骤：S1.建立一个遮挡模拟器，从原始的未遮挡行人图像中生成各种不同类型遮挡的行人图像，生成的遮挡行人图像组成遮挡行人集合。该集合用于为深度学习模型的训练提供大量可靠的数据来源；S2.将生成的遮挡行人图像与原始完整的行人图像合并，联合训练一个带有多任务损失函数的深度网络，即集中学习框架(AFPB)，在这个框架下，深度网络通过不断前向传播和后向调整，实现对图像中行人部位提取特征并再进行分类的功能。训练直至深度网络的参数收敛得到网络模型；S3.为了减少跨数据集以及模拟数据带来的影响，在步骤S2得到的网络模型的基础上进一步训练真实的遮挡行人图像和非遮挡行人图像，得到最后的网络模型；S4.使用步骤S3中得到的网络模型对目标行人图像及行人图像库中的行人图像分别进行特征的提取，然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配，基于匹配的结果确定目标行人图像的身份。优选的，所述步骤S1中，建立一个遮挡模拟器，从原始的未遮挡行人图像中生成各种不同类型遮挡的行人图像，步骤是：(1-1)首先设置遮挡比例范围，计算原始未遮挡行人图像面积及遮挡面积范围，随机选取遮挡面积范围中一数值为遮挡面积；(1-2)然后选取原始图像中一背景块，缩放到遮挡面积大小，得到遮挡块；(1-3)将遮挡块覆盖在原始图像的任意位置，生成遮挡行人图像；(1-4)不断随机选取原始行人图像，重复迭代(1-1)、(1-2)、(1-3)，直至生成遮挡行人图像满足数量要求为止。优选的，所述步骤S2中的深度网络为ResNet-50深度网络，用softmax作为分类损失，每个行人作为一个类别，根据输入的图像以及类标进行训练模型。优选的，所述步骤S3中，训练真实的遮挡行人图像和非遮挡行人图像是指在原行人分类损失判别的基础上加入遮挡与非遮挡二分类损失判别，遮挡与非遮挡二分类分类器是用于判断图像是属于遮挡行人图像还是非遮挡行人图像，训练的时候会给出图像类标，如果是遮挡行人图像则类标为0，如果是非遮挡行人图像则类标为1。因此，可实现在判断输入图像是非为遮挡图像的前提下对遮挡行人进行再识别。具体的，设原有的行人分类损失函数LP表示为：其中，K表示行人类别的总数，k是其中的某个类别，是表示第i个样本属于第k个类别的预测值。行人加入的遮挡与非遮挡二分类损失函数LO表示为：其中，C表示二分类的类别，c＝0表示遮挡行人图像的类别，c＝1表示非遮挡行人图像的类别，是表示第i个样本属于遮挡或者非遮挡行人图像的预测值。上面两个分类损失函数分别赋予不同的权重，组成最后的多任务损失函数，用公式表达为：其中，α是用来平衡行人分类损失函数和遮挡与非遮挡二分类损失函数之间权重的超参数，α的取值范围在0到1之间。通过设置α，可以保证将行人分类作为主要任务，而遮挡与非遮挡二分类作为辅助的先验知识用于帮助行人分类的判断。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术基于深度网络的分类网络解决行人再识别问题，提出了集中学习的框架(AttentionFrameworkofPersonBody，AFPB)，其框架有两个实现的关键部分，分别是遮挡模拟器和多任务损失函数，联合这两部分可以实现对遮挡图像和未遮挡图像中行人部位的集中学习。该方法学习到的模型可以聚焦到遮挡行人图像和未遮挡行人图像中的行人部分，并对其进行特征提取，对遮挡的行人再识别有较好的鲁棒性。2、本专利技术遮挡模拟器的优势在于生成遮挡行人图像的多样性和真实性，贴近现实，解决了遮挡行人图像缺乏的难题。由于每张原始图像的背景不同，选取背景块保证了每张图像生成的遮挡块的颜色和纹理也各不相同；再者，转换为随机面积的长方形块及长方形块的长宽不固定，使得生成的遮挡块的大小和形状各不相同；同时，随机选取位置遮挡也实现遮挡位置的多样性。因此，遮挡模拟器较为真实地模拟了实际遮挡情况，符合遮挡物颜色、纹理、大小、形状、位置多样性的特点。生成的遮挡行人图像组成遮挡行人集合Z，为深度学习模型的训练提供了大量可靠的数据来源。3、本专利技术添加遮挡与非遮挡分类损失到行人分类损失中去，用多任务损失函数代替以往的单任务损失函数，这样有效地应对遮挡的行人再识别问题，使得深度网络学习特征的时候会考虑遮挡与非遮挡的先验信息再进行特征的提取。实验表明，本专利技术相比于现有其他提取行人特征的方法能有效地处理遮挡行人图像的特征提取，较大幅度地提高现有的深度网络在遮挡行人再识别任务上的性能，具有广泛的应用价值。附图说明图1为本专利技术的方法的实施示意图。图2为Occluded-REID和Partial-REID数据库的示例图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例如图1所示，本实施例一种基于集中学习与深度网络学习的遮挡行人再识别方法，具体包括以下步骤：S1.先由原始的行人图像(未遮挡行人图像)，通过遮挡模拟器，生成对应的遮挡行人图像。这里所述的原始的行人图像来自现有行人本文档来自技高网...

【技术保护点】
1.一种基于集中学习与深度网络学习的遮挡行人再识别方法，其特征在于，包括步骤：S1.建立一个遮挡模拟器，从原始的未遮挡行人图像中生成各种不同类型遮挡的行人图像，生成的遮挡行人图像组成遮挡行人集合；S2.将生成的遮挡行人图像与原始完整的行人图像合并，联合训练一个带有多任务损失函数的深度网络，即集中学习框架，在这个框架下，深度网络通过不断前向传播和后向调整，实现对图像中行人部位提取特征并再进行分类的功能；训练直至深度网络的参数收敛得到网络模型；S3.在步骤S2得到的网络模型的基础上进一步训练真实的遮挡行人图像和非遮挡行人图像，得到最后的网络模型；S4.使用步骤S3中得到的网络模型对目标行人图像及行人图像库中的行人图像分别进行特征的提取，然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配，基于匹配的结果确定目标行人图像的身份。

【技术特征摘要】
1.一种基于集中学习与深度网络学习的遮挡行人再识别方法，其特征在于，包括步骤：S1.建立一个遮挡模拟器，从原始的未遮挡行人图像中生成各种不同类型遮挡的行人图像，生成的遮挡行人图像组成遮挡行人集合；S2.将生成的遮挡行人图像与原始完整的行人图像合并，联合训练一个带有多任务损失函数的深度网络，即集中学习框架，在这个框架下，深度网络通过不断前向传播和后向调整，实现对图像中行人部位提取特征并再进行分类的功能；训练直至深度网络的参数收敛得到网络模型；S3.在步骤S2得到的网络模型的基础上进一步训练真实的遮挡行人图像和非遮挡行人图像，得到最后的网络模型；S4.使用步骤S3中得到的网络模型对目标行人图像及行人图像库中的行人图像分别进行特征的提取，然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配，基于匹配的结果确定目标行人图像的身份。2.根据权利要求1所述的基于集中学习与深度网络学习的遮挡行人再识别方法，其特征在于，所述步骤S1中，建立一个遮挡模拟器，从原始的未遮挡行人图像中生成各种不同类型遮挡的行人图像，步骤是：(1-1)首先设置遮挡比例范围，计算原始未遮挡行人图像面积及遮挡面积范围，随机选取遮挡面积范围中一数值为遮挡面积；(1-2)然后选取原始图像中一背景块，缩放到遮挡面积大小，得到遮挡块；(1-3)将遮挡块覆盖在原始图像的任意位置，生成遮挡行人图像；(1-4)不断随机选取原始行人图像，重复迭代(1-1...

【专利技术属性】
技术研发人员：赖剑煌，卓嘉璇，陈泽宇，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44