基于类别激活映射的行人重识别生成学习方法技术

本发明专利技术公开一种基于类别激活映射的行人重识别生成学习方法，主要解决现有技术收集的数据集不平衡导致行人重识别模型性能差的问题。其方案为：建立行人重识别生成学习深度网络模型；1)从行人重识别基准数据集中读取行人图像；2)获取行人姿态特征信息；3)获取行人外观特征信息；4)通过3)进行行人重识别；5)通过2)和3)生成行人图像并计算类别激活映射损失；6)对生成图像在线进行行人重识别分类，并计算分类损失；7)对各损失进行反向传播；8)重复1)

【技术实现步骤摘要】
基于类别激活映射的行人重识别生成学习方法


[0001]本专利技术属于网络应用
，更进一步涉及一种行人重识别生成学习方法，可用于智能安保、智能行人追踪。

技术介绍

[0002]行人重识别技术在智能安保、智能行人追踪等方面具有广泛的应用。行人重识别常常被认为是图像检索下的子问题，其目的是寻找同一ID下的行人在不同摄像头下的一致性信息。在给定一个行人图像输入后，要求在数据库中找到该行人不同摄像头下的图像。由于摄像角度，光照，复杂背景环境等问题，来自于不同摄像头下的行人数据往往具有很大的类内差异性，因此提取出鲁棒于这些类内差异的特征表示是行人重识别的挑战之一。
[0003]卷积神经网络具有很强的特征提取能力，能够学习到目标在不同摄像头下的深度不变特征。Kaiming He等人在其发表的“Deep Residual Learning for Image Recognition”(2016IEEE Conference on Computer Vision and Pattern Recognition；770
‑
778，2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类别激活映射的行人重识别生成学习方法，其特征在于，包括：(1)建立行人重识别生成学习深度网络模型：1a)建立依次由3个卷积层和2个残差块级联组成的姿态编码器E
p
，随机初始化姿态编码器的网络参数；1b)对Resnet50神经网络进行改进，建立全局外观编码器E
ag
，即去掉Resnet50神经网络最后的池化层和Softmax层，构成全局外观编码器E
ag
，初始化全局外观编码器E
ag
的网络参数；1c)对Resnet50神经网络进行改进，建立局部外观编码器E
al
，即去掉Resnet50神经网络最后的池化层和Softmax层，并增加一个卷积层，构成局部外观编码器E
al
，初始化局部外观编码器E
al
的网络参数；1d)建立依次由2个残差块和3个卷积层级联组成的解码器G，随机初始化网络参数；1e)分别建立依次3个卷积层和3个残差块级联组成的姿态判别器D
p
和外观判别器D
t
，分别随机初始化姿态判别器D
p
和外观判别器D
t
的网络参数；1f)建立由两层全连接层级联和一个softmax函数组成的行人重识别分类器，随机初始化网络参数；(2)从行人重识别基准数据集中任意读取一张图像x
i
作为源图像，并在与x
i
同一类别下和不同类别下分别随机读取一张图像x
j
和x
t
作为两个目标图像；(3)对行人姿态信息编码，获得姿态特征信息：3a)对目标图像x
j
和x
t
的行姿态关键点进行提取，得到目标姿态关键点p
j
和p
t
；3b)将目标姿态关键点p
j
和p
t
输入到1a)的姿态编码器中进行行人姿态信息编码，得到两张目标图像的姿态特征信息和f
tp
；(4)获取全局的外观特征信息和局部的外观特征信息：4a)将源图像x
i
输入到全局外观编码器E
ag
中进行行人图像编码，得到行人全局的外观特征信息f
ig
；4b)利用已有的人体解析网络，将输入的源图像x
i
分割为8个区域掩模m
i
，用源图像x
i
与这8个区域掩模分别相乘，得到源图像x
i
的8个局部区域其中k∈[1,8]；4c)将源图像x
i
的8个局部区域输入到局部外观编码器E
al
中进行人体解析编码，输出源图像x
i
的8个局部区域的外观特征f
ik
，将该8个局部区域的外观特征级联，得到行人解析编码后的局部外观特征信息f
il
；(5)行人重识别：即将源图像x
i
的全局外观特征f
ig
输入到行人重识别分类器中，得到源图像x
i
的分类结果，并计算分类结果的交叉熵损失L
i
；(6)行人图像生成并计算类别激活映射损失：6a)将源图像x
i
的全局外观特征信息f
ig
和局部外观特征信息f
il
进行级联，得到整体外观特征信息(f
il
,f
ig
)；6b)将整体外观特征信息(f
il
,f
ig
)和第一张目标图像的姿态特征信息同时输入到解码器G中，得到目标图像x
j
的重建图像x
i,j
；6c)将整体外观特征信息(f
il
,f
ig
)和第二张目标图像的姿态特征信息f
tp
同时输入到解
码器G中，得到具有目标姿态的生成图像x
i,t
；6d)将重建图像x
i,j
分别输入到姿态判别器D
p
和外观判别器D
t
中，得到姿态判别器D
p
对重建图像x
i,j
姿态真实度的判别结果和外观判别器D
t
对重建图像x
i,j
外观真实度的判别结果，分别计算这两个判别器对重建图像判别结果的生成对抗损失L
p
和L
t
；6e)将生成图像x
i,t
分别输入到姿态判别器D
p
和外观判别器D
t
中，得到姿态判别器D
p
对生成图像x
i,t
姿态真实度的判别结果和外观判别器D
t
对生成图像x
i,t
外观真实度的判别结果，分别计算这两个判别器对生成图像判别结果的生成对抗损失L
p
'和L
t
'；6f)将目标图像x
j
和x
t
输入到1b)的全局外观编码器E
ag
中，得到对应的全局外观信息和f
tg
，将该全局外观信息和f
tg
输入到1f)中的分类器中，得到目标图像x
j
和x
t
的分类结果；6g)基于6f)的分类结果，通过Grad
‑
CAM方法，分别计算出目标图像x
j
和x
t
对应的类别激活映射图的像素值，得到类别激活映射图h
j
和h
t
；6h)利用与6f)和6g)相同的方式，得到重建图像x
i,j
和生成图像x
i,t
的类别激活映射图h
i,j
和h
i,t
，并计算类别激活映射损失L
g
；(7)将生成图像x
i,t
重新输入1b)的全局外观编码器E
ag
中，得到生成图像x
i,t
的全局外观特征信息再将该信息输入到1f)的行人重识别分类器中，得到生成图像x
i,t
的分类结果，计算该分类结果的交叉熵损失L
i
'；(8)对(5)、6d)、6e)、6h)和(7)中得到的损失进行反向传播，分别更新姿态编码器E
p
、全局外观编码器E
ag
、局部外观编码器E
al
、解码器G、姿态判别器D
p
、外观判别器D
t
中的参数，使得这些损失函数值尽量趋近于零；(9)重复步骤(2)
‑
(8)直到损失函数值趋于稳定，生成高质量的行人图像，完成行人重识别生成学习。2.根据权利要求1所述的方法，其中1a)中建立的姿态编码器E
p
，其各层参数均从均值为0，方差为0.02的正态分布中随机采样得到，分别设置如下：第一卷积层的输入维度18，输出维度64，卷积核尺寸为7*7；第二卷积层的输入维度64，输出维度128，卷积核尺寸为4*4；第三卷积层的输入维度128，输出维度256，卷积核尺寸为4*4；第一残差块的输入维度均为256，输出维度均为256，卷积核尺寸均为3*3；第二残差块参数与第一残差块相同。3.根据权利要求1所述的方法，其中1b)构建的全局外观编码器E
ag
和局部外观编码器E
al
，其参数分别如下：所述全局外观编码器E
ag
，其参数与在大规模自然图像数据集ImageNet上预训练的ResNet50模型除去掉池化层和全连接层以外的其它网络参数相同；所述局部外观编码器E
al
，其参数与在大规模自然图像数据集ImageNet上预训练的ResNet50模型除去掉池化层和全连接层以外的其它网络参数相同；其所增加的卷积层输入维度为2048，输出维度为128，卷积核尺寸为1*1，这些参数从均值为0，方差为0.02的正态分布中随机采样得到。4.根据权利要求1所述的方法，其中1d)建立的解码器G，其各层参数均从均值为0，方差
为0.02的正态分布中随机采样得到，分别设置如下第1残差块的输入维度256，输出维度256，卷积核尺寸为3*3；第2残差块的参数与第一残差块相同；第1卷积层的输入维度256，输出维度128，卷积核尺寸为5*5；第2卷积层的输入维度128，输出维度64，卷积核尺寸为5*5；第3卷积层的输入维度64，输出维度3，卷积核尺寸为7*7。5.根据权利要求1所述的方法，其中1e)中建立的姿态判别器D
p
和外观判别器D
t
，其结构参数如下：姿态判别器D
p
的结构参数：第一卷积层的输入维度为21，输出维度64，卷积核尺寸为7*7；第二卷积层的输入维度为64，输出维度为128，卷积核尺寸为3*3；第三卷积层的输入维度为128，输出维度为256，卷积核尺寸为3*3；第一残差块的输入维度为256，输出维度为256，卷积核尺寸为3*3；第二残差块的输入维度为256，输出维度为256，卷积核尺寸为3*3；第三残差块的输入维度为256，输出维度为256，卷积核尺寸为3*3；外观判别器D
t
的结构参数：第1卷积层的输入维度为6，输出维度为64，卷积核尺寸为7*7；第2卷积层的输入维度为64，输出维度为128，卷积核尺寸为3*3；第3卷积层的输入维度为128，输出维度为256，卷积核尺寸为3*3；第1残差块的输入维度为256，输出维度为256，卷积核尺寸为3*3；第2残差块的输入维度为256，输出维度为256，卷积核尺寸为3*3；第3残差块的输入维度为256，输出维度为256，卷积核尺寸为3*3；上述卷积层和残差块中的参数采用Ka...

【专利技术属性】
技术研发人员：毛莎莎，李昂泽，齐梦男，缑水平，焦昶哲，焦李成，何婧洁，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：