一种基于特征对齐的退化环境下的行人重识别方法技术

本发明专利技术公开了一种基于特征对齐的退化环境下的行人重识别方法，其步骤包括：1、构建一个新的退化环境下的行人重识别神经网络模型；2、运用模型对输入数据进行处理和计算；3、计算模型的各个损失函数，进而得到总损失函数；4、根据总损失函数对模型进行迭代优化。本发明专利技术提出的特征对齐模块是一种即插即用的模块，可以与现有行人重识别模型结合，从而能提高该模型在退化环境下的性能，还能保证模型在干净环境下的性能不受损失，从而能同时实现在正常环境和退化环境下运行高效，实现准确率高的行人重识别。识别。识别。

【技术实现步骤摘要】
一种基于特征对齐的退化环境下的行人重识别方法


[0001]本专利技术属于图像处理
，尤其涉及退化环境下的行人重识别，提出了一个基于即插即用的特征对齐模块的退化环境下行人重识别算法。

技术介绍

[0002]行人重识别旨在非重叠摄像机网络中的开放式行人检索。然而，在实际应用中行人的图像会由于光照，分辨率，天气的因素产生不同程度上的退化，例如，监控摄像头图像(即行人重识别中要查询的图片，query集)通常因为设备的问题具有较低的分辨率，但与之匹配的gallery集的图像通常具有较高的分辨率。结果，在干净图片上训练的行人重识别模型在现实中广泛存在的退化环境中表现不佳。另外由于在现实中针对各种退化场景收集大规模带标签的退化图像是极其困难的，因此针对各种退化环境重新训练有监督的行人重识别模式是不可行的。
[0003]当前有两种主流的方法可以解决上述困境，但都有各自的弊端。(1)基于无监督域自适应的方法。该策略的前提是深度神经网络可以在学习到的特征空间中对齐低质量和高质量图像的边缘分布。一旦学习到的特征空间中边缘分布之间的差异减小，re
‑
id网络在低质量图像上就会表现良好。虽然基于无监督域自适应的行人重识别的方法可以提高在退化环境下的性能，但这类方法也改变了干净图片的映射规则，进而损害了在干净图片上的行人重识别性能，这对于现实世界的应用来说是不可取的。(2)使用现成的图像恢复或增强方法对退化图像进行预处理，这些方法对干净图像的性能没有影响，并可以消除退化环境对行人重识别的负面影响，例如，低光图像增强技术可用于提高夜间拍摄的人物图像的视觉质量。这种基于图像预处理的解决方案也称为两阶段方法，通过集成不同的图像恢复模块，适用于各种退化场景。然而，图像恢复或增强方法的目标是实现主观上令人愉悦的视觉效果，而并没有更多的关注于行人重识别的性能，因此两阶段方法在退化图像上的性能提升较为有限。

技术实现思路

[0004]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于特征对齐的退化环境下的行人重识别方法，以期能在不牺牲模型在干净图片上行人重识别性能的同时，尽可能提升模型在退化图片上的性能，从而能实现准确率高的行人重识别。
[0005]本专利技术为解决上述技术问题，采用如下技术方案：
[0006]本专利技术一种基于特征对齐的退化环境下的行人重识别方法的特点是按如下步骤进行：
[0007]步骤1、获取正常环境下拍摄的行人图像数据集(X1，X2，
…
，X
i
，
…
，X
N
)，其中，X
i
表示第i张正常行人图像，N表示图像总数；获取退化环境下拍摄的行人图像数据集(Y1，Y2，
…
，Y
j
，
…
，Y
M
)，其中，Y
j
表示第j张退化行人图像，M表示图像总数；
[0008]步骤2、构建基于特征对齐的退化环境下行人重识别的深度学习模型，包括：行人
重识别模型F、两个特征对齐模块G
c2d
和G
d2c
、两个鉴别网络D
c
和D
d
；
[0009]步骤2.1、所述行人重识别模型F是由骨干网络和分类网络组成，所述骨干网络以ResNet
‑
50网络为基础；利用正常环境下拍摄的行人图像数据集对行人重识别模型F进行预训练，得到预训练后的行人重识别模型，并冻结预训练权重；
[0010]步骤2.2、所述特征对齐模块G
c2d
和G
d2c
的网络结构均包括：M个残差卷积模块；
[0011]每个残差卷积模块依次由一个卷积层、一个批量归一化层和一个激活函数RELU组成，所述卷积层的卷积核的大小为k
×
k，步长为j；且残差卷积模块的输入与自身的输出进行拼接后作为自身残差卷积模块最终的输出；
[0012]步骤2.3、所述鉴别网络D
c
和D
d
的网络结构均包括：特征提取模块和分类模块；
[0013]所述特征提取模块的结构与所述骨干网络的结构相同并加载所述预训练权重作为自身的网络参数；所述分类模块依次由一个全局平均池化层、两个全连接层、一个批量归一化层和一个激活函数leaky RELU组成；
[0014]步骤3、基于特征对齐的退化环境下行人重识别的深度学习模型的训练：
[0015]步骤3.1、将所述第i张正常行人图像X
i
和第j张退化行人图像Y
j
输入经过所述预训练的行人重识别模型的骨干网络中进行特征提取，得到对应的行人特征和
[0016]步骤3.2、将行人特征输入所述特征对齐模块G
c2d
中进行处理，并得到对齐后的行人特征将行人特征输入特征对齐模块G
d2c
中进行处理，并得到对齐后的行人特征
[0017]将行人特征和输入所述鉴别网络D
c
中进行处理，并相应得到正常环境下的概率和
[0018]将行人特征和输入所述鉴别网络D
d
中进行处理，并相应得到退化环境下的概率和Dd；
[0019]利用式(1)和式(2)分别构建行人图像X
i
和Y
j
的对抗损失和
[0020][0021][0022]式(1)和式(2)中，E表示期望；
[0023]步骤3.3、将对齐后的行人特征输入所述特征对齐模块G
d2c
中进行处理，并得到重建的行人特征将对齐后的行人特征输入所述特征对齐模块G
c2d
中进行处理，并得到重建的行人特征
[0024]利用式(3)和式(4)构建行人图像X
i
和Y
j
的循环一致性损失和
[0025][0026][0027]步骤3.4、将行人特征输入所述特征对齐模块G
d2c
中进行处理，并得到个体保持特征将行人特征输入所述特征对齐模块G
c2d
中进行处理，得到个体保持特征
[0028]利用式(5)和式(6)构建行人图像X
i
和Y
j
的个体保持损失和
[0029][0030][0031]步骤3.5、利用式(7)构建行人图像X
i
和Y
j
的退化残差一致性损失L
res
：
[0032][0033]步骤3.6、利用式(8)建立全局损失函数L
total
：
[0034][0035]式(8)中，λ1、λ2、λ3、λ4分别为全局损失函数的4个超参数；
[0036]步骤3.7、通过随机梯度下降法对两个特征对齐模块G
c2d
和G
d2c
以及两个鉴别网络D
c<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征对齐的退化环境下的行人重识别方法，其特征是按如下步骤进行：步骤1、获取正常环境下拍摄的行人图像数据集(X1，X2，
…
，X
i
，
…
，X
N
)，其中，X
i
表示第i张正常行人图像，N表示图像总数；获取退化环境下拍摄的行人图像数据集(Y1，Y2，
…
，Y
j
，
…
，Y
M
)，其中，Y
j
表示第j张退化行人图像，M表示图像总数；步骤2、构建基于特征对齐的退化环境下行人重识别的深度学习模型，包括：行人重识别模型F、两个特征对齐模块G
c2d
和G
d2c
、两个鉴别网络D
c
和D
d
；步骤2.1、所述行人重识别模型F是由骨干网络和分类网络组成，所述骨干网络以ResNet
‑
50网络为基础；利用正常环境下拍摄的行人图像数据集对行人重识别模型F进行预训练，得到预训练后的行人重识别模型并冻结预训练权重；步骤2.2、所述特征对齐模块G
c2d
和G
d2c
的网络结构均包括：M个残差卷积模块；每个残差卷积模块依次由一个卷积层、一个批量归一化层和一个激活函数RELU组成，所述卷积层的卷积核的大小为k
×
k，步长为j；且残差卷积模块的输入与自身的输出进行拼接后作为自身残差卷积模块最终的输出；步骤2.3、所述鉴别网络D
c
和D
d
的网络结构均包括：特征提取模块和分类模块；所述特征提取模块的结构与所述骨干网络的结构相同并加载所述预训练权重作为自身的网络参数；所述分类模块依次由一个全局平均池化层、两个全连接层、一个批量归一化层和一个激活函数leaky RELU组成；步骤3、基于特征对齐的退化环境下行人重识别的深度学习模型的训练：步骤3.1、将所述第i张正常行人图像X
i
和第j张退化行人图像Y
j
输入经过所述预训练的行人重识别模型的骨干网络中进行特征提取，得到对应的行人特征和步骤3.2、将行人特征输入所述特征对齐模块G
c2d
中进行处理，并得到对齐后的行人特征将行人特征输入特征对齐模块G
d2c
中进行...

【专利技术属性】
技术研发人员：查正军，刘嘉威，王堃宇，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：