一种基于细粒度交互网络的换衣行人重识别方法技术

本发明专利技术提供了一种基于细粒度交互网络的换衣行人重识别方法，

【技术实现步骤摘要】
一种基于细粒度交互网络的换衣行人重识别方法


[0001]本专利技术属于计算机视觉行人重识别
，具体涉及一种基于细粒度交互网络的换衣行人重识别方法
。

技术介绍

[0002]行人重识别是指在不同的摄像机下捕捉到与给定目标具有同一身份的行人，这项任务在近年来得到了广泛的研究并取得了长足的进展
。
但是，现有的研究总是假设目标图像与与其匹配的查询图像具有相同的服装外观，即目标行人在不同的摄像机下出现时其着装不会发生变化，这显然不符合现实应用场景
。
例如，天气炎热时，人们会频繁地更换衣服；犯罪分子也可能在短时间内通过换衣服作为伪装以逃避追踪
。
服装的变化为行人重识别的研究带来了更为复杂的挑战
。
[0003]近年来，研究人员致力于挖掘具有鉴别性的身份信息用于换衣行人重识别任务，主要包括行人的运动特征和不随服装变化的外观特征两个方向
。JIN
等人从单一图像中提取步态特征，通过序列预测获取连续的运动线索
。ZHAO
等人通过信息互补和有效的融合机制，从步态轮廓和姿态热图中探索稳健的步态特征
。
然而由于图像中信息损失
、
行人身体部位遮挡和角度等问题，给基于图像进行运动特征推理带来了很大的难度，致使推理所得的运动特征的可靠性难以保证，当前模型性能达不到预期效果
。
[0004]上述方法尽管捕获到一些步态特征，但忽略了除服装区域外其他有用的外观特征，更多研究人员则是从行人自身挖掘不随服装改变的纹理特征
。WAN
等人直接提取面部特征，进一步地对面部特征进行增强
。SHI
等人则关注整个头部，通过增加人体的头部特征流辅助判断行人身份
。
但是这些方法不能很好的解决面部和头部遮挡问题
。YANG
等人介绍了一个基于学习的空间极转换
(SPT)
模式和多流模型，用于捕获行人轮廓特征
。QIAN
等人提出了类似的模型，利用关键点作为先验信息从初始图像中提取形体信息
。
这些方法受到有限视角的限制只能捕捉到片面的形体表征并忽略了详细的视觉线索
(
如面部
、
头发
、
肤色等
)。HONG
等人提出了一个两流框架，通过密集交互相互学习进行协作训练，将形体知识从形状流转移到外貌流，使外貌流在推理中独立部署
。CHEN
等人则利用轮廓特征学习作为正则化挖掘更有效的形体感知特征，以最大化彩色外观特征与轮廓形状特征之间的相互信息
。
然而，这在一定程度上引入了服装颜色信息
。XU
等人通过生成对抗网络进行特征分离，分别得到行人的身份特征和服装特征
。YAGHOUBI
等人介绍了一个短期嵌入卷积神经网络识别服装风格等特征，然后通过余弦相似损失函数将不变特征和服装特征分离开
。
然而受限于特征分离的难度，上述模型尚不能达到理想性能
。

技术实现思路

[0005]现有的行人重识别方法很多程度上依赖于短时间内行人的服装外观来进行检索，并没有考虑到长时间下一个行人有很大概率更换服装的情况
。
针对换衣行人重识别任务中的服装信息对模型干扰大，行人有效信息难以提取等问题，提出了一种基于细粒度交互网
络的换衣行人重识别方法来降低行人服装信息对网络模型的干扰，从而进一步提取更鲁棒的行人特征
。
[0006]本专利技术选取
Resnet50
作为模型的骨干网络
。
首先，通过引入空间注意力模块突出特定信道的重要性，选择有价值的细粒度特征进而减少服装因素对模型表现的影响
。
然后，设计了一个成对交互网络来捕获具有相同身份
、
不同服装的行人图像对中的相似性关联区域，并学习换衣前后的行人一致性特征
。
在此基础上，通过注意力池化获得显著性更强的行人特征，通过均方误差和三元组损失函数来约束此特征
。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于细粒度交互网络的换衣行人重识别方法，主要是减少服装因素对模型的影响，对有效特征的提取进行优化
。
[0008]受到人们的观察习惯的启发，本专利技术通过捕获换衣前后的图像对中的相似性关联区域，学习一致性特征来确定他们是否为同一身份
。
对于同一行人来说，在将其有效特征嵌入到不同服装下的图像特征时，此特征应仍然能够作为是否为同一行人的判别标准
。
本专利技术引入空间注意力模块选择有价值的细粒度特征进而减少服装因素对模型表现的影响，然后通过成对交互网络捕获图像对中的相似性关联区域并进行学习
。
通过多个损失函数联合对行人特征进行优化，提高模型的泛化能力
。
[0009]上述方案包括以下步骤：
[0010]S1
，对换衣行人数据集图像预处理，通过像素采样生成换衣后图像；
[0011]S2
，采用
ResNet50
作为主干网络，将初始图像和生成图像一同输入主干网络，提取它们的特征向量
F
和引入空间注意力模块获得其对应的细粒度特征；
[0012]S3
，构建成对交互网络，将细粒度特征交互嵌入到特征空间和
F
，通过
non
‑
local
模块自适应地融合相似的上下文信息，获得具有判别力的特征区域，用于行人身份的检索；
[0013]S4
，通过多个损失函数联合对行人特征进行优化
。
[0014]进一步的，步骤
S1
包括：
[0015]针对换衣行人数据集图像较少的问题，通过像素采样的方式生成新的样本，通过从输入图像中随机选取一些像素，然后将这些像素替换成新的像素值，从而得到一张新的图像
。
通过多次重复这个过程，可以生成多张不同的新图像，用来满足行人重识别任务的训练数据需求
。
主要思路是通过改变输入样本中服装区域的像素来产生换衣后图像
。
为了实现这一目标，首先使用预训练的人体解析模型
SCHP
将输入图像划分为
20
个语义部分，包括背景
、
各种类型的服装以及人体的各个部分
。
在这个基础上，为了适应换衣行人重识别任务，将这
20
个语义部分重新合并为背景
、
服装和身体三个语义部分，通过交换原始图像中服装区域的像素来生成新的图像
。
[0016]将输入的小样本记为
X
＝
[x1，
x2，
...
，
x
i
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于细粒度交互网络的换衣行人重识别方法，其特征在于：包括以下步骤：
S1
，对换衣行人数据集图像预处理，通过像素采样生成换衣后图像；
S2
，采用
ResNet50
作为主干网络，将初始图像和生成图像一同输入主干网络，提取它们的特征向量
F
和引入空间注意力模块获得其对应的细粒度特征；
S3
，构建成对交互网络，将细粒度特征交互嵌入到特征空间和
F
，通过
non
‑
local
模块自适应地融合相似的上下文信息，获得具有判别力的特征区域，用于行人身份的检索；
S4
，通过多个损失函数联合对行人特征进行优化
。2.
根据权利要求1所述的一种基于细粒度交互网络的换衣行人重识别方法，其特征在于：步骤
S2
包括：输入图像首先通过一系列卷积
、
激活和池化操作，生成特征映射
F
；然后，通过全局平均池化层将空间特征映射
F
转换为一维向量，其运算过程如下公式所示：其中，
w
和
h
分别表示输入特征空间的宽度和高度，
i
和
j
表示特征对应的索引；然后，使用激活函数来权衡不同信道，得到一个权重向量
S
c
，该向量反映了每个信道的重要性；最后，使用加权和来模拟混淆注意热力图，并通过
sigmoid
激活函数将其激活，该热力图用于表示不同空间位置的重要性，计算过程如下公式所示：力图用于表示不同空间位置的重要性，计算过程如下公式所示：其中，
i
表示通道的索引，
c
表示通道，
n
表示通道的总数量，
F
为图片的空间特征向量，
F
p
表示经过预处理的空间特征向量；在计算
M
Atten
之前，对
F
进行预处理，预处理计算过程如下公式所示，其中，
F
min
表示
F
中的最小元素；
F
p
＝
F
‑
F
min
。3.
根据权利要求2所述的一种基于细粒度交互网络的换衣行人重识别方法，其特征在于：步骤
S3
包括：首先通过主干网络提取初始图像的特征向量
F
，然后通过空间注意力模块获得其细粒度特征
M
Atten
，然后将该特征嵌入到生成图像的特征空间并通过
non
‑
local
模块引入空间上下文，最后通过注意力池化突出细粒度特征；细粒度嵌入特征如下公式所示：通过
non
‑
local
模块传递空间嵌入特征
M
e
；通过键值对
K
‑
V
捕捉特征空间中的依赖关系；查询
Q
和键
K
向量点积，通过
softmax
函数激活得到权重矩阵
W
，为键值对分配权重，赋予上下文相似的值更多的权重；然后对每个值
V

【专利技术属性】
技术研发人员：闵卫东，白冬，汪琦，韩清，盖迪，
申请(专利权)人：南昌大学，
类型：发明
国别省市：