基于混合注意解耦重识别网络的行人重识别方法及设备技术

本发明专利技术提出了一种基于混合注意解耦重识别网络的行人重识别方法及设备，以增强领域不变的行人特征的辨别能力，从而形成可靠的类别边界和学习类内语义多样性。方法中混合注意模块的设计是为了从空间和通道的角度，以注意力权重解耦的方式加强领域不变的特征表达，这迫使网络自动利用有利于跨领域重识别的图像区域和属性线索。此外，基于增强的领域不变特征表达，提出了一种多困难样本内存学习策略，以提高目标域样本的类内多样性。本发明专利技术通过更新可靠样本内存库和多个困难样本内存库来优化特征学习过程，通过考虑同一类别内各个样本之间的关系，可以用来捕获显著的类内语义变化，同时能够对伪标签的准确性产生积极影响。同时能够对伪标签的准确性产生积极影响。同时能够对伪标签的准确性产生积极影响。

【技术实现步骤摘要】
基于混合注意解耦重识别网络的行人重识别方法及设备


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于混合注意解耦重识别网络的行人重识别方法及设备。

技术介绍

[0002]行人重识别是一项具有挑战性的任务，它旨在从非重叠的相机捕获的图库中重新识别给定的查询图像。近年来，该方向在有监督方法上取得了巨大的进步，并被广泛用于图像应用，包括刑事调查、多摄像头跟踪和公共安全。然而，这些在一个数据集上训练的重识别模型经常受到领域偏移的影响，在应用于成像条件与训练数据不同的目标应用场景时表现出明显的性能下降。尽管手动收集和注释目标域训练样本可以缓解领域转移的问题，但这是非常昂贵和耗时的。
[0003]无监督领域自适应技术可以通过将从有标签的源域学到的知识转移到无标签的目标域，来缩小领域间的差距。一些重识别模型使用基于生成对抗网络的无监督图像到图像的转换来研究这个问题。有标签的源域样本被转换成目标样式，并在没有目标数据标签的情况下用于训练目标重识别模型。然而，这种方法的重识别性能在很大程度上取决于图像生成的质量，当相机成像角度或行人姿态变化较大时，会受到很大影响。
[0004]目前，主流方法采用基于伪标签的方法。相比较于基于生成对抗网络的方法，基于伪标签的方法能够直接通过生成伪标签来训练目标域模型。这些方法通过一个三步来适应性地调整跨域特征分布：(1)使用有标签的源域训练样本学习行人重识别模型；(2)对目标域训练样本进行聚类，通过从源域训练的重识别模型提取的特征，从而产生伪标签；(3)通过具有伪标签的目标域数据和真实标签的源域样本混合的内存库优化模型。然而，大多数的伪标签方法为了减少错误伪标签的影响而忽略了类的边界样本，这不可避免地牺牲了类内的语义多样性。尽管有些方法采用基于困难样本内存库的方法可以用来发现样本之间的关系和描述类内样本的多样性，但它们容易增加产生不正确的伪标签的风险。
[0005]基于此，类内多样性和伪标签的准确性是相互矛盾的。增加类内多样性可能会使错误伪标签增加，而增加高置信度的伪标签训练样本可能会影响类内多样性。在跨域行人重识别过程中，如何平衡类内多样性和伪标签的准确性是一个具有挑战性的问题。因此研究一种能够提高行人重识别特征辨别力，且能够学习类内语义多样性的方法，对于行人重识别任务意义重大。

技术实现思路

[0006]针对上述现有技术存在的不足，本专利技术提出了一种基于混合注意解耦重识别网络的行人重识别方法。其目的在于解决行人重识别中无法充分学习类内的语义多样性、无法提取具有辨别性的特征表达的问题，以增强领域不变的行人特征的辨别能力，从而形成可靠的类别边界和学习类内语义多样性。
[0007]为了实现上述目的，本专利技术提供了一种基于混合注意解耦重识别网络的行人重识
别方法，应用于无监督领域自适应的行人重识别中，所述方法包括：
[0008]构建行人重识别网络模型中的混合注意力模块，包括基于解耦的空间注意力机制和通道注意力机制；
[0009]将源域数据D
s
和目标域数据D
t
送入初始特征提取网络，得到初始特征f；
[0010]将初始特征送入混合注意模块，得到领域不变特征f
di
和领域特定特征f
ds
，以及领域分类损失和正交损失；
[0011]将领域不变特征f
di
采用DBSCAN聚类方法对目标域样本聚类，得到伪标签用于目标域监督训练；
[0012]根据多困难样本内存学习策略，初始化多个样本内存；
[0013]将领域不变特征f
di
与多个样本内存计算相似度，得到各个内存的对比损失；
[0014]通过各个内存的对比损失、领域分类损失和正交损失更新网络参数，同时根据输入查询样本，更新内存特征，用于学习样本间关系，当网络模型收敛时，训练完成，通过训练好的网络模型进行行人重识别，得到识别结果。
[0015]进一步地，所述构建行人重识别网络模型中的混合注意力模块，包括：
[0016]构建一个由基于解耦的空间注意力机制和通道注意力机制组成的混合注意力模块；
[0017]该混合注意力模块用于提取领域不变特征，用于后续识别分类任务。
[0018]进一步地，所述将源域数据D
s
和目标域数据D
t
送入初始特征提取网络，得到初始特征，包括：
[0019]将具有五个阶段的Resnet
‑
50网络作为初始特征提取网络，第五阶段的卷积步长由2变为1，且Resnet
‑
50网络已在ImageNet上预训练；
[0020]将源域数据和目标域数据送入预训练后的Resnet
‑
50网络，得到初始特征。
[0021]进一步地，所述将初始特征送入混合注意模块，得到领域不变特征f
di
和领域特定特征f
ds
，以及领域分类损失和正交损失，包括：
[0022]将初始特征送入混合注意模块，首先初始特征经过解耦模块后，得到领域不变权重w
i
和领域特定权重w
s
；
[0023]根据向量正交原则，采用正交损失使得领域不变权重w
i
和领域特定权重w
s
相互正交，从而使得领域不变特征和领域特定特征相互独立，正交损失L
I
为：
[0024][0025][0026]其中和是领域不变权重w
i
和领域特定权重w
s
经过平均池化的结果，|| ||2表示L2正则化，| |表示绝对值操作，I[i，j]表示位置(i，j)上的数值属于的数值，b表示每个小批次的样本数量，c表示通道数；
[0027]根据领域不变权重w
i
和领域特定权重w
s
得到领域不变特征f
di
和领域特定特征f
ds
，其公式为：
[0028]W
i
＝E
dm
(f)，W
s
＝1
‑
W
i
[0029][0030]其中表示元素相乘，E
dm
为解耦模块；
[0031]利用领域特定特征f
ds
计算领域分类损失，使得f
ds
包含更多领域特定特征信息，领域分类损失L
dom
为：
[0032]L
dom
＝
‑
[D
L
logP+(1
‑
D
L
)log(1
‑
P)][0033]P＝E
dc
(f
ds
)
[0034]其中D
L
是领域标签，源域的领域标签为0，目标域的领域标签为1；E
dc
为领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合注意解耦重识别网络的行人重识别方法，其特征在于，包括以下步骤：构建行人重识别网络模型中的混合注意力模块，包括基于解耦的空间注意力机制和通道注意力机制；将源域数据D
s
和目标域数据D
t
送入初始特征提取网络，得到初始特征f；将初始特征送入混合注意模块，得到领域不变特征f
di
和领域特定特征f
ds
，以及领域分类损失和正交损失；将领域不变特征f
di
采用DBSCAN聚类方法对目标域样本聚类，得到伪标签用于目标域监督训练；根据多困难样本内存学习策略，初始化多个样本内存；将领域不变特征f
di
与多个样本内存计算相似度，得到各个内存的对比损失；通过各个内存的对比损失、领域分类损失和正交损失更新网络参数，同时根据输入查询样本，更新内存特征，用于学习样本间关系，当网络模型收敛时，训练完成，通过训练好的网络模型进行行人重识别，得到识别结果。2.如权利要求1所述的行人重识别方法，其特征在于，所述构建行人重识别网络模型中的混合注意力模块，包括：构建一个由基于解耦的空间注意力机制和通道注意力机制组成的混合注意力模块；该混合注意力模块用于提取领域不变特征，用于后续识别分类任务。3.如权利要求1所述的行人重识别方法，其特征在于，所述将源域数据D
s
和目标域数据D
t
送入初始特征提取网络，得到初始特征，包括：将具有五个阶段的Resnet
‑
50网络作为初始特征提取网络，第五阶段的卷积步长由2变为1，且Resnet
‑
50网络已在ImageNet上预训练；将源域数据和目标域数据送入预训练后的Resnet
‑
50网络，得到初始特征。4.如权利要求1所述的行人重识别方法，其特征在于，所述将初始特征送入混合注意模块，得到领域不变特征f
di
和领域特定特征f
ds
，以及领域分类损失和正交损失，包括：将初始特征送入混合注意模块，首先初始特征经过解耦模块后，得到领域不变权重w
i
和领域特定权重w
s
；根据向量正交原则，采用正交损失使得领域不变权重w
i
和领域特定权重w
s
相互正交，从而使得领域不变特征和领域特定特征相互独立，正交损失L
I
为：为：其中和是领域不变权重w
i
和领域特定权重w
s
经过平均池化的结果，||||2表示L2正则化，||表示绝对值操作，I[i，j]表示位置(i，j)上的数值属于的数值，b表示每个小批次的样本数量，c表示通道数；根据领域不变权重w
i
和领域特定权重w
s
得到领域不变特征f
di
和领域特定特征f
ds
，其公式为：W
i
＝E
dm
(f)，W
s
＝1
‑
W
i
其中表示元素相乘，E
dm
为解耦模块；利用领域特定特征f
ds
计算领域分类损失，使得f
ds
包含更多领域特定特征信息，领域分类损失L
dom
为：L
dom
＝
‑
[D
L
logP+(1
‑
D
L
)log(1
‑
P)]P＝E
dc
(f
ds
)其中D
L
是领域标签，源域的领域标签为0，目标域的领域标签为1；E
dc
为领域分类模块，P为领域分类概率。5.如权利要求1所述的行人重识别方法，其特征在于，所述将领域不变特征f
di
采用DBSCAN聚类方法对目标域样本聚类，得到伪标签用于目标域监督训练，包括：在每轮训练前，使用DBSCAN进行聚类，对于DBSCAN中的参数，k
‑
距离中的参数k被设置为30，最小邻居数n被设置为4，对于DukeMTMC
‑
reID和Market
‑
1501数据集，样本对之间的距离阈值被设置为0.6，对于M...

【专利技术属性】
技术研发人员：罗大鹏，王伦，黄罗琪，程卓，方斌，杜浩文，肖菲，王菲，
申请(专利权)人：中建三局智能技术有限公司，
类型：发明
国别省市：