基于多代理相似度聚合的跨模态行人再辨识方法技术

本发明专利技术提供一种基于多代理相似度聚合的跨模态行人再辨识方法，用于解决昼夜光照差异大而带来的白天可见光图像与夜晚红外图像匹配困难的问题。因此，本发明专利技术为每个类别分配多个可学习的代理，获得多代理相似度，并设计多代理相似度聚合机制，实现跨模态行人再辨识。一方面，本发明专利技术为每个类别学习多个代理，可以更好地刻画由于数据跨模态引起的剧烈类内差异；另一方面，本发明专利技术设计聚合机制，学习最佳的多代理相似度聚合方式，提升跨模态行人再辨识的准确性。因此，本发明专利技术可广泛应用于智慧城市、智慧交通以及智慧安防中的智能视频监控系统。智慧交通以及智慧安防中的智能视频监控系统。智慧交通以及智慧安防中的智能视频监控系统。

【技术实现步骤摘要】
基于多代理相似度聚合的跨模态行人再辨识方法


[0001]本专利技术涉及机器视觉、智能视频监控
，特别涉及一种基于多代理相似度聚合的跨模态行人再辨识方法。

技术介绍

[0002]由于昼夜光照差异大，视频监控摄像头在白天工作在可见光模态，而在夜晚工作在红外模态，不同成像模态下的目标亦难以区分，造成白天目标图像和夜晚目标图像再辨识极其困难。现有的研究对跨模态行人再辨识重视尚且不足，多数采用与单模态行人再辨识相同的单代理Softmax损失函数。单代理Softmax损失函数对跨模态图像的类内差异重视程度不够，制约了跨模态行人再辨识的准确性，继而导致跨模态行人再辨识算法在视频监控系统中的实战能力受到限制。

技术实现思路

[0003]针对现有技术存在的问题，本专利技术的目的在于提供一种基于多代理相似度聚合的跨模态行人再辨识方法，其为每个类别建立多个可学习代理，并利用聚合机制将多代理相似度重新聚合，以更好地描述跨模态图像类内变化和相似度学习，从而提升跨模态行人再辨识模型对模态变化的适应能力，进而提升跨模态行人再辨识的准确性。
[0004]为实现上述目的，本专利技术采用的技术方案是：
[0005]一种基于多代理相似度聚合的跨模态行人再辨识方法，采用多代理相似度聚合来构建损失函数，其步骤如下所示：
[0006]步骤1.1：采用多代理相似度聚合机制来构建损失函数，如公式(1)所示，
[0007][0008]其中，M表示训练样本数量，C表示类别数量，表示第i个样本x
i
与第c
i
个类别的多代理聚合相似度，c
i
∈[1,2,3,...,C]表示x
i
的类别标签，表示样本x
i
与第j个类别的多代理聚合相似度。
[0009]步骤1.2：利用聚合机制将样本分别与每个类别的多个代理之间的相似度进行聚合，获得样本x
i
与每个类别的多代理聚合相似度，如公式(2)所示，
[0010][0011]其中，表示第i个样本x
i
与第j个类别的多代理聚合相似度，Aggregate表示聚合函数，表示第i个样本x
i
与第j个类别的第k个代理之间的相似度，K表示每个类别的代理个数。
[0012]步骤1.3：第i个样本x
i
与第j个类别的第k个代理之间的相似度的计算如公式
(3)所示，
[0013][0014]其中，表示多个第j个类别的第k个可学习的代理，T是转置操作，表示经由神经网络Net从x
i
中提取的d维特征向量，θ是神经网络Net的权重参数。
[0015]步骤1.4：相似度聚合方式采用下列三种方式之一聚合：
[0016]i)如图1所示，相似度聚合方式采用均值聚合，如公式(4)所示，
[0017][0018]ii)如图2所示，相似度聚合方式采用注意力机制聚合，如公式(5)所示，
[0019][0020]其中，表示聚合权重，由注意力子网络ANet算得，即表示聚合权重，由注意力子网络ANet算得，即表示经由神经网络Net从x
i
中提取的d维特征向量，φ为ANet的权重参数。
[0021]iii)如图3所示，相似度聚合方式采用困难挖掘策略聚合，如公式(6)所示，
[0022][0023]其中，c
i
∈[1,2,3,...,C]表示样本x
i
的类别标签，在与x
i
同类的代理(即j＝c
i
)中，挖掘最小相似度作为x
i
与第j个类别的困难相似度进行优化，在x
i
异类的代理(即j≠c
i
)中，挖掘最大相似度作为x
i
与第j个类别的困难相似度进行优化。
[0024]采用上述方案后，本专利技术为每个类别分配多个可学习的代理，获得多代理相似度，并设计多代理相似度聚合机制，实现跨模态行人再辨识。一方面，本专利技术为每个类别学习多个代理，可以更好地刻画由于数据跨模态引起的剧烈类内差异；另一方面，本专利技术设计聚合机制，学习最佳的多代理相似度聚合方式，提升跨模态行人再辨识的准确性。因此，本专利技术可广泛应用于智慧城市、智慧交通以及智慧安防中的智能视频监控系统。
附图说明
[0025]图1为本专利技术基于多代理相似度聚合的跨模态行人再辨识方法的示意图，其中多代理相似度聚合方式采用均值聚合。
[0026]图2为本专利技术基于多代理相似度聚合的跨模态行人再辨识方法的示意图，其中多代理相似度聚合方式采用注意力机制聚合。
[0027]图3为本专利技术基于多代理相似度聚合的跨模态行人再辨识方法的示意图，其中多代理相似度聚合方式采用困难挖掘策略聚合。
具体实施方式
[0028]本实施例中，基于多代理相似度聚合的跨模态行人再辨识方法，其训练阶段如下：
[0029]1.1)获取行人可见光和红外训练集图像，其中每个图像配有身份标识。
[0030]1.2)构建双分支深度学习网络Net。本实施例中，如图1、图2和图3所示，所述双分支深度学习网络由ResNet50、广义平均池化层(Generalized
‑
meanPooling,GeP)和全连接层(Fully Connected,FC)组成。本实施例中，双分支构建方式具体为ResNet50的茎部(Stem)、残差组Layer1和Layer2不共享参数，而Layer3和Layer4共享参数。
[0031]1.3)利用多代理相似度聚合损失函数对所构建的双分支深度学习网络进行训练：
[0032]1.3.1)采用多代理相似度聚合机制来构建损失函数，如公式(1)所示，
[0033][0034]其中，M表示训练样本数量，C表示类别数量，表示第i个样本x
i
与第c
i
个类别的多代理聚合相似度，c
i
∈[1,2,3,...,C]表示x
i
的类别标签；表示样本x
i
与第j个类别的多代理聚合相似度。
[0035]1.3.2)利用聚合机制将样本分别与每个类别的多个代理之间的相似度进行聚合，获得样本x
i
与每个类别的多代理聚合相似度，如公式(2)所示，
[0036][0037]其中，表示第i个样本x
i
与第j个类别的多代理聚合相似度，Aggregate表示聚合函数，表示第i个样本x
i
与第j个类别的第k个代理之间的相似度，K表示每个类别的代理个数。
[0038]1.3.3)第i个样本x
i
与第j个类别的第k个代理之间的相似度的计算如公式(3)所示，
[0039][0040]其中，表示多个第j个类别的第k个可学习的代理，T是转置操作，表示经由神经网络Net从x
i
中提取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多代理相似度聚合的跨模态行人再辨识方法，其特征在于：采用多代理相似度聚合机制来构建损失函数：步骤1.1：采用多代理相似度聚合机制来构建损失函数，如公式(1)所示，其中，M表示训练样本数量，C表示类别数量，表示第i个样本x
i
与第c
i
个类别的多代理聚合相似度，c
i
∈[1,2,3,...,C]表示x
i
的类别标签，表示样本x
i
与第j个类别的多代理聚合相似度。步骤1.2：利用聚合机制将样本分别与每个类别的多个代理之间的相似度进行聚合，获得样本x
i
与每个类别的多代理聚合相似度，如公式(2)所示，其中，表示第i个样本x
i
与第j个类别的多代理聚合相似度，Aggregate表示聚合函数，表示第i个样本x
i
与第j个类别的第k个代理之间的相似度，K表示每个类别的代理个数。步骤1.3：第i个样本x
i
与第j个类别的第k个代理之间的相似度的计算如公式(3)所示，其中，表示多个第j个类别的第k个可学习的代理，T是转置操作，表示经由神经网络Net从x
i
中提取的...

【专利技术属性】
技术研发人员：朱建清，赵倩倩，吴含笑，曾焕强，傅玉青，蔡灿辉，廖昀，杜吉祥，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：