一种相机拓扑图引导的车辆重识别方法及装置制造方法及图纸

本发明专利技术公开了一种相机拓扑图引导的车辆重识别方法及装置，所述方法包括：构建训练集，获取车辆特征表示；基于车辆特征表示构建相机拓扑图；基于相机拓扑图构建任意两个车辆的特征表示之间的拓扑关系并输入图卷积网络，获取最终的聚合特征；将最终的聚合特征与车辆特征表示进行融合，融合的结果输入到全连接层进行类预测；构建目标损失函数，对图卷积网络进行训练，直到目标损失函数值最小时停止训练，得到训练好的图卷积网络；利用训练好的图卷积网络进行车辆重识别；本发明专利技术的优点在于：提高重识别的准确性。识别的准确性。识别的准确性。

【技术实现步骤摘要】
一种相机拓扑图引导的车辆重识别方法及装置


[0001]本专利技术涉及计算机视觉领域，更具体涉及一种相机拓扑图引导的车辆重识别方法及装置。

技术介绍

[0002]车辆重识别(Re
‑
ID)旨在从非重叠监控摄像头捕获的图库图像中检索感兴趣的车辆图像。这是一项积极而具有挑战性的任务，由于其在社会保障、智慧城市和智能交通等领域的广泛应用而备受关注。尽管取得了显著的成功，但它仍然面临着严峻的挑战，例如相机内遮挡、跨相机照明和视角变化，这限制了它在现实复杂场景中的应用。
[0003]现有技术提出了不同的方法来解决上述的三个挑战。具有代表性的方法主要分为三类：1)基于视点学习的方法，在两个特征空间中学习相似和不同视角的两个度量，并提出了一个用于车辆重识别的视点感知网络(VANet)；2)基于部件学习的方法，提出了一种双路径自适应注意模型来捕获与车辆重识别(AAVER)部件相关的关键点；3)基于路径学习的方法，构建时空约束并优化车辆重识别的匹配结果，使用时空信息作为物理约束来降低匹配算法的复杂性。然而，这些工作主要集中在挖掘单个图像内部的信息，因此缺乏不同图像之间的交互。
[0004]近年来，图卷积网络(GCN)开始流行。图卷积网络通过对图结构数据执行卷积运算来概括卷积神经网络(CNN)的能力。传统的图卷积网络模型广泛应用于计算机视觉任务，例如，1)姿态估计，通过语义图卷积网络(SemGCN)捕获局部和全局节点关系等姿势信息；2)动作识别，提出动作结构图卷积网络(AS
‑
GCN)来提取有用的空间和时间信息以进行动作识别；3)行人重识别，提出了一种相似性引导图神经网络，将丰富的图库相似性信息纳入训练过程；4)车辆重识别，提出了一个解析引导的跨部件推理网络(PCRNet)来学习判别特征表示并对部件之间的相关性进行建模等。基于图卷积网络进行车辆重识别逐渐成为行业研究热点。
[0005]中国专利公开号CN112396027A，公开了一种基于图卷积神经网络的车辆重识别方法，包括：构建用于车辆重识别的网络模型，使用卷积神经网络提取待重识别的车辆图像的全局和局部特征，利用图卷积神经网络得到结构化特征，利用结构化特征计算网络模型的损失函数；根据损失函数训练网络模型；通过使用图卷积神经网络挖掘局部特征与局部特征、局部特征与全局特征之间的结构化信息，从而获得更优更全面的特征表达，提高了车辆重识别的精度。但是在复杂相机系统场景也即多个不同相机采集图像的情况下，其没有考虑不同相机采集的图像的差异性以及相邻相机之间的联系，从而采集的特征向量不能准确的表达车辆信息，车辆重识别的准确性不高。

技术实现思路

[0006]本专利技术所要解决的技术问题在于如何在多个不同相机采集图像的场景下，提高车辆重识别的准确性。
[0007]本专利技术通过以下技术手段实现解决上述技术问题的：一种相机拓扑图引导的车辆重识别方法，所述方法包括：
[0008]步骤一：构建训练集，获取车辆特征表示；
[0009]步骤二：基于车辆特征表示构建相机拓扑图；
[0010]步骤三：基于相机拓扑图构建任意两个车辆的特征表示之间的拓扑关系并输入图卷积网络，获取最终的聚合特征；
[0011]步骤四：将最终的聚合特征与车辆特征表示进行融合，融合的结果输入到全连接层进行类预测；
[0012]步骤五：构建目标损失函数，对图卷积网络进行训练，直到目标损失函数值最小时停止训练，得到训练好的图卷积网络；
[0013]步骤六：利用训练好的图卷积网络进行车辆重识别。
[0014]有益效果：本专利技术首先构建训练集获取车辆特征表示，另外还构建相机拓扑图将拓扑关系输入到图卷积网络获取聚合特征，然后将两者特征融合得到了融合的特征，根据融合特征最终获得类预测结果，整个特征识别过程不仅考虑了原始的视觉特征也即车辆特征表示，还基于相机拓扑图获取了聚合特征，从而在多个不同相机采集图像的情况下，能够表征不同相机采集的图像的差异性以及相邻相机之间的联系，从而采集的特征向量能够准确的表达车辆信息，车辆重识别的准确性较高。
[0015]进一步地，所述步骤一包括：
[0016]构建训练集其中，x
i
表示第i张图像，N
T
表示训练集的图片总数，y
i
表示其身份标签，表示其相机标签；
[0017]训练集输入到车辆表示模型ResNet
‑
50中提取车辆特征表示，车辆特征表示为：{h1,h2,...,h
N
}，h
N
表示第N个车辆的特征表示。
[0018]进一步地，所述步骤二包括：
[0019]根据车辆特征表示，将不同的相机作为节点，并根据相机之间的多种关系构建边，从而构建相机拓扑图G＝(V,E)，其中，V表示相机节点，从而构建相机拓扑图G＝(V,E)，其中，V表示相机节点，表示第C
T
个相机节点，E为相机拓扑图中设置的边集，E＝{E
system
,E
position
,E
orientation
,E
individual
}，E
system
,E
position
,E
orientation
,E
individual
分别表示以相机系统、位置、方向和身份的关系构建的边集；则基于相机系统、位置、方向和身份的相机拓扑图分别表示为：G
system
,G
position
,G
orientation
,G
individual
。
[0020]进一步地，所述步骤三包括：
[0021]任意两个车辆的特征表示h
i
和h
j
的拓扑关系A
ij
表示为：
[0022][0023]其中，表示相机拓扑图G中第i个相机标签和第j个相机标签之间的边。
[0024]更进一步地，所述步骤三中图卷积网络的工作过程为：
[0025]通过公式计算掩码矩阵，其中，topk表示topk算法，Sim
i
表示第i张图像与第j张图像之间的特征相似度，：表示所有样本，(Sim
i
,:)表示对比第i
个样本和所有样本；
[0026]基于掩码矩阵通过公式h
′
i
＝σ(∑
j
Mh
j
norm(Mask
⊙
A)
ij
)获取聚合特征，其中，σ表示ReLU激活函数，M表示可学习变换矩阵，norm表示归一化函数，
⊙
表示元素乘积；
[0027]通过公式对聚合特征进行加权更新获取最终的聚合特征，其中，是相机的可学习权重向量,表示M的第d行由的第d个元素缩放。
[0028]进一步地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机拓扑图引导的车辆重识别方法，其特征在于，所述方法包括：步骤一：构建训练集，获取车辆特征表示；步骤二：基于车辆特征表示构建相机拓扑图；步骤三：基于相机拓扑图构建任意两个车辆的特征表示之间的拓扑关系并输入图卷积网络，获取最终的聚合特征；步骤四：将最终的聚合特征与车辆特征表示进行融合，融合的结果输入到全连接层进行类预测；步骤五：构建目标损失函数，对图卷积网络进行训练，直到目标损失函数值最小时停止训练，得到训练好的图卷积网络；步骤六：利用训练好的图卷积网络进行车辆重识别。2.根据权利要求1所述的一种相机拓扑图引导的车辆重识别方法，其特征在于，所述步骤一包括：构建训练集其中，x
i
表示第i张图像，N
T
表示训练集的图片总数，y
i
表示其身份标签，表示其相机标签；训练集输入到车辆表示模型ResNet
‑
50中提取车辆特征表示，车辆特征表示为：{h1,h2,...,h
N
}，h
N
表示第N个车辆的特征表示。3.根据权利要求1所述的一种相机拓扑图引导的车辆重识别方法，其特征在于，所述步骤二包括：根据车辆特征表示，将不同的相机作为节点，并根据相机之间的多种关系构建边，从而构建相机拓扑图G＝(V,E)，其中，V表示相机节点，构建相机拓扑图G＝(V,E)，其中，V表示相机节点，表示第C
T
个相机节点，E为相机拓扑图中设置的边集，E＝{E
system
,E
position
,E
orientation
,E
individual
}，E
system
,E
position
,E
orientation
,E
individual
分别表示以相机系统、位置、方向和身份的关系构建的边集；则基于相机系统、位置、方向和身份的相机拓扑图分别表示为：G
system
,G
position
,G
orientation
,G
individual
。4.根据权利要求1所述的一种相机拓扑图引导的车辆重识别方法，其特征在于，所述步骤三包括：任意两个车辆的特征表示h
i
和h
j
的拓扑关系A
ij
表示为：其中，表示相机拓扑图G中第i个相机标签和第j个相机标签之间的边。5.根据权利要求4所述的一种相机拓扑图引导的车辆重识别方法，其特征在于，所述步骤三中图卷积网络的工作过程为：通过公式计算掩码矩阵，其中，topk表示topk算法，Sim
i
表示第i张图像与第j张图像之间的特征相似度，：表示所有样本，(Sim
i
,:)表示对比Sim
i
和所有样本；基于掩码矩阵通过公式h
′
i
＝σ(∑
j
Mh
j
norm(Mask
⊙
A)
ij
)获取聚合特征，其中，σ表示ReLU激活函数，M表示可学习变换矩阵，norm表示归一化函数，
⊙
表示元素乘积；
通过公式对聚合特征进行加权更新获取最终的聚合特征，其中，是相机的可学习权重向量,表示M的第d行由的第d个元素缩放。6.根据权利要求1所述的一种相机拓扑图引导的车辆重识别方法，其特征在于，所述步骤四包括：通过公式f
i

【专利技术属性】
技术研发人员：李洪潮，孟庆洛，孙丽萍，罗永龙，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：