一种基于交叉一致性的多光谱车辆重识别方法技术

本发明专利技术公开一种基于交叉一致性的多光谱车辆重识别方法，提出交叉一致性多流网络，通过同时约束同一车辆多光谱特征在模态和样本层面上的一致性来帮助多流网络更好的学习多光谱情景下的车辆特征；本发明专利技术重新构建数据集MSVR310，弥补当前已有数据集在数据多样性上的不知足，这极大地丰富数据集的数据多样性并包含有更多的挑战。本发明专利技术将新提出的交叉一致性多流网络作为新的多光谱车辆重识别模型，该多光谱车辆重识别模型在MSVR310数据集或其他多光谱车辆重识别数据集上均实现较好的重识别效果，为复杂光照环境和恶劣天气下车辆重识别提供了有效的解决思路。别提供了有效的解决思路。别提供了有效的解决思路。

【技术实现步骤摘要】
一种基于交叉一致性的多光谱车辆重识别方法


[0001]本专利技术涉及计算机视觉技术，具体涉及一种基于交叉一致性的多光谱车辆重识别方法。

技术介绍

[0002]车辆重识别的任务是根据车辆外观信息从图像(视频)库中寻找不同监控视野下出现的特定车辆。由于该技术在完成身份识别的同时摆脱了车牌识别系统对于清晰车牌图像的需求，因此该技术在智慧城市、天网系统中具有重要的应用价值，并引起了专家学者们的关注。
[0003]目前，现有的车辆重识别方法已经在一些公开的数据集上取得了良好的效果，但是由于黑暗、复杂光照、遮挡、运动模糊等因素的干扰以及车辆本身不同视角下巨大的外观差异，车辆重识别任务依然面临着巨大的挑战。在诸多挑战中，不同光照条件，如强光照、弱光照、黑暗、局部光照等，都对车辆外观造成了严重的干扰，这种情况在单一可见光监控终端条件下往往是难以避免的。随着监控设备的发展，红外监控终端开始普及，为利用可见光、近红外、热红外等多种光谱进行成像，实现多光谱下的车辆重识别提供了条件。
[0004]目前多光谱车辆重识别领域的技术相对较少。现有工作主要包括两个多光谱车辆重识别数据集RGBN300和RGBNT100，以及一种异质协作感知的多流卷积网络，现有相关技术主要存在以下两个问题：
[0005](1)当前已有的多光谱车辆重识别数据集RGBN300和RGBNT100在数据多样性上存在不足。
[0006]首先，这两个数据集的采集时间比较集中，本身包含的环境干扰比较有限。
[0007]其次，由于每辆车只在同样环境的不同视角下被捕捉一次，因此同一车辆本身包含的环境影响较小，导致识别难度较低，与现实场景存在较大差距。
[0008]最后，RGBN300仅包含可见光与近红外两个光谱数据，在光谱多样性上有所不足。
[0009](2)当前方法的研究集中于多光谱特征的融合，忽略了不同光谱数据间的巨大模态差异对特征的影响、模态内部数据差异巨大以及同一车辆在不同环境和视角下的样本的外观差异。

技术实现思路

[0010]专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于交叉一致性的多光谱车辆重识别方法。
[0011]技术方案：本专利技术的一种基于交叉一致性的多光谱车辆重识别方法，包括训练阶段和测试阶段；
[0012]步骤1：训练阶段包括以下步骤：
[0013]步骤1
‑
1：从多光谱车辆重识别数据集(比如MSVR310、RGBNT100、RGBN300)中同时获取同一辆车的多个多光谱样本，每个样本均包括一张可见光图像、一张近红外图像和一
张热红外图像；
[0014]步骤1
‑
2：将所得多光谱样本输入交叉一致性多流网络进行训练；
[0015]所述交叉一致性多流网络包括三支卷积神经网络，通过这三支卷积神经网络分别提取各样本的三种光谱特征，每支卷积神经网络的第一部分和第二部分中间均嵌入一个自适应层归一化单元；输入的光谱样本依次经过对应卷积神经网络的第一部分、自适应层归一化单元和第二部分，输出对应最终特征，然后将所得对应最终特征经过批归一化操作送入分类器，做出对原始输入数据的类别预测；
[0016]步骤1
‑
3：将来自同一辆车的不同样本视为一组，在组内分别对各个样本包含的多光谱特征计算均值，作为该样本的样本中心特征；对组内不同光谱下的特征计算均值作为该光谱的模态中心特征；最后根据计算好的组内各样本中心特征和各模态中心特征计算交叉中心损失；同时根据各分支的类别预测结果与真值标签对比，计算交叉熵损失；
[0017]步骤1
‑
4：完成上述步骤1
‑
1至步骤1
‑
3后，将计算得到的交叉中心损失与各分支的交叉熵损失相加，得到总损失，并使用随机梯度下降算法根据总损失值更新整个模型中的所有参数；
[0018]接着重复步骤1
‑
1至步骤1
‑
4，直到损失值收敛，网络达到最优表现，训练结束得到训练好的交叉一致性多流网络；
[0019]步骤2：测试阶段包括以下步骤：
[0020]步骤2
‑
1：从多光谱车辆重识别数据集载入车辆的一个样本，该样本包括一张可见光图像、一张近红外图像和一张热红外图像，将样本输入到步骤1所得训练好的交叉一致性多流网络；
[0021]步骤2
‑
2：通过交叉一致性多流网络的第一部分提取输入样本的中层特征，将中层特征送入对应自适应层归一化单元对特征分布进行调整，将调整后中层特征再送入交叉一致性多流网络的第二部分获取对应的最终特征；接着将所得三种最终特征在通道层面进行拼接，拼接后的特征作为输入样本最终的特征表达；
[0022]步骤2
‑
3：将测试集分为查询集和检索集，对检索集中所有样本图像通过步骤2
‑
1和步骤2
‑
2提取对应特征表达；
[0023]步骤2
‑
4：在查询集中对输入的单一查询车辆样本通过步骤2
‑
1和步骤2
‑
2提取对应特征表达，并与步骤2
‑
3所得检索集中的样本特征进行比对，进而判断检索集中是否包含查询车辆。
[0024]进一步地，所述多光谱车辆重识别数据集包括RGBNT100和RGBN300，若使用的是RGBNT100数据集，则在读取数据时，每个样本均包括一张可见光图像、一张近红外图像和一张热红外图像，构建网络模型时，交叉一致性多流网络设置三支卷积神经网络；若使用的是RGBN300数据集，则在读取数据时，每个样本均包括一张可见光图像和一张近红外图像，构建网络模型时，交叉一致性多流网络设置两支卷积神经网络。
[0025]进一步地，对多光谱车辆重识别数据集进行重构形成MSVR310数据集，该MSVR310数据集(即多光谱车辆重识别310，Multi
‑
spectral Vehicle Re
‑
identification 310)中包括310辆目标车辆，2087组样本，其中每个样本包括可见光、近红外、热红外图像各一张，总共6261张图像，且每一张图像均包括提供车辆身份标签、样本视角标签和样本拍摄时间标签。
[0026]进一步地，所述卷积神经网络的第一部分(即ResNet50的前半段)包括第一个卷积层conv1、第一个堆叠层layer1和第二个堆叠层layer2，以此获得输入样本的中层特征；然后通过自适应层归一化单元调整所得中层特征的分布；所述第二部分(ResNet50的后半段)；包括第三个堆叠层layer3、第四个堆叠层layer4和全局平均池化层，以此得到输入样本对应的最终特征；其中，每个样本的中层特征均包括中层可见光特征、中层近红外特征和中层热红外特征，每个样本的最终特征均包括最终可见光特征、最终近红外特征和最终热红外特征。此处的卷积神经网络在训练前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交叉一致性的多光谱车辆重识别方法，其特征在于：包括训练阶段和测试阶段；步骤1：训练阶段包括以下步骤：步骤1
‑
1：从多光谱车辆重识别数据集中同时获取同一辆车的多个多光谱样本，每个样本均包括一张可见光图像、一张近红外图像和一张热红外图像；步骤1
‑
2：将所得多光谱样本输入交叉一致性多流网络进行训练；所述交叉一致性多流网络包括三支卷积神经网络，通过这三支卷积神经网络分别提取各样本的三种光谱特征，每支卷积神经网络的第一部分和第二部分中间均嵌入一个自适应层归一化单元；输入的光谱样本依次经过对应卷积神经网络的第一部分、自适应层归一化单元和第二部分，输出对应最终特征，然后将所得对应最终特征经过批归一化操作并送入分类器进行类别预测；步骤1
‑
3：将来自同一辆车的不同样本视为一组，在组内分别对各个样本包含的多光谱特征计算均值，作为该样本的样本中心特征；对组内不同光谱下的特征计算均值作为该光谱的模态中心特征；最后根据计算好的组内各样本中心特征和各模态中心特征计算交叉中心损失；同时根据各分支的类别预测结果与真值标签对比，计算交叉熵损失；步骤1
‑
4：完成上述步骤1
‑
1至步骤1
‑
3后，将计算得到的交叉中心损失与各分支的交叉熵损失相加，得到总损失并进行反向传播，之后使用随机梯度下降算法根据总损失值更新整个模型中的所有参数；接着重复步骤1
‑
1至步骤1
‑
4，直到损失值收敛，网络达到最优表现，训练结束得到训练好的交叉一致性多流网络；步骤2：测试阶段包括以下步骤：步骤2
‑
1：从多光谱车辆重识别数据集载入车辆的一个样本，该样本包括一张可见光图像、一张近红外图像和一张热红外图像，将样本输入到步骤1所得训练好的交叉一致性多流网络；步骤2
‑
2：通过交叉一致性多流网络的第一部分提取输入样本的中层特征，将中层特征送入对应自适应层归一化单元对特征分布进行调整，将调整后中层特征再送入交叉一致性多流网络的第二部分获取对应的最终特征；接着将所得三种最终特征在通道层面进行拼接，拼接后的特征作为输入样本最终的特征表达；步骤2
‑
3：将测试集分为查询集和检索集，对检索集中所有样本图像通过步骤2
‑
1和步骤2
‑
2提取对应特征表达；步骤2
‑
4：在查询集中对输入的单一查询车辆样本通过...

【专利技术属性】
技术研发人员：郑爱华，朱贤朋，李成龙，汤进，罗斌，
申请(专利权)人：安徽大学，
类型：发明
国别省市：