一种基于多光谱的车辆重识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于多光谱的车辆重识别方法及装置，所述方法包括：获取可见光特征图、近红外特征图以及热红外特征图；获取各光谱下的类激活图，将各光谱下的类激活图分别通过全局平均池化得到各光谱下的类得分向量；将各光谱下的类得分向量分别通过归一化得到各光谱下的类别预测可能性向量，利用各光谱下的类别预测可能性向量获取各光谱下的损失函数，将各光谱下的损失函数融合获取多流的类别约束损失函数；获取异质协作身份损失函数；获取最终损失函数；训练异质协作感知的多流卷积神经网络，利用训练好的异质协作感知的多流卷积神经网络对车辆进行重识别；本发明专利技术的优点在于：能够解决恶劣环境中车辆重识别问题。

A method and device of vehicle recognition based on multi spectrum

【技术实现步骤摘要】
一种基于多光谱的车辆重识别方法及装置
本专利技术涉及计算机视觉领域，更具体涉及一种基于多光谱的车辆重识别方法及装置。
技术介绍
车辆重识别的任务是在不重叠的监控摄像头中匹配车辆图像。由于它在视频监控，社会治安，智慧城市和智慧交通等领域的广泛应用，因此它是一项活跃而具有挑战性的计算机视觉任务，并引起了广泛的关注。尽管最近在车辆重识别方面取得了突破，但它仍然面临着巨大的挑战，特别是在不利的照明条件下，例如强光、弱光、阴影或黑夜环境。主要原因是可见光相机只能捕获被摄对象反射的可见光(0.38-0.78μm)，这极大地影响了可见光谱的成像质量，可见光的图像如图1所示。因此，为了在夜晚进行车辆识别，加入了近红外技术，利用近红外相机进行车辆图像的获取。近红外相机可以捕获被摄对象反射的近红外光(0.78-3μm)，并且在黑暗环境和恶劣天气下不受影响，对于社会治安而言更为重要。如图1所示，近红外信息可以在不利的照明条件下克服传统的可见光车辆重识别的成像限制，并且可以将现在的车辆重识别问题从白天扩展到黑夜。虽然近红外图像可以在黑暗环境中克服可见光成像的限制。但是，近红外图像不包含颜色信息，如何将可见光、热红外光以及近红外光谱进行交叉匹配是亟待解决的技术问题。
技术实现思路
本专利技术所要解决的技术问题在于如何提供一种基于多光谱的车辆重识别方法及装置，以实现可见光、近红外光以及热红外光谱进行交叉匹配识别。本专利技术通过以下技术手段实现解决上述技术问题的：一种基于多光谱的车辆重识别方法，所述方法包括：步骤一：获取一辆车的可见光图像、近红外图像以及热红外图像，并将可见光图像、近红外图像以及热红外图像分别传入三个不共享参数的卷积神经网络，获取可见光特征图、近红外特征图以及热红外特征图；步骤二：将可见光特征图、近红外特征图以及热红外特征图分别映射得到各光谱下的类激活图，将各光谱下的类激活图分别通过全局平均池化得到各光谱下的类得分向量；步骤三：将各光谱下的类得分向量分别通过归一化得到各光谱下的类别预测可能性向量，利用各光谱下的类别预测可能性向量获取各光谱下的损失函数，将各光谱下的损失函数融合获取多流的类别约束损失函数；步骤四：通过各光谱下的类别预测可能性向量获取异质分布一致性损失函数，通过多流的类别约束损失函数与异质分布一致性损失函数获取异质协作身份损失函数；步骤五：获取带有类别感知的身份损失函数，并利用带有类别感知的身份损失函数以及异质协作身份损失函数获取最终损失函数；步骤六：训练异质协作感知的多流卷积神经网络，直到最终损失函数的损失值不再减小，结束训练，利用训练好的异质协作感知的多流卷积神经网络对车辆进行重识别。本专利技术利用多光谱信息帮助网络更好地学习车辆的特征，相对现有的只是关注单个可见光谱的车辆重识别方法，本专利技术在恶劣环境中的实际应用能力较好，提供了数据集在异质协作感知的多流卷积神经网络中的训练模型，并设计融合了不同信息的最终损失函数作为模型训练的终止条件，将同一辆车不同光谱的信息根据重要性进行融合生成最终的信息用于重识别，为黑暗环境和恶劣天气下的车辆重识别提供了有效的解决思路。优选的，所述步骤一包括：步骤101：获取数据集中一辆车的可见光图像I1、近红外图像I2以及热红外图像Im；步骤102：将可见光图像I1输入第一卷积神经网络CNN1、近红外图像I2输入第二卷积神经网络CNN2以及热红外图像Im输入第三卷积神经网络CNNm；步骤103：通过第一卷积神经网络CNN1利用公式F1＝CNN1(I1)提取可见光特征图F1，通过第二卷积神经网络CNN2利用公式F2＝CNN2(I2)提取近红外特征图F2，通过第三卷积神经网络CNNm利用公式Fm＝CNNm(Im)提取热红外特征图Fm。优选的，所述步骤二包括：步骤201：利用映射矩阵(W1，W2，Wm)将特征图矩阵(F1，F2，Fm)映射得到类激活图矩阵(M1，M2，Mm)；步骤202：将类激活图矩阵通过全局平均池化得到类得分向量矩阵(S1，S2，Sm)；其中，W1为可见光特征图的映射权重，M1为可见光图像的类激活图，且M1＝F1*W1；W2为近红外特征图的映射权重，M2为近红外图像的类激活图，且M2＝F2*W2；Wm为热红外特征图的映射权重，Mm为热红外图像的类激活图，且Mm＝Fm*Wm；S1为可见光图像的类得分向量且S1＝GAP(M1)，S2为近红外图像的类得分向量且S2＝GAP(M2)，Sm为热红外图像的类得分向量且Sm＝GAP(Mm)，GAP()为全局平均池化符号。优选的，所述步骤三包括：步骤301：将可见光图像的类得分向量通过公式P1＝softmax(S1)归一化为可见光下类别预测可能性向量P1，将近红外图像的类得分向量通过公式P2＝softmax(S2)归一化为近红外下类别预测可能性向量P2，将热红外图像的类得分向量通过公式Pm＝softmax(Sm)归一化为热红外下类别预测可能性向量Pm；步骤302：获取可见光下的损失函数获取近红外下的损失函数获取热红外下的损失函数其中，n为数据集中车辆的类别数，i为第i个类别，yi为第i个类别的车辆的真值向量，为第i个类别的车辆的可见光下类别预测可能性向量，L1为可见光下的损失函数值；为第i个类别的车辆的近红外下类别预测可能性向量，L2为近红外下的损失函数值；为第i个类别的车辆的热红外下类别预测可能性向量，Lm为热红外下的损失函数值；步骤303：获取多流的类别约束损失函数Lm＝L1+L2+Lm，其中，Lm为多流的类别约束损失函数值。优选的，所述步骤四包括：步骤401：通过各光谱下的类别预测可能性向量利用公式获取异质分布一致性损失函数，其中，Ldhc为异质分布一致性损失函数值，Π为连续相乘符号，j为光谱类别索引，j取1、2或者m，pj为j光谱下类别预测可能性向量，m表示热红外光谱；步骤402：利用公式Lhc＝Lm+αLdhc获取异质协作身份损失函数，其中，Lhc为异质协作身份损失函数值，α为损失权重参数。优选的，所述步骤五包括：步骤501：将各光谱下每个类别的类激活图通过公式转化为0～1之间的数，为j光谱下第i个类别的类激活图转化值，为j光谱下第i个类别的类激活图，exp()表示以自然常数e为底的指数函数；步骤502：通过公式获取第i个类别的最大响应类激活图，其中，Bi为第i个类别的最大响应类激活图；步骤503：利用公式获取j光谱下图像对于第i个类别的响应值其中，a为j光谱下第i个类别的类激活图的横向像素，r为该横向像素数量最大值，b为j光谱下第i个类别的类激活图的纵向像素，t为该纵向像素数量最大值，⊙为同或运算符号；步骤504：通过公式获取j光谱下图像对于第i个类别的贡献度，为j光谱下图像对于第i个类别的贡献度；步骤505：通过公式获取多光谱融合后的类激活图，其中，Mi'为多光谱融合后的类激活图；步骤506：获取带有类别感知本文档来自技高网...

【技术保护点】
1.一种基于多光谱的车辆重识别方法，其特征在于，所述方法包括：/n步骤一：获取一辆车的可见光图像、近红外图像以及热红外图像，并将可见光图像、近红外图像以及热红外图像分别传入三个不共享参数的卷积神经网络，获取可见光特征图、近红外特征图以及热红外特征图；/n步骤二：将可见光特征图、近红外特征图以及热红外特征图分别映射得到各光谱下的类激活图，将各光谱下的类激活图分别通过全局平均池化得到各光谱下的类得分向量；/n步骤三：将各光谱下的类得分向量分别通过归一化得到各光谱下的类别预测可能性向量，利用各光谱下的类别预测可能性向量获取各光谱下的损失函数，将各光谱下的损失函数融合获取多流的类别约束损失函数；/n步骤四：通过各光谱下的类别预测可能性向量获取异质分布一致性损失函数，通过多流的类别约束损失函数与异质分布一致性损失函数获取异质协作身份损失函数；/n步骤五：获取带有类别感知的身份损失函数，并利用带有类别感知的身份损失函数以及异质协作身份损失函数获取最终损失函数；/n步骤六：训练异质协作感知的多流卷积神经网络，直到最终损失函数的损失值不再减小，结束训练，利用训练好的异质协作感知的多流卷积神经网络对车辆进行重识别。/n...

【技术特征摘要】
1.一种基于多光谱的车辆重识别方法，其特征在于，所述方法包括：
步骤一：获取一辆车的可见光图像、近红外图像以及热红外图像，并将可见光图像、近红外图像以及热红外图像分别传入三个不共享参数的卷积神经网络，获取可见光特征图、近红外特征图以及热红外特征图；
步骤二：将可见光特征图、近红外特征图以及热红外特征图分别映射得到各光谱下的类激活图，将各光谱下的类激活图分别通过全局平均池化得到各光谱下的类得分向量；
步骤三：将各光谱下的类得分向量分别通过归一化得到各光谱下的类别预测可能性向量，利用各光谱下的类别预测可能性向量获取各光谱下的损失函数，将各光谱下的损失函数融合获取多流的类别约束损失函数；
步骤四：通过各光谱下的类别预测可能性向量获取异质分布一致性损失函数，通过多流的类别约束损失函数与异质分布一致性损失函数获取异质协作身份损失函数；
步骤五：获取带有类别感知的身份损失函数，并利用带有类别感知的身份损失函数以及异质协作身份损失函数获取最终损失函数；
步骤六：训练异质协作感知的多流卷积神经网络，直到最终损失函数的损失值不再减小，结束训练，利用训练好的异质协作感知的多流卷积神经网络对车辆进行重识别。


2.根据权利要求1所述的一种基于多光谱的车辆重识别方法，其特征在于，所述步骤一包括：
步骤101：获取数据集中一辆车的可见光图像I1、近红外图像I2以及热红外图像Im；
步骤102：将可见光图像I1输入第一卷积神经网络CNN1、近红外图像I2输入第二卷积神经网络CNN2以及热红外图像Im输入第三卷积神经网络CNNm；
步骤103：通过第一卷积神经网络CNN1利用公式F1＝CNN1(I1)提取可见光特征图F1，通过第二卷积神经网络CNN2利用公式F2＝CNN2(I2)提取近红外特征图F2，通过第三卷积神经网络CNNm利用公式Fm＝CNNm(Im)提取热红外特征图Fm。


3.根据权利要求2所述的一种基于多光谱的车辆重识别方法，其特征在于，所述步骤二包括：
步骤201：利用映射矩阵(W1，W2，Wm)将特征图矩阵(F1，F2，Fm)映射得到类激活图矩阵(M1，M2，Mm)；
步骤202：将类激活图矩阵通过全局平均池化得到类得分向量矩阵(S1，S2，Sm)；
其中，W1为可见光特征图的映射权重，M1为可见光图像的类激活图，且M1＝F1*W1；W2为近红外特征图的映射权重，M2为近红外图像的类激活图，且M2＝F2*W2；Wm为热红外特征图的映射权重，Mm为热红外图像的类激活图，且Mm＝Fm*Wm；S1为可见光图像的类得分向量且S1＝GAP(M1)，S2为近红外图像的类得分向量且S2＝GAP(M2)，Sm为热红外图像的类得分向量且Sm＝GAP(Mm)，GAP()为全局平均池化符号。


4.根据权利要求3所述的一种基于多光谱的车辆重识别方法，其特征在于，所述步骤三包括：
步骤301：将可见光图像的类得分向量通过公式P1＝softmax(S1)归一化为可见光下类别预测可能性向量P1，将近红外图像的类得分向量通过公式P2＝softmax(S2)归一化为近红外下类别预测可能性向量P2，将热红外图像的类得分向量通过公式Pm＝softmax(Sm)归一化为热红外下类别预测可能性向量Pm；
步骤302：获取可见光下的损失函数获取近红外下的损失函数获取热红外下的损失函数其中，n为数据集中车辆的类别数，i为第i个类别，yi为第i个类别的车辆的真值向量，为第i个类别的车辆的可见光下类别预测可能性向量，L1为可见光下的损失函数值；为第i个类别的车辆的近红外下类别预测可能性向量，L2为近红外下的损失函数值；为第i个类别的车辆的热红外下类别预测可能性向量，Lm为热红外下的损失函数值；
步骤303：获取多流的类别约束损失函数Lm＝L1+L2+Lm，其中，Lm为多流的类别约束损失函数值。


5.根据权利要求4所述的一种基于多光谱的车辆重识别方法，其特征在于，所述步骤四包括：
步骤401：通过各光谱下的类别预测可能性向量利用公式获取异质分布一致性损失函数，其中，Ldhc为异质分布一致性损失函数值，Π为连续相乘符号，j为光谱类别索引，j取1、2或者m，pj为j光谱下类别预测可能性向量，m表示热红外光谱；
步骤402：利用公式Lhc＝Lm+αLdhc获取异质协作身份损失函数，其中，Lhc为异质协作身份损失函数值，α为损失权重参数。


6.根据权利要求5所述的一种基于多光谱的车辆重识别方法，其特征在于，所述步骤五包括：
步骤501：将各光谱下每个类别的类激活图通过公式转化为0～1之间的数，为j光谱下第i...

【专利技术属性】
技术研发人员：郑爱华，李洪潮，李成龙，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34