一种基于循环一致性的强光下多光谱车辆重识别方法技术

一种基于循环一致性的强光下多光谱车辆重识别方法，属于车辆重识别技术领域，解决解决强光下的车辆重识别问题；本发明专利技术对光谱图像进行数据预处理，提取光谱对应的高维特征，采用强光标签预测器对受到强光污染的图像标记强光伪标签；利用去光斑生成器将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱；利用强光标签预测器获取的伪标签训练一个图像质量预测器，设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合；对多光谱进行了图像级融合，并提出了有效的图像级融合框架，使用强光感知的预测模块来自适应调节多分支特征之间的关系，以增强强光不变的有效特征并抑制易受强光干扰的无效特征

【技术实现步骤摘要】
一种基于循环一致性的强光下多光谱车辆重识别方法


[0001]本专利技术属于车辆重识别
，涉及一种基于循环一致性的强光下多光谱车辆重识别方法
。

技术介绍

[0002]车辆重识别是计算机视觉领域的一个重要研究方向，其主要目标是在不同的摄像头视角
、
不同的时间和地点，识别出同一辆车
。
这对于智能交通系统
、
城市监控
、
车辆追踪等应用场景具有重要的价值
。
车辆重识别的主要挑战包括但不限于：视角变化
、
光照变化
、
遮挡
、
车辆颜色和型号的多样性等
。
为了解决这些问题，研究者们提出了许多方法，如文献
《Cross
‑
directional consistency network with adaptive layer normalization for multi
‑
spectral vehicle re
‑<br/>identi本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，包括以下步骤：步骤1：首先对输入的热红外
、
可见光
、
近红外光谱图像进行数据预处理；所述的数据预处理的内容包括：将图像转为张量，调整为宽为
256
个像素，高为
128
个像素的张量，以便后续深度神经网络的特征提取；步骤2：将输入的热红外
、
可见光
、
近红外光谱对应的张量经过三个独立的深度神经网络
ResNet50
提取每个光谱对应的高维特征；步骤3：采用强光标签预测器判断输入的图像是否受强光污染，并对受到强光污染的图像标记强光伪标签；步骤4：利用随机光斑方法模拟出的配对的强光干扰数据来训练强光感知的去光斑生成器，从而将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱；步骤5：利用强光标签预测器获取的伪标签训练一个图像质量预测器，根据不同模态受强光干扰的情况预测图片的总体质量，得到对应的可见光与近红外模态的调质因子
α
和
β
，并在自适应融合模块中动态调节多模态特征融合的过程；步骤6：设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合
。2.
根据权利要求1所述的基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，步骤3中所述的采用强光标签预测器判断输入的图像是否受强光污染，并对受到强光污染的图像标记强光伪标签的方法具体如下：由于热红外光谱对强光是免疫的，所以只计算可见光和近红外光谱的强光伪标签
。
对可见光和近红外这两个易受强光干扰的光谱，由于受光斑污染图像局部区域的像素值较高，因此根据输入图像的数字图像特征，可以获得图像的直方图，并统计图像中的像素数量，以决定图像是否受到强光影响；根据图像本身的统计信息，可以获得
R
通道中像素值的分布，直方图显示像素数量分布在0～
255
之间，然后把高于某个阈值
θ
的像素点设置为高值像素，计算高值像素与图像中所有像素的比例，然后确定特定光谱的比例是否大于设置为
1.5
％的阈值，从而最终确定光谱是否受到光斑污染
。3.
根据权利要求2所述的基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，步骤4中所述的利用随机光斑方法模拟出的配对的强光干扰数据来训练强光感知的去光斑生成器，从而将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱的方法如下：从数据集中获取不受强光干扰热红外模态和可见光模态的样本，然后对可见光模态随机添加强光干扰，通过卷积层融合后，将其送入基于循环一致性的多模态去光生成器
A
，建立
{
强光干扰可见光模态，热红外模态
}
与
{
去光可见光模态
}
的对应关系，以融合
{
强光干扰可见光模态，热红外模态
}
两个模态中的有效信息，生成出理想状态下去光的可见光模态
。
然后，将生成出的未受强光干扰的可见光模态送入循环生成器
B
，对其增加强光后再经过卷积层融合，进入下一轮循环，构成一个基于循环一致性的多模态去光斑生成器；从数据集中选择的干净图像添加随机光斑，获得图像对
I
和
I
f
，然后应用卷积层将3通道
RGB
图像
I
f
和3通道
TI
图像
I
T
投影到一个3通道混合特征
F
m
，然后将
F
m
输入
Generator A
，
Generator A
中的编码器从
F
m
提取特征，解码器将特征转换为去光斑图像
I
df
。Generator B
与
Generator A
共享相同的结构，为去光斑图像
I
df
添加光斑，使其与合成的光斑污染图像
I
f
相同
。
在下半圆中，将原始无光斑图像
I
约束为与
Generator A
的输出
I
df
相同，其中
I
通过
Generator B
，然后与
TI
图像混合，并通过

【专利技术属性】
技术研发人员：郑爱华，马智祺，王梓，李成龙，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：