【技术实现步骤摘要】
本专利技术属于计算机视觉和模式识别领域，应用于智能安防领域，具体为一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法。
技术介绍
1、行人再识别技术主要应用于安防领域，用于在不重叠的摄像头之间匹配与目标行人身份一致的行人图像。常见的行人再识别任务的研究基于可见光摄像头所采集到的可见光图像集。由于可见光摄像头依赖较好光照条件，导致行人再识别技术在安防领域中的应用受限。红外摄像头专用于解决光线较暗条件下的成像问题，成为安防监控中可见光摄像头的补充方案。因此，上述可见光-红外摄像头的组合方案被大量应用于现代安防的前端建设，为可见光-红外的跨模态行人再识别的发展提供了充分的设施基础。
2、可见光-红外摄像头默认为可见光采集模式，在夜间或光线较暗时，自动切换为红外模式，无法在同一时刻同时获取可见光和红外图像，即缺乏匹配的跨模态图像对。因此，在跨模态行人再识别任务中，除去需要克服因行人姿态，遮挡，摄像头角度，多变光线条件等带来的复杂的类内类间变化问题，还需要克服由于不同成像原理带来的更为复杂的模态差异变化。当前主流研究方法主要通过设计不同的网络结构或损失函数在学习判别力的同时尽可能的减少模态差异，但模态差异巨大且跨模态图像对的缺乏导致网络的学习十分具有挑战性。
技术实现思路
1、本专利技术的技术解决问题是：克服现有技术的不足，提出一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法。通过最大化正样本之间的互信息，充分利用高层语义模态不变性，最终生成跨模态匹配性能更高的
2、本专利技术的技术解决方案是：
3、一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，该方法的步骤包括：
4、第一步，通过可见光摄像头获取可见光模态行人快照，通过红外摄像头获取红外模态行人快照；
5、第二步，将第一步所获取到的可见光模态行人快照转换为可见光中间模态快照，将第一步所获取到的红外模态行人快照转换为红外中间模态快照；
6、第三步，将第一步所获取到的可见光模态行人快照映射到统一特征空间内，生成可见光模态嵌入；
7、将第一步所获取到的红外模态行人快照映射到统一特征空间内，生成红外模态嵌入；
8、将第二步所获取到的可见光中间模态快照映射到统一特征空间内，生成可见光中间模态嵌入；
9、将第二步所获取到的红外中间模态快照映射到统一特征空间内，生成红外中间模态嵌入；
10、第四步，使用第三步中所生成的统一特征空间内的可见光模态嵌入与可见光中间模态嵌入进行融合串联，生成辨识力信息补偿后的可见光增强特征；
11、使用第三步中所生成的统一特征空间内的红外模态嵌入与红外中间模态嵌入进行融合串联，生成辨识力信息补偿后的红外增强特征；
12、第五步，使用交叉熵损失函数和三元组损失函数一起对第四步所生成的可见光增强特征和红外增强特征进行训练；
13、第六步，将第五步训练后的可见光增强特征解耦为可见光模态特征和可见光中间模态特征；
14、将第五步训练后的红外增强特征解耦为红外模态特征和红外中间模态特征；
15、第七步，将第六步生成的可见光模态特征输入到对比学习编码映射网络中，生成可见光模态对比编码；
16、将第六步生成的可见光中间模态特征输入到对比学习编码映射网络中，生成可见光中间模态对比编码；
17、将第六步生成的红外模态特征输入到对比学习编码映射网络中，生成红外模态对比编码；
18、将第六步生成的红外中间模态特征输入到对比学习编码映射网络中，生成红外中间模态对比编码；
19、第八步，使用混合模态对比学习损失函数对第七步中所生成的可见光模态对比编码、可见光中间模态对比编码、红外模态对比编码以及红外中间模态对比编码进行训练；
20、第九步，使用第八步训练后的可见光模态对比编码和红外模态对比编码计算目标行人与行人检索库中每一个行人特征之间的余弦相似度，并将计算结果降序排序，得到的rank-1作为最优匹配结果。
21、所述第二步中，通过中间模态构建模块将可见光模态行人快照转换为可见光中间模态快照，将红外模态行人快照转换为红外中间模态快照；
22、所述中间模态构建模块包括一个预处理模块、一个模态编码器和一个模态解码器；
23、预处理模块用于将可见光行人快照转化为灰度图，将红外行人快照转化为单通道模式；
24、模态编码器包括可见光模态编码器和红外模态编码器，每个编码器包括一个1×1的卷积层和一个relu层，两个编码器（即可见光模态编码器和红外模态编码器）参数独立；
25、模态解码器包括可见光模态解码器和红外模态解码器，每个解码器包括1×3的全连接层和一个relu层，两个解码器参数共享；
26、所述第三步中，通过三分支网络结构将快照映射到统一特征空间内；
27、可见光模态行人快照作为一个分支输入；
28、红外模态行人快照作为一个分支输入；
29、可见光中间模态快照和红外中间模态快照作为一个分支输入；
30、三分支网络结构包括浅层网络和深层网络；
31、浅层网络包含一个残差块，三个分支输入的参数独立；
32、深层网络采用resnet50，在imagenet数据集上进行预训练，三个分支输入的参数共享；
33、所述第四步中，可见光模态嵌入与可见光中间模态嵌入进行融合串联的公式为：
34、
35、红外模态嵌入与红外中间模态嵌入进行融合串联的公式为：
36、
37、其中，用于表示可见光增强特征，用于表示红外增强特征，用于表示特征串联，表示可见光模态嵌入，表示可见光中间模态嵌入，表示可见光模态嵌入，表示红外中间模态嵌入；
38、所述第六步中，对可见光增强特征解耦为可见光模态特征和可见光中间模态特征的公式如下：
39、
40、
41、对可红外增强特征解耦为可见光模态特征和可见光中间模态特征的公式如下：
42、
43、
44、其中，表示可见光模态特征，表示可见光中间模态特征，表示红外模态特征，表示红外中间模态特征；
45、所述第七步中，对比学习编码映射网络包括一个全连接层和一个relu层，对比学习编码映射网络用于将特征维度从2048维转化为512维混合模态对比编码，公式如下：
46、
47、其中，表示可见光模态对比编码，为可见光中间模态对比编码，为红外模态对比编码，为红外中间模态对比编码；
48、所述第八步中，混合模态对比学习损失函数本文档来自技高网...
【技术保护点】
1.一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于该方法的步骤包括：
2.根据权利要求1所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
3.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
4.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
5.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
6.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
7.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
8.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
【技术特征摘要】
1.一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于该方法的步骤包括：
2.根据权利要求1所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
3.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
4.根据权利要求2所述的一种基于信息补偿对比学习的可见光-红外跨模态行人再识别方法，其特征在于：
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。