基于光度与对比度互注意力的跨波段立体匹配算法制造技术

本发明专利技术涉及基于光度与对比度互注意力的跨波段立体匹配算法，包括：1.采集数据集，2.搭建端到端的跨模态立体匹配网络，3.构建约束，4.构建注意力增强机制，5.模型训练，包括共有特征提取训练和共有特征的视差匹配训练。本发明专利技术完成了红外

【技术实现步骤摘要】
基于光度与对比度互注意力的跨波段立体匹配算法


[0001]本专利技术涉及一种基于光度与对比度互注意力的跨波段立体匹配算法，属于计算机视觉


技术介绍

[0002]夜间视觉感知问题，一直是计算机视觉领域的难点，但由于夜间视觉感知在无人驾驶等领域有很大的需求，构建性能良好的夜间视觉感知系统对于计算机视觉领域的发展有很大的作用，其中夜视三维重建在自动驾驶、机器人应用、无人搜救等任务中有广泛的应用场景前景。可见光与红外图像得信息表达上代表着不同模态得信息。根据Retinex理论和黑体辐射定理，可见这两种模态受不同条件的影响，表达了不同的物理信息。在这样不同的模态条件下，两者成像信息有着不同的特点，在暗光条件下，可见光在光照强度较低时信噪比较低，而红外图像则不受光照条件影响。根据这些特点，跨波段立体匹配算法有着自己的优势与难点。优势在于红外相较于可见光在夜间有着极高的信噪比，能够提供比可见光更多高置信度的信息，难点在于两种模态的信息不在同一个特征空间。如果能将两种模态信息进行融合，那么系统就可以在夜间视觉感知上达到很好的性能。
[0003]立体匹配算法是系统中非常重要的一个模块，夜间场景立体匹配算法一直是机器视觉领域的难题。随着深度学习的迅速发展，基于深度学习的立体匹配算法在立体匹配任务上取得了很好的效果，在双目可见光任务上有很多成熟的立体匹配算法，其中常见的一种方法为使用代价卷进行相似性度量，在可见光任务上，常见的方法是提取双目图像的高维特征，再做相似度匹配，得到视差图。由于左右图都为模态相同的可见光图像，空间上有很强的可比较性，因此用传统的特征提取方法，就可以得到较为准确的视差。而近年来结合深度网络提取深度视觉信息也大大提高了立体匹配算法的性能。但在夜间的双目立体匹配任务中，可见光在暗光条件下信噪比非常低，为了提高系统在夜间的性能，一种常用的方法是通过图像增强算法对可见光图像进行增强，来提高系统夜间感知能力。但是由于可见光在部分场景中信噪比低，仅通过图像增强对系统性能带来的提升有限，因此为了系统能在夜间视觉感知上取得良好的效果，在系统中引入另一波段，以提升系统获取信息的能力，利用不同模态提供的信息进行跨模态的立体匹配。然而跨模态立体匹配同样也是计算机视觉领域的难题。首先在跨模态任务上，由于左右图信息差别太大，传统的深度学习立体匹配算法无法在跨模态任务上达到良好的效果；而且，由于不同波段数据成像原理不同，导致不同波段关注的特征也不同，因此在匹配任务上具有一定的难度。目前主流的深度学习方法依赖于大量标定数据，而立体匹配任务的标定数据需要对双目相机进行精准的标定，然而由于两种不同模态相机内外参数难以协调，因此利用传统的标定方法难以获得很好的标定结果，因此双波段立体匹配任务的数据集难以获得。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供一种基于光度与对比度互注意力的跨波段立
体匹配算法，其具体技术方案如下：基于光度与对比度互注意力的跨波段立体匹配算法，包括以下步骤：步骤1：采集数据集，利用长波红外相机、可见光相机和激光雷达相协同的数据采集系统采集数据，激光雷达提供视差真实值；步骤2：搭建端到端的跨模态立体匹配网络，跨模态立体匹配网络包括特征提取层、代价卷、3d卷积层以及视差回归，特征提取层用来提取两种不同模态图片的共性特征，代价卷与卷积层用来匹配不同模态图片的共性特征，并通过视差回归返回视差；步骤3：构建约束，在特征层上构建约束，包括基于特征一致性的高维特征约束、基于解码特性的内容保留约束和交叉一致性约束：3.1基于特征一致性的高维特征约束，由于有视差真实值，因此通过视差真实值将不同模态提取到的特征互相映射，如公式（1）和（2）所示（1）（2）式中红外图像表示为,可见光图像表示为，红外特征解码器输出表示为,可见光特征解码器输出表示为，卷积层从红外图像提取到的高维特征为，从可见光图像提到的特征为，真实视差图为，特征视差图为，根据特征视差，将红外图像特征在空间上映射到可见光图像特征域，如公式（3）所示 （3）通过约束和，来直接约束编码器的特性，将不同模态信息通过编码器映射到相同的特征空间，并使该高维特征在空间上保持映射关系；3.2基于解码特性的内容保留约束，引入特征保留损失函数对解码信息进行约束，根据编码器构成的编码网络构建对应的解码网络，通过可见光编码器和红外编码器提取到的特征利用相同的解码器进行解码，如公式（4）和（5）所示 （4） （5）公式（4）和（5）约束和，和，使编码网络尽量保留输入信息，供给解码器以还原输入；3.3交叉一致性约束，增强的解码网络的性能，更好的解码相同信息，因为和在特征空间上有一致性，因此，解码的解码器，同样也可以解码，同理也一样，如公式（6）和（7）所示
ꢀ
（6） （7）式中，和为左目图像，因此在空间上通过来进行对应约束，如公式（8）和（9）所示 （8） （9）因此，得到空间和特征空间上一致的输出图像：，，，，实现不同模态的特征匹配；步骤4：构建注意力增强机制，包括明度特征注意力增强和对比度特征注意增强：4.1明度特征注意力增强，将可见光转换成HSV色彩空间，提取其中的V通道作为明度权重，使得网络针对可见光图像信噪比较高的区域加强学习，提高对高信噪比区域的信息采集度，如公式（4.1）、（4.2）和（4.3）所示（4.1）（4.2）（4.3）式中可见光图像为，为权重，为视差真实值；4.2对比度特征注意增强，使用灰度级的概率密度函数的积分作为局部对比度的评价标准，当灰度级归一化至[0,1]内，则在选定区域内灰度概率密度分布可以表示为为某灰度级，且，计算其累计分布函数，如公式（4.4）所示（4.4）使用累计分布函数与之差，在[0,1]之间的定积分作为判断对比度的依据，对比度越高，该定积分相对于在[0,1]之间的定积分的比值越小，则对比度如公式（4.5）所示（4.5）当红外图像为，规定局部滑动窗为，且对框内最大像素值与最小像素值差值不大于的对比度不予考虑，归一化后的局部红外图像为
，使用的对比度指标来指代此像素位置的局部对比度，当累积分布函数为，图像局部对比度地图中的一点为，则如公式（4.6）所示（4.6）；步骤5：模型训练，包括共有特征提取训练和共有特征的视差匹配训练，首先，同时训练左右图像作为输入的两个编解码网络，去除解码网络，采用端到端的学习方式训练主干网络，对编码后的高维特征进行视差学习。
[0005]进一步的，所述步骤1中数据采集中选择依靠辐射源的长波红外波段对可见光信息进行补全。
[0006]进一步的，所述步骤3中编码网络的编码结构采用特征提取层，解码网络利用反卷积层作为解码层。
[0007]本专利技术的有益效果：本专利技术完成了红外
‑
可见光立体匹配系统的搭建，提供可见光长波红外跨模态立体匹配算法；提出并设计基于自编码的特征相关性学习框架，在高层语义特征上挖掘不同波段共有信息；提出特征层约束与明度注意力约束机制，特征约束有效的提升了代价卷模块在跨模态立体匹配任务中的性能；明度注意力提高在低曝光条件下网络对有效信息获取的能力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光度与对比度互注意力的跨波段立体匹配算法，其特征在于：包括以下步骤：步骤1：采集数据集，利用长波红外相机、可见光相机和激光雷达相协同的数据采集系统采集数据，激光雷达提供视差真实值；步骤2：搭建端到端的跨模态立体匹配网络，跨模态立体匹配网络包括特征提取层、代价卷、3d卷积层以及视差回归，特征提取层用来提取两种不同模态图片的共性特征，代价卷与卷积层用来匹配不同模态图片的共性特征，并通过视差回归返回视差；步骤3：构建约束，在特征层上构建约束，包括基于特征一致性的高维特征约束、基于解码特性的内容保留约束和交叉一致性约束：3.1基于特征一致性的高维特征约束，由于有视差真实值，因此通过视差真实值将不同模态提取到的特征互相映射，如公式（1）和（2）所示（1）（2）式中红外图像表示为,可见光图像表示为，红外特征解码器输出表示为,可见光特征解码器输出表示为，卷积层从红外图像提取到的高维特征为，从可见光图像提到的特征为，真实视差图为，特征视差图为，根据特征视差，将红外图像特征在空间上映射到可见光图像特征域，如公式（3）所示 （3）通过约束和，来直接约束编码器的特性，将不同模态信息通过编码器映射到相同的特征空间，并使该高维特征在空间上保持映射关系；3.2基于解码特性的内容保留约束，引入特征保留损失函数对解码信息进行约束，根据编码器构成的编码网络构建对应的解码网络，通过可见光编码器和红外编码器提取到的特征利用相同的解码器进行解码，如公式（4）和（5）所示 （4） （5）公式（4）和（5）约束和，和，使编码网络尽量保留输入信息，供给解码器以还原输入；3.3交叉一致性约束，增强的解码网络的性能，更好的解码相同信息，因为和在特征空间上有一致性，因此，解码的解码器，同样也可以解码，同理也一样，如公式（6）和（7）所示
ꢀ
（6） （7）式中，和为左目图像，因此在空间上通过来进行对应约束，如公式（...

【专利技术属性】
技术研发人员：李怡然，张毅，陈霄宇，张权，冯琳，何丰郴，滕之杰，魏驰恒，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：