基于Transformer的热红外图像立体匹配方法及装置制造方法及图纸

本发明专利技术公开一种基于Transformer的热红外图像立体匹配方法及装置，属于计算机视觉技术领域，方法包括获取热红外图像校正后的左视图和右视图；采用UNet特征提取网络对左右视图进行特征提取，得到多尺度特征图；基于Transformer特征转换模块对多尺度特征图进行处理，得到左右视图的转换特征图；基于左右视图的转换特征图，生成视差图。本发明专利技术在基于深度学习的立体匹配算法基础上，针对热红外图像纹理稀疏甚至大面积无纹理的特点，采用Transformer特征转换模块进行特征转换，解决热红外图像立体匹配的难点，从而达到良好的热红外立体匹配效果。红外立体匹配效果。红外立体匹配效果。

【技术实现步骤摘要】
基于Transformer的热红外图像立体匹配方法及装置


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于Transformer的热红外图像立体匹配方法及装置。

技术介绍

[0002]立体匹配作为计算机视觉领域中的一个热点问题，技术主要用于三维建模与感知，机器人导航，自动驾驶，智能交通等方面。
[0003]目前，基于深度学习的立体匹配的方法主要是训练卷积神经网络(Convolutional Neural Networks，CNN)，利用像素点的相似度加权和估计出左右视图对应像素点的视差值。首先在给出校正后的左右视图的条件下对左右视图分别提取特征，然后用左右视图的特征图构造四维代价体，得到的代价体经过三维卷积进行代价聚合得出聚合代价体，最后聚合代价体通过视差回归生成视差图。
[0004]基于深度学习的立体匹配是基于可见光图像。可见光图像在对光线敏感，在复杂场景和环境下图像所能传递的信息质量会受到较大的影响，如：雾霾和低光照等。而热红外图像反映了场景中的表面温度分布，因此对光照不敏感，具有很好的云雾穿透、以及特殊的识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的热红外图像立体匹配方法，其特征在于，所述方法包括：获取热红外图像校正后的左视图和右视图；采用UNet特征提取网络对所述左视图和所述右视图进行特征提取，得到多尺度特征图，所述多尺度特征图包括分别与所述左视图和所述右视图对应的多尺度特征图；基于Transformer特征转换模块对所述多尺度特征图进行处理，得到所述左视图的转换特征图和所述右视图的转换特征图；基于所述左视图的转换特征图和所述右视图的转换特征图，生成视差图。2.如权利要求1所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述Transformer特征转换模块包括位置编码模块和注意力模块，所述多尺度特征图作为所述位置编码模块的输入，所述位置编码模块的输出作为所述注意力模块的输入，所述位置编码模块用于将所述多尺度特征图与所述多尺度特征图经过二维卷积后的特征图相加；所述注意力模块包括依次连接的自注意力层和互注意力层。3.如权利要求2所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述注意力模块实现注意力机制的公式表示如下：Attention(Q,K,V)＝φ(Q)φ(K)
T
V其中，Attention()为注意力函数，Q为注意力层的输入向量Query，K为注意力层的输入向量Key，V为注意力层的输入向量Value，φ(
·
)＝elu(
·
)+1。4.如权利要求1所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述基于所述左视图的转换特征图和所述右视图的转换特征图，生成视差图，包括：基于所述左视图的转换特征图和所述右视图的转换特征图，构造四维代价体；将所述四维代价体经三维卷积进行代价聚合，得到不同尺度的聚合代价体；利用视差回归方程，对不同尺度的所述聚合代价体进行估算，得到所述视差图。5.如权利要求4所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述视差回归方程的公式表示如下：其中，c
d
为预测代价，σ()为softmax函数，d为视差值，为预测视差值，D
max
为最大视差。6.一种基于Transformer的热红外图像立体匹配装...

【专利技术属性】
技术研发人员：李成龙，贾雅晴，朱启文，蔡先琛，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：