【技术实现步骤摘要】
自注意力多尺度金字塔双目立体匹配方法及电子设备
[0001]本申请属于立体视觉
，具体涉及一种自注意力多尺度金字塔双目立体匹配方法及电子设备。
技术介绍
[0002]常用的二维图像缺乏深度信息，而深度信息对于我们感知所处的三维世界是极其重要的。模拟人类的双眼感知机制，双目立体视觉通过采集具有一定角度和位置偏差的左、右图像，并通过计算图像中每个像素点的视差，而后使用三角公式恢复被拍摄场景的深度信息，在三维重建、自动驾驶、自助导航和增强现实等领域具有重大的应用前景。
[0003]传统的立体匹配方法速度快，易于实现，但精度较低，而基于学习的立体匹配方法往往能够取得很高的匹配精度，但很多基于学习的立体匹配方法在特征提取阶段将每个像素点的通道和空间特征视为同等重要，这不利于对立体匹配任务有效特征的充分表达，而给了无效特征阻碍立体匹配进程的机会，致使最后的匹配精度下降，同时对于弱纹理区域的立体匹配依然是如今双目立体匹配需要研究的重要方向。
[0004]为此，本申请提供一种自注意力多尺度金字塔双目立体匹配方法及电子设
【技术保护点】
【技术特征摘要】
1.一种自注意力多尺度金字塔双目立体匹配方法，其特征在于，包括：获取双目立体相机的标准左、右图像；构建双目立体匹配网络，对获取的标准左、右图像进行多尺度特征提取，得到左、右图像的多尺度卷积特征；对得到的多尺度卷积特征进行通道特征加权和空间特征加权，然后将加权后的通道与空间特征进行融合，得到左、右图像的多尺度融合特征；根据左、右图像的多尺度融合特征沿着视差维度进行特征拼接，构建4D代价体；将构建的4D代价体进行多尺度金字塔聚合成多尺度3D聚合体；基于聚合成的3D聚合体，通过Soft Max操作之后，进行视差回归，输出左图像视差图。2.根据权利要求1所述的方法，其特征在于，所述的获取双目立体相机的标准左、右图像，包括：对双目立体相机进行离线标定，获得其外参和内参；在线采集原始左、右图像，并通过事先离线标定好的双目立体相机参数对原始左、右图像进行畸变校准、极线对齐后，得到分辨率为H
×
W的标准左、右图像。3.根据权利要求1所述的方法，其特征在于，所述的构建双目立体匹配网络，对获取的标准左、右图像进行多尺度特征提取，得到左、右图像的多尺度卷积特征，包括：构建双目立体匹配网络，将获取的标准左、右图像作为网络的输入，通过多层残差卷积，获得H/8
×
W/8、H/4
×
W/4和H/2
×
W/2三个分辨率尺度的卷积特征；将H/8
×
W/8分辨率的特征上卷积，将H/2
×
W/2分辨率的特征下卷积到H/4
×
W/4分辨率，与原始H/4
×
W/4分辨率的卷积特征进行特征拼接；通过多层卷积进行特征融合，得到左图像和右图像的多尺度卷积特征。4.根据权利要求1所述的方法，其特征在于，所述的对得到的多尺度卷积特征进行通道特征加权，包括：原始特征体F1沿着空间维度(H
×
W)对每个通道求和取平均，然后沿着通道维度进行特征加权：征加权：式中，F
c
(C
i
)表示第i通道的加权特征，σ(C
i
)表示第i通道的加权值，H和W为原始特征体F1的高和宽；第i通道经过通道特征选择后的特征F1'(C
i
)由下式可计算得到：F1'(C
i
)＝F1(C
i
)
×
σ(C
i
)；所述的对得到的多尺度卷积特征进行通道特征加权，包括：原始特征体F1沿着通道维度C对每个像素点(x,y)求和取平均，然后沿着空间维度对像素点特征进行加权：
式中，F
s
(x,y)表示像素点(x,y)的加权特征，σ(x,y)表示像素点(x,y)的加权值，C为原始特征体F1的总通道数；像素点(x,y)经过空间特征选择后的特征F
1”(x,y)由下式计算得到：F
1”(x,y)＝F1(x,y)
×
σ(x,y)；所述的将加权后的通道与空间特征进行融合，包括：通过一层自注意力层对通道特征和空间特征进行融合，包括：将F1'和F
1”级联之后构成尺寸为2C
×
H
×
W的中间特征体F
temp
，然后分别沿着C
×
H
×
W加权得到σ(F1')和σ(F
1”)：)：)：)：式中F
fusion
(F1')为通道特征选择后的特征F1'的融合加权特征，F
fusion
(F
1”)为空间特征选择后的特征F
1”的融合加权特征，σ(F1')和σ(F1")分别为F1'和F
1”的融合加权值，C,H,W分别...
【专利技术属性】
技术研发人员：孙炜，覃业宝，范诗萌，胡曼倩，
申请(专利权)人：湖南大学深圳研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。