一种基于注意力机制的图像立体匹配方法及双目设备组成比例

本发明专利技术提供了一种基于注意力机制的图像立体匹配方法及双目设备，方法包括：将左右视图经过极线约束和中值滤波后输入到深度学习残差网络中，分别获得图像特征信息；将图像特征信息作为双通道注意力模块的输入，获得含有细节纹理信息的特征图；将含有细节纹理信息的特征图首先进行卷积操作，再级联起来构建匹配代价卷；将匹配代价卷进行3D卷积和3D反卷积处理得到多尺度代价体，同时通过跃层连接将多尺度代价体进行跳跃连接，得到含有细节纹理的3D代价卷；将含有细节纹理的3D代价卷进行3D反卷积操作，再进行可微分的柔性Argmin操作得到最终视差图，本发明专利技术能够解决现有方法对立体图像在弱纹理以及遮挡区域匹配效果差的问题。

【技术实现步骤摘要】
一种基于注意力机制的图像立体匹配方法及双目设备
本专利技术涉及机器视觉领域，尤其涉及一种基于注意力机制的图像立体匹配方法及双目设备。
技术介绍
立体匹配(StereoMatching)是一种从二维平面图像对中利用相似三角形原理获取视差值进而恢复深度信息的一门技术，同时也是机器视觉理论和应用的基础；其用处涉及三维环境感知与建模、机器人导航、无人驾驶汽车、物体跟踪与检测等，是计算机视觉领域非常重要的一个热点研究方向。虽然目前国内外很对学者对这个领域进行了深入的研究，也取得了一些较大的进展，发表了很多成熟的立体匹配方法，但是这些方法都普遍存在一个问题，即：传统的算法对立体图像在弱纹理以及遮挡区域匹配效果差的问题。
技术实现思路
针对现有技术中存在不足，本专利技术提供了一种基于注意力机制的图像立体匹配方法，解决传统的图像立体匹配方法对立体图像在弱纹理以及遮挡区域匹配效果差的问题。本专利技术是通过以下技术手段实现上述技术目的的。一种基于注意力机制的图像立体匹配方法，包括：将左视图和右视图经过极线约束和中值滤波后本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的图像立体匹配方法，其特征在于，包括：/n将左视图和右视图经过极线约束和中值滤波后分别输入到深度学习残差网络中，分别获得图像特征信息；其中，所述左视图和右视图是对同一场景从双目视觉设备的左右摄像头拍摄得到的图像；/n将获得的图像特征信息作为双通道注意力模块的输入，获得含有细节纹理信息的特征图；其中，所述双通道注意力模块，包括空间注意力模块、像素注意力模块和通道注意力模块；/n将从左视图和右视图分别获得的含有细节纹理信息的特征图首先进行卷积操作，然后再级联起来构建匹配代价卷；将得到的匹配代价卷进行3D卷积和3D反卷积处理得到多尺度代价体，同时通过跃层连接将多尺度代价体进行跳...

【技术特征摘要】
1.一种基于注意力机制的图像立体匹配方法，其特征在于，包括：
将左视图和右视图经过极线约束和中值滤波后分别输入到深度学习残差网络中，分别获得图像特征信息；其中，所述左视图和右视图是对同一场景从双目视觉设备的左右摄像头拍摄得到的图像；
将获得的图像特征信息作为双通道注意力模块的输入，获得含有细节纹理信息的特征图；其中，所述双通道注意力模块，包括空间注意力模块、像素注意力模块和通道注意力模块；
将从左视图和右视图分别获得的含有细节纹理信息的特征图首先进行卷积操作，然后再级联起来构建匹配代价卷；将得到的匹配代价卷进行3D卷积和3D反卷积处理得到多尺度代价体，同时通过跃层连接将多尺度代价体进行跳跃连接，得到含有细节纹理的3D代价卷；
将含有细节纹理的3D代价卷再进行一次3D反卷积操作得到与原图大小一样的特征图，再进行可微分的柔性Argmin操作得到最终视差图。


2.根据权利要求1所述的基于注意力机制的图像立体匹配方法，其特征在于，获取细节纹理信息所采用的方式是将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征级联起来，获取细节纹理信息。


3.根据权利要求2所述的基于注意力机制的图像立体匹配方法，其特征在于，将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征进行级联的方法为通过通道融合器进行级联操作。


4.根据权利要求1所述的基于注意力机制的图像立体匹配方法，其特征在于，构建匹配代价卷的方法为：将左视图的每一个一元特征和右视图的每一个视差下的特征图级联起来，封装成一个四维代价卷。


5.根据权利要求1所述的基于注意力机制的图像立体匹配方法，其特征在于，可微分的柔性Argmin公式为：



其中Cd表示匹配代价值，d表示视差值，Dmax表示最大视差值，σ(·)表示Softmax操作。


6....

【专利技术属性】
技术研发人员：顾寄南，余雪飞，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32