当前位置: 首页 > 专利查询>中山大学专利>正文

基于斜面代价聚合的立体匹配的方法、装置和存储介质制造方法及图纸

技术编号:34041040 阅读:65 留言:0更新日期:2022-07-06 13:29
本发明专利技术公开了一种基于斜面代价聚合的立体匹配的方法、计算机装置及存储介质,包括对第一图像和第二图像进行特征图矩阵相乘处理,获得第一代价体,对第一代价体进行初始视差估计,获得初始视差图,执行多轮循环迭代操作,对最后一轮循环迭代操作得到的视差图和upmask图进行处理,获得原分辨率视差图等步骤。本发明专利技术通过在每一轮循环迭代操作中,根据目标斜面参数和目标视差图构建出多个斜面,根据各斜面进行lookup操作,可以更新斜面的参数,即斜面是可学习的,能够从局部3D空间中聚合匹配代价,减少计算和内存成本,具备较高的匹配准确性、较低的消耗成本、具有良好的实时性和运算速度。本发明专利技术广泛应用于图像处理技术领域。本发明专利技术广泛应用于图像处理技术领域。本发明专利技术广泛应用于图像处理技术领域。

Method, device and storage medium of stereo matching based on slope cost aggregation

【技术实现步骤摘要】
基于斜面代价聚合的立体匹配的方法、装置和存储介质


[0001]本专利技术涉及图像处理
,尤其是一种基于斜面代价聚合的立体匹配的方法、计算机装置及存储介质。

技术介绍

[0002]在自动驾驶、机器人控制和增强现实等技术中,需要应用图像的立体匹配。立体匹配是在一对立体对图像进行像素层次上的一一对应的处理过程。现有的立体匹配算法常常遵循匹配代价计算、匹配代价聚合、视差回归和视差精炼等四步流程,由于立体匹配过程中,匹配代价通常在图像的反射、低纹理和薄结构等区域表现出模棱两可的性质,此时匹配代价具有歧义性,而匹配代价聚合可以减轻匹配代价的歧义性,因此匹配代价聚合对于精确的视差估计尤为重要。
[0003]传统立体匹配方法可以分为局部方法、全局方法和和半全局方法三种。局部算法通常在局部区域进行匹配代价聚合,全局算法在整个图像上极小化全局能量函数来构建视差估计。半全局算法在整幅图像中通过对不同的方向进行匹配代价聚合,计算复杂度相比于全局算法大大减小,并且精度相对于局部算法更高。近年来,深度学习方法已经被提出来解决立体匹配问题。早期的方法通过利用卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于斜面代价聚合的立体匹配的方法,其特征在于,所述基于斜面代价聚合的立体匹配的方法包括以下步骤:获取第一图像和第二图像;所述第一图像和所述第二图像可以组成立体对图像;对所述第一图像和所述第二图像进行特征图矩阵相乘处理,获得第一代价体;对所述第一代价体进行初始视差估计,获得初始视差图;执行多轮循环迭代操作;在每一轮所述循环迭代操作中,根据目标斜面参数和目标视差图构建出本轮的多个斜面,根据各所述斜面,对所述第一代价体中以像素为中心的邻域内执行lookup操作,追溯得到本轮的追溯代价体,对所述追溯代价体执行自适应聚合,获得本轮的上下文特征图,将目标视差图、本轮的所述追溯代价体以及本轮的所述上下文特征图输入至门激活单元,所述门激活单元输出本轮的视差图、本轮的斜面参数以及本轮的upmask图;其中,对于第一轮所述循环迭代操作,所述目标斜面参数为初始设定的斜面参数,所述目标视差图为所述初始视差图;对于除第一轮循环迭代操作之外的其他各轮所述循环迭代操作,所述目标斜面参数为上一轮循环迭代操作得到的斜面参数,所述目标视差图为上一轮循环迭代操作得到的视差图;对最后一轮循环迭代操作得到的视差图和upmask图进行处理,获得原分辨率视差图。2.根据权利要求1所述的基于斜面代价聚合的立体匹配的方法,其特征在于,所述基于斜面代价聚合的立体匹配的方法,还包括:在对所述第一图像和所述第二图像进行特征图矩阵相乘处理之前,对所述第一图像和所述第二图像进行极线校正处理。3.根据权利要求1或2所述的基于斜面代价聚合的立体匹配的方法,其特征在于,所述对所述第一图像和所述第二图像进行特征图矩阵相乘处理,获得第一代价体,包括:分别对所述第一图像和所述第二图像依次进行多次的特征图提取操作,获得所述第一图像对应的第一特征图以及所述第二图像对应的第二特征图;将所述第一特征图与所述第二特征图进行矩阵相乘,获得所述第一代价体。4.根据权利要求3所述的基于斜面代价聚合的立体匹配的方法,其特征在于,所述分别对所述第一图像和所述第二图像依次进行多次的特征图提取操作,获得所述第一图像对应的第一特征图以及所述第二图像对应的第二特征图,包括:对所述第一图像进行一次kernel=7,stride=2的卷积,获得特征图feature map101;对所述第二图像进行一次kernel=7,stride=2的卷积,获得特征图feature map102;对特征图feature map101进行一次stride=1的卷积后,通过残差连接操作获得特征图feature map201;对特征图feature map102进行一次stride=1的卷积后,通过残差连接操作获得特征图feature map202;对特征图feature map101进行一次stride=2的卷积后,通过残差连接操作获得特征图feature map301;对特征图feature map202进行一次stride=2的卷积后,通过残差连接操作获得特征图feat...

【专利技术属性】
技术研发人员:郭裕兰汪赟王龙光
申请(专利权)人:中山大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1