基于深度学习的双目立体匹配递归网络的构建方法及装置制造方法及图纸

技术编号:43950801 阅读:14 留言:0更新日期:2025-01-07 21:38
本发明专利技术涉及计算机视觉技术领域,具体提供一种基于深度学习的双目立体匹配递归网络的构建方法及装置,在提取特征阶段,提出了基于核归一化卷积层的自适应空间金字塔池化层,对图像进行多尺度特征提取,在计算匹配代价阶段,利用新的注意力方法来结合正则化成本体积来产生更准确的相似性度量。在主网络框架中采用基于核卷积的门控循环单元GRU作为迭代更新算子,从立体匹配代价体中检索特征,回归迭代更新视差。使GRU能够考虑每个像素周围更广泛的上下文,促进局部和全局信息的融合,提供对特征空间更全面的理解,增强了网络对更大区域的场景结构的推理能力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,具体提供一种基于深度学习的双目立体匹配递归网络的构建方法及装置


技术介绍

1、双目立体匹配一直是双目视觉的研究热点,双目相机拍摄同一场景的左、右两幅视点图像,运用立体匹配算法获取视差图,进而获取深度图。而深度图的应用范围非常广泛,由于其能够记录场景中物体距离摄像机的距离,在机器人导航、智慧医疗、微操作系统的参数检测、三维测量和虚拟现实等领域有着广泛的应用。传统的立体匹配算法一般分为计算匹配代价、代价聚合、视差计算和视差细化四个步骤。然而,在开放世界环境中,传统的方法对于图像噪声、光照不均、大面积无纹理等各种情况依然不能很好的处理,如何处理实际场景中的图像特别是室外的图像,也需要有针对性的考虑。近年来,在大型合成数据集的支持下,基于卷积神经网络的立体匹配方法将视差估计的精度提高到了一个新的高度。但由于各种现实世界的问题,如何同时达到较高的精度和效率对实际应用至关重要,对于一些特殊结构(如薄物体和尖锐边缘等病态区域)的深度估计目前仍然具有挑战性。

2、针对上述需求,目前,国内外也有很多相关的解决方案。

3、中本文档来自技高网...

【技术保护点】

1.一种基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,包括:

2.如权利要求1所述的基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,所述结合核卷积归一化和自适应偏置后完成特征融合,包括:

3.如权利要求1所述的基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,所述构建匹配注意力机制,进行初始代价体的构建,对所述初代代价体进行匹配注意力权重的生成,将最终得到的立体匹配代价体输入到基于GRU的更新算子中进行视差图的迭代更新,包括:

4.如权利要求1所述的基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,所述对初始的3D...

【技术特征摘要】

1.一种基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,包括:

2.如权利要求1所述的基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,所述结合核卷积归一化和自适应偏置后完成特征融合,包括:

3.如权利要求1所述的基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,所述构建匹配注意力机制,进行初始代价体的构建,对所述初代代价体进行匹配注意力权重的生成,将最终得到的立体匹配代价体输入到基于gru的更新算子中进行视差图的迭代更新,包括:

4.如权利要求1所述的基于深度学习的双目立体匹配递归网络的构建方法,其特征在于,所述对初始的3d代价体分别从平面和空间两个方向应用十字交叉注意力遍历,经过相关性计算的d的3d代价...

【专利技术属性】
技术研发人员:孙海江王加冕
申请(专利权)人:中国科学院长春光学精密机械与物理研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1