结合Transformer和HITNet网络的立体匹配算法制造技术

本发明专利技术公开了一种结合Transformer和HITNet网络的立体匹配算法，适用于图像处理领域，包括以下步骤：使用卷积神经网络(CNN)对左图和右图进行特征提取并得到一个特征图；划分特征图为多个图像块，并将序列输入Transformer编码器，利用自注意力机制提取全局上下文信息；将编码后的序列输入一个解码器并对其进行上采样和跳跃连接，恢复局部信息；将特征图像分割成多个大小不同的瓦片，为每个瓦片预测一个初始的视差值和一个描述向量；通过图像扭曲操作，将左右图像的特征对齐，并计算匹配代价，构建代价体积；细化低分辨率表示，更新瓦片的视差值和描述向量，并预测一个置信度值；通过快速高分辨率初始化操作，细化瓦片到1x1的像素点，得到最终的视差图。本方法在特征提取阶段引入transformer框架，使得提取的特征更符合人类视觉感知特性，使深度图像结果更加准确。

【技术实现步骤摘要】

本专利技术涉及一种结合transformer和hitnet网络的立体匹配算法，属于计算机视觉领域。

技术介绍

1、双目立体视觉是机器视觉的一种重要形式，其基于视差原理来获取被测物体的三维几何信息，在自动驾驶、机器人、工业检测、遥感以及三维重建等诸多方面得到广泛应用，是计算机视觉领域的研究热点之一。立体匹配作为双目立体视觉的关键步骤，其匹配精度和匹配效率直接影响整个双目立体视觉系统的性能。

2、立体匹配是指从图像对中寻找具有同名特征的像素间对应关系的过程，通常可分为稀疏匹配和稠密匹配。传统立体匹配方法通常包含匹配代价计算、代价聚合、视差计算和视差优化四个步骤。

3、近年来，随着深度学习技术的发展，传统立体匹配方法中的代价计算、代价聚合、视差计算和视差优化步骤均可被整合至深度神经网络框架中，并表现出了更优的性能。立体匹配技术的研究趋势逐渐从传统方法转向深度学习方法，并产生了一系列颇具代表性的研究成果。通常可将基于深度学习的立体匹配方法分为非端到端和端到端两类。其中，非端到端方法的共同特点是尝试利用深度神经网络取代传统立体匹配方法中的某一本文档来自技高网...

【技术保护点】

1.一种结合Transformer和HITNet网络的立体匹配算法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的结合Transformer和HITNet网络的立体匹配算法，其特征在于，步骤1是将左图和右图输入CNN卷积神经网络进行特征提取并生成特征图，以用于之后进行图像划分。

3.根据权利要求1所述的结合Transformer和HITNet网络的立体匹配算法，其特征在于，所述的步骤2具体包括以下步骤：

4.根据权利要求1所述的结合Transformer和HITNet网络的立体匹配算法，其特征在于，所述的步骤3是将token序列输入到Tr...

【技术特征摘要】

1.一种结合transformer和hitnet网络的立体匹配算法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的结合transformer和hitnet网络的立体匹配算法，其特征在于，步骤1是将左图和右图输入cnn卷积神经网络进行特征提取并生成特征图，以用于之后进行图像划分。

3.根据权利要求1所述的结合transformer和hitnet网络的立体匹配算法，其特征在于，所述的步骤2具体包括以下步骤：

4.根据权利要求1所述的结合transformer和hitnet网络的立体匹配算法，其特征在于，所述的步骤3是将token序列输入到transformer编码器中，并利用自注意力机制来捕获全局的上下文信息。其中transformer编码器由l层相同的子层组成，每个子层包含两个部分：多头自注意力(multi-head self-at...

【专利技术属性】
技术研发人员：周璟胤，季鹏，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：