双目立体匹配的方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种双目立体匹配的方法、装置、设备以及存储介质。涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术等领域。具体实现方案为：对通过双目摄像头采集同一场景得到的第一图像和第二图像进行多尺度特征提取，得到多尺度的第一子图像特征和多尺度的第二子图像特征；对该多尺度的第一子图像特征和该多尺度的第二子图像特征采用预设维度的代价卷进行多尺度特征融合，以构建金字塔型代价卷；根据该金字塔型代价卷进行双目立体匹配处理，得到初始的第一视差图。采用本公开，提高了双目立体匹配的精度和泛化性。双目立体匹配的精度和泛化性。双目立体匹配的精度和泛化性。

【技术实现步骤摘要】
双目立体匹配的方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及深度学习、计算机视觉技术等领域。

技术介绍

[0002]随着技术的发展，可以通过人工智能改善硬件性能，所适用的应用场景多种多样，比如涉及双目立体匹配、单目标深度估计、单目标跟踪、图像处理、视频处理等与计算机视觉相关的应用场景的硬件设计中，都可以采用人工智能技术，即：将训练好的模型部署于硬件中，以提高硬件的处理速度及处理准确率。
[0003]其中，双目立体匹配作为计算机视觉领域的一项核心任务，由于真实环境的复杂性、目标对象本身的不稳定性以及目标对象本身分辨率等原因导致双目立体匹配的精度不高，即便可以在特定数据集上满足精度要求，但是对于除特定数据集之外的其他数据集而言，泛化性差，因此，在实际应用中如何提高双目立体匹配的精度和泛化性是要解决的问题。

技术实现思路

[0004]本公开提供了一种双目立体匹配的方法、装置、设备以及存储介质。
[0005]根据本公开的一方面，提供了一种双目立体匹配的方法，包括：
[0006]对通过双目摄像头采集同一场景得到的第一图像和第二图像进行多尺度特征提取，得到多尺度的第一子图像特征和多尺度的第二子图像特征；
[0007]对该多尺度的第一子图像特征和该多尺度的第二子图像特征采用预设维度的代价卷进行多尺度特征融合，以构建金字塔型代价卷；
[0008]根据该金字塔型代价卷进行双目立体匹配处理，得到初始的第一视差图。
[0009]根据本公开的另一方面，提供了一种双目立体匹配的装置，包括：
[0010]提取模块，用于对通过双目摄像头采集同一场景得到的第一图像和第二图像进行多尺度特征提取，得到多尺度的第一子图像特征和多尺度的第二子图像特征；
[0011]构建模块，用于对该多尺度的第一子图像特征和该多尺度的第二子图像特征采用预设维度的代价卷进行多尺度特征融合，以构建金字塔型代价卷；
[0012]双目立体匹配模块，用于根据该金字塔型代价卷进行双目立体匹配处理，得到初始的第一视差图。
[0013]根据本公开的另一方面，提供了一种电子设备，包括：
[0014]至少一个处理器；以及
[0015]与该至少一个处理器通信连接的存储器；其中，
[0016]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0017]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0018]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0019]采用本公开，提高了双目立体匹配的精度和泛化性。
[0020]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0021]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0022]图1是根据本公开实施例的双目摄像头采集场景得到视差的示意图；
[0023]图2是根据本公开实施例的卷积核的滑窗方式提取图像特征的示意图；
[0024]图3是根据本公开实施例的一自动驾驶车辆与云端通信的应用场景示意图；
[0025]图4是根据本公开实施例的双目立体匹配的方法的流程示意图；
[0026]图5是根据本公开实施例的双目立体匹配中特征提取的流程示意图；
[0027]图6是根据本公开实施例的双目立体匹配中代价卷构建的流程示意图；
[0028]图7是根据本公开实施例的应用示例中基于金字塔型代价卷融合的双目立体匹配的示意图；
[0029]图8是根据本公开实施例的应用示例中多尺度代价卷融合模块的示意图；
[0030]图9是根据本公开实施例的应用示例中基于翘曲代价卷的视差补偿网络的示意图；
[0031]图10是根据本公开实施例的应用示例中双目立体匹配的应用场景示意图；
[0032]图11是根据本公开实施例的双目立体匹配装置的组成结构示意图；
[0033]图12是用来实现本公开实施例的双目立体匹配/目标跟踪方法的电子设备的框图。
具体实施方式
[0034]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0035]另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
[0036]对本申请实施例所涉及到的基本概念进行简单说明。应理解，下文所介绍的基本概念并不对本申请实施例产生限定。
[0037]1、双目立体匹配，是指在通过双目摄像头采集的一对待校正立体图像(图像对)中匹配对应位置的相应像素点，从而预测视差信息，进一步可以优化该视差信息(如视差图)，以最终求得准确的深度信息(如深度图)。换言之，旨在从一对待校正的立体图像中估计视差图/深度图，在自动驾驶、机器人导航、同时定位与地图构建(SLAM，Simultaneous Localization and Mapping)等技术中都具有极高的应用价值。
[0038]2、单目深度估计，是指直接从单目摄像头采集的图像来预测深度信息(如深度图)。
[0039]3、单目摄像头和双目摄像头的区别，是指在测距原理上，两种摄像头完全不同。单目摄像头需要对采集图像中的目标对象(如车辆、车道线、交通信号设备、行走的人等)进行识别，也就是说在测距前先识别目标对象是车、人还是其他对象，在此基础上再进行测距，比如，识别出目标对象的目标类别后，根据该目标对象在图像中的大小来估算距离，越大则距离该单目摄像头越近；而双目摄像头则更加像人类的双眼，主要通过作为图像对的两幅图像之间的视差计算来确定距离，也就是说，双目摄像头不需要知道目标对象是什么，只要通过视差计算就可以实现测距，比如，从视差的大小得出物体的距离，视差越大，物体距离该双目摄像头越近。
[0040]4、视差，是指从两个不同位置观察同一个目标对象，可以得到该目标对象在视野中的位置变化与差异。从两个观察点看该目标对象，形成两条视线之间的夹角叫做这两个点的视差角，两个观察点之间的距离称作视差基线，如图1所示，比如采用双目摄像头采集同一场景中的同一个目标对象时，双目摄像头101采集同一场景中的同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目立体匹配的方法，包括：对通过双目摄像头采集同一场景得到的第一图像和第二图像进行多尺度特征提取，得到多尺度的第一子图像特征和多尺度的第二子图像特征；对所述多尺度的第一子图像特征和所述多尺度的第二子图像特征采用预设维度的代价卷进行多尺度特征融合，以构建金字塔型代价卷；根据所述金字塔型代价卷进行双目立体匹配处理，得到初始的第一视差图。2.根据权利要求1所述的方法，其中，所述第一图像，为双目摄像头的第一图像传感器采集到的图像；所述第二图像，为所述双目摄像头的第二图像传感器采集到的图像。3.根据权利要求1所述的方法，其中，所述对通过双目摄像头采集同一场景得到的第一图像和第二图像进行多尺度特征提取，得到多尺度的第一子图像特征和多尺度的第二子图像特征，包括：将所述第一图像和所述第二图像构成的图像对输入多尺度特征提取网络；在所述多尺度特征提取网络中，对所述图像对进行不同图像分辨率的多尺度特征提取，得到所述多尺度的第一子图像特征和所述多尺度的第二子图像特征。4.根据权利要求3所述的方法，其中，所述多尺度特征提取网络包括多个卷积层；其中，所述多个卷积层中不同卷积层的尺寸不同。5.根据权利要求3所述的方法，其中，所述对所述多尺度的第一子图像特征和所述多尺度的第二子图像特征采用预设维度的代价卷进行多尺度特征融合，以构建金字塔型代价卷，包括：根据所述多尺度的第一子图像特征和所述多尺度的第二子图像特征，得到特征金字塔；根据所述特征金字塔，构建预设维度的金字塔型代价卷。6.根据权利要求5所述的方法，其中，所述根据所述特征金字塔，构建预设维度的金字塔型代价卷，包括：将所述特征金字塔中非原始图像分辨率的多个特征图输入多尺度特征融合网络；在所述多尺度特征融合网络中对所述多个特征图进行所述多尺度特征融合的四维代价卷构建，得到多尺度的四维融合代价卷；其中，所述金字塔型代价卷包括所述多尺度的四维融合代价卷。7.根据权利要求6所述的方法，还包括：将所述特征金字塔中原始图像分辨率的一个或多个特征图输入视差补偿网络；在所述视差补偿网络中，结合所述一个或多个特征图对所述初始的第一视差图进行三维代价卷构建，得到三维翘曲代价卷；其中，所述金字塔型代价卷还包括所述三维翘曲代价卷。8.根据权利要求7所述的方法，其中，所述根据所述金字塔型代价卷进行双目立体匹配处理，得到初始的第一视差图，包括：根据所述金字塔型代价卷中的多尺度四维融合代价卷进行多尺度代价卷融合，得到所述初始的第一视差图。9.根据权利要求8所述的方法，还包括：通过所述视差补偿网络对所述初始的第一视差
图进行优化，得到优化后的第二视差图；其中，所述优化后的第二视差图的图像分辨率高于所述初始的第一视差图的图像分辨率。10.根据权利要求6或7所述的方法，其中，所述多尺度特征融合网络包括：k个编码块、k个融合块及k个解码块；其中，所述k个编码块中第i个编码块的输入为第i个四维融合代价卷，第j个编码块的输入为第j
‑
1个融合块的输出；其中，所述i为等于1的整数，所述j为大于1的整数；所述k个融合块中第j
‑
1个融合块的输入为第j
‑
1个编码块的输出和第j
‑
1个四维融合代价卷；所述k个解码块中第k个解码块的输入为第k个融合块，第m个解码块的输入为第m个融合块的输出和第m
‑
1个解码块的输出；其中，m和k为整数且1≤m＜k。11.根据权利要求7
‑
9中任一项所述的方法，其中，所述视差补偿网络的输入为多模态数据，所述多模态数据包括：第一图像特征、三维翘曲代价卷、初始的第一视差图及重建错误参数；其中，所述第一图像特征，为所述特征金字塔中一个或多个用于表征所述第一图像的特征；所述第二图像特征，为所述特征金字塔中一个或多个用于表征所述第二图像的特征；所述三维翘曲代价卷，为由所述特征金字塔中一个或多个所述第一图像特征和所述第二图像特征进行代价运算得到的代价卷；所述初始的第一视差图，为由所述多尺度特征融合网络输出的视差图；所述重建错误参数，为所述特征金字塔中一个或多个所述第一图像特征和所述第二图像特征进行误差比对所得到的参数。12.一种双目立体匹配的装置，包括：提取模块，用于对通过双目摄像头采集同一场景得到的第一图像和第二图像进行多尺度特征提取，得到多尺度的第一子图像特征和多尺度的第二子图像特征；构建模块，用于对所述多尺度的第一子图像特征和所述多尺度的第二子图像特征采用预设维度的代价卷进行多尺度特...

【专利技术属性】
技术研发人员：沈哲伦，张良俊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：