立体匹配方法、模型训练方法、相关装置及电子设备制造方法及图纸

本公开提供了一种立体匹配方法、模型训练方法、相关装置及电子设备，涉及计算机视觉、深度学习等人工智能技术领域。具体实现方案为：获取第一双目图像；将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到，所述第二双目图像的尺寸小于所述第一双目图像的尺寸，所述第一偏移视差图基于所述第一双目图像在预设视差偏移范围内进行立体匹配得到。偏移范围内进行立体匹配得到。偏移范围内进行立体匹配得到。

【技术实现步骤摘要】
立体匹配方法、模型训练方法、相关装置及电子设备


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、深度学习
，具体涉及一种立体匹配方法、模型训练方法、相关装置及电子设备。

技术介绍

[0002]随着图像处理的高速发展，立体匹配得到了广泛的应用，立体匹配指的是获取同一场景的双目图像的视差图，以获取双目图像的深度图。
[0003]目前，可以基于深度学习模型对双目图像进行立体匹配，具体可以采用该深度学习模型计算该双目图像进行立体匹配的代价体，并基于该代价体使用3D卷积进行代价聚合，以得到双目图像的视差图。

技术实现思路

[0004]本公开提供了一种立体匹配方法、模型训练方法、相关装置及电子设备。
[0005]根据本公开的第一方面，提供了一种立体匹配方法，包括：
[0006]获取第一双目图像；
[0007]将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；
[0008]将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；
[0009]其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到，所述第二双目图像的尺寸小于所述第一双目图像的尺寸，所述第一偏移视差图基于所述第一双目图像在预设视差偏移范围内进行立体匹配得到。
[0010]根据本公开的第二方面，提供了一种模型训练方法，包括：
[0011]获取训练样本图像，所述训练样本图像包括第三双目图像和所述第三双目图像的标签视差图；
[0012]将所述第三双目图像输入至目标模型执行第二操作，得到所述第三双目图像的第三初始视差图，以及相对于所述第三初始视差图的第二偏移视差图，所述第三初始视差图基于与所述第三双目图像对应的第四双目图像进行立体匹配得到，所述第四双目图像的尺寸小于所述第三双目图像的尺寸，所述第二偏移视差图基于所述第三双目图像在预设视差偏移范围内进行立体匹配得到；
[0013]基于所述第三初始视差图、所述第二偏移视差图和所述标签视差图，获取所述目标模型的网络损失值；
[0014]基于所述网络损失值，更新所述目标模型的网络参数。
[0015]根据本公开的第三方面，提供了一种立体匹配装置，包括：
[0016]第一获取模块，用于获取第一双目图像；
[0017]第一操作模块，用于将所述第一双目图像输入至目标模型执行第一操作，得到所
述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；
[0018]第一聚合模块，用于将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；
[0019]其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到，所述第二双目图像的尺寸小于所述第一双目图像的尺寸，所述第一偏移视差图基于所述第一双目图像在预设视差偏移范围内进行立体匹配得到。
[0020]根据本公开的第四方面，提供了一种模型训练装置，包括：
[0021]第二获取模块，用于获取训练样本图像，所述训练样本图像包括第三双目图像和所述第三双目图像的标签视差图；
[0022]第二操作模块，用于将所述第三双目图像输入至目标模型执行第二操作，得到所述第三双目图像的第三初始视差图，以及相对于所述第三初始视差图的第二偏移视差图，所述第三初始视差图基于与所述第三双目图像对应的第四双目图像进行立体匹配得到，所述第四双目图像的尺寸小于所述第三双目图像的尺寸，所述第二偏移视差图基于所述第三双目图像在预设视差偏移范围内进行立体匹配得到；
[0023]第三获取模块，用于基于所述第三初始视差图、所述第二偏移视差图和所述标签视差图，获取所述目标模型的网络损失值；
[0024]更新模块，用于基于所述网络损失值，更新所述目标模型的网络参数。
[0025]根据本公开的第五方面，提供了一种电子设备，包括：
[0026]至少一个处理器；以及
[0027]与至少一个处理器通信连接的存储器；其中，
[0028]存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法，或者执行第二方面中的任一项方法。
[0029]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行第一方面中的任一项方法，或者执行第二方面中的任一项方法。
[0030]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现第一方面中的任一项方法，或者执行时实现第二方面中的任一项方法。
[0031]根据本公开的技术解决了立体匹配的计算量比较大的问题，在保证立体匹配的精度前提下，降低了立体匹配的计算量。
[0032]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0033]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0034]图1是根据本公开第一实施例的立体匹配方法的流程示意图；
[0035]图2是采用目标模型进行立体匹配的整体框图示意图；
[0036]图3是根据本公开第二实施例的模型训练方法的流程示意图；
[0037]图4是根据本公开第三实施例的立体匹配装置的结构示意图；
[0038]图5是根据本公开第四实施例的模型训练装置的结构示意图；
[0039]图6是用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
[0040]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0041]第一实施例
[0042]如图1所示，本公开提供一种立体匹配方法，包括如下步骤：
[0043]步骤S101：获取第一双目图像。
[0044]本实施例中，立体匹配方法涉及人工智能
，尤其涉及计算机视觉、深度学习
，其可以广泛应用于三维重建、立体导航和非接触测距等诸多场景。本公开实施例的立体匹配方法，可以由本公开实施例的立体匹配装置执行。本公开实施例的立体匹配装置可以配置在任意电子设备中，以执行本公开实施例的立体匹配方法。该电子设备可以为服务器，也可以为终端，这里不做具体限定。
[0045]第一双目图像可以指的是双目相机拍摄的同一场景下，左、右视点图像，其包括至少一个左目图像和至少一个右目图像。其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体匹配方法，包括：获取第一双目图像；将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到，所述第二双目图像的尺寸小于所述第一双目图像的尺寸，所述第一偏移视差图基于所述第一双目图像在预设视差偏移范围内进行立体匹配得到。2.根据权利要求1所述的方法，其中，所述将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，包括：将所述第一双目图像的尺寸进行第一调整处理，得到第二双目图像，所述第一调整处理用于降低所述第一双目图像的尺寸；基于所述第二双目图像在所述第二双目图像的最大视差范围内进行立体匹配，得到所述第二双目图像的第二初始视差图；对所述第二初始视差图的尺寸进行第二调整处理，所述第二调整处理用于提高所述第二初始视差图的尺寸，所述第一调整处理与所述第二调整处理对应；对所述第二调整处理后的第二初始视差图中每个像素点的视差进行调整，得到所述第一初始视差图。3.一种模型训练方法，包括：获取训练样本图像，所述训练样本图像包括第三双目图像和所述第三双目图像的标签视差图；将所述第三双目图像输入至目标模型执行第二操作，得到所述第三双目图像的第三初始视差图，以及相对于所述第三初始视差图的第二偏移视差图，所述第三初始视差图基于与所述第三双目图像对应的第四双目图像进行立体匹配得到，所述第四双目图像的尺寸小于所述第三双目图像的尺寸，所述第二偏移视差图基于所述第三双目图像在预设视差偏移范围内进行立体匹配得到；基于所述第三初始视差图、所述第二偏移视差图和所述标签视差图，获取所述目标模型的网络损失值；基于所述网络损失值，更新所述目标模型的网络参数。4.根据权利要求3所述的方法，其中，所述基于所述第三初始视差图、所述第二偏移视差图和所述标签视差图，获取所述目标模型的网络损失值，包括：获取所述标签视差图与所述第三初始视差图的第一损失值，以及获取所述标签视差图与所述第二偏移视差图的第二损失值；将所述第一损失值和第二损失值进行聚合，得到视差损失值；基于所述视差损失值，确定所述网络损失值。5.根据权利要求4所述的方法，所述基于所述视差损失值，确定所述网络损失值之前，还包括：将所述第三初始视差图和所述第二偏移视差图进行聚合，得到所述第三双目图像的第
二目标视差图；基于所述第三双目图像的图像梯度和所述第二目标视差图的图像梯度，确定所述第二目标视差图的平滑损失值；所述基于所述视差损失值，确定所述网络损失值，包括：将所述视差损失值和所述平滑损失值进行聚合，得到所述网络损失值。6.一种立体匹配装置，包括：第一获取模块，用于获取第一双目图像；第一操作模块，用于将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；第一聚合模块，用于将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到...

【专利技术属性】
技术研发人员：叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：