视差估计系统、方法、电子设备及计算机可读存储介质技术方案

提供一种视差估计系统、方法、电子设备及计算机可读存储介质。所述视差估计系统包括：特征提取网络，被配置为对图像对中的各图像进行特征提取，并将提取到的图像特征输出给视差生成网络；以及所述视差生成网络，被配置为根据所述提取到的图像特征，进行级联的多级视差处理，得到多个尺寸依次增大的视差图，其中，所述多级视差处理中的第一级视差处理的输入包括多个具有与该级视差处理相对应的尺寸的图像特征；所述多级视差处理中的除所述第一级视差处理以外的每一级视差处理的输入包括：一个或多个具有与该级视差处理相对应的尺寸的图像特征，以及上一级视差处理所生成的视差图。

【技术实现步骤摘要】
视差估计系统、方法、电子设备及计算机可读存储介质
本公开涉及计算机视觉
，特别涉及一种视差估计系统、方法、电子设备及计算机可读存储介质。
技术介绍
相关技术中，可采用计算机视觉技术获取同一场景的两幅不同视角的图像中的各对相匹配的像素点之间的视差，得到视差图，并基于所述视差图得到所述场景的深度信息，其中，所述深度信息可用于三维重建、自动驾驶、障碍物检测等各种领域。示例的，采用计算机视觉技术获取视差的方法可以包括局部区域匹配方法、全局优化方法、半全局方法以及基于卷积神经网络的方法，等等。在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
技术实现思路
根据本公开的一个方面，提供一种视差估计系统，包括：特征提取网络，被配置为对图像对中的各图像进行特征提取，并将提取到的图像特征输出给视差生成网络；以及所述视差生成网络，被配置为根据所述提取到的图像特征，进行级联的多级视差处理，得到多个尺寸依次增大的视差图，其中，所述多级视差处理中的第一级视差处理的输入包括多个具有与该级视差处理相对应的尺寸的图像特征；所述多级视差处理中的除所述第一级视差处理以外的每一级视差处理的输入包括：一个或多个具有与该级视差处理相对应的尺寸的图像特征，以及上一级视差处理所生成的视差图。根据本公开的另一个方面，提供一种视差估计方法，包括：对图像对中的各图像进行特征提取；以及根据提取到的图像特征，进行级联的多级视差处理，得到多个尺寸依次增大的视差图，其中，所述多级视差处理中的第一级视差处理的输入包括多个具有与该级视差处理相对应的尺寸的图像特征；所述多级视差处理中的除所述第一级视差处理以外的每一级视差处理的输入包括：一个或多个具有与该级视差处理相对应的尺寸的图像特征，以及上一级视差处理所生成的视差图。根据本公开的另一个方面，提供一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行本公开中所述的方法。根据本公开的另一个方面，提供一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行本公开中所述的方法。从下面结合附图描述的示例性实施例中，本公开的更多特征和优点将变得清晰。附图说明附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。图1是示出根据本公开示例性实施例的视差估计系统的结构框图；图2是示出根据本公开示例性实施例的图像的基础结构特征的示意图；图3是示出根据本公开示例性实施例的图像的语义特征的示意图；图4是示出根据本公开示例性实施例的图像的边缘特征的示意图；图5是示出根据本公开示例性实施例的视差估计系统的一种可能的整体结构框图；图6是示出根据本公开示例性实施例的视差估计系统的另一种可能的整体结构框图；图7A和图7B分别是示出根据本公开示例性实施例的网络训练时所基于的参考图像以及对应的真值视差图的示意图；图8是示出根据本公开示例性实施例的采用训练后的视差估计系统对图7A所示的参考图像进行级联的多级视差处理所得到的从右到左尺寸依次增大的多个视差图的示意图；图9是示出根据本公开示例性实施例的视差估计方法的流程图；图10是示出根据本公开示例性实施例的视差估计方法中的多级视差处理的流程图；图11是示出能够应用于本公开示例性实施例的示例性计算设备的结构框图。具体实施方式在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。相关技术中，可采用计算机视觉技术获取同一场景的两幅不同视角的图像中的各对相匹配的像素点之间的视差，得到视差图，并基于所述视差图得到所述场景的深度信息，其中，所述深度信息可用于三维重建、自动驾驶、障碍物检测等各种领域。示例的，采用计算机视觉技术获取视差的方法可以包括局部区域匹配方法、全局优化方法、半全局方法以及基于卷积神经网络等神经网络的方法，等等。局部区域匹配方法主要包括匹配代价计算、代价聚合、视差计算以及视差优化等步骤，具有较高的速度和较低的能耗，但是其算法效果与算法参数(例如匹配窗口的大小等)有关，较难满足复杂场景的需求。与局部区域匹配方法相比，全局优化方法具有更好的匹配精度，其对于平滑项作出了假设，并将视差计算这一立体匹配问题变成了一个能量优化问题，且大部分全局优化方法跳过了代价聚合步骤，通过考虑匹配代价和平滑项，针对全局的点提出了能量函数，并通过最小化能量函数，获得视差。但是，相比于局部区域匹配方法，全局优化方法的计算量更大，能耗更高。半全局方法可在一定程度上平衡匹配精度和运算速度，与全局算法对全局的点进行优化不同，它将每个点的能量函数分为多个方向的路径，只需对每条路径求值，然后将所有路径的值相加即可得到该点的能量，其中，各路径的求值可以采用动态规划的方式。不过，半全局方法相比于局部区域匹配方法，计算量以及能耗也均较高。基于CNN(ConvolutionalNeuralNetwork，卷积神经网络)等神经网络的方法通过构建视差网络可以获得更大的感知域，在图像的无纹理区域有更好的视差预测能力。不过，其计算量与CNN等神经网络的参数以及图像大小有关，网络参数越复杂以及图像尺寸越大，内存消耗越大、运行速度也越低。本公开提供了一种新的视差估计系统，其可基于提取到的图像对中的各图像的图像特征，进行级联的多级视差处理，得到多个尺寸依次增大的视差图，其中，所述多级视差处理中的第一级视差处理的输入可包括多个具有与该级视差处理相对应的尺寸的图像特征；所述多级视差处理中的除第一级视差处理以外的每一级视差处理的输入可包括：一个或多个具有与该级视差处理相对应的尺寸的图像特征，以及上一级视差处理所生成的视差图。换言之，通过对提取到的图像特征进行级联的多级视差处理，其中，每一级视差处理的输入可包括具有与该级视差处理相对应的尺寸的图像特征，可一次性获得多个不同尺寸的视差图以供多个不同性能或不同精度要求的目标设备使用，从而可满足不同目标设备对精度与速度的要求本文档来自技高网...

【技术保护点】
1.一种视差估计系统，包括：/n特征提取网络，被配置为对图像对中的各图像进行特征提取，并将提取到的图像特征输出给视差生成网络；以及/n所述视差生成网络，被配置为根据所述提取到的图像特征，进行级联的多级视差处理，得到多个尺寸依次增大的视差图，/n其中，所述多级视差处理中的第一级视差处理的输入包括多个具有与该级视差处理相对应的尺寸的图像特征；所述多级视差处理中的除所述第一级视差处理以外的每一级视差处理的输入包括：一个或多个具有与该级视差处理相对应的尺寸的图像特征，以及上一级视差处理所生成的视差图。/n

【技术特征摘要】
1.一种视差估计系统，包括：
特征提取网络，被配置为对图像对中的各图像进行特征提取，并将提取到的图像特征输出给视差生成网络；以及
所述视差生成网络，被配置为根据所述提取到的图像特征，进行级联的多级视差处理，得到多个尺寸依次增大的视差图，
其中，所述多级视差处理中的第一级视差处理的输入包括多个具有与该级视差处理相对应的尺寸的图像特征；所述多级视差处理中的除所述第一级视差处理以外的每一级视差处理的输入包括：一个或多个具有与该级视差处理相对应的尺寸的图像特征，以及上一级视差处理所生成的视差图。


2.如权利要求1所述的视差估计系统，其中，
所述提取到的图像特征包括N种尺寸的图像特征，所述N为不小于2的正整数；
所述视差生成网络被配置为，在所述多级视差处理的所述第一级视差处理中，根据所述N种尺寸的图像特征中的最小尺寸的图像特征的至少一部分，生成具备所述最小尺寸的初始视差图；以及
在所述多级视差处理的后续每一级视差处理中，根据所述N种尺寸的图像特征中的具备对应尺寸的图像特征的至少一部分，对上一级视差处理所生成的视差图进行视差优化处理，生成具备所述对应尺寸的优化视差图；
其中，所述多个视差图至少包括各个优化视差图。


3.如权利要求2所述的视差估计系统，其中，
所述多级视差处理包括N+1级视差处理；
所述视差生成网络被配置为，在除第一级视差处理以外的N级视差处理中，按照尺寸从小到大的顺序，依次基于所述N种尺寸的图像特征中的具备对应尺寸的图像特征的至少一部分，对上一级视差处理所生成的视差图进行视差优化处理，得到N个尺寸依次增大的优化视差图，并将所述N个优化视差图作为所述多个视差图，其中所述N个优化视差图的尺寸分别与所述N种尺寸对应。


4.如权利要求2所述的视差估计系统，其中，
所述多级视差处理包括N级视差处理；
所述视差生成网络被配置为，在除第一级视差处理以外的N-1级视差处理中，按照尺寸从小到大的顺序，依次基于所述N种尺寸的图像特征中的N-1种非最小尺寸的图像特征中的具备对应尺寸的图像特征的至少一部分，对上一级视差处理所生成的视差图进行视差优化处理，得到...

【专利技术属性】
技术研发人员：方舒，周骥，冯歆鹏，
申请(专利权)人：上海肇观电子科技有限公司，
类型：发明
国别省市：上海;31