多视点图像的深度估计方法和深度估计设备技术

本发明专利技术公开了一种多视点图像的深度估计方法和深度估计设备。该方法包括：将同一场景的多个图像中的每个图像作为当前图像执行如下处理：获得当前图像中每个像素的初始深度值；将当前图像划分为多个超像素；基于所述初始深度值，根据预定约束条件，得到多个超像素的平面参数；以及基于超像素的平面参数，生成超像素中每个像素的深度值；其中，所述预定约束条件包括：共连接约束，所述共连接约束与彼此不遮挡的相邻超像素上的临近点的深度值差异有关。

Depth estimation method and depth estimation equipment for multi view images

The invention discloses a depth estimation method for multi view images and a depth estimation device. The method includes: each image in a plurality of images of the same scene is treated as the current image to perform the following processing: obtaining the initial depth value of each pixel in the current image; dividing the current image into multiple superpixels; obtaining the plane parameters of multiple superpixels according to the predetermined constraint conditions based on the initial depth value; And generating a depth value for each pixel in the superpixel based on the plane parameters of the superpixel, wherein the predetermined constraint conditions include a co-connection constraint related to the difference in the depth values of adjacent points on adjacent superpixels that are not occluded from each other.

【技术实现步骤摘要】
多视点图像的深度估计方法和深度估计设备
本专利技术一般地涉及图像处理
具体而言，本专利技术涉及一种能够准确估计多视点图像的深度的方法和设备。
技术介绍
近年来，计算机视觉技术得到了迅猛的发展和广泛的应用，如娱乐、虚拟现实、机器人等。其中，多视点立体(multi-viewstereo，MVS)重构是基础且重要的，其目的在于，从多个经校准的图像中自动地获取三维对象或场景的深度图。传统的MVS重构算法针对每个经校准的图像计算深度图。例如，利用马尔可夫随机场来构建每个像素的局部和全局关系。然而，传统的方法经常导致错误估计遮挡区域中像素的深度以及产生过度平滑的深度图。因此，本专利技术旨在准确估计多视点图像的深度，避免错误估计遮挡区域中像素的深度以及避免产生过度平滑的深度图。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本专利技术的目的是提出一种能够准确估计多视点图像的深度的方法和设备。为了实现上述目的，根据本专利技术的一个方面，提供了一种多视点图像的深度估计方法，该方法包括：将同一场景的多个图像中的每个图像作为当前图像执行如下处理：获得当前图像中每个像素的初始深度值；将当前图像划分为多个超像素；基于所述初始深度值，根据预定约束条件，得到多个超像素的平面参数；以及基于超像素的平面参数，生成超像素中每个像素的深度值；其中，所述预定约束条件包括：共连接约束，所述共连接约束与彼此不遮挡的相邻超像素上的临近点的深度值差异有关。根据本专利技术的另一个方面，提供了一种多视点图像的深度估计设备，其针对同一场景的多个图像中的每个图像作为当前图像进行操作，该深度估计设备包括：获得装置，被配置为：获得当前图像中每个像素的初始深度值；划分装置，被配置为：将当前图像划分为多个超像素；参数生成装置，被配置成：基于所述初始深度值，根据预定约束条件，得到多个超像素的平面参数；以及深度值生成装置，被配置为：基于超像素的平面参数，生成超像素中每个像素的深度值；其中，所述预定约束条件包括：共连接约束，所述共连接约束与彼此不遮挡的相邻超像素上的临近点的深度值差异有关。另外，根据本专利技术的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本专利技术的上述方法。此外，根据本专利技术的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本专利技术的上述方法。附图说明参照下面结合附图对本专利技术的实施例的说明，会更加容易地理解本专利技术的以上和其它目的、特点和优点。附图中的部件只是为了示出本专利技术的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中：图1示出了根据本专利技术的实施例的多视点图像的深度估计方法的流程图；图2示出了一种示例性的获取初始深度值的方法；图3示出了根据本专利技术的实施例的多视点图像的深度估计设备的结构方框图；图4示出了可用于实施根据本专利技术的实施例的方法和设备的计算机的示意性框图。具体实施方式在下文中将结合附图对本专利技术的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本专利技术，在附图中仅仅示出了与根据本专利技术的方案密切相关的装置结构和/或处理步骤，而省略了与本专利技术关系不大的其他细节。另外，还需要指出的是，在本专利技术的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。本专利技术的基本思想是基于超像素的概念引入平面参数，代替深度而通过平面参数计算深度值。在此过程中，引入四种约束条件。下面将参照图1描述根据本专利技术的实施例的多视点图像的深度估计方法的流程。图1示出了根据本专利技术的实施例的多视点图像的深度估计方法的流程图。如图1所示，该方法将同一场景的多个图像中的每个图像作为当前图像执行如下处理：获得当前图像中每个像素的初始深度值(步骤S1)；将当前图像划分为多个超像素(步骤S2)；基于所述初始深度值，根据预定约束条件，得到多个超像素的平面参数(步骤S3)；以及基于超像素的平面参数，生成超像素中每个像素的深度值(步骤S4)。同一场景的多个图像中的每个图像都会作为当前图像进行处理。多个图像中的其它图像可以作为参考图像。在步骤S1中，获得当前图像中每个像素的初始深度值。即，步骤S1是获得深度值的初值的步骤。显然，该步骤可以利用现有技术中任何可以获得深度值的方法。以下参照图2，给出一种示例性的获取初始深度值的方法。如图2所示，一种获得当前图像中每个像素的初始深度值的方法包括：将多个图像中除当前图像之外的图像用作参考图像，对于当前图像中的每个像素，确定该像素在参考图像中的投影点，该投影点基于该像素的假设深度值(步骤S21)；计算该像素和所有投影点之间的特征差异总和(步骤S22)；选择最小特征差异总和对应的假设深度值，作为该像素的初始深度值(步骤S23)。假设共有M个经校准的图像，其中之一是当前图像，剩余M-1个图像为参考图像，M为大于一的正整数。深度范围是有限的，因此，可以将深度范围均匀或非均匀分割(采样)为N个离散的深度值，作为深度值的取值范围。对于当前图像中的每个像素，假定该像素具有N个离散的深度值中的每一个，作为假设深度值。在步骤S21中，针对每一个假设深度值，可以确定该像素在参考图像中的投影点。由于上述M个图像都是经校准的图像，所以已知摄像机的内参和外参，能够根据深度值确定投影点。摄像机的内参指摄像机本身的参数，摄像机的外参涉及摄像机的朝向，如旋转、平移等。例如，针对M个图像中的一个当前图像中的一个像素，可以得到N个假设深度值，对于每个假设深度值，可以得到该像素对应的M-1个参考图像中的M-1个投影点。N个假设深度值对应于N组(每组M-1个)投影点。在步骤S22中，计算该像素和针对N个假设深度值之一得到的一组M-1个投影点之间的特征差异总和。对于N个假设深度值可以得到N个特征差异总和。特征例如是颜色、亮度分量等。特征差异可以由特征之差的绝对值、特征之差的平方等来表征。每一个像素对应于M-1个特征差异，对这M-1个特征差异取总和。或者，特征差异总和等于特征之差的平方和的根。在步骤S23中，选择与N个假设深度值对应的N个特征差异总和中最小的特征差异总和对应的假设深度值，作为该像素的初始深度值。依此类推，可以得到当前图像中每一个像素的初始深度值。依此类推，可以得到每一个图像的深度图。在步骤本文档来自技高网...

【技术保护点】
1.一种多视点图像的深度估计方法，包括：将同一场景的多个图像中的每个图像作为当前图像执行如下处理：获得当前图像中每个像素的初始深度值；将当前图像划分为多个超像素；基于所述初始深度值，根据预定约束条件，得到多个超像素的平面参数；以及基于超像素的平面参数，生成超像素中每个像素的深度值；其中，所述预定约束条件包括：共连接约束，所述共连接约束与彼此不遮挡的相邻超像素上的临近点的深度值差异有关。

【技术特征摘要】
1.一种多视点图像的深度估计方法，包括：将同一场景的多个图像中的每个图像作为当前图像执行如下处理：获得当前图像中每个像素的初始深度值；将当前图像划分为多个超像素；基于所述初始深度值，根据预定约束条件，得到多个超像素的平面参数；以及基于超像素的平面参数，生成超像素中每个像素的深度值；其中，所述预定约束条件包括：共连接约束，所述共连接约束与彼此不遮挡的相邻超像素上的临近点的深度值差异有关。2.如权利要求1所述的方法，其中，所述预定约束条件还包括：图像一致性约束，所述图像一致性约束与每个超像素上的选定点和其在参考图像上的投影点之间的特征差异有关，所述参考图像是多个图像中除当前图像之外的图像。3.如权利要求1所述的方法，其中，所述预定约束条件还包括：几何一致性约束，所述几何一致性约束与每个超像素上的选定点和其投影到参考图像上的第一投影点再投影回当前图像上的第二投影点之间的位置差异有关，所述参考图像是多个图像中除当前图像之外的图像。4.如权利要求1所述的方法，其中，所述预定约束条件还包括：共面约束，所述共面约束与特征相似的相邻超像素的选定点之间的深度差异有关。5.如权利要求1所述的方法，其中，如果两个相邻超像素上的像素的平均初始深度值之差的绝对值小于预定阈值，则两个相邻超像素被判断为彼此不遮挡。6.如权利要求1所述的方...

【专利技术属性】
技术研发人员：田虎，李斐，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP