用于立体成像的系统和方法技术方案

用于立体成像的系统及其制造和使用方法。该系统可以包括被配置为接收第一图像和第二图像的一个或多个处理器。可以从具有不同形状和/或尺寸的多个块配置中选择块配置，并且该块配置用于块匹配。可以使用所选块配置将第一图像上的点与第二图像上的对应点进行匹配，由此识别图像之间的双目视差以进行深度确定。本系统和方法适于用在诸如无人机(UAV)之类的移动平台上。

Systems and methods for stereo imaging

Systems for stereo imaging and their manufacturing and use methods. The system may include one or more processors configured to receive first and second images. Block configurations can be selected from multiple block configurations of different shapes and/or sizes, and the block configurations are used for block matching. The selected block configuration can be used to match points on the first image with corresponding points on the second image, thereby identifying binocular parallax between images for depth determination. The system and method are suitable for use on mobile platforms such as UAV.

【技术实现步骤摘要】
【国外来华专利技术】用于立体成像的系统和方法版权声明本专利文件的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文献或专利公开的传真复制，因为它出现在专利和商标局的专利文件或记录中，但在其他方面保留所有版权。
所公开的实施例总体上涉及一种计算机视觉，并且更具体地但不排他地，涉及用于立体成像的系统和方法。
技术介绍
高精度深度绘图对于诸如机器人和移动平台中的自动避障、地理绘图和空间探索之类的应用非常重要。立体成像是一种使用双目视觉来提供深度信息的技术。这种技术可以用于通过匹配图像中的特征根据两个或更多个图像构建深度图。然而，用于匹配特征的现有技术常常具有失配的问题，特别是当遇到具有明显深度变化或光滑纹理的复杂图像时。鉴于前述内容，需要克服当前系统和方法的缺点的用于立体成像的系统和方法。
技术实现思路
根据本文公开的第一方面，提出了一种在第一图像和第二图像之间进行块匹配以进行立体成像的方法，包括：从多个块配置中选择块配置；以及使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。根据本文所公开的另一方面，提出了一种立体成像系统，包括：第一成像装置，被配置为获得第一图像；第二成像装置，被配置为获得第二图像；以及一个或多个处理器，被配置为：从多个块配置中选择块配置；以及使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。根据本文所公开的另一方面，提出了一种用于立体成像的设备，包括一个或多个处理器，所述一个或多个处理器被配置为：接收第一图像；接收第二图像；从多个块配置中选择块配置；以及使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。根据本文所公开的另一方面，提出了一种计算机可读存储介质，包括：用于从多个块配置中选择块配置以进行立体成像的指令；以及用于使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配的指令。根据本文所公开的另一方面，提出了一种处理系统，包括：接收模块，用于接收由第一成像装置获得的第一图像和由第二成像装置获得的第二图像；选择模块，用于从多个块配置中选择块配置以进行立体成像；以及匹配模块，用于使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。附图说明图1示出了用于立体成像的系统的实施例的示例图。图2示出了使用图1的系统进行块匹配的实施例的示例图。图3示出了图1的系统的立体成像设备的实施例的示例图。图4示出了用于使用图1的系统进行块匹配的方法的实施例的示例性顶层流程图。图5示出了使用图1的系统对距离进行三角测量的方法的实施例的示例图。图6示出了使用图1的系统对距离进行三角测量的方法的另一实施例的示例图。图7示出了使用图1的系统进行块匹配的实施例的示例图。图8示出了图1的系统的实施例的示例图，其中示出了图像预处理器。图9示出了使用图8的图像预处理器来校正图像的方法的实施例的示例图。图10示出了图1的系统的实施例的示例图，其中示出了视差验证器。图11示出了图1的系统的实施例的示例图，其中示出了使用匹配成本进行块匹配。图12示出了使用图1的系统来识别对应点的方法的实施例的示例图。图13示出了使用图1的系统来识别对应点的方法的实施例的示例性流程图。图14示出了图1的系统的实施例的示例图，其中组合匹配成本以识别候选点。图15示出了图1的系统的实施例的示例图，其中得出候选视差以确定双目视差。图16示出了图1的系统的另一实施例的示例图，其中使用视差验证器来验证候选视差。图17示出了用于块匹配的处理系统的模块的示例性顶层框图。图18示出了图1的系统的实施例的示例图，其中所述系统是无人机(UAV)。应该注意的是，附图并未按比例绘制，并且出于说明目的，在整个附图中具有类似结构或功能的元素通常用类似的附图标记来表示。还应该注意的是，附图只是为了便于描述优选实施例。附图没有示出所描述的实施例的每个方面，并且不限制本公开的范围。具体实施方式当前系统和方法在确保两个图像之间的高准确度块匹配以进行立体成像方面具有缺点。本系统和方法通过使用不同形状和尺寸的块来提高块匹配的准确度，如下面进一步具体描述的。关于图1中的示例性立体成像系统100示出本系统和方法。立体成像系统100可以包括用于分别捕获第一图像221和第二图像222的第一成像装置201和第二成像装置202。尽管仅出于说明性目的示出立体成像系统100包括两个成像装置201、202，但是本系统和方法可以根据需要使用任何数量的成像装置(例如，一个、两个、三个、四个、五个、六个或者更多的成像装置)用于立体成像。例如，根据需要，两对或更多对成像装置可以用于增强的立体成像。成像装置201、202可以从外部环境接收入射光并将入射光转换为数字和/或模拟信号(未示出)。可以对信号进行处理以生成可以向用户显示的图像221、222。适用于本系统和方法的示例性成像装置201、202包括但不限于市售的相机和摄像机。成像装置201、202可以以所选方式相对放置，因此图像221、222可以从不同的视角感知物体(在图2中示出)。成像装置201、202可以以任何期望的方式放置在立体成像系统100中。在一些实施例中，例如，成像装置201、202可以并排放置，以使得成像装置201、202具有平行光轴。立体成像系统100可以包括用于分别从成像装置201、202接收图像221、222的立体成像设备300。立体成像设备300可以基于图像221、222来获得物体的深度信息。示例性深度信息可以包括从物体到第一成像装置201和/或第二成像装置202的物距。立体成像设备300可以通过使用块匹配将第一图像221与第二图像222匹配来获得深度信息。如图1所示，立体成像设备300可以选择多个块配置310用于块匹配。每个块配置310可以包括用于分别在第一图像221和第二图像222中的每个图像上定义一个或多个块341、342(在图2中示出)的一个或多个配置参数。示例性配置参数可以包括尺寸(例如，用像素的数量来表示)、形状或其组合。如图1所示，可以基于对应的块配置310来实现块配置计算器320。亦即，可以分别基于块配置310A、320B...310N来实现块配置计算器320A、320B...320N。块配置计算器320可以执行用于评估块341、342之间的匹配的任何计算和/或操作。例如，评估匹配可以包括计算匹配成本c。匹配成本c可以量化块341、342中的像素之间的相似性。可以使用两个块的像素之间的任何适合的比较方法来得出匹配成本c。用于得出匹配成本c的示例性方法包括使用相关性、协方差、绝对差之和、差的平方和等对像素值进行比较。在一些实施例中，可以将由块配置计算器320生成的结果输入到交叉块配置计算器330，以比较和对比使用不同块配置310的匹配结果。现在参考图2，示出了使用圆形的示例性块配置310进行块匹配的物体230的示例性第一图像221和第二图像222。基于块配置310，在第一图像221上定义包括第一点241的第一块341。类似地，可以定义包括第二点242的第二块342。每个点241、242可以包括表示图像的一部分的一个或多个相邻像素。在一些实施例中，每个点可以是单个像素。在一些实施例中，每个点可以包括由本文档来自技高网...

【技术保护点】
1.一种在第一图像和第二图像之间进行块匹配以进行立体成像的方法，包括：从多个块配置中选择块配置；以及使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。

【技术特征摘要】
【国外来华专利技术】1.一种在第一图像和第二图像之间进行块匹配以进行立体成像的方法，包括：从多个块配置中选择块配置；以及使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。2.根据权利要求1所述的方法，其中所述选择包括：从具有不同尺寸的块配置中选择所述块配置。3.根据权利要求2所述的方法，其中所述选择包括：选择尺寸为7像素×7像素、9像素×9像素、13像素×13像素或25像素×25像素的至少一个块配置。4.根据权利要求1-3中任一项所述的方法，其中所述选择包括：从具有不同形状的块配置中选择所述块配置。5.根据权利要求4所述的方法，其中所述选择包括：选择具有非矩形形状的块配置。6.根据权利要求5所述的方法，其中所述选择包括以下选择中的至少一个：选择具有圆形形状的块配置，选择具有三角形形状的块配置，以及选择具有梯形形状的块配置。7.根据权利要求1-6中任一项所述的方法，其中所述选择包括：选择一个或多个预定块配置。8.根据权利要求1-7中任一项所述的方法，其中所述选择包括：动态地选择所述块配置。9.根据权利要求1-8中任一项所述的方法，其中所述选择包括：随机地选择所述块配置。10.根据权利要求1所述的方法，其中所述匹配包括：确定所述第一图像上的第一点与所述第二图像的多个候选第二点中的每个候选第二点之间的匹配成本，以识别所述对应第二点。11.根据权利要求10所述的方法，其中所述匹配包括：确定所述第一图像上的第一点与所述第二图像的线上的多个候选第二点中的每个候选第二点之间的匹配成本，以识别所述对应第二点。12.根据权利要求10或权利要求11所述的方法，其中所述匹配包括：基于针对所述块配置中的每个块配置的个体匹配成本来确定所述匹配成本。13.根据权利要求12所述的方法，其中所述匹配包括：通过选择所述个体匹配成本之一来确定所述匹配成本。14.根据权利要求12所述的方法，其中所述匹配包括：通过对所述个体匹配成本进行加权来确定所述匹配成本。15.根据权利要求14所述的方法，其中所述匹配包括：使用针对每个块配置的预定权重来确定所述匹配成本。16.根据权利要求12-15中任一项所述的方法，其中所述确定针对所述块配置中的每个块配置的个体匹配成本包括：基于所述块配置，在所述第一图像的第一点周围选择第一像素块；基于所述块配置，在所述第二图像的所选候选第二点周围选择第二像素块；以及确定所述第一图像的第一点与所述第二图像的所选候选第二点之间针对所述块配置的个体匹配成本。17.根据权利要求1-16中任一项所述的方法，还包括：基于所述第一图像的第一点与所述第二图像的对应第二点之间的视差来确定物距。18.根据权利要求1-17中任一项所述的方法，其中所述匹配包括：基于所述块配置中的每个块配置来确定所述第一图像上的第一点与所述第二图像上的多个候选第二点中的每个候选第二点之间的个体匹配成本，以选择分别对应于所述块配置的候选第二点。19.根据权利要求18所述的方法，还包括：分别获得所述第一点与所选候选第二点之间的候选视差；以及基于所述候选视差来确定所述视差。20.根据权利要求19所述的方法，还包括：基于所述视差来确定物距。21.根据权利要求1-20中任一项所述的方法，其中所述匹配包括：使用所选块配置将所述第一图像上的第一像素与所述第二图像上的对应第二像素进行匹配。22.根据权利要求1-20中任一项所述的方法，其中所述匹配包括：使用所选块配置将所述第一图像上的第一特征与所述第二图像上的对应第二特征进行匹配。23.根据权利要求1-22中任一项所述的方法，还包括：在所述匹配之前对所述第一图像和所述第二图像进行预处理。24.根据权利要求23所述的方法，其中所述预处理包括：相对于所述第一图像校正所述第二图像。25.一种立体成像系统，包括：第一成像装置，被配置为获得第一图像；第二成像装置，被配置为获得第二图像；以及一个或多个处理器，被配置为：从多个块配置中选择块配置；以及使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。26.根据权利要求25所述的立体成像系统，其中所述块配置具有不同的尺寸。27.根据权利要求26所述的立体成像系统，其中所述块配置中的至少一个块配置具有7像素×7像素、9像素×9像素、13像素×13像素或25像素×25像素的尺寸。28.根据权利要求25-27中任一项所述的立体成像系统，其中所述块配置具有不同的形状。29.根据权利要求28所述的立体成像系统，其中所述块配置中的至少一个块配置具有非矩形形状。30.根据权利要求29所述的立体成像系统，其中所述块配置包括：具有圆形形状的块配置、具有三角形形状的块配置、具有梯形形状的块配置或其组合。31.根据权利要求25-30中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：选择一个或多个预定块配置。32.根据权利要求25-31中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：动态地选择所述块配置。33.根据权利要求25-32中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：随机地选择所述块配置。34.根据权利要求25所述的立体成像系统，其中所述一个或多个处理器被配置为：确定所述第一图像上的第一点与所述第二图像的多个候选第二点中的每个候选第二点之间的匹配成本，以识别所述对应第二点。35.根据权利要求34所述的立体成像系统，其中所述一个或多个处理器被配置为：确定所述第一图像上的第一点与所述第二图像的线上的多个候选第二点中的每个候选第二点之间的匹配成本，以识别所述对应第二点。36.根据权利要求34或权利要求35所述的立体成像系统，其中所述一个或多个处理器被配置为：基于针对所述块配置中的每个块配置的个体匹配成本来确定所述匹配成本。37.根据权利要求36所述的立体成像系统，其中所述一个或多个处理器被配置为：通过选择所述个体匹配成本之一来确定所述匹配成本。38.根据权利要求36所述的立体成像系统，其中所述一个或多个处理器被配置为：通过对所述个体匹配成本进行加权来确定所述匹配成本。39.根据权利要求38所述的立体成像系统，其中所述一个或多个处理器被配置为：使用针对每个块配置的预定权重来确定所述匹配成本。40.根据权利要求36-39中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：通过以下操作确定针对所述块配置中的每个块配置的个体匹配成本：基于所述块配置，在所述第一图像的第一点周围选择第一像素块；基于所述块配置，在所述第二图像的所选候选第二点周围选择第二像素块；以及确定所述第一图像的第一点与所述第二图像的所选候选第二点之间针对所述块配置的个体匹配成本。41.根据权利要求25-40中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：基于所述第一图像的第一点与所述第二图像的对应第二点之间的视差来确定物距。42.根据权利要求25-33中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：基于所述块配置中的每个块配置来确定所述第一图像上的第一点与所述第二图像上的多个候选第二点中的每个候选第二点之间的个体匹配成本，以选择分别对应于所述块配置的候选第二点。43.根据权利要求42所述的立体成像系统，其中所述一个或多个处理器被配置为：分别获得所述第一点与所选候选第二点之间的候选视差；以及基于所述候选视差来确定所述视差。44.根据权利要求43所述的立体成像系统，其中所述一个或多个处理器被配置为：基于所述视差来确定物距。45.根据权利要求25-44中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：使用所选块配置将所述第一图像上的第一像素与所述第二图像上的对应第二像素进行匹配。46.根据权利要求25-44中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：使用所选块配置将所述第一图像上的第一特征与所述第二图像上的对应第二特征进行匹配。47.根据权利要求25-46中任一项所述的立体成像系统，其中所述一个或多个处理器被配置为：在所述匹配之前对所述第一图像和所述第二图像进行预处理。48.根据权利要求47所述的立体成像系统，其中所述一个或多个处理器被配置为：相对于所述第一图像校正所述第二图像。49.一种用于立体成像的设备，包括一个或多个处理器，所述一个或多个处理器被配置为：接收第一图像；接收第二图像；从多个块配置中选择块配置；以及使用所选块配置将所述第一图像上的第一点与所述第二图像上的对应第二点进行匹配。50.根据权利要求49所述的设备，其中所述处理器被配置为：从第一成像装置接收所述第一图像。51.根据权利要求49或权利要求50所述的设备，其中所述处理器被配置为：从第二成像装置接收所述第二图像。52.根据权利要求51所述的设备，其中所述处理器被配置为：从与所述第一成像装置不同的所述第二成像装置接收所述第二图像。53.根据权利要求49所述的设备，其中所述块配置具有不同的尺寸。54.根据权利要求53所述的设备，其中至少一个块配置具有7像素×7像素、9像素×9像素、13像素×13像素或25像素×25像素的尺寸。55.根据权利要求49-54中任一项所述的设备，其中所述块配置具有不同的形状。56.根据权利要求55所述的设备，其中所述块配置中的至少一个块配置具有非矩形形状。57.根据权利要求56所述的设备，其中所述块配置包括：具有圆形形状的块配置、具有三角形形状的块配置、具有梯形形状的块配置或其组合。58.根据权利要求49-57中任一项所述的设备，其中所述一个或多个处理器被配置为：选择一个或多个预定块配置。59.根据权利要求49-58中任一项所述的设备，其中所述一个或多个处理器被配置为动态地选择所述块配置。60.根据权利要求49-59中任一项所述的设备，其中所述一个或多个处理器被配置为：随机地选择所述块配置。61.根据权利要求49所述的设备，其中所述一个或多个处理器被配置为：确定所述第一图像上的第一点与所述第二图像的多个候选第二点中的每个候选第二点之间的匹配成本，以识别所述对应第二点。62.根据权利要求61所述的设备，其中所述一个或多个处理器被配置为：确定所述第一图像上的第一点与所述第二图像的线上的多个候选第二点中的每个候选第二点之间的匹配成本，以识别所述对应第二点。63.根据权利要求61或权利要求62所述的设备，其中所述一个或多个处理器被配置为：基于针对所述块配置中的每个块配置的个体匹配成本来确定所述匹配成本。64.根据权利要求63所述的设备，其中所述一个或多个处理器被配置为：通过选择所述个体匹配成本之一来确定所述匹配成本。65.根据权利要求63所述的设备，其中所述一个或多个处理...

【专利技术属性】
技术研发人员：杨康，高明明，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44