为图像处理进行点云配准的方法和系统技术方案

本发明专利技术提供了点云配准的方法和系统。该方法的特征在于包括：从一个或多个相机获得同一场景的多个图像的图像数据，多个图像包括各自分别与第一点云和第二点云相关联的第一图像和第二图像，第一点云和第二点云二者分别形成该场景；生成各自分别包围来自相应的第一点云和第二点云的点并在第一点云和第二点云中具有位置和尺寸的三维的第一重叠区域和第二重叠区域；迭代地修改第一重叠区域和第二重叠区域的位置或尺寸或这两者，以生成每次迭代的到目前为止最佳的第一重叠区域和第二重叠区域，直至满足收敛标准为止；并且至少部分地基于最佳的重叠区域来建立变换，并且变换包括旋转部分、平移部分或这两者，以在第一点云和第二点云之间转换点位置。

【技术实现步骤摘要】
【国外来华专利技术】为图像处理进行点云配准的方法和系统
技术介绍
可提供相机阵列(例如可以设置在平板设备或智能手机上)以从不同角度捕获同一场景的多个图像。通过移动单个相机以从不同角度捕获同一场景的图像，可以实现相同的效果。然后，这些图像可用于生成深度图，进而生成3D几何或语义模型，以便在场景的3D空间中准确地定位对象。这样做是为了能够测量场景中的对象、或场景中的各个对象之间(或从相机到对象)的距离，以在期望知晓场景中对象的大小、位置、或身份时进行计算机视觉、人工智能、对象辨识、头戴式3D显示(HMD)或视点显示(pointofviewdisplays)等。许多这样的常规系统为每个图像生成点云，然后匹配来自从不同角度看的场景的不同图像的点。一旦将这些点进行了匹配，就可以使用三角测量或其他算法来测量从相机到这些点的深度以及进行其他测量。这通常使用迭代最近点(ICP)方法来执行。但是，这些方法对于下述系统而言通常是不准确的：系统沿着从移动的相机生成的帧序列进行图像比较。当从一个相机位置到下一相机位置的移动跨度太大时，系统无法准确确定正确的对应点对，从而导致高错误率。此外，这样的系统太慢，因为每次迭代通常都包括针对进行配准的点云中所有点的计算，这可能会导致用户查看图像时出现停顿，或者在基于场景中的3D对象的位置和/或身份来执行自动操作时出现延迟。附图说明在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：图1A和图1B是场景的一对图片，该场景具有由点云形成的、并由移动的相机拍摄的对象；图2是根据本文公开的至少一种实现方式的点云配准(pointcloudregistration)方法的流程图；图3是根据本文公开的至少一种实现方式的为图像处理进行点云配准的方法的流程图；图4是根据本文公开的至少一种实现方式的主轴提取方法的流程图；图5A-图5G是根据本文公开的至少一种实现方式的为图像处理进行点云配准的方法的详细流程图；图5H是根据本文公开的至少一种实现方式的用于解释立方体重叠区域上的主轴替代选择的示意图；图6是使用常规方法的点云匹配得到的重建场景的图像；图7是使用常规方法的点云匹配得到的重建场景的图像；图8是使用常规方法的点云匹配得到的重建场景的图像；图9是使用常规方法的点云匹配得到的重建场景的图像；图10是使用常规方法的点云匹配得到的重建场景的图像；图11是根据本文公开的实现方式中的至少一者的使用为图像处理进行的点云配准的方法得到的重建场景的图像；图12是示例系统的示意图；图13是另一示例系统的示意图；并且图14示出了全部根据本公开的至少一些实现方式布置的另一示例设备。具体实施方式现在参考附图描述一个或多个实现方式。虽然论述了具体配置和布置，但应当理解这么执行只是为了说明性目的。相关领域的技术人员将认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和布置。相关领域的技术人员将会清楚，本文描述的技术和/或布置也可用在与本文所述不同的多种其他系统和应用中。虽然接下来的描述阐述了可在诸如片上系统(SoC)架构之类的架构中显现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定的架构和/或计算系统，而是可由任何架构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种架构和/或诸如成像设备、数码相机、智能电话、网络摄像头、视频游戏面板或游戏机、机顶盒、具有单个或多个相机的平板设备、可穿戴设备(例如HMD)、机器人之类的各种计算设备和/或消费电子(CE)设备可实现本文描述的技术和/或布置。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但要求保护的主题可在没有这种具体细节的情况下实现。在其他情况中，为了避免模糊本文公开的素材，可能没有详细示出一些素材，例如控制结构和完整软件指令序列。本文公开的素材可以用硬件、固件、软件或者其任何组合来实现。本文公开的素材也可实现为存储在机器可读介质或存储器上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如，机器可读介质可包括只读存储器(ROM)；随机访问存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或者其他形式的传播信号(例如，载波、红外信号、数字信号等等)，以及其他。在另一形式中，诸如非暂态计算机可读介质之类的非暂态制品可以与上述任何示例或其他示例一起使用，除了其不包括暂态信号本身之外。它确实包括除信号本身以外的那些元件，例如RAM等，它们可以以“暂态”方式临时保存数据。说明书中提及“一个实现方式”、“一实现方式”、“一示例实现方式”等等指示的是描述的实现方式可包括特定的特征、结构或特性，但可能不一定每个实现方式都包括该特定特征、结构或特性。另外，这种短语不一定指同一实现方式。另外，当联系一实现方式来描述特定的特征、结构或特性时，认为联系其他实现方式(无论本文是否明确描述)来实现这种特征、结构或特性是在本领域技术人员的知识范围内的。提供了为图像处理进行点云配准的系统、制品、和方法。如上文所述，点云配准可用于匹配来自相机阵列中的多个相机或来自围绕正拍摄的场景移动的单个相机的多个捕获图像中的对象上的相同点。点云配准然后可以例如用于进行校正。执行校正以将来自多个相机以及由此来自多个角度的图像(或来自单个相机的多个图像)变换到共同平面中以简化特征匹配过程。其结果是现在能够从相同的视角或角度观看多个图像中的每个图像，从而可以将图像放置在同一共同平面中，使得图像中的点更容易通过平行匹配线来匹配。无论根据所使用的应用是否进行校正，所捕获的图像随后都可以用于3D重建以形成3D深度图、模型或其他3D空间，或用于其他特定的3D重建算法，例如，同时定位和绘图(SLAM)，此处仅列举一个示例。所捕获的图像还可以用于进行对象辨识，以识别、辨识、和/或测量3D空间中的对象等等，以及用于许多不同的应用，例如，人工智能(AI)、机器人和计算机视觉(例如自主车辆和住宅服务机器人)、以及视点(POV)系统(例如具有虚拟、增强和混合现实HMD)等等，此处仅列举几个示例。点云配准的任务是通过最小化两个点云之间的对准错误来计算变换矩阵。迭代最近点(ICP)是点云配准中最流行的技术，请参阅P.J.Besl等人的“Amethodforregistrationof3-Dshapes(用于3-D形状配准的方法)”，IEEETrans.PatternAnal.Mach.Intell(《IEEE模式分析与机器智能学报》)，第14卷，2号，第239-25页(1992年2月)。该常规方法迭代地执本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n从一个或多个相机获得同一场景的多个图像的图像数据，所述多个图像包括第一图像和第二图像，所述第一图像和所述第二图像各自分别与第一点云和第二点云相关联，所述第一点云和所述第二点云二者分别形成该场景；/n生成三维的第一重叠区域和第二重叠区域，所述第一重叠区域和所述第二重叠区域各自分别包围来自相应的所述第一点云和所述第二点云的点，并在相应的所述第一点云和所述第二点云中具有位置和尺寸；/n迭代地修改所述第一重叠区域和所述第二重叠区域的位置或尺寸或这两者，以生成每次迭代的、到目前为止最佳的第一重叠区域和第二重叠区域，直至满足收敛标准为止；并且/n至少部分地基于最佳的重叠区域来建立变换，并且所述变换包括旋转部分、平移部分或这两者，以在所述第一点云和所述第二点云之间转换点位置。/n

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：
从一个或多个相机获得同一场景的多个图像的图像数据，所述多个图像包括第一图像和第二图像，所述第一图像和所述第二图像各自分别与第一点云和第二点云相关联，所述第一点云和所述第二点云二者分别形成该场景；
生成三维的第一重叠区域和第二重叠区域，所述第一重叠区域和所述第二重叠区域各自分别包围来自相应的所述第一点云和所述第二点云的点，并在相应的所述第一点云和所述第二点云中具有位置和尺寸；
迭代地修改所述第一重叠区域和所述第二重叠区域的位置或尺寸或这两者，以生成每次迭代的、到目前为止最佳的第一重叠区域和第二重叠区域，直至满足收敛标准为止；并且
至少部分地基于最佳的重叠区域来建立变换，并且所述变换包括旋转部分、平移部分或这两者，以在所述第一点云和所述第二点云之间转换点位置。


2.根据权利要求1所述的方法，包括：根据最佳的重叠区域的位置或尺寸或这两者在一次迭代与另一迭代之间的差异是否满足收敛标准，来确定收敛存在。


3.根据权利要求1所述的方法，包括：
形成一组候选主轴对，包括：确定通过使用所述第一点云形成的至少一个主轴，所述至少一个主轴将与通过使用所述第二点云形成的主轴配对；
生成一组重叠区域样本，该组重叠区域样本相对于初始第一重叠区域和初始第二重叠区域在位置或尺寸或这两者上发生变化，所述初始第一重叠区域和初始第二重叠区域相对于个体迭代而言是初始的；
迭代地将该组候选主轴对中最佳的主轴对与个体重叠区域样本进行匹配；并且
在每次迭代中，根据(1)所述第一点云和所述第二点云中的一者的重叠区域样本与(2)所述第一点云和所述第二点云中的另一者的重叠区域样本之间的点分布差异，来在所有重叠区域样本当中选择最佳的重叠区域样本和所匹配的最佳主轴对。


4.根据权利要求1所述的方法，包括：将所述第一点云的主轴与所述第二点云各自的主轴进行配对。


5.根据权利要求4所述的方法，包括：使用曼哈顿世界假设来检测用于形成所述主轴的平面。


6.根据权利要求5所述的方法，包括：根据分别是检测到的垂直平面的法线的两条法线形成主轴，并使用所述两条法线来计算第三轴，来形成三个针对每个主轴的轴。


7.根据权利要求4所述的方法，包括：对于被考虑进行配对的所述主轴，通过比较沿着每个轴的颜色或亮度图像数据直方图，来执行所述配对。


8.根据权利要求1所述的方法，其中，每次迭代具有第一级和第二级，
在所述第一级期间，所述方法包括：确定多个第一级重叠区域样本作为所述第一重叠区域的变化，并且确定多个第二重叠区域变化，所述第二重叠区域变化中的每一者均保持有所述第二重叠区域的中心点，以将所述第二重叠区域变化与个体第一级重叠区域样本进行比较，来确定最佳的第一重叠区域，并且
在所述第二级期间，所述方法包括：确定多个第二级重叠区域样本作为所述第二重叠区域的变化，并将所述第二级重叠区域样本与所述最佳的第一重叠区域进行比较，来确定最佳的第二重叠区域。


9.根据权利要求8所述的方法，其中，所述第一级重叠区域样本的变化是相对于所述第一重叠区域在中心点和边缘尺寸两者上的变化，并且所述第二级重叠区域样本的变化是相对于所述第二重叠区域在中心点上的变化，但所使用的边缘尺寸与来自所述第一级的所述最佳的第一重叠区域相同。


10.根据权利要求1所述的方法，包括：在每次迭代中，确定与所述第一重叠区域相对应的单一最佳重叠区域和与所述第二重叠区域相对应的单一最佳重叠区域；并通过下述方式来在下一次迭代中将这两个单一最佳重叠区域用作初始第一重叠区域和初始第二重叠区域：在所述下一次迭代中，在所述第一点云和所述第二点云中使用所述最佳重叠区域的位置和尺寸，而无需在各次迭代之间保持其他加权数据。


11.根据权利要求1所述的方法，包括：在给定所述第一点云和所述第二点云的观测值的情况下，估计所述变换的旋转部分和平移部分的概率以及所述第一点云和所述第二点云的最佳第一重叠区域和最佳第二重叠区域，其中，所述估计包括：确定条件概率和后验概率；并且
迭代地将该组候选主轴对中的最佳主轴对与个体重叠区域样本进行匹配将被执行来表示所述条件概率，并且
在每次迭代中选择最佳的重叠区域样本和所匹配的最佳主轴对将被执行来表示所述后验概率。


12.一种为图像处理进行点云配准的计算机实现的系统，包括：
显示器；
通信地耦合到所述显示器的至少一个处理器；
通信耦合到所述至少一个处理器的至少一个存储器；以及
3D单元，所述3D单元由所述处理器通过以下步骤进行操作：
从一个或多个相机获得同一场景的多个图像的图像数据，所述多个图像包括第一图像和第二图像，所述第一图像和所述第二图像各自分别与第一点云和第二点云相关联，所述第一点云和所述第二点云二者分别形成该场景；
生成三维的第一重叠区域和第二重叠区域，所述第一重叠区域和所述第二重叠区域各自分别...

【专利技术属性】
技术研发人员：张益民，任海兵，胡炜，郭萍，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US