使用边缘的三维模型生成制造技术

一种使用边缘的三维模型生成可包括：使用处理器来检测多个图像中的多个边缘；以及使用处理器来确定多个边缘中跨多个图像匹配的一组边缘。可使用处理器利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。

【技术实现步骤摘要】
【国外来华专利技术】使用边缘的三维模型生成
本公开涉及使用边缘的三维模型生成。
技术介绍
可由场景的多个二维(2D)图像来重建三维(3D)模型。可由一个或多个相机使用各种相机姿势来拍摄2D图像。常规3D模型生成技术依赖于特征点识别。通常，处理2D图像以识别跨多个2D图像被匹配的特征点。可在三个维度中将特征点三角形化。然后，可将特征点的实际位置与从三维返回到二维的经重投影的特征点之间的重投影误差连同相机姿势误差两者最小化。许多2D图像包括弱纹理区域。弱纹理区域可出现在室外场景的2D图像中，并且常常在室内场景的2D图像中发现。弱纹理区域大体指2D图像中像素相同或高度类似的区域。从一个像素到下一个像素的偏差是最小的或是不存在的。2D图像内的弱纹理区域通常表示没有细节的光滑表面。弱纹理区域的示例可包括但不限于墙壁、工作台面等等，其中包括颜色相对恒定的弱纹理区域示例。
技术实现思路
技术问题当处理纹理丰富的2D图像时，常规3D模型生成技术往往表现相对良好。然而，在2D图像包括弱纹理区域的情况下，常规3D模型生成技术往往表现不理想。常规技术常常需要大量2D图像来作为输入，以确定对于重建哪怕很小的区域来说足够的特征点。由于弱纹理区域具有很少或不具有特征点，所以涉及弱纹理区域的常规3D模型生成技术常常是有缺陷的。此外，对相机姿势的估计往往不准确。问题的解决方案一种方法可包括：使用处理器来检测多个图像中的多个边缘；以及使用处理器来确定多个边缘中跨多个图像匹配的一组边缘。该方法还可包括：使用处理器，利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。一种系统包括处理器，处理器经编程以发起可执行操作。可执行操作可包括：检测多个图像中的多个边缘；以及确定多个边缘中跨多个图像匹配的一组边缘。可执行操作还可包括：使用依赖于该组边缘的成本函数来估计多个图像的相机姿势。一种计算机程序产品包括上面存储有程序代码的计算机可读存储媒体。程序代码可由处理器来运行以执行一种方法。所述方法可包括：使用处理器来检测多个图像中的多个边缘；以及使用处理器来确定多个边缘中跨多个图像匹配的一组边缘。所述方法还可包括：使用处理器，利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。提供此技术解决方案部分仅仅是为了引入某些概念，而不是为了识别所要求的主题的任何关键或重要特征。本专利技术的许多其他特征和实施方案将自附图和以下详细描述显而易见。本专利技术的有利效应利用如本文中所描述的基于边缘的处理，可在3D模型中以比使用其他常规技术的情况更大的准确度来渲染弱纹理区域。由于弱纹理区域中的特点是缺乏特征点，所以只依赖于特征点的常规技术常常不适合渲染弱纹理区域。弱纹理区域常常在重建的3D模型中呈现为不完整。附图说明附图示出一个或多个实施方案；然而，附图不应理解为将本专利技术仅限制到所示的实施方案。各种方面和优点将在审阅以下详细描述和参考附图后即刻变得显而易见。图1是示出例示性数据处理系统的框图。图2是示出三维(3D)模型生成的例示性方法的流程图。图3是示出生成平面的例示性方法的流程图。图4是示出确定轴的例示性方法的流程图。图5a、图5b、图5c和图5d是室内场景的不同图像。图6是图5的场景的密集点云的透视图。图7是图6的密集点云的俯视平面图。图8是图6的密集点云的另一个俯视平面图，其示出生成的平面。图9是在移除假平面之后图6的密集点云的另一个俯视平面图。具体实施方式尽管本公开以定义新颖特征的权利要求结束，但据信将从对结合附图的描述的考虑来更好地理解本文中所描述的各种特征。出于示出的目的提供了本公开内所描述的过程、机器、制造及其任何变体。所描述的任何特定结构和功能细节将不解释为限制性的，而是仅仅解释为权利要求书的基础和教导本领域技术人员以各种方式采用在几乎任何经适当详述的结构中描述的特征的代表性基础。此外，本公开内所使用的术语和短语并非旨在为限制性的，而是提供对所描述的特征的可理解描述。本公开涉及使用边缘的三维(3D)模型生成。根据本公开内所描述的专利技术性布置，可处理二维(2D)图像以识别其中所包含的边缘。可处理边缘以在2D图像的不同图像中来识别相同的边缘。可使用成本函数来估计相机姿势，所述成本函数至少部分地取决于边缘。使用所估计的相机姿势，可生成3D模型。例如，3D模型可以是3D房间场景。可使用3D点、三角形网格、3D体素等等来生成3D模型。在一个方面，生成3D模型可包括一个或多个附加操作，诸如确定轴、基于边缘来确定平面、移除假平面和在3D空间中渲染平面。所述平面可表示弱纹理区域。利用如本文中所描述的基于边缘的处理，可在3D模型中以比使用其他常规技术的情况更大的准确度来渲染弱纹理区域。由于弱纹理区域的特点是缺乏特征点，所以只依赖于特征点的常规技术常常不适合渲染弱纹理区域。弱纹理区域常常在重建的3D模型中呈现为不完整。例如，如3D模型内表示的弱纹理区域(诸如，墙壁)可呈现为具有许多孔、间隙，或呈现为部分地形成。此外，使用特征点所估计的相机姿势常常不准确，从而导致3D模型生成不准确。尽管本文中所公开的实施方案是针对边缘的使用，但应了解，可结合基于边缘的技术来利用特征点。例如，可出于估计相机姿势、生成平面等等的目的来使用特征点与边缘两者。可将本文中所描述的专利技术性布置实施为由数据处理系统执行的方法或过程。在另一个方面，可将专利技术性布置实施为设备，诸如具有处理器的数据处理系统。处理器可在执行程序代码后即刻执行本文中所描述的一个或多个操作。在又一个方面，可将专利技术性布置实施为存储程序代码的非暂时性计算机可读存储媒体，所述程序代码在执行时致使处理器和/或系统执行和/或发起方法或过程。为了实现描述的简单性和清晰性，诸图中所示的元件并非一定按比例绘制。例如，出于清晰性，可相对于其他元件将一些元件的尺寸夸大。此外，在认为合适之处，在诸图当中重复参考数字以指示对应、类似等等的特征。图1是示出例示性数据处理系统(系统)100的框图。如所描绘，系统100包括至少一个处理器(例如，中央处理单元(CPU))105，所述处理器通过系统总线115或其他合适的电路联接到存储器元件110。系统100将程序代码存储在存储器元件110内。处理器105执行经由系统总线115从存储器元件110存取的程序代码。存储器元件110包括一个或多个物理存储器装置，诸如本地存储器120及一个或多个大容量存储装置125。本地存储器120指随机存取存储器(RAM)或通常在实际执行程序代码期间使用的其他非永久性存储器装置。可将大容量存储装置125实施为硬盘驱动器(HDD)、固态驱动器(SSD)或其它永久性数据存储装置。系统100还可包括一个或多个高速缓冲存储器(未示出)，所述高速缓冲存储器提供对至少某个程序代码的临时存储以便减少在执行期间必须从大容量存储装置125检索程序代码的次数。可选地，输入/输出(I/O)装置(诸如，键盘130、显示装置135和指示装置140)可联接到系统100。在一些情况下，可将I/O装置中的一个或多个相组合(如在将触摸屏用作显示装置135的情况下)。在所述情况下，显示装置135也可实施键盘130和指示装置140。I/O装置可直接地或者通过介入的I/O控制器联接到架构100。一个或多个网络适配器145也可联接到系统100，以使得架本文档来自技高网...

【技术保护点】
一种方法，包括：使用处理器来检测多个图像中的多个边缘；使用所述处理器来确定所述多个边缘中跨所述多个图像匹配的一组边缘；以及使用所述处理器，利用依赖于所述一组边缘的成本函数来估计所述多个图像的相机姿势。

【技术特征摘要】
【国外来华专利技术】2014.10.03 US 62/059,662;2015.05.29 US 14/725,9381.一种方法，包括：使用处理器来检测多个图像中的多个边缘；使用所述处理器来确定所述多个边缘中跨所述多个图像匹配的一组边缘；以及使用所述处理器，利用依赖于所述一组边缘的成本函数来估计所述多个图像的相机姿势。2.根据权利要求1所述的方法，进一步包括：根据所述相机姿势和所述一组边缘来生成用于3D模型的平面。3.根据权利要求2所述的方法，其中生成平面包括：根据所述一组边缘来确定三个正交轴。4.根据权利要求3所述的方法，其中确定三个正交轴进一步包括：根据定向将所述一组边缘中的边缘分组到多个存储桶中；将第一轴确定为包括最大数目边缘的存储桶；将第二轴确定为包括第二大数目边缘的存储桶；以及将第三轴确定为所述第一轴与所述第二轴的交叉积。5.根据权利要求4所述的方法，进一步包括：将所述第二轴调整为与所述第一轴正交。6.根据权利要求3所述的方法，进一步包括：针对所述一组边缘中的边缘来确定平面；从所确定的平面中识别假平面；以及移除所述假平面。7.根据权利要求6所述的方法，进一步包括：渲染所述平面。8.一种系统，包括：处理器，经编程以发起可执行操作，所述可执行操作包括：检测多个图像中的多个边缘；确定所述多个边缘中跨所述多个图像匹配的一组边缘；以及利用依赖于所述一组边缘的成本函数来估计所述多个图像的相机姿势。9.根据权利要8所述的系统，其中所述处理器进一步经编程以发起可执行操作，所述可执行操作包括：根据所述相机姿势和所述一组边缘来生成用于3D模型的平面。10.根据权利要求9所述的系统，其中生成平面包括：根据所述一组边缘来确定三个正交轴。11.根据权利要求10所述的系统，其中确定三个正交轴包括：根据定向将所述一组边缘中的边缘分组到多个存储...

【专利技术属性】
技术研发人员：罗伯特·李，塔斯尼姆·布鲁赤，萨基特·帕特卡，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR