用于将3D场景重构为3D模型的方法技术

一种方法通过首先用传感器获取多个红、绿、蓝以及深度(RGBD)图像并从不同视点用摄像头获取多个宽视场(FOV)红、绿以及蓝(RGB)图像来将三维(3D)场景重构为三维(3D)模型。在RGBD图像和RGB图像中识别成对点匹配，并且使用成对点匹配构建节点和边的图。使用与边关联的姿态约束估计RGBD图像和RGB图像的初始姿态，并且使用所估计的姿态估计场景的初始3D模型。然后，去除图中的错误边，并且对初始姿态和初始3D模型应用光束平差以获得场景的精细化姿态和3D模型。

A method for reconstructing a 3D scene into a 3D model

One method is to acquire multiple red, green, blue and deep (RGBD) images with sensors, and get multiple FOV (wide field of view) (red), green and blue (RGB) images from different viewpoints to reconstruct the three-dimensional (3D) scene into three dimensional (3D) models. The pair point matching is identified in the RGBD image and the RGB image, and the pair point matching is used to build the graph of the nodes and edges. The attitude constraints associated with the side are used to estimate the initial attitude of the RGBD image and the RGB image, and the initial 3D model of the scene is estimated using the estimated attitude. Then, the error edges of the graph are removed, and the initial attitude and the initial 3D model are used to adjust the beam to obtain the fine posture of the scene and the 3D model.

【技术实现步骤摘要】
【国外来华专利技术】用于将3D场景重构为3D模型的方法
本专利技术总体涉及计算机视觉和图像处理，更具体地，涉及从由3D传感器和全向摄像头获取的图像重构3D场景。
技术介绍
存在许多使用红、绿、以及蓝(RGB)图像和传统的结构来自运动过程来重构3D场景的3D重构方法。通常，基于RGB图像的3D重构技术在处理无定形区域(例如，墙壁和天花板)有困难。对于重构无定形区域，可以使用主动传感器。例如，用于Microsoft(微软)XboxTM的KinectTM传感器使用红外(IR)图案来获取3D数据为深度图(点云)。KinectTM传感器还装配有用于捕捉RGB图像的2D摄像头。深度图可以配准到RGB图像，以生成红、绿、蓝以及深度(RGBD)图像。通常，像KinectTM的3D传感器可以用于重构大场景，参见例如Izadi等人的“KinectFusion:Real-time3DReconstructionandInteractionUsingaMovingDepthCamera,”ACMSymposiumonUserInterfaceSoftwareandTechnology，2011年10月。然而，这种传感器的视场(FOV)有时会导致若干挑战，特别是对于可能不存在获得良好配准的充足特征对应的具有角落部和弯曲部的场景而言。一些方法使用已重构的基于RGB图像的模型来估计RGB摄像头的姿态，如在Snavely等人的“PhotoTourism:ExploringPhotoCollectionsin3D,”ACMTransactionsonGraphics,2006年”中。
技术实现思路
本专利技术的实施方式提供了一种用于使用由3D传感器和全向摄像头获取的图像来将场景重构为3D模型的方法。该3D传感器可以为KinectTM传感器，并且该全向摄像头可以为宽视场(FOV)摄像头。该摄像头获取RGB图像，并且该3D传感器获取RGBD图像。两种类型的图像一起用于构建场景的3D模型。本专利技术基于以下认识：在使用不同传感器形式来3D重构，并且特别是使用宽FOVRGB图像解决RGBD图像的配准时，可以进行更好的重构。例如，如果难以匹配两个RGBD图像A和B，那么使用中间宽FOVRGB图像C可以获得配准。这样，可以分别获得A与C之间以及B与C之间的匹配，然后使用C来获得图像A与B之间的配准。另一个认识基于使用姿态图中的次要特征来对不同图像对之间的关系建模。姿态估计和配准确定各个图像的姿态，然后使用约束来识别不正确的关系。在进行光束平差(bundleadjustment)以获得场景的完整3D模型之前，识别图像之间的这种不正确关系。附图说明[图1]图1是用于使用由3D传感器和全向摄像头获取的图像来将场景重构为3D模型的方法的流程图。[图2]图2是根据本专利技术的实施方式的图(graph)的示意图，其中，节点是图像，并且边(edge)表示基于图像匹配的在图像之间的姿态约束。[图3]图3是根据本专利技术的实施方式的图的最小生成树的示意图，其中，图像是节点，并且边是去除错误边的姿态约束。[图4]图4是根据本专利技术的实施方式的使用窄视场(FOV)RGBD图像和宽FOVRGB图像的3D重构的示意图。具体实施方式图1示出了根据本专利技术的实施方式的、用于使用由3D传感器和全向摄像头获取的图像来将场景100重构为三维(3D)模型的方法。我们使用3D传感器，诸如KinectTM，来获取场景100的多个窄视场(FOV)红、绿、蓝以及深度(RGBD)图像101。全向摄像头获取场景100的宽FOVRGB图像102。我们使用传统特征检测器，例如，加速鲁棒特征(SURF)，来从所有图像检测103关键点，并且从各图像提取描述符。然后，我们进行图像至图像特征匹配，以识别104具有充足数量点匹配的图像对。图像匹配还可以使用诸如聚合局部描述符的向量(VLAD)的方法来进行。接着，我们构建105图，在图中，节点表示图像且边表示图像之间的姿态约束。我们使用2D至3D姿态估计、2D至2D相对姿态估计以及3D至3D配准来确定106图像的姿态。我们使用如由图中的边表示的、对姿态的约束来去除107图中的错误边。然后，我们执行108光束平差，以获得3D模型110。方法的步骤如领域中已知的可以在由总线连接到存储器和输入/输出接口的处理器50中执行。本质上，本专利技术将场景的图像变换成场景的3D模型。图2示出了表示图像对之间的匹配的图。图像由节点(圆形或正方形)来表示，并且各边表示图像之间的姿态约束。如上所述，我们使用宽FOVRGB图像201和窄FOVRGBD图像202。我们在以下三个不同场景中获得两个图像之间的图像匹配，例如：1.由边203连接的两个图像都是宽FOVRGB图像。2.由边204连接的两个图像都是窄FOVRGBD图像。3.由边205连接的图像中的一个图像是宽FOVRGB图像，并且另一个图像是窄FOVRGBD图像。我们仅在两个图像共享最小数量的关键点匹配时认为两个图像匹配。在两个图像共享充足数量的点对应时，那么存在由连接两个图像的边表示的在两个图像之间的姿态约束。如图2所示，各宽FOVRGBD图像与多个窄FOVRGB图像匹配。这使得宽FOVRGB图像能够充当配准许多窄FOVRGB图像时的桥梁。图3示出了基于所估计的姿态使用约束去除图中的错误边。为了做到这一点，我们使用以下策略。我们考虑图3所示的图。正方形表示宽FOVRGB图像301，并且圆形表示窄FOVRGBD图像302。对于图3中的图中的各边，我们赋予等于来自在边上附带的两个图像节点的关键点匹配的数量的否定的权重。基于这些边权重，我们确定最小生成树。我们通过实线303示出最小生成树中的边，并且用虚线304示出剩余的边。我们使用来自最小生成树的边(表示姿态约束)确定所有图像的初始姿态。依赖于每一条边上附带的图像的性质，我们使用不同的姿态估计过程。例如，我们可以使用3点3D至3D配准过程来确定两个RGBD图像之间的相对姿态。假定两个RGB图像之间的匹配，我们可以使用5点2D至2D相对姿态估计过程来确定相对姿态。RGB与RGBD图像之间的相对姿态可以使用2D至3D估计过程来获得。RGBD模型与RGB图像之间的该2D至3D姿态估计还在Taguchi等人提交的美国第14/330357号专利申请中描述。我们随机分配RGBD图像或RGB图像作为最小生成树中的根节点。在不损失一般性的情况下，使RGB图像301为根。我们固定根节点的坐标系作为世界坐标系。从根节点起使用广度优先遍历，我们基于边来确定各图像的姿态。在遍历各边时，已知一个节点中的图像的姿态，并且通过使用被分配到边的相对姿态来估计另一个节点的姿态。在我们获得所有图像的姿态之后，我们使用由生成树边提供的姿态约束来进行光束平差以产生3D模型110。光束平差同时精细化描述场景的3D坐标以及图像的姿态的参数，以获得图像的精细化姿态(refinedpose)。我们逐渐增加非生成树边，以提供环形闭合约束，并且进行随后光束平差以精细化3D模型。在逐渐增加期间，如果基于在姿态空间中的选择的距离度量，边产生距已精细化的姿态遥远的摄像头姿态，那么我们把该边看作是错误边，并且不将该边用于光束平差。图4示出了使用宽FOVRGB图像402和两个窄FOV本文档来自技高网...

【技术保护点】
一种用于将三维3D场景重构为三维3D模型的方法，该方法包括以下步骤：用传感器获取所述场景的多个红、绿、蓝以及深度RGBD图像，并且从不同视点用摄像头获取所述场景的多个宽视场FOV红、绿以及蓝RGB图像；在所述RGBD图像和所述RGB图像中识别成对点匹配；使用所述成对点匹配构建节点和边的图，其中，所述节点表示所述RGBD图像和所述RGB图像，并且所述边表示所述RGBD图像与所述RGB图像之间的姿态约束；使用所述姿态约束估计所述RGBD图像和所述RGB图像的初始姿态；使用所估计的姿态估计所述场景的初始3D模型；去除所述图中的错误边；以及对所述初始姿态和所述初始3D模型应用光束平差，以获得所述场景的精细化姿态和所述3D模型，其中，这些步骤在处理器中执行。

【技术特征摘要】
【国外来华专利技术】2015.06.17 US 14/741,5321.一种用于将三维3D场景重构为三维3D模型的方法，该方法包括以下步骤：用传感器获取所述场景的多个红、绿、蓝以及深度RGBD图像，并且从不同视点用摄像头获取所述场景的多个宽视场FOV红、绿以及蓝RGB图像；在所述RGBD图像和所述RGB图像中识别成对点匹配；使用所述成对点匹配构建节点和边的图，其中，所述节点表示所述RGBD图像和所述RGB图像，并且所述边表示所述RGBD图像与所述RGB图像之间的姿态约束；使用所述姿态约束估计所述RGBD图像和所述RGB图像的初始姿态；使用所估计的姿态估计所述场景的初始3D模型；去除所述图中的错误边；以及对所述初始姿态和所述初始3D模型应用光束平差，以获得所述场景的精细化姿态和所述3D模型，其中，这些步骤在处理器中执行。2.根据权利要求1所述的方法，所述方法还包括以下步骤：识别两个图像之间的匹配，其中，各图像能够是RGBD图像或RGB图像。3.根据权利要求1所述的方法，其中，使用加速鲁棒特征SURF确定所述成对点匹配。4.根据权利要求1所述的方法，其中，所述识别使用聚合局部描述符的向量VLAD。5...

【专利技术属性】
技术研发人员：S·拉姆阿里加姆，田口裕一，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP