用于创建虚拟3D模型的方法和系统技术方案

本发明专利技术提供了一种用于创建体素占用模型的方法。体素占用模型表示可以使用三维体素阵列描述的空间区域。空间区域包含对象的至少一部分。该方法包括接收第一图像数据，第一图像数据表示对象的至少一部分的第一视图并且包括第一图像方位数据，以及接收第二图像数据，第二图像数据表示对象的至少一部分的第二视图并且包括第二图像方位数据。该方法还包括确定第一描述符，第一描述符描述在第一图像数据中体素阵列的第一体素的投影的属性，以及确定第二描述符，第二描述符描述在第二图像数据中第一体素的投影的属性。该方法还包括基于第一描述符和第二描述符向第一体素分配占用值，占用值表示第一体素是否被对象的至少一部分占用。

Method and System for Creating Virtual 3D Models

【技术实现步骤摘要】
【国外来华专利技术】用于创建虚拟3D模型的方法和系统本公开涉及计算机视觉领域，并且特别地涉及一种用于创建对象的虚拟3D模型的方法和系统。
技术介绍
根据一系列2D图像观察理解世界的3D结构，并且特别是根据2D图像序列产生3D重建，是计算机视觉领域中的重要任务。根据图像数据创建虚拟3D模型在许多领域中具有应用，所述领域诸如但不限于机器人技术、自动驾驶汽车和增强现实。增强现实涉及将虚拟对象投影到我们周围的物理(真实)世界。可以根据真实对象创建虚拟对象，使得它们可以投影到这些空间中。其次，对于机器人技术、自动驾驶汽车和增强现实等，能够知道设备(电话、无人机、汽车)在世界上的位置可能是重要的，而环境的3D模型可能很有帮助。现有方法趋向于分为两类中的一类：几何方法和深度学习方法。正如R.Hartley和A.Zisserman在剑桥大学出版社(Cambridgeuniversitypress)，2003年出版的“Multipleviewgeometryincomputervision”一书中所讨论的那样，现有的几何方法基于多视图几何原理。假设在位置T1、T2、...TN∈SE3处取得两个或更多图像I1、I2、…IN并且这些图像之间的像素对应，可以对图像像素的3D位置进行三角测量。为了确定这些对应关系，可以提取像素周围的图像块(片)并沿着极线执行穷举搜索，找到不同图像中类似块的位置。如果对每个像素进行此操作，则可以产生2.5D深度图像，其包含关于每个像素的深度信息，例如，相应图像中每个像素到相机的距离。要计算完整的3D模型，必须将几个2.5D深度图像并置在一起，或者替代地将它们融合到单个体积模型中。在后一种方法的情况下，将3D空间分割成体素网格，并且通过以下规则计算每个体素的内容：如果在某个点处在比对应像素深度更近的距离观察到体素，被认为是自由空间的一部分。否则，它可以被认为是被占用的。然而，这种类型的系统受到错误的像素对应，这导致不正确的深度计算。而且，以上述方式将深度图像融合到单个体积模型中是耗时的，并且消耗计算机资源。第二种已知方法是使用所谓的“深度学习”，例如如以下所讨论的：C.B.Choy，D.Xu，J.Gwak，K.Chen和S.Savarese的文章“3D-R2N2:Aunifiedapproachforsingleandmulti-view3Dobjectreconstruction”arXivpreprintarXiv:1604.00449,2016以及D.J.Rezende，S.Eslami，S.Mohamed，P.Battaglia，M.Jaderberg和N.Heess的文章“Unsupervisedlearningof3Sstructurefromimages”arXivpreprintarXiv:1607.00662,2016。在这种方法中，深度生成的模型直接以输入图像为条件。该方法的基本原理是，首先，将各个2D输入图像压缩成总结图像的内容的1D特征向量。这些1D特征向量随后作为输入传递给长短期记忆(longshort-termmemory，LSTM)网络，长短期记忆网络的输出用于生成模型。这种方法适用于“成像”已知对象的缺失部分，但在建模新的未知的观察对象时往往会导致一般化问题。因此，需要一种资源密集性更低、耗时更少并且能够提供未知的观察对象的更好模型的方法。本公开描述了这种方法。
技术实现思路
在独立权利要求中阐述了一种方法和系统。在从属权利要求中阐述了可选特征。根据一方面，提供了一种用于创建体素占用模型的方法。体素占用模型表示可以使用三维体素阵列描述的空间区域。空间区域包含对象的至少一部分。该方法包括接收第一图像数据，第一图像数据表示对象的至少一部分的第一视图并且包括第一图像方位数据，以及接收第二图像数据，第二图像数据表示对象的至少一部分的第二视图并且包括第二图像方位数据。该方法还包括确定第一描述符，第一描述符描述在第一图像数据中体素阵列的第一体素的投影的属性，以及确定第二描述符，第二描述符描述在第二图像数据中第一体素的投影的属性。该方法还包括基于第一描述符和第二描述符向第一体素分配占用值，占用值表示第一体素是否被对象的至少一部分占用。在一些实施方式中，该方法还包括接收一组图像数据，该组图像数据中的每个相应成员表示对象的至少一部分的视图并且包括图像方位数据。该方法还可以包括针对该组图像数据的每个成员确定描述符，所得到的多个描述符中的每个描述符描述该组图像数据的每个对应成员中的体素阵列的第一体素的投影的属性。该方法还可以包括基于所确定的描述符向第一体素分配占用值。在一些实施方式中，该方法还包括为体素阵列的每个体素确定相应的多个描述符，并基于所确定的描述符向每个体素分配占用值。在一些实施方式中，第一投影的属性是第一图像数据中第一体素的投影的2D方位，并且第二投影的属性是第二图像数据中第一体素的投影的2D方位。在一些实施方式中，第一图像数据和第二图像数据都是从相机接收的，该相机被布置成相对于对象的至少一部分移动。在一些实施方式中，从第一相机接收第一图像数据，并且从第二相机接收第二图像数据，第一相机和第二相机相对于对象的至少一部分定位在相应的方位处。在一些实施方式中，第一图像方位数据表示第一图像的姿态，并且第二图像方位数据表示第二图像的姿态。在一些实施方式中，该方法还包括输出体素占用模型，该体素占用模型包括为已被分配占用值的每个体素所分配的占用值。在一些实施方式中，该方法还包括根据体素占用模型生成对象的至少一部分的视觉表示。在一些实施方式中，第一图像数据包括表示从第一视图获取的第一图像的第一编码图像数据，其中第一编码图像数据描述第一图像的多个像素中的每个像素的属性。在一些实施方式中，第二图像数据包括表示从第二视图获取的第二图像的第二编码图像数据，其中第二编码图像数据描述第二图像的多个像素中的每个像素的属性。在一些实施方式中，属性包括亮度值、强度值、图案、纹理、颜色值或图像特征，诸如图像角或梯度。在一些实施方式中，使用神经网络确定描述符。在一些实施方式中，将描述符输入到神经网络中，并且基于神经网络的输出确定占用值。根据一方面，提供了一种系统，系统包括处理器，该处理器被配置为执行如上所述和如本文所公开的方法。根据一方面，提供了一种包括计算机可执行指令的计算机可读介质，在被执行时计算机可读介质执行如上所述和如本文所公开的方法。附图说明现在参考附图描述特定实施方式，在附图中：图1描绘了3D建模过程的示意图；图2描绘了3D建模装置的示意图；图3描绘了3D建模过程的流程图；图4描绘了3D建模过程的流程图；图5a描绘了在观察对象的表面后面的体素的观察；图5b描绘了在观察对象的表面前方的体素的观察。具体实施方式本专利技术旨在提供一种用于创建对象的虚拟3D模型的改进的方法和系统。虽然下面描述了本专利技术的各种实施方式，但是本专利技术不限于这些实施方式，并且这些实施方式的变化可以完全落入本专利技术的范围内，本专利技术的范围本身仅由所附权利要求限定。根据本专利技术的实施方式，图1示出了3D建模过程的示意图。对象105位于空间区域中。在图1中，作为示例，对象105是大教堂的模型。可以使用体素阵列120来描述空间区域，其中体素阵列中的每个体素Vj描述物理本文档来自技高网...

【技术保护点】
1.一种用于创建体素占用模型的方法，所述体素占用模型表示能够使用三维体素阵列描述的空间区域，其中所述空间区域包含对象的至少一部分，所述方法包括：接收第一图像数据，所述第一图像数据表示所述对象的至少一部分的第一视图并且包括第一图像方位数据；接收第二图像数据，所述第二图像数据表示所述对象的至少一部分的第二视图并且包括第二图像方位数据；确定第一描述符，所述第一描述符描述在所述第一图像数据中所述体素阵列的第一体素的投影的属性；确定第二描述符，所述第二描述符描述在所述第二图像数据中所述第一体素的投影的属性；以及基于所述第一描述符和所述第二描述符向所述第一体素分配占用值，所述占用值表示所述第一体素是否被所述对象的至少一部分占用。

【技术特征摘要】
【国外来华专利技术】2016.09.23 US 15/274,8981.一种用于创建体素占用模型的方法，所述体素占用模型表示能够使用三维体素阵列描述的空间区域，其中所述空间区域包含对象的至少一部分，所述方法包括：接收第一图像数据，所述第一图像数据表示所述对象的至少一部分的第一视图并且包括第一图像方位数据；接收第二图像数据，所述第二图像数据表示所述对象的至少一部分的第二视图并且包括第二图像方位数据；确定第一描述符，所述第一描述符描述在所述第一图像数据中所述体素阵列的第一体素的投影的属性；确定第二描述符，所述第二描述符描述在所述第二图像数据中所述第一体素的投影的属性；以及基于所述第一描述符和所述第二描述符向所述第一体素分配占用值，所述占用值表示所述第一体素是否被所述对象的至少一部分占用。2.根据权利要求1所述的方法，还包括：接收一组图像数据，所述组图像数据中的每个相应成员表示所述对象的至少一部分的视图并且包括图像方位数据；确定所述组图像数据的每个成员的描述符，所得到的多个描述符的每个描述符描述在所述组图像数据的每个对应成员中所述体素阵列的所述第一体素的投影的属性；以及基于所确定的描述符向所述第一体素分配占用值。3.根据前述权利要求中任一项所述的方法，还包括：为所述体素阵列的每个体素确定相应的多个描述符，并基于所确定的描述符向每个体素分配占用值。4.根据前述权利要求中任一项所述的方法，其中：第一投影的属性是在所述第一图像数据中所述第一体素的投影的2D方位；以及第二投影的属性是在所述第二图像数据中所述第一体素的投影的2D方位。5.根据前述权利要求中任一项所述的方法，其中，所述第一图像数据和所述第二图像数据两者...

【专利技术属性】
技术研发人员：彼得·翁德鲁什卡，卢卡斯·普拉廷斯基，
申请(专利权)人：蓝色视觉实验室英国有限公司，
类型：发明
国别省市：英国,GB