从内部空间的3D网格表示提取2D平面图制造技术

成像相机(212)和深度相机(302、304、306)被配置为执行对内部空间(100、1600)的3D扫描。处理器(1510)被配置为基于3D扫描在三维(3D)网格中生成体素。体素表示内部空间的体积的部分。处理器还被配置为将体素投影到内部空间的2D平面图(2100)中的图块(620、920)上并且基于图块生成表示内部空间中的特征的2D距离网格(700)。处理器还被配置为基于2D距离网格实时生成表示平面图的元素的多边形集合(801、802、803)。处理器还被配置为生成表示平面图的简化基元集合(1205)。

Extraction of 2D Plane Map from 3D Mesh Representation of Internal Space

【技术实现步骤摘要】
【国外来华专利技术】从内部空间的3D网格表示提取2D平面图
技术介绍
建筑物、房屋或公寓的二维(2D)平面图是相对应的结构的有价值的表示。例如，2D平面图被用于向住宅或建筑物的潜在购买者、公寓的潜在租户、计划重新设计内部空间的室内设计师和参与结构翻新的建筑师等图示出房间布局。即使系统可用于对内部空间的三维(3D)几何形状进行扫描，生成2D平面图的传统过程也需要人为干预。例如，通常需要绘图员基于所扫描的3D几何形状来绘制2D建筑平面图。此外，用于执行3D扫描的商业上可用的系统相对昂贵并且扫描过程是时间和劳动密集的。例如，传统3D扫描系统使用安装在三脚架上的检测器，必须将所述检测器移动到正在被扫描的结构内的若干采集位置。每个采集位置的扫描时间通常为几分钟或更长。可以通过将深度相机添加到移动电话以捕获结构的3D几何形状来实现移动3D扫描。然而，这种方法仍然需要根据3D几何形状手动提取2D平面图。因此，对于大多数建筑物、房屋和公寓，最新的平面图是不可获取的。附图说明通过参考附图，可以更好地理解本公开并且本公开的多种特征和优点对于本领域技术人员而言可以是显而易见的。在不同附图中使用相同的附图标号表示相似或相同的项目。图1是根据一些实施例的内部空间和执行对内部空间的三维(3D)扫描的电子设备的图。图2和图3示出了根据一些实施例的形状因子为平板电脑的电子设备的示例实现的示例正视平面图和后视平面图。图4示出了根据本公开的至少一个实施例的沿着图2和图3的平面图中所描绘的线的电子设备的示例横截面视图。图5示出了根据一些实施例的诸如公寓或房屋的建筑物的内部空间的俯视图。图6是根据一些实施例的表示内部空间的3D网格的一部分的框图。图7是根据一些实施例的表示内部空间内的墙、空闲空间和家具的二维(2D)距离网格。图8示出了根据一些实施例的生成表示内部空间的平面图的多边形集合的方法。图9是根据一些实施例的表示内部空间的3D网格的一部分的框图。图10示出了根据一些实施例的包括多个主要定向的内部空间的俯视图。图11是根据一些实施例的对应于2D距离网格的不同定向的权重的直方图。图12示出了根据一些实施例的基于具有多个主要定向的内部空间的2D距离网格生成的基元集合。图13是根据一些实施例的从体素的3D网格生成2D平面图的方法的流程图。图14是根据一些实施例的迭代地选择表示2D距离网格的基元集合的方法的流程图。图15是根据一些实施例的被配置为通过垂直投影3D体素的值来生成2D平面图的电子设备的框图。图16示出了根据一些实施例的包括各种家具的建筑物的内部空间的俯视图。图17是根据一些实施例的被训练为基于位于内部空间的各部分中的家具来标记内部空间的各部分的卷积神经网络(CNN)的框图。图18是示出了根据一些实施例的作为对CNN的输入而提供的图块和重叠图块集合的框图。图19是根据一些实施例的具有叠加在内部空间的轮廓上的经标记的图块的地图的框图。图20是根据一些实施例的标记内部空间的平面图中的各部分的方法的流程图。图21示出了根据一些实施例的经标记的2D平面图。具体实施方式使用表示由结构包围的体积的3D网格中的体素的垂直投影来生成结构的2D平面图。在一些实施例中，使用实现2D相机和深度相机的移动电话中的3D扫描应用来获取3D网格。体素存储包括体素的空间位置、体素的空间范围、体素的观察数目(或信息的权重)以及到距体素最接近的表面的估计的有符号距离的信息。表示所扫描的体积的三角形的3D网格基于体素的值来生成(或提取)。将体素垂直投影到2D平面图中的2D图块包括：沿垂直方向对体素的权重进行求和以确定图块的2D权重，并确定沿垂直方向的有符号距离的加权和以确定图块的2D有符号距离。在一些实施例中，从3D表示中提取附加特征，诸如从上方可见的最高表面的高度、从下方可见的最低表面的高度和垂直带中的空闲空间与占用空间的比率等。图块的2D权重和2D有符号距离用于生成表示结构中的诸如墙、空闲空间、家具、门和窗等的特征的二维距离网格。在某些情况下，2D距离网格被转换为表示平面图中特征的多边形。2D平面图的实时生成由将3D网格细分为包含预定数目的体素的体积集合来支持，所述体积例如是16×16×16体素的体积。系统识别响应于获取结构的新深度图像而受影响的体积。仅更新受影响的体积中的体素的值并重新提取相对应的3D网格。2D平面图中的图块子集与包括被垂直投影到图块子集上的体素的相对应的体积相关联。通过确定在与图块子集相关联的每个垂直柱形中的一个或多个体积是否已更新而更新2D平面图。如果是，则重新计算包括图块子集的2D平面图的一部分并提取相对应的多边形(或部分多边形)。通过将平面图表示为一系列诸如线、矩形、三角形、圆形和多边形等的基元来减少2D平面图中的噪声。基元与诸如空闲空间、墙、未知物的类以及可包括家具、门和窗等的其他类相关联。基元可以定向于任何方向。迭代过程用于通过最小化基元集合的成本函数和定向来找到近似于2D平面图的基元序列和对应的定向。图1是根据一些实施例的内部空间100和执行对内部空间100的3D扫描的电子设备110的图。内部空间100包围包括诸如家具(例如书柜101)、墙102、墙103、门104和窗105的特征的体积。内部空间100的一些实施例包括额外的房间、其他类型的家具以及设置在内部空间100内的各种其他对象。根据本公开的至少一个实施例，电子设备110被配置为使用图像和非图像传感器数据来支持基于位置的功能，诸如即时定位与地图构建(SLAM)或增强现实(AR)。电子设备110可以包括便携式用户设备，诸如平板电脑、支持计算的蜂窝电话(例如“智能手机”)、笔记本电脑、个人数字助理(PDA)、游戏系统遥控器、电视遥控器和AR/VR耳机等。在其他实施例中，电子设备110包括固定设备，例如诸如真空清洁机器人的个人服务机器人、医学成像设备、安全成像相机系统、工业机器人控制系统、无人机控制系统和3D扫描装置等。为了便于说明，本文一般在诸如平板计算机或智能电话的便携式用户设备的示例背景中描述电子设备110；然而电子设备110不限于这些示例实现。电子设备110包括用于获取关于内部空间100的信息的多个传感器。电子设备110经由设置在面向前方的表面处的成像相机和深度传感器以及在一些实施例中的设置在面向用户的表面处的成像相机来获取内部空间100的视觉信息(图像)。如本文所讨论的，成像相机和深度传感器被用于执行对内部空间100的环境的3D扫描。在一些实施例中，如箭头115、箭头120所示，持有电子设备110的用户移动通过内部空间100。用户定向电子设备110，使得成像相机和深度传感器能够捕获图像并感测如虚线椭圆125所示的内部空间100的一部分的深度。然后，电子设备110存储捕获到的图像和相应的深度以用于稍后在生成内部空间100的3D网格表示和内部空间100的2D平面图中使用。电子设备110的一些实施例依赖于非图像信息来进行位置/定向检测。这种非图像信息可以由电子设备110经由诸如陀螺仪或环境光传感器的一个或多个非图像传感器(图1中未示出)来获取。非图像传感器还可以包括用户界面组件，诸如小键盘(例如触摸屏或键盘)、麦克风和鼠标等。表示在给定时间点的电子设备110的状态的非图像传感器信息被称为该时本文档来自技高网...

【技术保护点】
1.一种方法，包括：执行对内部空间的三维(3D)扫描；访问根据所述3D扫描生成的3D网格中的体素，其中，所述体素表示所述内部空间的体积的部分；将所述体素投影到所述内部空间的二维(2D)平面图中的图块上；以及基于所述图块来生成表示所述内部空间中的特征的2D距离网格。

【技术特征摘要】
【国外来华专利技术】2017.04.28 US 62/491,988;2018.04.16 US 15/954,1541.一种方法，包括：执行对内部空间的三维(3D)扫描；访问根据所述3D扫描生成的3D网格中的体素，其中，所述体素表示所述内部空间的体积的部分；将所述体素投影到所述内部空间的二维(2D)平面图中的图块上；以及基于所述图块来生成表示所述内部空间中的特征的2D距离网格。2.根据权利要求1所述的方法，其中，生成所述2D距离网格包括与执行对所述内部空间的所述3D扫描并发地实时生成所述2D距离网格。3.根据权利要求2所述的方法，其中，访问所述3D网格中的所述体素包括访问在先前时间间隔期间执行所述3D扫描同时已被修改的所述体素的子集。4.根据权利要求3所述的方法，其中，访问所述体素的所述子集包括访问包括在所述先前时间间隔期间被修改的至少一个体素的体积内的预定数目的体素。5.根据权利要求3所述的方法，其中，生成所述2D距离网格包括选择性地更新与已经修改的所述体素的所述子集相关联的所述2D距离网格的部分，并且绕过更新与在所述先前时间间隔期间未修改的所述体素的其他子集相关联的所述2D距离网格的不同部分。6.根据权利要求1所述的方法，其中，访问所述体素包括访问存储指示包括所述内部空间的所述体积的对应部分的观察值的数目的权重和相对于与所述体素相关联的表面的有符号距离的体素。7.根据权利要求6所述的方法，其中，将所述体素投影到所述图块上包括沿垂直于包括所述2D平面图的平面的垂直方向对所述权重进行求和以确定所述图块的2D权重。8.根据权利要求7所述的方法，其中，将所述体素投影到所述图块上包括将所述权重与沿着所述垂直方向的所述体素的所述有符号距离的乘积进行求和以确定所述图块的加权的2D有符号距离。9.根据权利要求8所述的方法，其中，将所述体素投影到所述图块上包括通过所述图块的相对应的2D权重对所述加权的2D有符号距离进行归一化。10.根据前述权利要求中任一项所述的方法，还包括：从所述3D网格中提取以下中的至少一个：从上方可见的最高表面的高度、从下方可见的最低表面的高度以及垂直带中的空闲空间与占用空间的比率。11.根据前述权利要求中任一项所述的方法，其中，生成所述2D距离网格包括生成表示所述内部空间中的所述特征的像素的值。12.根据权利要求11所述的方法，其中，生成所述2D距离网格包括使用行进方块算法生成多边形平面图的原始版本。13.根据权利要求11所述的方法，其中，所述特征包括以下中的至少一个：墙、空闲空间、家具、门和窗。14.根据权利要求11所述的方法，还包括：识别表示所述2D距离网格的所述特征的基元集合。15.根据权利要求14所述的方法，其中，所述基元包括以下中的至少一个：线、圆、三角形、矩形或另一个多边形。16.根据权利要求14所述的方法，其中，识别所述基元集合包括当最小化成本函数的基元被添加到所述基元集合时迭代地选择该基元，并且其中所述成本函数指示所述基元集合与所述2D距离网格的匹配程度。17.根据前述权利要求中任一项所述的方法，还包括：基于所述3D扫描中的特征来将标签分配给所述内部空间的部分，其中所述标签指示房间类型。18.根据权利要求17所述的方法，还包括：训练卷积神经网络(CNN)以基于在对所述内部空间的所述部分的所述3D扫描中表示的不同类型的家具来分配所述标签，其中所述CNN是使用包括针对每个像素的颜色信息和深度信息的训练图像集合来训练的。19.根据权利要求18所述的方法，其中，训练所述卷积神经网络包括训练所述CNN以分配标签，所述标签包括指示浴室、卧室、客厅、厨房、办公室的标签和用于所述CNN无法识别的所述3D扫描的部分的未知标签。20.根据权利要求17所述的方法，还包括：通过将所述标签与所述2D距离网格的部分相关联来生成标记的2D距离网格，所述2D距离网格的所述部分对应于基于所述3D扫描中的所述特征被分配有所述标签的所述内部空间的所述部分。21.一种电子设备，包括：成像相机和深度相机，所述成像相机和所述深度相机被配置为执行对内部空间的3D扫描；以及处理器，所述处理器被配置为基于所述3D扫描在三维(3D)网格中生成体素，其中所述体素表示所述内部空间的体积的部分；将所述体素投影到所述内部空间的二维(2D)平面图中的图块上；以及基于所述图块来生成表示所述内部空间中的特征的2D距离网格。22.根据权利要求21所述的电子设备，其中，所述处理器被配置为与所述成像相机和所述深度相机执行对所述内部空间的所述3D扫描并发地实时生成所述2D距离网...

【专利技术属性】
技术研发人员：于尔根·斯特姆，克里斯托夫·舒特，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US