使用多个建筑图像的视觉数据的自动建筑楼层平面图生成制造技术

描述了用于自动化操作的技术，以分析来自在建筑物的多个房间中捕获并且几乎没有视觉重叠的全景图像的视觉数据，以便生成建筑物的楼层平面图，并且随后以一种或多种进一步的自动化方式使用所生成的楼层平面图，其中在一些情况下进一步执行楼层平面图生成，而无需或使用来自任何距离测量装置的关于从图像的采集位置到周围房间中的墙壁或其他物体的距离的信息。自动化操作可以包括识别和对准在彼此靠近的采集位置处采集的成对的目标图像，使用公共坐标系统将图像间方向和采集位置的对准细化成全局对准，然后使用从图像的视觉数据识别的信息，该信息包括用于生成建筑物的楼层平面图的结构房间布局。图的结构房间布局。图的结构房间布局。

【技术实现步骤摘要】
使用多个建筑图像的视觉数据的自动建筑楼层平面图生成


[0001]以下公开总体涉及用于自动分析在建筑物的多个房间中捕获的图像的视觉数据以生成建筑物的楼层平面图的技术，诸如使用对图像的视觉数据的分析来对准成对的图像，成对的图像具有很少或没有重叠的视觉覆盖，并且该技术用于随后以一种或多种方式使用生成的楼层平面图，从而改善建筑物的导航。

技术介绍

[0002]在各种领域和情况(诸如建筑分析、财产清查、不动产购置和开发、改建和改造服务、总承包、自动导航和其他情况)下，可能期望查看关于房屋、办公室或其他建筑物的内部的信息而不必亲自前往或进入建筑物，包括确定关于建筑物的实际竣工信息而不是在建造建筑物之前得到的设计信息。然而，可能难以有效地捕获、表示和使用这种建筑物内部信息，包括向位于远程位置处的用户显示在建筑物内部内捕获的视觉信息(例如，使得用户能够充分理解内部的布局和其他细节，包括以用户选择的方式控制显示)。另外，尽管建筑物的楼层平面图可以提供关于布局的一些信息和建筑物内部的其他细节，但是在某些情形下，这样使用楼层平面图具有一些缺点，包括楼层平面图可能难以建造和维护、难以精确地缩放和填充关于房间内部的信息、难以可视化和以其他方式使用等。

技术实现思路

[0003]针对现有技术存在的上述技术问题，本申请提供了一种计算机实施的方法，包括：通过一个或多个计算装置获得在具有多个房间的建筑物中的多个采集位置处捕获的多个全景图像，其中所述多个全景图像包括所述多个房间中的一个或多个的墙壁、地板和天花板中的至少一些的视觉覆盖范围；通过所述一个或多个计算装置并且针对所述多个全景图像中的每个分析该全景图像的颜色像素数据以生成关于该全景图像中可见的至少一个房间的多种类型的信息，其中，所述多种类型的信息包括指示该至少一个房间中的至少一些墙壁的所生成的结构布局，并且包括一个全景图像的所述采集位置在所述结构布局内的确定位置，并且包括包含使用该全景图像的所述颜色像素数据生成的信息的、该至少一个房间的地板或天花板中的至少一些的一个或多个渲染视图；通过所述一个或多个计算装置并且使用经训练的机器学习模型并且针对各自具有在所述多个房间中的两个房间中捕获的所述多个全景图像的两个全景图像的一个或多个图像对中的每个，至少部分地基于对所述两个全景图像中的每个的一个或多个渲染视图的信息进行比较来确定所述两个全景图像的所述采集位置之间的局部对准信息；通过所述一个或多个计算装置生成包括所述多个采集位置中的至少一些在公共坐标系中的位置的全局对准信息，生成所述全局对准信息包括组合在所述一个或多个图像对中的至少一些的所述采集位置之间确定的所述局部对准信息；通过所述一个或多个计算装置生成所述建筑物中的至少一些的楼层平面图，生成所述楼层平面图包括使用来自所述多个采集位置中的至少一些的所述全局对准信息的所述位置来拟合至少一个或多个房间的所生成的结构布局；以及通过所述一个或多个计算装置提
供所生成的楼层平面图，以使得能够使用所生成的楼层平面图。
[0004]本申请的又一方面还提供了一种非暂时性计算机可读介质，具有存储的内容，所述存储的内容使得一个或多个计算装置执行如上所述的方法。
[0005]本申请的另一方面还提供了一种系统，包括：一个或多个计算系统的一个或多个硬件处理器；以及一个或多个存储器，具有存储的指令，所述指令在通过所述一个或多个硬件处理器中的至少一个执行时使得所述一个或多个计算系统至少执行：获得在具有多个房间的建筑物的多个采集位置处捕获的多个全景图像，其中所述多个全景图像包括所述多个房间的一个或多个的至少一些墙壁的视觉覆盖范围；针对所述多个全景图像中的至少一些全景图像中的每个，分析该全景图像的颜色像素数据以生成关于在该全景图像中可见的所述一个或多个房间中的至少一个房间的信息，所述信息包括包含使用该全景图像的所述颜色像素数据生成的数据的所述至少一个房间中的一个或多个平面表面中的至少一些的一个或多个渲染视图；至少部分地基于经训练的神经网络的使用并且针对各自具有所述至少一些全景图像的至少两个全景图像的一个或多个图像组中的每个、至少部分地基于比较所述至少两个全景图像中的每个的一个或多个渲染视图的信息来确定所述至少两个全景图像的所述采集位置之间的对准信息，其中，确定所述对准信息包括针对那些采集位置确定至少相对于彼此的位置；生成所述建筑物中的至少一些的至少部分楼层平面图，其中生成所述至少部分楼层平面图包括使用所述一个或多个图像组中的每个的所述至少两个全景图像的所述采集位置的所确定的位置来放置至少一个或多个房间的所生成的结构布局；以及提供所生成的至少部分楼层平面图，以使得能够使用所生成的至少部分楼层平面图。
附图说明
[0006]图1A至图1B是描绘了用于本公开的实施方式中的示例性建筑物内部环境和计算系统的图示，包括生成并呈现表示建筑物的区域的信息。
[0007]图2A至图2S示出了用于分析在建筑物的多个房间中捕获的图像的视觉数据以生成建筑物的楼层平面图并且用于生成和提供关于建筑物的楼层平面图的信息的自动化操作的示例，这诸如至少部分地基于使用图像的视觉数据来对准具有很少或没有重叠视觉覆盖的成对图像。
[0008]图3是示出了适用于执行一个或多个系统的实施方式的计算系统的框图，该一个或多个系统执行本公开中所描述的技术中的至少一些。
[0009]图4示出了根据本公开的实施方式的图像捕获和分析(ICA)系统例程的示例性流程图。
[0010]图5A至图5B示出了根据本公开的实施方式的用于测绘信息生成管理器(MIGM)系统例程的示例性流程图。
[0011]图6示出了根据本公开的实施方式的建筑物地图查看器系统例程的示例性流程图。
具体实施方式
[0012]本公开描述了用于使用计算装置来执行与分析来自在建筑物的多个房间中捕获图像的视觉数据以生成建筑物的楼层平面图相关的自动操作并且用于随后以一种或多种
进一步的自动化方式使用所生成的楼层平面图的技术。例如，图像可以包括在多房间建筑物(例如，房屋、办公室等)内或周围的采集位置处采集并且具有很少或没有视觉重叠的全景图像(例如，以等矩形投影格式)和/或其他类型的图像(例如，以直线立体或正交格式)，这些图像在本文中通常称为“目标图像”。此外，在至少一些此类实施方式中，进一步执行自动楼层平面图生成，而无需具有或使用来自任何深度传感器或其他距离测量装置的关于从目标图像的采集位置到周围建筑物中的墙壁或其他物体的距离的信息，并且无需使用任何图像配准或跨图像识别视觉物体的匹配，而是以本文描述的方式仅使用图像的视觉数据(例如，RGB像素数据)。在各种实施方式中，可以进一步以各种方式使用针对建筑物生成的楼层平面图(包括建筑物内的独立房间的结构布局)，诸如与生成建筑物的其他测绘相关信息结合，包括用于控制移动装置(例如，自主车辆)的导航、用于通过一个或多个计算机网络在一个或多个客户端装置上在对应的GUI(图形用户界面)中显示或其他呈现等。下文包括关于楼层平面图信息以及可选的其他相关生成的测绘信息的自动生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实施的方法，包括：通过一个或多个计算装置获得在具有多个房间的建筑物中的多个采集位置处捕获的多个全景图像，其中所述多个全景图像包括所述多个房间中的一个或多个的墙壁、地板和天花板中的至少一些的视觉覆盖范围；通过所述一个或多个计算装置并且针对所述多个全景图像中的每个分析该全景图像的颜色像素数据以生成关于该全景图像中可见的至少一个房间的多种类型的信息，其中，所述多种类型的信息包括指示该至少一个房间中的至少一些墙壁的所生成的结构布局，并且包括一个全景图像的所述采集位置在所述结构布局内的确定位置，并且包括包含使用该全景图像的所述颜色像素数据生成的信息的、该至少一个房间的地板或天花板中的至少一些的一个或多个渲染视图；通过所述一个或多个计算装置并且使用经训练的机器学习模型并且针对各自具有在所述多个房间中的两个房间中捕获的所述多个全景图像的两个全景图像的一个或多个图像对中的每个，至少部分地基于对所述两个全景图像中的每个的一个或多个渲染视图的信息进行比较来确定所述两个全景图像的所述采集位置之间的局部对准信息；通过所述一个或多个计算装置生成包括所述多个采集位置中的至少一些在公共坐标系中的位置的全局对准信息，生成所述全局对准信息包括组合在所述一个或多个图像对中的至少一些的所述采集位置之间确定的所述局部对准信息；通过所述一个或多个计算装置生成所述建筑物中的至少一些的楼层平面图，生成所述楼层平面图包括使用来自所述多个采集位置中的至少一些的所述全局对准信息的所述位置来拟合至少一个或多个房间的所生成的结构布局；以及通过所述一个或多个计算装置提供所生成的楼层平面图，以使得能够使用所生成的楼层平面图。2.如权利要求1所述的方法，其中，对于所述多个房间中的每个，所述多个全景图像包括在该房间中捕获的所述多个全景图像中的一个，其中，所生成的楼层平面图包括所有所述多个房间各自是二维结构布局的生成的结构布局，并且其中，提供所生成的楼层平面图包括通过所述一个或多个计算装置通过一个或多个网络将所生成的楼层平面图传输到一个或多个客户端装置，以致使在所述一个或多个客户端装置上显示所生成的楼层平面图。3.如权利要求1所述的方法，其中，所述经训练的机器学习模型是被训练以验证包括在所述两个全景图像的渲染视图中的视觉数据之间的局部对准的卷积神经网络的部分，以及其中，所述方法还包括至少部分地基于将在该图像对的所述两个全景图像的重叠视觉覆盖范围中识别的一个或多个结构元素进行匹配来生成所述图像对中的每个的所述局部对准信息，以及其中，对于所述多个全景图像中的每个，该全景图像包括围绕竖直轴的360度水平视觉覆盖范围，并且提供该全景图像的所述一个或多个房间的所述墙壁、所述地板和所述天花板中的至少一些的等矩形格式的RGB(红
‑
绿
‑
蓝)像素数据，并且该全景图像的所述一个或多个渲染视图以立体格式或正交格式在二维中渲染，并且所述一个或多个渲染视图各自包括该全景图像的所述RGB像素数据的一些，该全景图像至少部分地基于在该全景图像中可见的所述至少一个房间的所生成的结构布局和该全景图像的所述采集位置的所述确定位置而被定位在该渲染视图中，该全景图像的所述一个或多个渲染视图包括该全景图像的至
少一些地板的地板视图和该全景图像的至少一些天花板的天花板视图中的至少一个。4.如权利要求1所述的方法，其中，所述一个或多个图像对包括：至少第一图像对，所述第一图像对具有在不同的第一房间和第二房间中捕获但是通过所述第一房间和第二房间中的至少一个的门道或非门道墙壁开口中的至少一个而具有重叠视觉覆盖范围的两个全景图像；以及第二图像对，所述第二图像对具有在不同的第三房间和第四房间中捕获但缺乏任何重叠视觉覆盖范围的两个全景图像，并且其中，确定所述第一图像对和第二图像对中的每个的所述局部对准信息包括至少部分地基于将在所述第一房间和第二房间中捕获的所述两个全景图像的重叠视觉覆盖范围进行匹配来验证所述第一图像对的所述局部对准信息，并且包括在基于不验证所述第二图像对的所述局部对准信息，在组合所述局部对准信息之前丢弃所述第二图像对的所述局部对准信息。5.如权利要求4所述的方法，其中，所述一个或多个图像对还包括第三图像对，所述第三图像对具有在不同的第五房间和第六房间中捕获但缺乏任何重叠视觉覆盖范围的两个全景图像，并且其中，确定所述第三图像对的局部对准信息包括至少部分地基于将在所述第五房间和所述第六房间中捕获的所述两个全景图像的视觉数据与先前确定的关于存在于相邻房间类型中的视觉数据的类型的信息进行匹配，验证尽管缺乏任何重叠视觉覆盖范围的所述第三图像对的所述局部对准信息。6.如权利要求1所述的方法，其中，包括在所述多个全景图像中的每个的所述一个或多个渲染视图中的至少一个中的所述信息包括以下各项中的至少一项：该全景图像的所述颜色像素数据中的至少一些，其中使用单目深度信息将所述颜色像素数据纹理映射到至少一个渲染视图中的像素位置，所述单目深度信息仅基于对该全景图像的所述颜色像素数据的分析从该全景图像的所述采集位置到周围结构元素进行估计；和/或用于指示门道或非门道墙壁开口或窗户中的至少一个的仅基于对该全景图像的所述颜色像素数据的分析而被识别的一个或多个位置的重叠信息；和/或用于指示所述一个或多个房间的物体或表面的至少一种类型的包括在该全景图像的所述视觉覆盖范围内并且仅基于该全景图像的所述颜色像素数据的分析而被识别的一个或多个位置的重叠信息；和/或该全景图像的所述颜色像素数据中的至少一些，使用单目深度信息将所述颜色像素数据纹理映射到至少一个渲染视图中的像素位置，所述单目深度信息从该全景图像的所述采集位置到周围结构元素进行估计，并且包括重叠信息以指示门道或非门道墙壁开口或窗户中的至少一个的一个或多个识别位置。7.如权利要求1所述的方法，其中，所述经训练的机器学习模型是第一神经网络的一部分，所述第一神经网络被训练以确定包括在所述两个全景图像的渲染视图中的视觉数据之间的局部对准，其中，分析所述多个全景图像中的每个的所述颜色像素数据包括使用经训练的第二神经网络来联合确定所述多个全景图像中可见的房间的布局信息并且确定那些布局内的所述多个全景图像的图像姿势信息，并且其中，所述方法还包括通过所述一个或多个计算装置并且使用经训练以将所述多个全景图像中可见的房间分割成结构墙壁元素的第三神经网络，并且对于所述多个全景图像中的每个，确定该全景图像的所述颜色像素数据以生成关于该全景图像中可见的所述至少一个房间的另外信息，所述另外信息包括所
述至少一个房间的至少一个门道或非门道墙壁开口在所述至少一个房间的所生成的结构布局上的确定位置，并且还包括所述至少一个房间的至少一个窗户的至少一个附加确定...

【专利技术属性】
技术研发人员：约翰，
申请(专利权)人：MFTB股份有限公司，
类型：发明
国别省市：