使用确定的房间形状自动确定建筑物室内中的图像采集位置制造技术

描述了用于计算装置执行自动操作以确定图像的采集位置的技术，诸如在建筑物内部基于建筑物的房间的自动确定的形状，以及用于以进一步自动的方式使用确定的图像采集位置信息的技术。图像可以是全景图像或另一种类型(例如，直线立体图像)，并且在多房间建筑物的内部的采集位置处获取，并且用于这种图像的确定的采集位置可以是建筑物的平面图上的至少一个位置，以及可选地图像的至少一部分的取向/方向。此外，可以进一步执行自动图像采集位置确定，而无需具有或使用来自任何深度传感器或其它距离测量装置的有关从图像的采集位置到周围建筑物中的墙壁或其它对象的距离的信息。围建筑物中的墙壁或其它对象的距离的信息。围建筑物中的墙壁或其它对象的距离的信息。

【技术实现步骤摘要】
使用确定的房间形状自动确定建筑物室内中的图像采集位置


[0001]以下公开内容总体上涉及用于基于自动地确定的房间形状自动地确定建筑物室内中的图像的采集位置，以及随后以一种或多种方式使用所确定的采集位置信息的技术，诸如，在建筑物的平面图上定位建筑物中房间的内部的图像并且使用图像位置来改进建筑物的导航。

技术介绍

[0002]在各种领域和环境中，诸如，建筑分析、物业检查、房地产获取和开发、改造和改进服务、总承包和其它环境，可能希望查看关于房屋、办公室或其它建筑物的内部的信息，而不必物理地行进到并且进入建筑物，包括确定关于建筑物的实际竣工信息，而不是来自建筑物建造之前的设计信息。然而，可能难以有效地捕获、表示和使用这样的建筑物内部信息，包括向远程位置的用户显示在建筑物内部捕获的视觉信息(例如，使用户能够完全理解内部的布局和其它细节，包括以用户选择的方式控制显示)。此外，尽管建筑物的平面图可以提供关于建筑物内部的布局和其它细节的一些信息，但是这种平面图的使用在某些情况下具有一些缺点，包括平面图可能难以构造和维护、难以精确地缩放和填充关于房间内部的信息、难以可视化和使用等。

技术实现思路

[0003]本公开提供了一种系统，包括一个或更多个计算装置的一个或更多个硬件处理器；以及具有存储指令的一个或更多个存储器，所述存储指令在由所述一个或更多个硬件处理器中的至少一个执行时使所述一个或更多个计算装置中的至少一个执行自动操作，所述自动操作至少包括：对于在具有多个房间的建筑物中获取的目标图像，确定所述建筑物中所述目标图像的采集位置，包括：对于所述多个房间中的一个或更多个房间中的每个，获取所述房间的确定的房间形状；至少部分地基于分析所述目标图像的视觉内容，生成所述目标图像的估计的房间形状；至少部分地基于为选择的一个备选形状匹配确定的匹配度来为所述估计的房间形状选择多个备选形状匹配中的一个，其中，所述多个备选形状匹配各自包括所述多个房间中的一个房间的所述获取的确定的房间形状中的一个相对于所述估计的房间形状的布置，并且具有至少部分地基于所述估计的房间形状与一个所述获取的确定的房间形状的所述布置的拟合的确定的匹配度；在获取的确定的房间形状被用于所述选择的一个备选形状匹配的所述一个房间内，基于所述选择的一个备选形状匹配的所述布置并且通过使用关于所述估计的房间形状内的所述目标图像的信息来定位所述目标图像的所述采集位置；以及提供关于在所述建筑物的、获取的确定的房间形状被用于所述选择的一个备选形状匹配的所述一个房间中所述目标图像的所述确定的采集位置的信息。
[0004]本公开的另一方面提供了一种计算机实现的方法，包括：由一个或更多个计算系统接收在具有多个房间的建筑物中获取的目标图像，其中，所述目标图像是具有多个周围墙壁的视觉覆盖的全景图像；
[0005]由所述一个或更多个计算系统在所述建筑物的平面图上确定所述目标图像的采集位置，包括：由所述一个或更多个计算系统获取所述多个房间的确定的三维(“3D”)房间形状；由所述一个或更多个计算系统并且至少部分地基于分析所述目标图像的视觉内容，生成在所述目标图像中可见的估计的3D房间形状以及所述估计的3D房间形状内所述目标图像的指示位置；由所述一个或更多个计算系统至少部分地基于为选择的一个备选形状匹配确定的匹配度来为所述估计的3D房间形状选择多个备选形状匹配中的一个备选形状匹配，其中，所述多个备选形状匹配各自包括所确定的3D房间形状中的一个相对于所述估计的3D房间形状的布置，并且具有至少部分地基于所述一个确定的3D房间形状与所述估计的3D房间形状的所述布置的拟合的确定的匹配度，并且其中，所述选择的一个备选形状匹配的所述一个确定的3D房间形状是所述多个房间中的识别的房间；由所述一个或更多个计算系统，并且通过使用所述确定的3D房间形状相对于所述估计的3D房间形状的所述选择的一个备选形状匹配的所述布置，在所述估计的3D房间形状内定位关于所述布置的所述指示位置，并且基于所述识别的房间内所述定位的指示位置，在所述平面图上识别所述目标图像的所述采集位置；以及由所述一个或更多个计算系统提供关于所述识别的房间中所述目标图像的所述确定的采集位置的信息，以使得能够在所述建筑物的所述平面图上显示所述确定的采集位置。
[0006]本公开还提供了一种具有存储内容的非暂时性计算机可读介质，所述存储内容使得一个或更多个计算系统执行自动操作，所述自动操作至少包括：由所述一个或更多个计算系统接收在具有多个房间的建筑物中获取的目标图像和多个附加图像，其中，所述目标图像和所述多个附加图像中的每个都是具有多个周围墙壁的视觉覆盖的全景图像；由所述一个或更多个计算系统确定所述建筑物中所述目标图像的采集位置，包括：由所述一个或更多个计算系统获取所述多个附加图像确定的三维(“3D”)房间形状，其中对于所述多个附加图像中相关联的一个，每个确定的3D房间形状至少识别在周围房间中可见的墙壁和拐角；由所述一个或更多个计算系统并且至少部分地基于分析所述目标图像的视觉内容，生成估计的3D房间形状以及所述估计的3D房间形状内所述目标图像的指示位置，所述估计的3D房间形状至少包括在所述目标图像中可见的墙壁和拐角；由所述一个或更多个计算系统至少部分地基于为所述选择的一个备选形状匹配确定的匹配度来为所述估计的3D房间形状选择多个备选形状匹配中的一个，其中所述多个备选形状匹配各自包括所述确定的3D房间形状中的一个相对于所述估计的3D房间形状的布置，并且具有确定的匹配度，所述确定的匹配度至少部分地基于使用所述备选形状匹配的所述估计的3D房间形状的所述墙壁和拐角与所述备选形状匹配的一个确定的3D房间形状的墙壁和拐角的布置的拟合；由所述一个或更多个计算系统并且在所述周围房间内，对于与所述选择的一个备选形状匹配的所述一个确定的3D房间形状相关联的所述附加图像，使用所述选择的一个备选形状匹配的所述布置来定位所述估计的3D房间形状内的所述指示位置，并且基于在所述周围房间内所述定位的指示位置来识别所述建筑物内所述目标图像的所述采集位置；以及由所述一个或更多个计算系统提供关于所述确定的目标图像在所述周围房间内的采集位置的信息，以使得能够利用关于所述建筑物的信息来显示所述确定的采集位置。
附图说明
[0007]图1A
‑
图1B是描绘在本公开的实施方式中使用的示例性建筑物内部环境和计算系统的图，诸如，用于执行自动操作以基于自动地确定的房间形状来确定建筑物内部中的图像的采集位置，并随后以一种或多种方式使用确定的采集位置信息。
[0008]图2A
‑
图2W示出了用于基于在建筑物内部拍摄的图像来生成和呈现关于建筑物的平面图的信息的自动操作的示例，诸如，从图像内容的分析来自动地确定和呈现这种的图像的采集位置。
[0009]图3是示出适合于执行本公开中所描述的至少一些技术的一个或更多个系统的实施方式的计算系统的框图。
[0010]图4示出了根据本公开的实施方式的图像捕获和分析(ICA)系统例程的示例流程图。
[0011]图5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：一个或更多个计算装置的一个或更多个硬件处理器；以及具有存储指令的一个或更多个存储器，所述存储指令在由所述一个或更多个硬件处理器中的至少一个执行时使所述一个或更多个计算装置中的至少一个执行自动操作，所述自动操作至少包括：对于在具有多个房间的建筑物中获取的目标图像，确定所述建筑物中所述目标图像的采集位置，包括：对于所述多个房间中的一个或更多个房间中的每个，获取所述房间的确定的房间形状；至少部分地基于分析所述目标图像的视觉内容，生成所述目标图像的估计的房间形状；至少部分地基于为选择的一个备选形状匹配确定的匹配度来为所述估计的房间形状选择多个备选形状匹配中的一个，其中，所述多个备选形状匹配各自包括所述多个房间中的一个房间的所述获取的确定的房间形状中的一个相对于所述估计的房间形状的布置，并且具有至少部分地基于所述估计的房间形状与一个所述获取的确定的房间形状的所述布置的拟合的确定的匹配度；在获取的确定的房间形状被用于所述选择的一个备选形状匹配的所述一个房间内，基于所述选择的一个备选形状匹配的所述布置并且通过使用关于所述估计的房间形状内的所述目标图像的信息来定位所述目标图像的所述采集位置；以及提供关于在所述建筑物的、获取的确定的房间形状被用于所述选择的一个备选形状匹配的所述一个房间中所述目标图像的所述确定的采集位置的信息。2.根据权利要求1所述的系统，其中，所述确定所述建筑物中所述目标图像的所述采集位置包括确定所述目标图像在所述确定的采集位置处的取向，所述取向识别至少从所述确定的采集位置开始的起始视图的至少两个维度上的方向，并且其中，所述提供所述信息包括在客户端装置上呈现所述建筑物的至少一些的显示，所述显示包括所述识别的房间并且覆盖所述确定的采集位置的视觉指示和所述确定的取向的视觉指示。3.根据权利要求1所述的系统，其中，对于所述一个或更多个房间中的每个，获取所述一个或更多个房间中的每个的所述确定的房间形状包括：获取在所述房间中采集的至少一个附加全景图像；以及至少部分地基于分析在所述房间中获取的所述至少一个附加全景图像的视觉内容为所述房间生成所述确定的房间形状。4.一种计算机实现的方法，包括：由一个或更多个计算系统接收在具有多个房间的建筑物中获取的目标图像，其中，所述目标图像是具有多个周围墙壁的视觉覆盖的全景图像；由所述一个或更多个计算系统在所述建筑物的平面图上确定所述目标图像的采集位置，包括：由所述一个或更多个计算系统获取所述多个房间的确定的三维(“3D”)房间形状；由所述一个或更多个计算系统并且至少部分地基于分析所述目标图像的视觉内容，生成在所述目标图像中可见的估计的3D房间形状以及所述估计的3D房间形状内所述目标图
像的指示位置；由所述一个或更多个计算系统至少部分地基于为选择的一个备选形状匹配确定的匹配度来为所述估计的3D房间形状选择多个备选形状匹配中的一个备选形状匹配，其中，所述多个备选形状匹配各自包括所确定的3D房间形状中的一个相对于所述估计的3D房间形状的布置，并且具有至少部分地基于所述一个确定的3D房间形状与所述估计的3D房间形状的所述布置的拟合的确定的匹配度，并且其中，所述选择的一个备选形状匹配的所述一个确定的3D房间形状是所述多个房间中的识别的房间；由所述一个或更多个计算系统，并且通过使用所述确定的3D房间形状相对于所述估计的3D房间形状的所述选择的一个备选形状匹配的所述布置，在所述估计的3D房间形状内定位关于所述布置的所述指示位置，并且基于所述识别的房间内所述定位的指示位置，在所述平面图上识别所述目标图像的所述采集位置；以及由所述一个或更多个计算系统提供关于所述识别的房间中所述目标图像的所述确定的采集位置的信息，以使得能够在所述建筑物的所述平面图上显示所述确定的采集位置。5.根据权利要求4所述的计算机实现的方法，其中，在所述平面图上确定所述目标图像的所述采集位置包括由所述一个或更多个计算系统确定所述目标图像在所述确定的采集位置处的取向，所述取向识别至少从所述确定的采集位置开始的起始视图的至少两个维度上的方向，并且其中，所述提供所述信息包括由所述一个或更多个计算系统并且在客户端装置上呈现所述建筑物的所述平面图的至少一些的显示，所述显示包括所述识别的房间并且覆盖所述确定的采集位置的视觉指示和所述确定的取向的视觉指示。6.根据权利要求4所述的计算机实现的方法，其中，生成所述估计的3D房间形状包括：由所述一个或更多个计算系统确定围绕所述目标图像的所述采集位置的周围房间的房间形状信息，所述房间形状信息包括对所述周围房间的至少一些墙壁建模的3D点云、或表示所述周围房间的所述至少一些墙壁的平面表面或表示所述周围房间的所述至少一些墙壁的边界的线框结构线中的至少一个，并且还包括所述周围房间的结构墙壁元素，所述结构墙壁元素包括至少窗户、门道和非门道墙壁开口，以及使用所述估计的3D房间形状的所述确定的房间形状信息。7.根据权利要求6所述的计算机实现的方法，其中，生成所述估计的3D房间形状包括使用关于所述目标图像的获取时间的信息，并且还包括由所述一个或更多个计算系统确定附加的房间形状信息，所述附加的房间形状信息包括以下中的至少一个：围绕所述结构墙壁元素的3D边界框、或所述周围房间的至少一个房间类型标签、或所述结构墙壁元素中的每个的至少一个对象类型标签、或由经过训练的神经网络为所述目标图像生成的用于对关于所述周围房间的特征的信息进行编码的至少一个嵌入矢量。8.根据权利要求4所述的计算机实现的方法，其中，所述确定所述目标图像的所述采集位置还包括由所述一个或更多个计算系统确定所述估计的3D房间形状的所述多个备选形状匹配，包括：由所述一个或更多个计算系统选择所述确定的3D房间形状中的一个或更多个作为用于与所述估计的3D房间形状相匹配的候选房间形状；以及由所述一个或更多个计算系统并且对于所述选择的候选房间形状中的每个，对于所述一个或更多个备选形状匹配中的每个备选形状匹配，通过将所述选择的备选形状的一个或
更多个拐角与所述估计的3D房间形状的一个或更多个角相匹配，并且通过使用所述目标图像的消失线角度信息将所述选择的候选房间形状的一个或更多个墙壁与所述估计的3D房间形状的一个或更多个墙壁对齐，并且通过调整所述估计的3D房间形状或所述选择的候选房间形状中的至少一个的尺寸以相互反映，确定所述选择的候选房间形状相对于所述估计的3D房间形状的布置来生成所述多个备选形状匹配中的一个或更多个备选形状匹配。9.根据权利要求8所述的计算机实现的方法，其中，所述选择所述一个或更多个确定的3D房间形状包括使用关于所述目标图像的获取时间的信息，并且还包括由所述一个或更多个计算系统识别所述确定的3D房间形状的优选子集以用作所述选择的候选房间形状，包括使用以下中的至少一个：所述估计的3D房间形状与所述选择的候选房间形状的匹配的房间类型标签；或所述建筑物的一个或更多个房间的与所述建筑物中所述目标图像之前和/或之后获取的一个或更多个附加图像相关联的一个或更多个确定的3D房间形状；或所述建筑物的一个或更多个房间的与具有高于第一定义的匹配阈值与所述目标图像的特征相匹配的特...

【专利技术属性】
技术研发人员：李宇光，威尔，
申请(专利权)人：ZILLOW公司，
类型：发明
国别省市：