用于建筑位置的全景图像在移动设备上的自动生成和随后使用制造技术

描述了使用智能电话或其它移动设备来执行用于生成建筑环境的全景图像并随后以进一步自动的方式使用所生成的全景图像的自动操作的技术。在至少一些情况下，由移动设备生成全景图像至少部分地基于在从获取位置起的多个方向上在移动设备上自动获取多个构成图像，以及基于诸如以相对于构成图像捕获的实时方式同时在移动设备上组合获取的组成图像，以生成从该获取位置具有360

【技术实现步骤摘要】
【国外来华专利技术】用于建筑位置的全景图像在移动设备上的自动生成和随后使用


[0001]以下公开内容总体地涉及用于在移动设备上自动生成建筑环境的全景图像以及随后以一种或多种自动方式使用所生成的全景图像的技术，诸如在从建筑内部中的获取位置起的多个方向上在移动设备上自动获取构成立体图像，并且以实时方式在移动设备上组合所获取的构成图像，以从该获取位置生成具有360
°
的视野水平覆盖的全景图像。

技术介绍

[0002]在诸如建筑分析、财产检查、房地产购置和开发、总承包、改善成本估计等的各种领域和环境中，可能希望知道房屋、办公室或其它建筑的内部情况，而不必亲自前往和进入该建筑。然而，可能难以有效地捕获、呈现和使用这种建筑内部信息，包括以高效的方式捕获建筑内部中的视觉信息，以及向远程位置处的用户显示在建筑内部中捕获的视觉信息(例如，使用户能够完全理解内部的布局和其它细节，包括以用户选择的方式控制显示)。例如，尽管全景图像可以显示从单个位置可见的信息，但是可能很难以高效的方式捕获这种全景图像并且使用它们来显示多房间建筑或其它大空间。此外，尽管建筑的楼层平面图可以提供关于建筑内部的布局和其它细节的一些信息，但是这种楼层平面图的使用具有一些缺点，包括楼层平面图可能难以构建和维护、难以精确地缩放和增添关于房间内部的信息、难以可视化和以其它方式使用等。
附图说明
[0003]图1A至图1B是描绘在本公开的实施方式中使用的示例性建筑内部环境和计算系统的图，包括使用由移动设备从获取位置中的每个在多个方向上获取的构成立体图像在移动设备上自动生成用于建筑内部中的多个获取位置的全景图像，以及可选地进一步呈现或以其它方式使用所生成的建筑内部全景图像。
[0004]图2A至图2K示出了通过组合由移动设备从获取位置在多个方向上获取的多个构成立体图像在移动设备上自动生成用于建筑内部中的获取位置的360
°
全景图像、并且随后以一种或多种自动方式使用所生成的全景图像的示例。
[0005]图3是示出适于运行执行本公开中描述的技术中的至少一些的系统的实施方式的计算系统的框图。
[0006]图4示出了根据本公开的实施方式的移动图像捕获和分析(MICA)系统例程的流程图的示例性实施方式。
[0007]图5示出了根据本公开的实施方式的设备上全景图像获取/生成模块例程的流程图的示例性实施方式。
[0008]图6A至图6B示出了根据本公开的实施方式的制图信息生成管理器(MIGM)系统例程的流程图的示例性实施方式。
[0009]图7示出了根据本公开的实施方式的建筑地图查看器系统例程的流程图的示例性
实施方式。
具体实施方式
[0010]本公开描述了使用智能电话或其它移动设备(例如，平板计算系统)来执行自动操作的技术，用于通过组合由移动设备捕获的构成图像来生成建筑环境的全景图像，并且随后以一种或多种其它自动方式使用所生成的全景图像。在至少一些实施方式中，这种由移动设备生成全景图像至少部分地基于在从获取位置起的多个方向上在移动设备上自动获取多个构成图像(例如，直线立体图像)，并且同时相对于构成图像捕获以实时方式或近实时方式在移动设备上组合所获取的构成图像，以从该获取位置生成具有360
°
的视野水平覆盖的全景图像——在至少一些实施方式中，这种获取位置可以来自建造的多房间建筑(例如，房屋、办公建筑等)的环境，诸如建筑内或附近的多个获取位置中的一个，在这种获取位置中的每个处生成这种全景图像(例如，不具有或不使用来自任何深度传感器或其它距离测量设备的关于从获取位置到周围建筑中的墙壁或其它对象的距离的信息)。还可以以各种方式使用关于这种生成的全景图像的信息，包括在一些实施方式中生成用于控制移动设备(例如，自主车辆)的导航、用于以相应的GUI(图形用户界面)在一个或多个客户端设备上显示或以其它方式呈现的建筑楼层平面图等。下面包括关于通过组合由移动设备捕获的多个构成图像而在移动设备上自动生成全景图像的附加细节，并且在至少一些实施方式中，本文中描述的技术中的一些或所有可以经由移动图像捕获和分析(“MICA”)系统的自动操作来执行，如下面进一步讨论的。
[0011]如上所述，MICA系统的自动操作可以包括通过组合由移动设备捕获的多个构成图像来在移动设备上生成全景图像。在一些实施方式中，这种自动操作包括：通过记录来自移动设备相机和其它传感器的数据，创建围绕竖直轴具有360
°
水平覆盖的全景图像(下文中有时称为“360
°
全景图像”)；以及在移动设备上将该数据组装成全景，随后将生成的全景图像并可选地将附加的关联信息上传到远程服务器。为了管理移动设备的计算资源约束，诸如可用RAM(随机存取存储器)的量和计算能力(例如，至少部分地基于处理器速度)，一些实施方式使用处理流水线架构来在移动设备上执行相应的自动操作，在这种架构中，可以同时和异步地并且以多个优先级级别执行各种操作，诸如在完成构成图像的获取时以实时或近实时的方式生成用于获取位置的全景图像，构成图像在全景图像生成期间被组合。移动设备上的自动操作可以包括以下各项的部分或所有：
[0012]‑
当移动设备在获取位置处以360
°
水平圆旋转时，从移动设备的内置相机捕获构成图像的序列，诸如在360
°
旋转期间的至少540个构成图像(即，一个或多个构成图像用于540个角隙中的每个角隙，其与～0.67
°
旋转相对应)；
[0013]‑
与构成图像捕获同时和异步地，针对540个角隙中的每个选择构成图像；
[0014]‑
与构成图像捕获同时地和异步地，动态地裁剪选择的构成图像以丢弃不需要的数据，诸如针对大多数选择的构成图像保留中心20％的水平图像条带(以及该条带的100％的竖直信息)，同时保留第一选择的构成图像和最后选择的构成图像的全部，并且在一些实施方式中，为与一个或多个例外标准相对应的某些构成图像动态地保留比中心20％宽的水平条带；
[0015]‑
与构成图像捕获异步地，压缩存储器中的用于裁剪的构成图像的数据，可选地在
需要时按需解压缩特定的经压缩的数据(例如，用于特定的构成图像)，可选地高速缓存经解压缩的数据以供进一步使用，并将经压缩的数据的一些或所有写入长期存储(例如，移动设备上的非易失性存储、远程设备上的存储等)；
[0016]‑
与构成图像捕获同时和异步地，并且与数据压缩和长期存储以及可选的解压缩和高速缓存同时和异步地，通过将裁剪的构成图像切片中的每个与先前的构成图像对准(例如，通过使用平移运动模型)以及通过以类似的方式将最后选择的构成图像与先前的构成图像对准，在第一拼接步骤中配准裁剪的构成图像，同时在随后的最终拼接步骤中进行附加的图像分析动作；以及
[0017]‑
在完成构成图像捕获之后，并且与数据压缩和长期存储以及可选的解压缩和高速缓存同时和异步地，在最终拼接本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种具有存储的内容的非暂时性计算机可读介质，所述存储的内容使得在与建筑相关联的获取位置处的移动设备执行自动操作，所述自动操作至少包括：由所述移动设备使用由至少一个相机在从所述获取位置起的多个方向上捕获的构成图像来生成用于所述获取位置的全景图像，包括：由所述移动设备为从所述获取位置起的不同方向的序列中的每个方向选择所捕获的构成图像中的一个以用于该方向；由所述移动设备在进行所述构成图像的捕获的同时，修改为所述序列选择的所述构成图像中的至少一些中的每个，以仅保留该选择的构成图像的少数部分；以及由所述移动设备以与所述方向的序列相对应的顺序并且在进行所述构成图像的捕获的同时，将为所述序列选择的所述构成图像中的至少一些组合以形成所述全景图像的初始版本，包括：对于所修改的构成图像中的至少一些中的每个，通过使用平移运动将该修改的构成图像的部分与为所述序列中的相邻方向选择的至少一个其它构成图像的部分对准，将该修改的构成图像配准到所述至少一个其它构成图像；以及由所述移动设备提供关于所述建筑的、包括所生成的全景图像的信息。2.根据权利要求1所述的非暂时性计算机可读介质，其中，所述方向的序列包括从所述获取位置起基本上水平地360度，并且其中，所述全景图像的生成还包括：在完成所述构成图像的捕获之后，通过将为所述序列中的初始方向选择的第一构成图像与为所述序列中的最终方向选择的最后构成图像进行配准来闭合为所述方向的序列选择的所述构成图像的回路，所述配准包括匹配所述第一构成图像和所述最后构成图像的特征。3.根据权利要求2所述的非暂时性计算机可读介质，其中，所述构成图像的捕获在所述至少一个相机基本上水平地旋转基本上360度的同时执行，其中，所述移动设备以与所述序列相对应的所述顺序来组合为所述序列选择的所有构成图像，并且还执行所述回路的闭合，并且其中，所述全景图像的生成还包括：由所述移动设备根据所述第一构成图像与所述最后构成图像的配准来确定所述第一构成图像与所述最后构成图像之间的漂移误差，并且在为所述序列选择的所述构成图像上分布所述漂移误差，以创建所述全景图像的最终版本；或者其中，所述回路的闭合由远离所述获取位置的一个或多个附加计算设备执行，并且其中，所述全景图像的生成还包括：由所述一个或多个附加计算设备根据所述第一构成图像与所述最后构成图像的配准来确定所述第一构成图像与所述最后构成图像之间的漂移误差，并且在为所述序列选择的所述构成图像上分布所述漂移误差，以创建所述全景图像的最终版本。4.根据权利要求1所述的非暂时性计算机可读介质，其中，所述全景图像的生成还包括：在完成所述构成图像的捕获之后，在所述全景图像的所述初始版本中在为所述序列中的相邻方向选择的至少一些构成图像之间执行平滑操作，其中，所述平滑操作包括以下操作中的至少一个：修改所述至少一些构成图像中的一个或多个以减小所述至少一些构成图像之间的像素强度的差异，或者使用混合或羽化中的至少一种来修改所述至少一些构成图像中的一个或多个以减小所述至少一些构成图像之间的空间重叠。5.根据权利要求4所述的非暂时性计算机可读介质，其中，所述获取位置在所述建筑的房间的内部中；
其中，所述全景图像的生成还包括：由所述移动设备在完成所述构成图像的捕获之后执行裁剪操作，以从所生成的全景图像中去除为所述序列选择的所述构成图像的不包括所述房间的视觉覆盖的部分；以及其中，所述平滑操作包括修改所述一个或多个构成图像以减小所述至少一些构成图像之间的像素强度的差异，并且还包括将为所述序列选择的所述构成图像中的一个或多个建立为锚定图像，所述锚定图像的像素强度是固定的并且在所述平滑操作中不改变。6.根据权利要求1所述的非暂时性计算机可读介质，其中，所述移动设备是包括所述至少一个相机并包括一个或多个处理器的移动计算设备，其中，所述方向的序列与从所述获取位置起的角隙的序列相对应，所述角隙的序列中的每个角隙与所述角隙的序列中的相邻角隙相差限定的角量，其中，为所述序列选择的所述构成图像是所捕获的构成图像的子集，并且其中，为所述方向中的与所述角隙中的一个相对应的一个方向选择所捕获的构成图像中的一个包括：识别自所述序列中的先前角隙后捕获的两个或更多个构成图像，并且使用一个或多个限定的标准来为所述一个方向选择所识别的两个或更多个构成图像中的一个，并且为所述一个方向丢弃所识别的两个或更多个构成图像中的不是所选择的一个构成图像的至少一个其它图像。7.根据权利要求1所述的非暂时性计算机可读介质，其中，所述存储的内容包括软件指令，所述软件指令在由所述移动设备运行时使得所述移动设备执行进一步的自动操作，包括：由所述移动设备在所述构成图像的捕获之后、并且在所修改的构成图像的压缩之后、并且在完成所述全景图像的生成之前，暂停所述全景图像的生成，并且由所述移动设备在稍后的时间恢复所述全景图像的生成，包括检索和解压缩所存储的经压缩图像以供在所述恢复中使用；和/或其中，所述存储的内容包括软件指令，所述软件指令在由所述移动设备运行时使得所述移动设备执行进一步的自动操作，包括将所修改的至少一些构成图像临时存储在队列中以使得能够相对于所述构成图像的捕获以异步方式执行所述压缩和所述组合，并且还包括确定所述移动设备上能用的计算资源，并且其中，所述构成图像的压缩或所述队列的使用中的至少一个是以至少部分地基于所确定的计算资源的方式来执行的；和/或其中，所述自动操作还包括至少部分地基于所述移动设备上能用的计算资源来确定用于所述构成图像的分辨率，以及使用所确定的分辨率来启动所述构成图像的捕获；和/或其中，所述方向的序列与从所述获取位置起的角隙的序列相对应，所述角隙的序列中的每个角隙与所述角隙的序列中的相邻角隙相差恒定角量，并且其中，所述自动操作还包括至少部分地基于所述移动设备上能用的计算资源来确定相邻角隙之间的所述恒定角量，并且部分地基于所确定的角量来执行为所述序列选择所捕获的构成图像；和/或其中，所述存储的内容包括软件指令，所述软件指令在由所述移动设备运行时使所述移动设备执行进一步的自动操作，包括：至少部分地基于在所述移动设备上能用的计算资源来确定用于保持经解压缩的构成图像的高速缓存的一个或多个特征，并且由所述移动设备在所述修改之后，基于所确定的一个或多个特征来维护经解压缩的构成图像的所述高速缓存，并且其中，如果能用，则经解压缩的所修改的构成图像与至少一个其它构成图像的配准使用所述高速缓存中的经解压缩的构成图像；和/或其中，对于所述至少一些构成图像中的为所述序列的所述方向中的一个方向选择的一
个构成图像，对所述一个构成图像的修改包括：由所述移动设备基于特定于所述一个构成图像的信息来确定并使用所述一个构成图像的要保留的量，特定于所述一个构成图像的所述信息包括以下中的至少一个：所述一个方向的相邻方向不具有选择的构成图像，或者在所述一个构成图像的捕获期间相对于至少一个其它最接近的构成图像出现不连续，并且其中，为所述序列中的初始方向选择的所有第一构成图像被保留以供在所述组合中使用；和/或其中，所述自动操作还包括：针对与所述建筑相关联的多个获取位置的序列中的每个获取位置，获得在从该获取位置起的多个方向上捕获的构成图像，并且由所述移动设备针对所述多个获取位置中的每个执行所述全景图像的生成，其中，所述多个获取位置中的至少一个在所述建筑的内部；其中，所述自动操作还包括：在所述移动设备在所述获取位置的序列中的连续获取位置之间移动时，由所述移动设备记录关于所述移动设备沿着行进路径的移动的链接信息；其中，所述自动操作还包括：由所述移动设备至少部分地基于所记录的链接信息生成所述多个获取位置中的至少一些获取位置之间的相对定位信息；并且其中，由所述移动设备提供所述信息包括：由所述移动设备提供用于在一个或多个其它设备上显示的关于所述建筑的信息，所述信息包括所生成的全景图像中的一个或多个并且指示所生成的相对定位信息中的至少一些；和/或其中，所述移动设备包括所述至少一个相机并且还包括一个或多个惯性测量单元(IMU)传感器，其中，所述自动操作还包括：由所述移动设备在所述多个方向上捕获所述构成图像且在所述构成图像的捕获期间从所述IMU传感器捕获数据，并...

【专利技术属性】
技术研发人员：肖恩，
申请(专利权)人：ZILLOW公司，
类型：发明
国别省市：