策划的摄影测量制造技术

提供了生成摄影测量数据的方法。在一些实现方式中，当捕获设备围绕物理环境移动时，捕获设备捕获物理环境的图像序列，同时跟踪捕获设备的设备姿势。对于图像序列中的图像中的每一个图像，对应的设备姿势存储为图像的元数据。使用摄影测量，根据图像生成物理环境的三维(3D)模型，其中摄影测量针对图像中的每一个图像使用来自图像的元数据的对应设备姿势来生成3D模型。在另外的方面，可以使用用户反馈回路来指引用户将捕获设备移动至特定的设备姿势以用于捕获图像。用于捕获图像的另外的相机属性可以存储在其元数据中并且由摄影测量使用。

Planned Photogrammetry

The method of generating photogrammetric data is provided. In some implementations, when the capturing device moves around the physical environment, the capturing device captures the image sequence of the physical environment and tracks the device posture of the capturing device. For each image in the image sequence, the corresponding device posture is stored as metadata of the image. Using photogrammetry, a three-dimensional (3D) model of physical environment is generated from the image, in which photogrammetry generates a three-dimensional model using the corresponding device posture from the metadata of the image for each image in the image. In another aspect, the user feedback loop can be used to guide the user to move the capturing device to a specific device posture for capturing the image. Additional camera attributes for capturing images can be stored in their metadata and used by photogrammetry.

【技术实现步骤摘要】
【国外来华专利技术】策划的摄影测量
技术介绍
三维(3D)捕获技术允许将现实世界的物体和环境再现为对应的3D虚拟物体。3D虚拟物体有许多可能的用途，例如，用于3D打印、增强现实(AR)和虚拟现实(VR)体验、快速原型制作、电影等等。典型地，3D虚拟物体可以通过利用一个或多个捕获设备捕获环境来生成，捕获设备包括能够检测现实世界的物理特征的任何数量的环境传感器。这些物理特征被转换为3D虚拟物体的对应特征。使用摄影测量进行3D捕获的应用可以使用相机获取环境的一系列或者一组图像或者视频。这种摄影测量数据在不知道用于产生3D模型的数据的质量或者适合性的情况下，由系统简单地处理。典型地，摄影测量数据被任意地捕获，例如，每当用户按下相机的捕获按钮时图像应该被捕获，控制相机的移动或者位置用于捕捉，或者设置多个相机以同时地捕获数据。由于该过程的任意性，由摄影测量产生的3D模型趋向于包括降低模型质量的孔、间隙或者伪像。例如，这可能由于摄影测量数据不完整，数据在对于摄影测量不合适的条件下被捕获，或者摄影测量可能无法准确地表征摄影测量数据以确定用于产生模型的捕获条件。此外，摄影测量数据可能包括冗余信息，这增加了处理要求并且可能导致不一致的结果。
技术实现思路
在某些方面，本公开提供了获取摄影测量数据的系统和方法。在一些实现方式中，当用户围绕物体或者空间移动捕获设备时系统跟踪捕获设备，同时捕获设备提供捕获数据的视频馈送，其中提供了快照或者图像或者摄影测量数据。捕获设备的姿势被存储和监视以确保对图像的“捕获跟踪”满足所选场景的期望路径(例如，(多个)物体对空间捕获)。系统以一定间隔捕获图像，同时确保实现正确的图像到图像覆盖和图像之间的角度分离。在系统确定应该提供更多的摄影测量数据的情况下，系统提供用户反馈来将用户引导至正确的设备姿势以允许获得附加数据。在每个捕获位置处理视频馈送以确保图像内容是合适的并且相机参数是经调整的，以优化在该位置捕获的摄影测量数据。在另外的方面，每个(多个)捕获位置与对应的设备姿势、捕获的图像或者多个图像以及图像特性(例如，相机固有参数)相关联。该信息作为摄影测量源材料用于后处理，以产生原始场景或者物体的3D纹理化重建。在一些情况下，捕获设备将这种摄影测量数据提供(例如，上传)至服务器(例如，云)或另一本地设备用于后处理。这可以在系统确定已经捕获了足够的摄影测量数据集以用于再现之后或者当摄影测量数据正在被捕获时发生。本公开的方面提供了实时计算的姿势先验，其与每个对应的图像一起存储为设备姿势。这为摄影测量提供了针对特定照片的精确且准确的姿势，显著地改进了摄影测量在再现现实世界物体和空间方面的质量和可靠性。处理时间减少，因为系统监视是否已经获得了足够的摄影测量数据，从而可以将数据量调整至摄影测量要求而不捕获冗余数据。附图说明下面参考附图详细描述本专利技术，其中：图1是示出根据本公开实施例的操作环境的示例的框图；图2示出了根据本公开实施例的摄影测量系统的框图；图3示出了根据本公开实施例的捕获会话的图示；图4是示出根据本公开实施例的方法的流程图；图5是示出根据本公开实施例的方法的流程图；图6是示出根据本公开实施例的方法的流程图；图7是示出根据本公开实施例的方法的流程图；图8是示出根据本公开实施例的方法的流程图；以及图9是适用于实现本公开实施例的示例性计算环境的框图。具体实施方式本文具体地描述了本专利技术的主题以满足法定要求。然而，说明书本身不旨在限制本公开的范围。相反，专利技术人已经设想到主题还可以以其他方式体现，以包括与本文档中描述的步骤类似的不同步骤或步骤组合，结合其他现有技术或者未来技术。此外，尽管本文可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是这些术语不应被解释为暗示本文公开的各个步骤之中或者之间的任何特定顺序，除非并且除了当单独步骤的顺序被明确地描述。本公开的方面使用摄影测量来简化(场景或者物体的)3D捕获的过程，并且始终提供多个分辨率检查点。可以经由分析捕获数据的本地客户端捕获算法向用户提供即时反馈。同时，捕获数据可以流式传输至基于云的服务以用于更广泛的分析以改进物体分辨率。使用本文描述的方法，可以获得比可以以其他方式实现的更小的数据集，该数据集非常适合于重建。这些数据可以调整至摄影测量后端要求的数据。相反，常规摄影测量方法可能花费数小时进行处理并且导致低质量的再现。现在转到图1，提供了示出可以采用本公开的一些实现方式的操作环境的示例的框图。应该理解的是，本文描述的这种和其他布置仅作为示例阐述。除了所示的布置和元件(例如，机器、接口、功能、顺序和功能分组等等)之外或代替所示的布置和元件，可以使用其他布置和元件，并且为了清楚起见，可以完全地省略一些元件。此外，本文描述的元件中的许多元件是功能实体，其可以实现为离散的或者分布式的组件或者与其他组件相结合地实现，并且以任何合适的组合和位置实现。本文描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件执行。例如，一些功能可以通过处理器执行存储在存储器中的指令来执行。操作环境100包括多个用户设备，例如，用户设备102a和102b到102n、网络104和(多个)服务器108，以及未示出的其他组件。应该理解的是，图1所示的操作环境100是一种合适的操作环境的示例。可以经由任何类型的计算设备(例如，结合图9描述的计算设备900中的一个或多个)来实现图1中示出的组件中的每个组件。这些组件可以经由网络104彼此通信，网络104可以是有线的、无线的或两者。网络104可以包括多个网络或多个网络中的一个网络，但是以简单的形式示出以免模糊本公开的方面。通过示例的方式，网络104可以包括一个或多个广域网(WAN)、一个或多个局域网(LAN)、一个或多个诸如互联网之类的公共网络和/或一个或多个专用网络。在网络104包括无线电信网络的情况下，诸如基站、通信塔或甚至接入点(以及其他组件)之类的组件可以提供无线连接。联网环境在办公室、企业范围的计算机网络、内联网和互联网中很常见。因此，没有非常详细地描述网络104。应该理解的是，在本公开的范围内，可以在操作环境100内采用任何数量的用户设备、服务器和其他公开的组件。每个组件可以包括在分布式环境中协作的单个设备或多个设备。用户设备102a到102n包括能够由用户操作的任何类型的计算设备。例如，在一些实现方式中，用户设备102a到102n是本文关于图9描述的计算设备的类型。通过示例而非限制的方式，用户设备可以体现为个人计算机(PC)、膝上型计算机、移动设备、智能电话、平板计算机、智能手表、可穿戴计算机、个人数字助理(PDA)、MP3播放器、全球定位系统(GPS)或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、遥控器、电器、消费电子设备、工作站、3D扫描设备、这些描绘的设备的任何组合或者任何其他合适的设备。用户设备可以包括一个或多个处理器和一种或多种计算机可读介质。计算机可读介质可以包括可由一个或多个处理器执行的计算机可读指令。指令可以由一个或多个应用体现，例如，图1所示的应用110。为了简单起见，应用110指代单个应用，但是其功能可以在实践中由一个或多个应用体现。如上面指示的，其他的用户设备可本文档来自技高网...

【技术保护点】
1.一种计算机实现的系统，包括：一个或多个处理器；以及一种或多种计算机可读介质，其上体现有可执行指令，所述可执行指令当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行包括以下操作的方法：当捕获设备围绕物理环境移动时，使用所述捕获设备捕获所述物理环境的图像序列，同时跟踪所述捕获设备的设备姿势；针对所述图像序列中的多个图像中的每一个图像，将所述设备姿势中的对应设备姿势存储为所述图像的元数据；以及通过摄影测量，根据所述多个图像生成所述物理环境的三维(3D)模型，所述摄影测量针对所述多个图像中的每一个图像使用来自所述图像的元数据的所述对应设备姿势来生成所述3D模型。

【技术特征摘要】
【国外来华专利技术】2016.10.25 US 62/412,762;2017.06.13 US 15/621,9441.一种计算机实现的系统，包括：一个或多个处理器；以及一种或多种计算机可读介质，其上体现有可执行指令，所述可执行指令当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行包括以下操作的方法：当捕获设备围绕物理环境移动时，使用所述捕获设备捕获所述物理环境的图像序列，同时跟踪所述捕获设备的设备姿势；针对所述图像序列中的多个图像中的每一个图像，将所述设备姿势中的对应设备姿势存储为所述图像的元数据；以及通过摄影测量，根据所述多个图像生成所述物理环境的三维(3D)模型，所述摄影测量针对所述多个图像中的每一个图像使用来自所述图像的元数据的所述对应设备姿势来生成所述3D模型。2.根据权利要求1所述的计算机实现的系统，其中生成所述3D模型包括：基于所述多个图像中的图像的所述对应设备姿势来确定图像之间的公共点；以及基于所确定的公共点来估计物体在所述物理环境中的3D坐标。3.根据权利要求1所述的计算机实现的系统，其中所述方法还包括针对所述多个图像，将所述捕获设备的对应相机属性存储为所述图像的元数据，其中所述摄影测量还针对所述多个图像中的每一个图像使用来自所述图像的元数据的所述对应相机属性来生成所述3D模型。4.根据权利要求1所述的计算机实现的系统，其中所述方法包括在捕获所述图像序列期间进行以下操作：基于对所述图像序列中的图像的分析向所述图像分配分数；基于所述分数防止将所述图像包括在所述多个图像中；基于所述分数调整所述捕获设备的相机属性；基于对所述图像的分析向所述图像序列中的附加图像分配附加分数，所述附加图像是使用经调整的相机属性捕获的；以及基于所述附加分数将所述附加图像包括在所述多个图像中。5.根据权利要求1所述的计算机实现的系统，其中所述方法还包括：基于对所述图像序列中的一个或多个图像的分析来确定所述捕获设备的期望设备姿势；以及使用根据所述设备姿势生成的用户反馈回路来指引所述捕获设备向所述期望设备姿势的移动；其中针对所述多个图像中的图像的所述存储是基于确定所述对应设...

【专利技术属性】
技术研发人员：N·伯顿，V·阮，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US