模拟景深制造技术

本公开提供了模拟景深的方法。在一些实现方式中，确定相机与物理环境中的主体的最佳扫描距离，以用于相机对主体的扫描。随着接近度在扫描期间改变，迭代地更新模糊水平以对应于相机与所确定的最佳扫描距离的接近度。对于来自迭代更新的对模糊水平的每次更新，在与扫描相关联的用户设备上生成包括以更新的模糊水平描绘的物理环境的三维(3D)模型的图像。

Simulated depth of field

The present disclosure provides a method for simulating depth of field. In some implementations, the optimal scanning distance between the camera and the subject in the physical environment is determined for the camera to scan the subject. As the degree of proximity changes during scanning, the ambiguity level is iteratively updated to correspond to the degree of proximity between the camera and the determined optimal scanning distance. For each update to the blur level from the iteration update, an image including a three-dimensional (3D) model of the physical environment depicted at the updated blur level is generated on the user equipment associated with the scan.

【技术实现步骤摘要】
【国外来华专利技术】模拟景深
技术介绍
三维(3D)扫描技术允许将现实世界对象和环境转化成相对应的3D虚拟对象。3D虚拟对象具有许多可能的用途，例如用于3D打印、增强现实(AR)和虚拟现实(VR)体验、快速原型制作等。通常，可以通过用一个或多个扫描设备扫描环境来生成3D虚拟对象，所述扫描设备包括能够检测现实世界的物理特征的任何数量的环境传感器。这些物理特征被转换为3D虚拟对象的相应特征。在一些3D扫描方法中，用户能够物理地操纵扫描设备，例如移动电话，以便控制设备姿势，以及设备与作为扫描的主体的一个或多个现实世界对象和/或空间的距离。扫描设备可以包括收集扫描数据的相机，该扫描数据包括关于其视野内的表面的距离信息，以及表面纹理和颜色信息。为了接收高质量的扫描数据，相机应定位在距扫描的主体的最佳距离处，该最佳距离可能会随着扫描不同区域而改变。该距离可以基于相机的焦距。有些相机具有可调焦距，例如带有变焦镜头的相机。然而，调整焦距可能并不总是可行的，例如相机具有固定焦距的情况。在这些情况下，用户可能无法判断扫描的最佳距离，这会降低扫描质量。
技术实现思路
在一些方面，本公开提供了使用来自现实世界对象或空间的3D捕获数据来可视化和生成3D扫描对象的系统和方法。为了帮助用户保持与被扫描主体的最佳距离，本公开的各方面基于用户从焦点的摄影标准学习的行为而构建。特别地，在3D扫描期间，确定相机和/或扫描设备的最佳扫描距离。在各种实现方式中，模糊用于在视觉上向用户指示相机与扫描距离的接近度。当相机远离扫描距离时，模糊会增加。此外，当相机朝向扫描距离移动时，模糊减少。在扫描距离处或附近，可以不向用户呈现模糊。在一些实现方式中，将模糊应用于正被扫描的对象的3D表示。例如，可以使用纹理来应用模糊，其被UV映射到映射到3D表示。该3D表示可以对应于例如网格或点云。在一些情况下，纹理被应用于对应于点云的粒子，使得粒子的模糊水平改变以指示与扫描距离的接近度。在一些实现方式中，可以使用包括3D表示的整个显示器上的后处理来应用模糊。然而，使用应用于3D表示的纹理来应用模糊可以是更低功率且更不计算密集的，这尤其适合于电池操作的扫描设备。附图说明以下参照附图详细描述本专利技术，其中：图1是示出根据本公开的实施例的操作环境的示例的框图。图2示出了根据本公开的实施例的焦距指示器系统的框图；图3A，3B，3C，3D和3E示出了根据本公开的实施例的当用户朝向焦平面移动时的3D表示；图4示出了根据本公开的实施例的焦平面图的示例；图5示出了根据本公开的实施例的纹理的示例；图6是示出根据本公开的实施例的方法的流程图；图7是示出根据本公开的实施例的方法的流程图；图8是示出根据本公开的实施例的方法的流程图；图9是示出根据本公开的实施例的方法的流程图；图10是示出根据本公开的实施例的方法的流程图；图11是示出根据本公开的实施例的方法的流程图；以及图12是适用于实现本公开的实施例的示例性计算环境的框图。具体实施方式本文中具体描述了本专利技术的主题以满足法定要求。然而，描述本身并不旨在限制本公开的范围。相反，专利技术人已经预期主题还可以以其他方式体现，结合其他现有或未来技术，包括不同步骤或与本文档中描述的步骤类似的步骤组合。此外，尽管这里可以使用术语“步骤”和/或“块”来表示所采用的方法的不同元素，但是这些术语不应被解释为暗示本文公开的各个步骤之中或之间的任何特定顺序，除非且除了当明确描述了各个步骤的顺序时。为了帮助用户在扫描时保持与主体的对象的最佳距离，本公开的各方面基于用户从焦点的摄影标准学习的行为而构建。在各种实现方式中，渲染景深效果以鼓励用户向前或向后移动以使其对象保持对焦。这也有助于用户与对象保持一致的距离，这有助于跟踪和姿势生成，从而实现更好的重建。在3D扫描期间，确定相机和/或扫描设备的最佳扫描距离。在各种实现方式中，模糊用于在视觉上向用户指示相机与扫描距离的接近度。当相机远离扫描距离时，模糊会增加。此外，当相机朝向扫描距离移动时，模糊减少。在扫描距离处或附近，可以不向用户呈现模糊。在一些实施方案中，将模糊应用于正被扫描的对象的3D表示。例如，可以使用纹理来应用模糊，其被UV映射到3D表示。该3D表示可以对应于例如网格或点云。在一些情况下，纹理被应用于对应于点云的粒子，使得粒子的模糊水平改变以指示与扫描距离的接近度。在一些实施方案中，模糊可作为后效应应用于显示器。这可以包括多次完全渲染场景以将焦点对齐的传递和失焦的传递混合在一起。然而，将模糊应用于应用到3D表示的纹理可以是更低功率且更不计算密集的，这尤其适合于电池操作的扫描设备。例如，扫描设备可以执行场景跟踪，生成深度图，以及在显示器上渲染对象的3D表示，这导致显着的热增益，并且消耗功率和计算资源。另外，渲染景深效果因此引入超过性能范围的风险，例如在性能范围可能有限的移动设备上。如上所述，在各种实现方式中，3D表示可以包括渲染到它们在深度图上的位置的粒子。当相机的姿势相对于环境改变时，可以更新渲染的粒子。渲染的粒子可以对应于例如使用任何合适的3D扫描方法产生的点云或网格。在各种实现方式中，使用每个粒子的纹理来模拟景深效果。可以应用景深效果，使得除了透明度之外不需要场景的额外渲染，其可以在没有景深效果的情况下使用，使得设备性能对效果的影响最小。在一些实现方式中，提供多个纹理，其中纹理中的不同纹理表示对3D扫描的主体的不同的模糊水平或聚焦于。纹理中的至少一个可以对应于对象的最大焦点，这可能不会导致任何模糊被应用于对象的3D表示。多个纹理可以例如提供在共同的纹理片上，例如纹理子画面片，其中每个纹理对应于相应的子画面。对于3D表示的每个粒子(在整个说明书中可以互换地使用更广泛的术语视觉元素或区域)，系统可以计算从深度图中的粒子到焦距的距离(也称为上文的扫描距离)。该焦距可表示粒子的最佳扫描距离。焦距与相应粒子之间的计算差可以对应于该粒子的模糊或焦点水平。在一些实现方式中，系统基于所确定的粒子的模糊水平(例如，对应于所述模糊水平的纹理)，从表示不同水平的模糊或焦点的纹理中选择至少一个纹理。可以将该纹理应用于粒子，使得渲染粒子以指示模糊水平。例如，系统可以为粒子着色器分配一个值，该值确定渲染哪个子画面或子画面混合。基于粒子与完全焦点的距离，每个粒子可以与其邻居线性插值。因此，可以渲染每个粒子以在视觉上指示其对应的模糊水平，从而导致景深的错觉。系统可以不时地(例如，以规则间隔周期性地和/或间歇地)重新评估每个粒子的上述模糊水平，例如基于检测到相机与对象的变化距离。此外，可以更新所显示的粒子以产生任何更新的模糊水平。因此，当用户在空间中操纵相机时，可以更新景深效果以反映相机相对于对象的定位的变化(例如，实时地)。在一些情况下，每个粒子的焦距对应于由被扫描物体限定的焦平面。与焦平面共面的任何粒子可以被认为相对于物体处于完全聚焦。此外，每个粒子的焦距可以对应于焦平面，并且可以对每个粒子使用相同的焦距。现在转向图1，提供了示出其中可以采用本公开的一些实现方式的操作环境的示例的框图。应该理解的是，这里描述的这个布置和其他布置仅作为示例阐述。除了所示的那些之外或代替所示的那些，还可以使用其他布置和元件(例如，机器、接口、功能、顺序和功能分组等)，并且为了本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：确定相机与物理环境中的主体的最佳扫描距离，以供由所述相机扫描所述主体；当在所述扫描期间随着所述相机与所确定的最佳扫描距离的接近度改变，迭代地更新模糊水平以对应于所述接近度；以及对于来自所述迭代地更新的对所述模糊水平的每个更新，在与所述扫描相关联的用户设备上生成包括以更新的模糊水平描绘的所述物理环境的三维(3D)模型的图像，所述3D模型是从所述扫描产生的。

【技术特征摘要】
【国外来华专利技术】2016.10.25 US 62/412,766;2017.03.02 US 15/448,4251.一种计算机实现的方法，包括：确定相机与物理环境中的主体的最佳扫描距离，以供由所述相机扫描所述主体；当在所述扫描期间随着所述相机与所确定的最佳扫描距离的接近度改变，迭代地更新模糊水平以对应于所述接近度；以及对于来自所述迭代地更新的对所述模糊水平的每个更新，在与所述扫描相关联的用户设备上生成包括以更新的模糊水平描绘的所述物理环境的三维(3D)模型的图像，所述3D模型是从所述扫描产生的。2.根据权利要求1所述的计算机实现的方法，其中，所述迭代地更新包括在每次迭代中确定所述接近度，其中，所述更新的模糊水平与所确定的接近度成比例。3.根据权利要求1所述的计算机实现的方法，其中，所述图像的生成包括将与所述模糊水平相对应的模糊纹理应用于所述3D模型，所述模糊纹理引起所述3D模型的模糊。4.根据权利要求1所述的计算机实现的方法，其中，所述确定所述最佳扫描距离是基于利用所述用户设备的传感器跟踪所述相机在所述物理环境中的位置的。5.根据权利要求1所述的计算机实现的方法，其中，在更新中，基于所述接近度减小，所述模糊水平增加，并且基于所述接近度增加，所述模糊水平减小。6.根据权利要求1所述的计算机实现的方法，其中，所述图像的生成包括粒子着色器以所述模糊水平模糊所述3D模型的粒子。7.根据权利要求1所述的计算机实现的方法，其中，所述迭代地更新包括：对于每次迭代，基于所述相机在所述物理环境中的位置来确定所述更新的模糊水平。8.根据权利要求1所述的计算机实现的方法，确定所述模糊水平，使得当所述相机处于所述最佳扫描距离处时使所述模糊水平最小化。...

【专利技术属性】
技术研发人员：P·赖安，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US