在保持物理性质的同时虚拟地表示空间和对象制造技术

本公开涉及在保持物理性质的同时虚拟地表示空间和对象。公开了在各种环境中显示真实世界空间和对象的虚拟表示的系统和技术。可以由头戴式显示器(HMD)设备扫描在第一位置处的源环境，以生成与在第一位置处的物理环境相对应的三维数据集。三维数据集可以包括与物理环境相关联的检测到的物理性质。在第二位置处，HMD可以重新创建源环境，并且基于三维数据集来绘制物理环境的虚拟表示以进行显示，其中源环境的虚拟表示被绘制以保持与物理环境相关联的检测到的物理性质中的任何一个检测到的物理性质。此外，在第二位置处，HMD可以使得用户能够查看物理环境的虚拟表示内的一个或多个物理对象，使得物理对象被感知为在源环境内。内。内。

Virtual representation of space and objects while maintaining physical properties

【技术实现步骤摘要】
在保持物理性质的同时虚拟地表示空间和对象
[0001]相关申请引用
[0002]本申请是国际申请号为PCT/US2018/034032、国际申请日为2018年5月23日、进入中国国家阶段日期为2019年12月13日、中国国家申请号为201880039765.2、专利技术名称为“在保持物理性质的同时虚拟地表示空间和对象”的专利技术专利申请的分案申请。


[0003]本公开涉及在保持物理性质的同时虚拟地表示空间和对象。

技术介绍

[0004]增强现实或“混合”现实技术已经被并入包括游戏、企业、设计和游戏等在内的各个行业的很多不同应用中。这些技术已经被并入各种产品供应中，以增强用户体验和生产力，并且为用户提供以前的技术产品无法实现的功能。由这些技术促进的一个特定增强领域涉及这些环境内的环境可视化和协作。
[0005]增强现实是一种本质上将计算机生成的图像叠加到用户的真实世界视图上的技术，使得该技术的用户可以感知到合成视图，该合成视图包括被计算机生成的图像覆盖的用户感知到的真实世界视图。关于环境可视化，增强现实已经使得用户能够查看真实世界环境内的虚拟三维纹理对象。此外，增强现实设备已经使得能够以不同比例在设备之间发送和接收这些三维对象。但是，传统系统没有提供用于捕获三维对象并且将这些对象从其环境中分割出来以进行存储或传送的直观方法。

技术实现思路

[0006]提供本
技术实现思路
部分以便以简化的形式介绍下面在具体实施方式部分中进一步描述的概念的选择。本
技术实现思路
部分既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在单独用于帮助确定所要求保护的主题的范围。
[0007]本文中描述的技术的实施例涉及在各种增强现实(AR)环境中捕获、存储、传送和/或呈现真实世界空间和对象的虚拟表示。此外，真实世界空间和对象的虚拟表示可以保持如在AR环境中呈现的任何数目的物理性质。这样，该技术的实施例提供了用于在AR环境中捕获真实世界空间和/或对象并且在稍后的时间重新生成该真实世界空间和/或对象的技术。此外，本文中描述的技术的其他实施例可以例如通过在设备之间发送和接收真实世界空间和对象的虚拟表示来促进在这种AR环境中的协作。尽管本公开主要参考AR作为所实施的技术，但是诸如混合现实、全息术和虚拟现实等其他技术也是在本公开的范围内的技术。
[0008]根据一些实施例，由用户佩戴的头戴式显示器(HMD)设备可以扫描在第一位置处的物理环境(例如，房间)，本文中也被描述为源环境，并且进一步生成与在第一位置处的物理环境相对应的三维数据集的第一集合。三维数据集的集合可以例如基于由耦合到HMD的一个或多个光学输入设备获取的光学信息来生成。此外，三维数据集可以包括与在第一位置处的物理环境相关联的检测到的物理性质，例如几何形状、尺寸、空间关系或色度性质。
HMD可以将数据集存储在本地或远程设备(例如，云)处。在第二位置处，HMD可以通过基于三维数据集的集合来绘制源环境的虚拟表示以进行显示来重新创建源环境，其中源环境的虚拟表示被绘制以保持与物理环境相关联的检测到的物理性质的任何组合。此外，HMD可以使得用户能够在源环境的虚拟表示内查看和扫描在第二位置处的一个或多个物理对象，使得(多个)物理对象可以被感知为在源环境内。为此，用户可以通过查看源环境的虚拟表示中的物理对象，来查看在第二位置处的物理对象相对于源环境的逼真比较。
[0009]在一些其他实施例中，HMD可以扫描在第二位置处的一个或多个物理对象，以生成与在第二位置处的至少第一物理对象相对应的三维数据集的至少第二集合。三维数据集的集合可以例如基于由耦合到HMD的一个或多个光学输入设备获取的光学信息来生成。与(多个)物理对象相对应的三维数据集可以包括与在第二位置处的(多个)物理对象相关联的检测到的物理性质。然后，HMD可以在本地或在远程设备处存储与(多个)物理对象相对应的数据集。基于三维数据集的集合，HMD可以重新创建(多个)物理对象，并且绘制(多个)物理对象的虚拟表示以进行显示，其中(多个)物理对象的虚拟表示被绘制以保持与(多个)物理对象相关联的一个或多个检测到的物理性质。在这方面，HMD可以使得用户能够查看源环境的虚拟表示内的物理对象的一个或多个虚拟表示。此外，用户可以通过查看源环境的虚拟表示中的物理对象的虚拟表示，来查看在第二位置处的物理对象相对于源环境的逼真比较。
[0010]在一些其他实施例中，可以由HMD接收和/或检索所存储的三维数据集，使得可以在另一位置(诸如第一位置，即源环境)处查看物理对象的虚拟表示的任何数目或组合。因此，HMD可以通过绘制物理对象的虚拟表示以进行显示、同时保持与物理对象相关联的一个或多个检测到的物理性质来重新创建物理对象。这样，HMD可以使得用户能够在第一位置的源环境内从第二位置查看物理对象的一个或多个虚拟表示。为此，用户可以通过查看源环境内的(多个)物理对象的(多个)虚拟表示来查看在第二位置处的物理对象相对于源环境的逼真比较。
[0011]本专利技术的其他目的、优点和新颖特征将部分地在下面的描述中被阐述，并且将部分地对于阅读了以下内容的本领域技术人员而言是清楚的，或者可以通过实践本专利技术来获知。
附图说明
[0012]下面参考附图来详细描述本文中提出的技术的各个方面，其中：
[0013]图1是根据本文中描述的技术的一些方面的示例操作环境的图；
[0014]图2是根据本文中描述的技术的一些方面的描绘计算架构的示例性组件的框图；
[0015]图3A至图3E是根据本文中描述的技术的一些方面的在增强现实环境中虚拟地表示真实世界空间和对象的示例性实现的示意图；
[0016]图4是根据本文中描述的技术的一些方面的示例性HMD的框图。
[0017]图5是示出根据本文中描述的技术的一些方面的用于在各种环境中呈现真实世界空间和对象的虚拟表示的方法的流程图；
[0018]图6是示出根据本文中描述的技术的一些方面的用于在各种环境中呈现真实世界空间和对象的虚拟表示的方法的流程图；
[0019]图7是适合用于实现本专利技术的实施例的示例性计算环境的框图。
具体实施方式
[0020]本文中具体描述本公开的各方面的主题以满足法定要求。然而，说明书本身并不旨在限制本专利的范围。相反，专利技术人已经预料到，所要求保护的主题还可以结合其他当前或未来技术以其他方式实施，以包括与本文档中描述的步骤不同的步骤或类似步骤的组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是除非并且除了明确地描述了各个步骤的顺序时，这些术语不应解释为暗示本文中公开的各个步骤之中或之间的任何特定顺序。
[0021]如本文中使用的，术语“虚拟对象”(VO)可以是指任何计算机生成的对象或者物理或非物理对象的任何计算机生成的可视化。这样的计算机生成的对象(或其计算机生成的可视化)可以是一维(1D)对象、二维(2D)对象或三维(3D)对象(或其可视化)。
[0022]“环境”可以是指任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机存储介质，存储计算机可用指令，所述计算机可用指令在由一个或多个计算设备使用时，使得所述一个或多个计算设备执行包括以下的操作：基于经由位于第一位置处的输入设备获得的输入数据来生成所述第一位置的第一模型；基于生成的所述第一模型的经确定的特征，将生成的所述第一模型分割成一组第一模型分段；从位于远程位置中的远程计算设备接收物理对象的第二模型，其中所述第二模型是基于经由位于所述远程位置处的另一输入设备获得的附加输入数据而被生成的；以及提供定位在分割的所述第一模型内的接收到的所述第二模型以进行显示。2.根据权利要求1所述的计算机存储介质，所述操作还包括：确定显示的所述第一模型的照明；以及基于显示的所述第一模型的所确定的所述照明，对显示的所述第二模型进行标准化。3.根据权利要求2所述的计算机存储介质，其中进一步基于显示的所述第二模型与显示的所述第一模型之间的一个或多个经确定的空间关系，显示的所述第二模型被标准化。4.根据权利要求1所述的计算机存储介质，其中接收到的所述第二模型以与显示的所述第一模型相对应的比例而被显示。5.根据权利要求1所述的计算机存储介质，所述操作还包括：将显示的所述第二模型的相对位置和分割的所述第一模型传送给所述远程计算设备；至少部分地基于所传送的所述相对位置，从所述远程计算设备接收与所显示的所述第二模型相关联的经修改的相对位置；以及基于接收到的所述经修改的相对位置，更新显示的所述第一模型和显示的所述第二模型的所述相对位置。6.根据权利要求1所述的计算机存储介质，所述操作还包括：基于与来自包括在显示的所述第一模型中的所述一组第一模型分段中的第一模型分段相对应的检测到的输入，修改所述第一模型分段的相对位置；以及将经修改的所述相对位置传送到所述远程计算设备，其中所述远程计算设备被配置为：基于所传送的经修改的所述相对位置，提供具有在经修改的所述相对位置处的所述第一模型分段的所传送的所述第一模型以进行显示。7.根据权利要求1所述的计算机存储介质，所述操作还包括：减小生成的所述第一模型和接收到的所述第二模型的尺寸，其中基于减小的所述尺寸，定位在生成的所述第一模型内的接收到的所述第二模型被提供以进行显示。8.根据权利要求7所述的计算机存储介质，其中基于减小的所述尺寸，接收到的所述第二模型和生成的所述第一模型被提供以从俯视图进行显示。9.根据权利要求1所述的计算机存储介质，所述操作还包括：基于生成的所述第一模型的所述经确定的特征，完成所述一组第一模型分段中的每个第一模型分段。10.根据权利要求9所述的计算机存储介质，其中所述一组第一模型分段中的每个第一模型分段进一步基于所述第一模型分段与所述一组第一模型分段中的至少一个其他模型分段之间的经确定的关系而被完成。
11.根据权利要求1所述的计算机存储介质，所述操作还包括：确定与接收到的所述第二模型相关联的第一组尺寸超过与分割的所述第一模型相关联的第二组尺寸，其中分割的所述第一模型被提供有具有切口部分的显示，所述切口部分容纳定位在显示的所述第一模型内的接收到的所述第二模型。12.一种用于传输捕获的虚拟环境的...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：