共享空间边界和幻象表面制造技术

多用户通信会话内的对象的呈现基于共享或非共享状态或者用户是否正与该对象交互而改变。监测第一设备的用户在包括共享对象和非共享对象的第一物理环境内的移动，其中该共享对象对该用户和第二物理环境中的第二设备的附加用户可见，该第一设备和该第二设备在多用户通信会话中是活动的，并且该非共享对象对该用户可见并且对该附加用户不可见。检测该用户与非共享对象的交互。根据对该用户与该非共享对象的该交互的该检测，提供该非共享对象的至少一部分的表示以供该第二设备呈现。少一部分的表示以供该第二设备呈现。少一部分的表示以供该第二设备呈现。

【技术实现步骤摘要】
【国外来华专利技术】共享空间边界和幻象表面

技术介绍

[0001]本公开整体涉及图像处理。更具体地，但不作为限制，本公开涉及用于提供用来在扩展现实环境内增强多用户通信会话中的多用户通信的工具的技术和系统。
[0002]一些设备能够生成并呈现扩展现实(XR)环境。XR环境可包括人们经由电子系统感知和/或与其交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。一些XR环境允许多个用户在XR环境中相互交互。然而，所需要的是提供用于呈现多用户通信会话的空间的改进技术。
附图说明
[0003]图1以框图形式示出了根据一个或多个实施方案的简化系统图。
[0004]图2示出了根据一个或多个实施方案的示例性操作环境的图。
[0005]图3描绘了根据一个或多个实施方案的用于在可用几何形状内呈现多用户通信会话的表示的技术的流程图。
[0006]图4示出了根据一个或多个实施方案的用于基于远程用户的移动来呈现多用户通信会话的表示的技术的流程图。
[0007]图5示出了根据一个或多个实施方案的多用户通信会话的表示的示例性显示。
[0008]图6示出了根据一个或多个实施方案的当用户离开可用几何形状时的多用户通信会话的表示的示例性显示。
[0009]图7示出了根据一个或多个实施方案的用于在多用户通信会话中呈现幻象表面的表示的示例性流程图。
[0010]图8A至图8B示出了根据一个或多个实施方案的其中呈现幻象表面的表示的显示的示例性系统图。
[0011]图9示出了根据一个或多个实施方案的用于更新共享空间位置的位置的技术的示例性流程图。
[0012]图10示出了根据一个或多个实施方案的用于更新共享空间容器的呈现的技术的示例性流程图。
[0013]图11描绘了根据一个或多个实施方案的不同物理环境中的共享空间容器的示例。
[0014]图12A至图12B描绘了根据一个或多个实施方案的基于已更新共享空间容器位置的不同环境中的共享空间容器的示例。
[0015]图13A和图13B描绘了根据一个或多个实施方案的多用户通信会话中的非共享对象的呈现的示例。
[0016]图14示出了根据一个或多个实施方案的用于在多用户通信会话内呈现共享和非共享虚拟对象的技术的流程图。
[0017]图15A至图15C描绘了根据一个或多个实施方案的第二物理环境中的物理对象的表示在第一物理环境中的呈现的示例。
[0018]图16描绘了根据一个或多个实施方案的用于生成多用户通信会话中的物理对象的表示的技术的流程图。
[0019]图17A至图17C描绘了其中多用户通信会话为活动的物理环境的示例性视图。具体地，图17A至图17C描绘了多用户通信会话中的一个用户对共享虚拟对象的移动的示例。
[0020]图18描绘了根据一个或多个实施方案的用于在多用户通信会话中移动共享虚拟对象的技术的流程图。
[0021]图19A至图19B示出了用于在各种计算机模拟扩展现实技术中使用的示例性系统。
具体实施方式
[0022]本公开涉及用于提供用来以与多用户通信会话内的用户一致的方式呈现该会话的各部件的增强的系统、方法和计算机可读介质。在一些实施方案中，本文所描述的技术提供了一种用于确定在多用户通信会话中活动的用户的共同可用几何形状以使得多用户通信会话的部件可被放置在可用几何形状内的方法。在一个或多个实施方案中，可获得在多用户通信会话中活动的每个用户的物理环境的特性以便确定在每个空间中可用的区域的大小或尺寸。在一些实施方案中，可基于多用户通信会话中的每个用户或在多用户通信会话中活动的用户子集的物理环境来确定可用几何形状。
[0023]多用户通信会话的部件可以使得部件在多用户通信会话的每个设备的表示中表现一致的方式放置在每个设备的可用几何形状中。例如，可在可用几何形状中利用参考点，该参考点可限定多用户通信会话的各种部件的放置。作为另一个示例，可利用共同坐标来确定用于各种设备的多用户通信会话的部件的一致放置。在一些实施方案中，可用几何形状的边界在多用户通信会话的表示中可以是可见的或不可见的。也就是说，几何形状的边界可以或可不呈现给用户。
[0024]在一些实施方案中，如果用户离开可用几何形状，则可用几何形状可确定如何呈现用户或部件。例如，在一些实施方案中，如果本地用户走出多用户通信会话的本地表示中的可用几何形状，则多用户通信会话的内容可能不再对本地用户可见。在一些实施方案中，可用几何形状的边界的表示可对本地用户可见。此外，本地用户的表示可能不再对远程用户可见。然而，在一些实施方案中，本地用户的音频可被提供给远程用户，或者可用几何形状的边界上的视觉表示可指示用户在可用几何形状外部的存在。在一些实施方案中，本地用户的音频或表示在边界上的放置可指示在可用几何形状之外的本地用户的相对位置。
[0025]根据一些实施方案，用户可利用具有物理对象(诸如家具等)的本地环境中的物理空间，该物理对象可能对远程用户不可见，但可能影响本地用户的移动。根据一些实施方案，本地设备可检测或以其他方式接收用户的移动被物理环境中的物理对象影响的指示。设备可向多用户通信会话中的一个或多个远程用户传输物理对象的指示以使得多用户通信会话的远程表示可包括上下文信息，诸如幻象表面(例如，表面的虚拟表示)，其可为用户的移动提供上下文。根据一些实施方案，指示可包括物理对象的图像数据、物理对象的几何形状等。在一些实施方案中，可根据隐私策略来确定物理对象的细节级别。例如，与通用对象相比，包含个人识别信息的物理对象可能对远程用户更模糊。此外，在一些实施方案中，关于物理对象的细节级别可取决于远程用户与本地用户的关系。例如，具有足够密切关系的本地用户可与较低安全标准相关联，使得关于本地用户的物理环境的更多细节可被提供
给远程用户。另选地，如果本地用户和远程用户仅是相识但是不是很熟的人，则可向远程用户提供较低细节级别。
[0026]人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在第一设备处获得与所述第一设备所位于的本地环境相关联的本地大小约束数据；在所述第一设备处获得与第二设备所位于的远程环境相关联的远程大小约束数据，其中所述第一设备和所述第二设备在多用户通信会话中是活动的；基于所述本地大小约束数据和所述远程大小约束数据来确定几何形状；以及在所述几何形状内呈现所述多用户通信会话的表示。2.根据权利要求1所述的方法，其中在所述几何形状内呈现所述多用户通信会话的部件。3.根据权利要求1所述的方法，还包括：在所述第一设备处接收所述第二设备的远程用户相对于所述几何形状内的参考点的位置；以及在所述第一设备处基于所述远程用户相对于所述参考点的所述位置来呈现所述远程用户的表示。4.根据权利要求3所述的方法，还包括：在所述第一设备处确定所述本地环境内的已更新位置以使得所述参考点位于所述本地环境内的新点处；以及在所述第一设备处基于所述远程用户相对于位于所述本地环境内的所述新点处的所述参考点的所述位置来呈现所述远程用户的所述表示。5.根据权利要求1至4中任一项所述的方法，还包括基于所述本地环境的一个或多个图像来生成所述本地大小约束数据。6.根据权利要求1至4中任一项所述的方法，还包括基于用户输入来生成所述本地大小约束数据。7.根据权利要求1至6中任一项所述的方法，还包括：接收所述远程用户已经移动到所述几何形状之外的位置的指示；以及在所述几何形状的边界上呈现指示所述远程用户移动到所述几何形状之外的所述位置的指示。8.根据权利要求7所述的方法，还包括根据所述远程用户已经移动到所述几何形状之外的位置的所述指示来停止所述远程用户的所述表示的显示。9.根据权利要求8所述的方法，还包括继续播放与来自所述几何形状之外的所述位置的所述远程用户相关联的空间音频。10.根据权利要求1至9中任一项所述的方法，还包括在所述本地环境内显示所述几何形状的表示。11.根据权利要求10所述的方法，其中根据所述本地用户移动到所述几何形状之外的位置来显示所述几何形状的所述表示。12.根据权利要求10所述的方法，其中根据所述本地用户移动到所述几何形状之外的位置来使所述多用户通信会话的所述表示对于所述本地用户变得模糊。13.根据权利要求1至12中任一项所述的方法，其中所述几何形状包括面积或体积。14.根据权利要求13所述的方法，其中确定所述面积或体积包括确定所述本地约束数据和所述远程大小约束数据之间的交集，
其中所述本地约束数据指示所述本地环境内的可用于呈现的第一尺寸，其中所述远程大小约束数据指示所述远程环境内的可用于呈现的第二尺寸，并且其中基于所述第一尺寸和所述第二尺寸来确定所述交集。15.根据权利要求1至14中任一项所述的方法，还包括：接收所述第二设备的远程用户在所述远程环境中的移动的指示；接收所述远程用户的所述移动被所述远程环境中的物理对象影响的指示；由所述第一设备根据所述移动在所述多用户通信会话的所述表示中呈现所述远程用户的表示；以及由所述第一设备根据所述远程用户的所述移动被所述物理对象影响的所述指示在所述多用户通信会话的所述表示中呈现所述物理对象的指示。16.根据权利要求15所述的方法，其中接收所述远程用户的所述移动被所述物理对象影响的所述指示还包括：在所述第一设备处接收描述所述远程环境中的所述物理对象的数据，所述数据包括所述物理对象相对于参考点的位置，其中根据所述物理对象相对于所述参考点的所述位置在所述多用户通信会话的所述表示中呈现所述物理对象的所述指示。17.一种包括计算机可读代码的非暂态计算机可读介质，所述计算机可读代码能够由一个或多个处理器执行以：在第一设备处获得与所述第一设备所位于的本地环境相关联的本地大小约束数据；在所述第一设备处获得与第二设备所位于的远程环境相关联的远程大小约束数据，其中所述第一设备和所述第二设备在多用户通信会话中是活动的；基于所述本地大小约束数据和所述远程大小约束数据来确定几何形状；以及在所述几何形状内呈现所述多用户通信会话的表示。18.根据权利要求17所述的非暂态计算机可读介质，其中在所述几何形状内呈现所述多用户通信会话的部件。19.根据权利要求17所述的非暂态计算机可读介质，还包括用于以下操作的计算机可读代码：在所述第一设备处接收所述第二设备的远程用户相对于所述几何形状内的参考点的位置；以及在所述第一设备处基于所述远程用户相对于所述参考点的所述位置来呈现所述远程用户的表示。20.根据权利要求19所述的非暂态计算机可读介质，还包括用于以下操作的计算机可读代码：在所述第一设备处确定所述本地环境内的已更新位置以使得所述参考点位于所述本地环境内的新点处；以及在所述第一设备处基于所述远程用户相对于位于所述本地环境内的所述新点处的所述参考点的所述位置来呈现所述远程用户的所述表示。21.根据权利要求17至20中任一项所述的非暂态计算机可读介质，还包括用于基于所述本地环境的一个或多个图像来生成所述本地大小约束数据的计算机可读代码。
22.根据权利要求17至20中任一项所述的非暂态计算机可读介质，还包括用于基于用户输入来生成所述本地大小约束数据的计算机可读代码。23.根据权利要求17至22中任一项所述的非暂态计算机可读介质，还包括用于以下操作的计算机可读代码：接收所述远程用户已经移动到所述几何形状之外的位置的指示；以及在所述几何形状的边界上呈现指示所述远程用户移动到所述几何形状之外的所述位置的指示。24.根据权利要求23所述的非暂态计算机可读介质，还包括用于根据所述远程用户已经移动到所述几何形状之外的位置的所述指示来停止所述远程用户的所述表示的显示的计算机可读代码。25.根据权利要求24所述的非暂态计算机可读介质，还包括用于继续播放与来自所述几何形状之外的所述位置的所述远程用户相关联的空间音频的计算机可读代码。26.根据权利要求17至25中任一项所述的非暂态计算机可读介质，还包括用于在所述本地环境内显示所述几何形状的表示的计算机可读代码。27.根据权利要求26所述的非暂态计算机可读介质，其中根据所述本地用户移动到所述几何形状之外的位置来显示所述几何形状的所述表示。28.根据权利要求26所述的非暂态计算机可读介质，其中根据所述本地用户移动到所述几何形状之外的位置来使所述多用户通信会话的所述表示对于所述本地用户变得模糊。29.根据权利要求26所述的非暂态计算机可读介质，其中所述几何形状包括面积或体积。30.根据权利要求29所述的非暂态计算机可读介质，其中确定所述面积或体积包括确定所述本地约束数据和所述远程大小约束数据之间的交集，其中所述本地约束数据指示所述本地环境内的可用于呈现的第一尺寸，其中所述远程大小约束数据指示所述远程环境内的可用于呈现的第二尺寸，并且其中基于所述第一尺寸和所述第二尺寸来确定所述交集。31.根据权利要求30所述的非暂态计算机可读介质，还包括用于以下操作的计算机可读代码：接收所述第二设备的远程用户在所述远程环境中的移动的指示；接收所述远程用户的所述移动被所述远程环境中的物理对象影响的指示；由所述第一设备根据所述移动在所述多用户通信会话的所述表示中呈现所述远程用户的表示；以及由所述第一设备根据所述远程用户的所述移动被所述物理对象影响的所述指示在所述多用户通信会话的所述表示中呈现所述物理对象的指示。32.根据权利要求31所述的非暂态计算机可读介质，其中用于接收所述远程用户的所述移动被所述物理对象影响的所述指示的所述计算机可读代码还包括用于以下操作的计算机可读代码：在所述第一设备处接收描述所述远程环境中的所述物理对象的数据，所述数据包括所述物理对象相对于参考点的位置，
其中根据所述物理对象相对于所述参考点的所述位置在所述多用户通信会话的所述表示中呈现所述物理对象的所述指示。33.一种系统，包括：一个或多个处理器；和包括计算机可读代码的一种或多种非暂态计算机可读介质，所述计算机可读代码能够由所述一个或多个处理器执行以：在第一设备处获得与所述第一设备所位于的本地环境相关联的本地大小约束数据；在所述第一设备处获得与第二设备所位于的远程环境相关联的远程大小约束数据，其中所述第一设备和所述第二设备在多用户通信会话中是活动的；基于所述本地大小约束数据和所述远程大小约束数据来确定几何形状；以及在所述几何形状内呈现所述多用户通信会话的表示。34.根据权利要求33所述的系统，其中在所述几何形状内呈现所述多用户通信会话的部件。35.根据权利要求33所述的系统，还包括用于以下操作的计算机可读代码：在所述第一设备处接收所述第二设备的远程用户相对于所述几何形状内的参考点的位置；以及在所述第一设备处基于所述远程用户相对于所述参考点的所述位置来呈现所述远程用户的表示。36.根据权利要求35所述的系统，还包括用于以下操作的计算机可读代码：在所述第一设备处确定所述本地环境内的已更新位置以使得所述参考点位于所述本地环境内的新点处；以及在所述第一设备处基于所述远程用户相对于位于所述本地环境内的所述新点处的所述参考点的所述位置来呈现所述远程用户的所述表示。37.根据权利要求33至36中任一项所述的系统，还包括用于基于所述本地环境的一个或多个图像来生成所述本地大小约束数据的计算机可读代码。38.根据权利要求33至36中任一项所述的系统，还包括用于基于用户输入来生成所述本地大小约束数据的计算机可读代码。39.根据权利要求33至36中任一项所述的系统，还包括用于以下操作的计算机可读代码：接收所述远程用户已经移动到所述几何形状之外的位置的指示；以及在所述几何形状的边界上呈现指示所述远程用户移动到所述几何形状之外的所述位置的指示。40.根据权利要求39所述的系统，还包括用于根据所述远程用户已经移动到所述几何形状之外的位置的所述指示来停止所述远程用户的所述表示的显示的计算机可读代码。41.根据权利要求40所述的系统，还包括用于继续播放与来自所述几何形状之外的所述位置的所述远程用户相关联的空间音频的计算机可读代码。42.根据权利要求33至40中任一项所述的系统，还包括用于在所述本地环境内显示所述几何形状的表示的计算机可读代码。43.根据权利要求42所述的系统，其中根据所述本地用户移动到所述几何形状之外的
位置来显示所述几何形状的所述表示。44.根据权利要求42所述的系统，其中根据所述本地用户移动到所述几何形状之外的位置来使所述多用户通信会话的所述表示对于所述本地用户变得模糊。45.根据权利要求42所述的系统，其中所述几何形状包括面积或体积。46.根据权利要求45所述的系统，其中确定所述面积或体积包括确定所述本地约束数据和所述远程大小约束数据之间的交集，其中所述本地约束数据指示所述本地环境内的可用于呈现的第一尺寸，其中所述远程大小约束数据指示所述远程环境内的可用于呈现的第二尺寸，并且其中基于所述第一尺寸和所述第二尺寸来确定所述交集。47.根据权利要求46所述的系统，还包括用于以下操作的计算机可读代码：接收所述第二设备的远程用户在所述远程环境中的移动的指示；接收所述远程用户的所述移动被所述远程环境中的物理对象影响的指示；由所述第一设备根据所述移动在所述多用户通信会话的所述表示中呈现所述远程用户的表示；以及由所述第一设备根据所述远程用户的所述移动被所述物理对象影响的所述指示在所述多用户通信会话的所述表示中呈现所述物理对象的指示。48.根据权利要求34所述的系统，其中用于接收所述远程用户的所述移动被所述物理对象影响的所述指示的所述计算机可读代码还包括用于以下操作的计算机可读代码：在所述第一设备处接收描述所述远程环境中的所述物理对象的数据，所述数据包括所述物理对象相对于参考点的位置，其中根据所述物理对象相对于所述参考点的所述位置在所述多用户通信会话的所述表示中呈现所述物理对象的所述指示。49.一种包括计算机可读代码的非暂态计算机可读介质，所述计算机可读代码能够由一个或多个处理器执行以：检测共享空间容器的呈现的发起，其中所述共享空间容器包括本地设备和一个或多个远程设备之间的共享虚拟对象；识别物理环境中的锚位置；根据所述锚位置来呈现所述共享空间容器；检测所述锚位置的修改；根据所述锚位置的所述修改来更新所述共享空间容器的位置；以及向所述一个或多个远程设备传输所述修改的指示，其中所述修改的所述指示的传输使得对于所述一个或多个远程设备修改本地用户的头像的位置。50.根据权利要求49所述的非暂态计算机可读介质，其中所述共享空间容器还包括与所述一个或多个远程设备相关联的一个或多个头像。51.根据权利要求49所述的非暂态计算机可读介质，还包括用于以下操作的计算机可读代码：接收在第一远程设备的远程物理环境处的对应共享空间容器的已更新远程锚位置的指示；以及
根据所述指示修改所述第一远程设备的远程用户的头像在所述本地设备处的呈现。52.根据权利要求49至51中任一项所述的非暂态计算机可读介质，其中用于检测所述锚位置的所述修改的所述计算机可读代码包括用于检测指示所述物理环境中的已更新锚位置的用户输入的计算机可读代码。53.根据权利要求52所述的非暂态计算机可读介质，其中用于检测所述锚位置的所述修改的所述计算机可读代码还包括用于以下操作的计算机可读代码：确定所述锚位置位于第一表面上并且所述已更新锚位置位于第二表面上；确定所述第一表面和所述第二表面之间的空间差异；以及根据所述空间差异来修改所述共享空间容器的呈现。54.根据权利要求53所述的非暂态计算机可读介质，其中所述空间差异是所述第一表面和所述第二表面之间的高度差。55.根据权利要求49至54中任一项所述的非暂态计算机可读介质，还包括用于以下操作的计算机可读代码：检测对所述共享虚拟对象中的一者或多者的用户操纵；以及向所述一个或多个远程设备传输...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：苹果公司，
类型：发明
国别省市：