人工现实环境中的3D对话制造技术

3D对话系统可以促进增强现实环境中的3D对话，从而允许多个对话参与者看起来好像是面对面的。3D对话系统可以利用多个数据处理阶段的流水线来实现这一点，这些数据处理阶段可以包括校准阶段、采集阶段、标记和过滤阶段、压缩阶段、解压缩阶段、重建阶段、渲染阶段和显示阶段。通常，该流水线可以：采集发送用户的图像，创建中间表示，转换该表示以从该图像被拍摄的方位转换到接收用户的视点，以及从接收用户的该视点与采集的来自发送用户的音频同步地输出发送用户的图像。这种3D对话可以发生在两个或更多个发送方/接收系统之间，并且在一些实施方式中，这种3D对话可以由一个或多个服务器系统传送。在各种配置中，可以基于对话上下文来自定义流水线的多个阶段。来自定义流水线的多个阶段。来自定义流水线的多个阶段。

【技术实现步骤摘要】
【国外来华专利技术】人工现实环境中的3D对话


[0001]本公开针对用于实现三维(three
‑
dimensional，“3D”)对话的多个设备之间的通信流水线的各个方面。

技术介绍

[0002]视频会议已成为人们联系的主要方式。从工作电话到虚拟欢乐时光，从网络研讨会到在线影院，人们会在其可看到其他参与者时感到联系更紧密，从而使其更接近面对面体验。然而，这种视频通话一直是面对面互动的苍白模仿。仅利用发送者的二维(two
‑
dimensional，“2D”)表示来理解肢体语言和上下文可能是困难的。此外，交流通常依赖于人际互动，例如多个参与者之间的空间移动。然而，通过视频通话的交流因视点被固定在发送者的摄像头上、而不提供多个参与者相对于彼此移动的能力。另外，将视频通话限制在平板显示器上引入了技术侵入层(intrusive layer of technology)，该技术侵入层可能会分散交流的注意力并减少对面对面交流的感知。

技术实现思路

[0003]在本专利技术的一方面中，提供了一种用于提供3D对话的方法，该方法包括：获取来自人工现实(artificial reality)系统的一个或多个采集设备的采集数据，该采集图像包括彩色图像、深度图像和音频；将校准数据与采集数据的至少一部分相关联，其中，该校准数据至少指定该一个或多个采集设备中的至少一个采集设备的位置信息；将采集数据压缩为第一版本的采集数据；以及向接收人工现实系统发送该第一版本的采集数据，其中，发送经压缩的第一版本的采集数据使接收人工现实系统：将所接收到的第一版本的采集数据解压缩为第二版本的采集数据，第二版本的采集数据包括颜色数据、深度数据和音频数据；使用第二版本的采集数据，来至少基于深度数据生成3D表示；根据3D表示，在针对接收人工现实系统的接收用户而确定的一个或多个视点处，渲染一幅或多幅2D图像，其中，该一幅或多幅2D图像还包括基于颜色数据的颜色；以及使输出音频数据与显示该一幅或多幅2D图像同步。
[0004]输出该一个或多个2D图像可以包括：可穿戴投影系统基于该一幅或多幅2D图像，将光投射到接收人工现实系统的用户的至少一只眼睛中。
[0005]该一个或多个采集设备可以是基于以下项中的一项或多项而从多个采集设备中选择的：经确定以下两者之间的关系：所选择的该一个或多个采集设备的视点、针对接收人工现实系统的接收用户而确定的该一个或多个视点；经确定的人工现实系统的计算能力、和/或经确定的接收人工现实系统的计算能力；经确定的电池电量；经确定的接收人工现实系统的显示能力；或它们的任意组合。
[0006]该方法还可以包括：根据采集了采集数据的一部分的设备，将采集设备标识符分配给采集数据的该部分；其中，校准数据与摄像头标识符相关联，该校准数据是针对摄像头标识符而生成的；以及其中，校准数据与采集数据的至少一部分之间的关联基于，分配给采
集数据的该至少一部分的采集设备标识符与摄像头标识符之间相匹配。
[0007]压缩采集数据的至少一部分可以包括：确定采集数据的该至少一部分的类型，并选择压缩算法，该压缩算法特定于所确定的采集数据的该至少一部分的类。
[0008]该方法还可以包括通过以下方式过滤采集数据的多个部分：将采集数据的多个部分的背景区域与对发送用户的描绘进行区分；以及基于该区分，从采集数据中去除背景区域的一个或多个描绘。
[0009]采集数据可以与第二版本的采集数据相同。
[0010]在本专利技术的一方面中，提供了一种计算机可读存储介质，该计算机可读存储介质存储多个指令，这些指令在被计算系统执行时，使得该计算系统执行用于提供3D对话的多个操作，该多个操作包括：在接收3D系统处接收第一压缩版本的采集数据，其中，第一压缩版本的采集数据至少包括：A)与第一定时信息和校准数据相关联的深度信息、以及B)与第二定时信息相关联的音频信息，其中，校准数据指定至少深度信息的位置信息；将所接收到的第一压缩版本的采集数据解压缩为第二版本的采集数据，第二版本的采集数据包括深度数据和音频数据；基于深度数据和校准数据生成3D表示，其中，根据3D表示，在一个或多个经确定的视点处渲染一幅或多幅2D图像；以及通过接收3D系统基于第一定时信息和第二定时信息，使输出音频数据与显示该一幅或多幅2D图像同步。
[0011]第一压缩版本的采集数据可以是由移动电话设备发送的，并且其中，接收3D系统可以执行对2D图像的输出，并且接收3D系统可以是具有以下项中的一项或多项的人工现实设备：至少一个双目显示器；至少一个光场显示器；至少一个全息显示器；至少一个波前显示器；至少一个3D立体显示器；或它们的任意组合。
[0012]该多个操作还可以包括：识别多个对话上下文因素，该多个对话上下文因素可以包括以下项中的一项或多项：经确定的接收3D系统的计算能力；经确定的电池电量；经确定的接收3D系统的显示能力；或它们的任意组合；以及将一个或多个对话上下文因素匹配到3D表示类型的层次结构(hierarchy of 3D representation types)中的一个3D表示类型；其中，生成3D表示包括：生成经匹配的3D表示类型的3D表示。
[0013]第一压缩版本的采集数据可以与校准数据相关联，该校准数据指定采集了该采集数据的一个或多个采集设备的固有参数和非固有参数；并且其中，生成3D表示可以包括：基于固有参数和非固有参数，对深度数据应用一个或多个转换，以生成以下项中的一项或多项：点云(point cloud)、符号距离函数、填充的体素、网格、光场、或它们的任意组合。
[0014]该一个或多个经确定的视点可以是接收3D系统的用户的每只眼睛的视点，该每只眼睛的视点是基于接收3D系统的头部追踪系统和/或眼动追踪系统而确定的。
[0015]在本专利技术的一方面中，提供了一种用于提供3D对话的发送计算系统，该发送计算系统包括：一个或多个采集设备；一个或多个处理器；以及一个或多个存储器，该一个或多个存储器存储有多个指令，这些指令在被该一个或多个处理器执行时执行多个操作，该多个操作包括：获取来自该一个或多个采集设备的采集数据，该采集数据包括颜色信息、深度信息和音频信息；将采集数据压缩为第一版本的采集数据；以及向重建系统提供该第一版本的采集数据，该重建系统：接收第一版本的采集数据；将所接收到的第一版本的采集数据解压缩为第二版本的采集数据，该第二版本的采集数据包括深度数据、颜色数据和音频数据；以及基于深度数据生成3D表示；其中，根据3D表示，在一个或多个经确定的接收用户的
视点处渲染一幅或多幅2D图像，其中，该一幅或多幅2D图像还基于颜色数据；以及其中，输出音频数据与显示所渲染的该一幅或多幅2D图像是同步的。
[0016]该一个或多个采集设备至少可以包括彩色摄像头、深度摄像头和传声器。
[0017]深度信息可以包括一个或多个点云；并且，将采集数据压缩为第一版本的采集数据可以包括：至少对颜色信息应用视频编解码器，并对该一个或多个点云应用点云压本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于提供3D对话的方法，所述方法包括：获取来自人工现实系统的一个或多个采集设备的采集数据，所述采集数据包括彩色图像、深度图像和音频；将校准数据与所述采集数据的至少一部分关联，其中，所述校准数据至少指定所述一个或多个采集设备中的至少一个采集设备的位置信息；将所述采集数据压缩为第一版本的采集数据；以及向接收人工现实系统发送所述第一版本的采集数据，其中，发送经压缩的所述第一版本的采集数据使所述接收人工现实系统：将所接收到的所述第一版本的采集数据解压缩为第二版本的采集数据，所述第二版本的采集数据包括颜色数据、深度数据和音频数据；使用所述第二版本的采集数据，来至少基于所述深度数据生成3D表示；根据所述3D表示，在针对所述接收人工现实系统的接收用户而确定的一个或多个视点处，渲染一幅或多幅2D图像，其中，所述一幅或多幅2D图像还包括基于所述颜色数据的颜色；以及使输出所述音频数据与显示所述一幅或多幅2D图像同步。2.根据权利要求1所述的方法，其中，输出所述一幅或多幅2D图像包括：可穿戴投影系统基于所述一幅或多幅2D图像，将光投射到所述接收人工现实系统的用户的至少一只眼睛中。3.根据权利要求1或2所述的方法，其中，所述一个或多个采集设备是基于以下项中的一项或多项而从多个采集设备中选择的：经确定的以下两者之间的关系：所选择的所述一个或多个采集设备的视点、以及针对所述接收人工现实系统的接收用户而确定的所述一个或多个视点；经确定的所述人工现实系统的计算能力、和/或经确定的所述接收人工现实系统的计算能力；经确定的可用带宽量；经确定的电池电量；经确定的所述接收人工现实系统的显示能力；或以上项的任意组合。4.根据权利要求1、2或3所述的方法，还包括：根据采集了所述采集数据的一部分的设备，将采集设备标识符分配给所述采集数据的所述部分；其中，所述校准数据与摄像头标识符相关联，所述校准数据是针对所述摄像头标识符而生成的；以及其中，所述校准数据与所述采集数据的所述至少一部分之间的所述关联基于，分配给所述采集数据的所述至少一部分的采集设备标识符与所述摄像头标识符之间相匹配。5.根据前述权利要求中任一项所述的方法，其中，压缩所述采集数据的至少一部分包括：确定所述采集数据的所述至少一部分的类型，并选择压缩算法，所述压缩算法特定于所确定的所述采集数据的所述至少一部分的所述类型；和/或，其中，所述采集数据与所述第二版本的采集数据相同。6.根据前述权利要求中任一项所述的方法，还包括：通过以下方式过滤所述采集数据
的多个部分：将所述采集数据的所述多个部分的背景区域与对发送用户的描绘进行区分；以及基于所述区分，从所述采集数据中去除所述背景区域的一个或多个描绘。7.一种计算机可读存储介质，所述计算机可读存储介质存储有多个指令，所述多个指令在被计算系统执行时，使得所述计算系统执行用于提供3D对话的多个操作，所述多个操作包括：在接收3D系统处，接收第一压缩版本的采集数据，其中，所述第一压缩版本的采集数据至少包括：A)与第一定时信息和校准数据相关联的深度信息、以及B)与第二定时信息相关联的音频信息，其中，所述校准数据指定至少所述深度信息的位置信息；将所接收到的所述第一压缩版本的采集数据解压缩为第二版本的采集数据，所述第二版本的采集数据包括深度数据和音频数据；基于所述深度数据和所述校准数据生成3D表示；其中，根据所述3D表示，在一个或多个经确定的视点处渲染一幅或多幅2D图像；以及通过所述接收3D系统基于所述第一定时信息和所述第二定时信息，使输出所述音频数据与输出所述一幅或多幅2D图像同步。8.根据权利要求7所述的计算机可读存储介质，其中，所述第一压缩版本的采集数据是由移动电话设备发送的，并且其中，所述接收3D系统执行对所述2D图像的所述输出，并且所述接收3D系统是具有以下项中的一项或多项的人工现实设备：至少一个双目显示器；至少一个光场显示器；至少一个全息显示器；至少一个波前显示器；至少一个3D立体显示器；或以上项的任意组合。9.根据权利要求7或8所述的计算机可读存储介质，其中，所述多个操作还包括：识别多个对话上下文因素，所述多个对话上下文因素...

【专利技术属性】
技术研发人员：阿尔贝特，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：