用于增强现实内容的图谱管理的方法和装置制造方法及图纸

本公开内容涉及用于图形处理的方法和装置。该装置可以确定包括与帧中的经渲染内容相关联的一个或多个边界框的眼缓冲区。该装置还可以基于眼缓冲区生成图谱，所述图谱包括与一个或多个边界框相关联的一个或多个分块。另外，该装置可以传送包括一个或多个分块的图谱。该装置还可以计算与帧中的经渲染内容相关联的用户运动量。此外，该装置可以基于所计算的用户运动量来确定一个或多个边界框中的每个边界框的大小。该装置还可以确定图谱中的一个或多个分块中的每个分块的大小和位置。个或多个分块中的每个分块的大小和位置。个或多个分块中的每个分块的大小和位置。

【技术实现步骤摘要】
【国外来华专利技术】用于增强现实内容的图谱管理的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求享有于2020年5月14日提交的题为“METHOD AND APPRATUS FOR ATLAS MANAGEMENT OF AUGMENTED REALITY CONTENT”的印度专利申请No.202041020333，和于2020年9月30日提交的题为“METHOD AND APPRATUS FOR ATLAS MANAGEMENT OF AUGMENTED REALITY CONTENT”的美国专利申请No.17/039,834的优先权，其全部内容由此通过引用的方式整体并入本文。


[0003]本公开内容总体上涉及处理系统，并且更具体而言，涉及用于图形或计算机处理的一种或多种技术。

技术介绍

[0004]计算设备通常利用图形处理单元(GPU)或中央处理单元(CPU)来加速用于显示的图形数据的渲染。这样的计算设备可以包括例如计算机工作站、诸如所谓的智能电话之类的移动电话、嵌入式系统、个人计算机、平板计算机和视频游戏机。GPU执行图形处理流水线，所述图形处理流水线包括一起操作以执行图形处理命令并输出帧的一个或多个处理级。CPU可以通过向GPU发出一个或多个图形处理命令来控制GPU的操作。现代CPU通常能够同时执行多个应用程序，每个应用程序可能需要在执行期间利用GPU。提供用于在显示器上视觉呈现的内容的设备通常包括GPU。
[0005]通常，设备的CPU或GPU被配置为执行计算机或图形处理中的过程。然而，随着无线通信和更小的手持设备的出现，对改进的计算机或图形处理的需求增加。

技术实现思路

[0006]以下呈现一个或多个方面的简要概述以提供对这些方面的基本理解。本概述不是对所有预期方面的广泛综述，既不旨在标识所有方面的关键元素，也不是描述任何或全部方面的范围。其唯一目的是以简化形式呈现一个或多个方面的一些概念，作为稍后呈现的更详细描述的序言。
[0007]在本公开内容的一方面，提供了一种方法、一种计算机可读介质和一种装置。所述装置可以是客户端设备、中央处理单元(CPU)、图形处理单元(GPU)或可以执行图形或计算机处理的任何装置。所述装置可以在帧中生成渲染的内容。所述装置可以接收图谱(atlas)，所述图谱包括与定义帧的稀疏AR内容的一个或多个边界框相关联的一个或多个分块(patch)；确定针对所述稀疏AR内容的所述一个或多个分块中的每个分块在所接收的图谱中的位置；基于所确定的所述一个或多个分块中的每个分块的位置，来确定包括与所述帧中的所述稀疏AR内容相关联的所述一个或多个边界框的眼缓冲区；以及基于所述眼缓冲区来渲染所述AR内容以包括所述稀疏AR内容。另外，所述一个或多个边界框中的每个边界框的大小是基于与所述帧中的经渲染AR内容相关联的所计算的用户运动量来定义的。所
述装置还可以确定所述图谱中的所述一个或多个分块中的每个分块的大小，其对应于所述一个或多个边界框中的每个边界框的大小。所述装置还可以基于从生成所述图谱的服务器接收的分块元数据，来确定在所接收的图谱中的针对所述稀疏AR内容的所述一个或多个分块中的每个分块的位置。所述装置还可以接收与所述图谱中的所述一个或多个分块相关联的变形元数据；以及基于所述变形元数据来渲染所述AR内容。所述装置还可以向服务器发送客户端设备的用户的至少一个头部姿态样本，其指示所述用户的定位和移动中的至少一者；以及从所述服务器接收包括与所述一个或多个边界框相关联的所述一个或多个分块的图谱，每个边界框具有基于所述用户的所述至少一个头部姿态样本而定义的相应大小。此外，所述装置还可以确定所述AR内容的所述帧与先前帧之间的分块对应关系；基于所确定的分块对应关系来隐藏所接收的图谱的至少一个分块；以及基于所述眼缓冲区来渲染所述AR内容以包括所述稀疏AR内容，从而包括所述隐藏的至少一个分块。此外，所述装置还可以包括解码器，所述解码器被配置为接收压缩格式的所述图谱并解码所述图谱以确定与定义所述帧的稀疏AR内容的一个或多个边界框相关联的所述一个或多个分块。
[0008]此外，在本公开内容的一方面，提供了一种方法、一种计算机可读介质和一种装置。所述装置可以是服务器、中央处理单元(CPU)、图形处理单元(GPU)或可以执行图形或计算机处理的任何装置。所述装置可以确定包括与帧中的稀疏AR内容相关联的一个或多个边界框的眼缓冲区；生成包括与所述帧中的所述稀疏AR内容相关联的所述一个或多个边界框的图谱；确定所述图谱中的针对所述稀疏AR内容的对应于所述一个或多个边界框的一个或多个分块的位置；以及基于所确定的所述帧的所述稀疏AR内容的所述一个或多个分块的位置，将所述图谱发送到客户端设备以在其上渲染AR内容。此外，所述装置可以确定所述图谱中的所述一个或多个分块中的每个分块的大小，其对应于所述一个或多个边界框中的每个边界框的大小。所述装置还可以基于用于将所述图谱发送到所述客户端设备的目标比特速率来确定所述一个或多个分块中的每个分块的大小。所述装置还可以确定与所述帧中所渲染的AR内容相关联的用户运动量；以及基于所计算的用户运动量来确定所述一个或多个边界框中的每个边界框的大小。所述装置还可以生成与所述图谱中的所述一个或多个分块相关联的变形元数据，使得所述客户端设备被配置为基于所述变形元数据来渲染所述AR内容。所述装置还可以从所述客户端设备接收所述客户端设备的用户的至少一个头部姿态样本，其指示所述用户的定位和移动中的至少一者；以及基于所述用户的所述至少一个头部姿态样本，确定与所述图谱的所述一个或多个分块相关联的所述一个或多个边界框的相应大小。所述装置还可以包括编码器，所述编码器可以以压缩格式对所述图谱进行编码，并将所述编码的图谱发送到所述客户端设备。
[0009]在附图和以下描述中阐述本公开内容的一个或多个示例的细节。根据说明书和附图以及权利要求书，本公开内容的其他特征、目的和优点将是显而易见的。
附图说明
[0010]图1是示出根据本公开内容的一种或多种技术的示例内容生成系统的方框图。
[0011]图2示出了根据本公开内容的一种或多种技术的示例GPU。
[0012]图3示出了根据本公开内容的一种或多种技术的包括客户端设备与服务器之间的通信的示例图。
[0013]图4示出了根据本公开内容的一种或多种技术的包括客户端设备与服务器之间的通信的示例图。
[0014]图5示出了根据本公开内容的一种或多种技术的图谱管理的示例图。
[0015]图6示出了根据本公开内容的一种或多种技术的图谱管理的示例图。
[0016]图7示出了根据本公开内容的一种或多种技术的图谱管理的示例图。
[0017]图8示出根据本公开内容的一种或多种技术的示例性方法的示例性流程图。
具体实施方式
[0018]通常，假设可以在现实世界的情景中查看虚拟内容，则针对增强现实(AR)渲染的内容可以是稀疏的。在AR的一些方面中，一个帧中在经渲染视场的一个或多个边界框外本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理增强现实(AR)内容的方法，所述方法包括：由客户端设备接收图谱，所述图谱包括与定义帧的稀疏AR内容的一个或多个边界框相关联的一个或多个分块；确定针对所述稀疏AR内容的所述一个或多个分块中的每个分块在所接收的图谱中的位置；基于所确定的所述一个或多个分块中的每个分块的位置来确定包括与所述帧中的所述稀疏AR内容相关联的所述一个或多个边界框的眼缓冲区；以及由所述客户端设备基于所述眼缓冲区渲染所述AR内容以包括所述稀疏AR内容。2.根据权利要求1所述的方法，其中，所述一个或多个边界框中的每个边界框的大小是基于与所述帧中的经渲染AR内容相关联的所计算的用户运动量来定义的。3.根据权利要求1所述的方法，还包括：确定所述图谱中的所述一个或多个分块中的每个分块的大小，其对应于所述一个或多个边界框中的每个边界框的大小。4.根据权利要求1所述的方法，还包括：基于从生成所述图谱的服务器接收的分块元数据，来确定所接收的图谱中的针对所述稀疏AR内容的所述一个或多个分块中的每个分块的位置。5.根据权利要求1所述的方法，还包括：接收与所述图谱中的所述一个或多个分块相关联的变形元数据；以及由所述客户端设备基于所述变形元数据来渲染所述AR内容。6.根据权利要求1所述的方法，还包括：向服务器发送所述客户端设备的用户的至少一个头部姿态样本，所述至少一个头部姿态样本指示所述用户的定位和移动中的至少一者；以及从所述服务器接收包括与所述一个或多个边界框相关联的所述一个或多个分块的所述图谱，每个边界框具有基于所述用户的所述至少一个头部姿态样本而定义的相应大小。7.根据权利要求1所述的方法，还包括：由所述客户端设备确定所述AR内容的所述帧与先前帧之间的分块对应关系；基于所确定的分块对应关系来隐藏所接收的图谱的至少一个分块；以及由所述客户端设备基于所述眼缓冲区来渲染所述AR内容以包括所述稀疏AR内容，从而包括所述隐藏的至少一个分块。8.根据权利要求1所述的方法，还包括：由客户端设备接收压缩格式的所述图谱；以及由所述客户端设备的解码器解码所述图谱以确定与定义所述帧的稀疏AR内容的所述一个或多个边界框相关联的所述一个或多个分块。9.一种用于处理增强现实(AR)内容的装置，所述装置包括：存储器；以及至少一个处理器，所述至少一个处理器耦接到所述存储器并且被配置为：接收图谱，所述图谱包括与定义帧的稀疏AR内容的一个或多个边界框相关联的一个或多个分块；确定针对所述稀疏AR内容的所述一个或多个分块中的每个分块在所接收的图谱中的位置；
基于所确定的所述一个或多个分块中的每个分块的位置来确定包括与所述帧中的所述稀疏AR内容相关联的所述一个或多个边界框的眼缓冲区；以及基于所述眼缓冲区来渲染所述AR内容以包括所述稀疏AR内容。10.根据权利要求9所述的装置，其中，所述一个或多个边界框中的每个边界框的大小是基于与所述帧中的经渲染AR内容相关联的所计算的用户运动量来定义的。11.根据权利要求9所述的装置，其中，所述至少一个处理器还被配置为：确定所述图谱中的所述一个或多个分块中的每个分块的大小，其对应于所述一个或多个边界框中的每个边界框的大小。12.根据权利要求9所述的装置，其中，所述至少一个处理器还被配置为：基于从生成所述图谱的服务器接收的分块元数据来确定所接收的图谱中的针对所述稀疏AR内容的所述一个或多个分块中的每个分块的位置。13.根据权利要求9所述的装置，其中，所述至少一个处理器还被配置为：接收与所述图谱中的所述一个或多个分块相关联的变形元数据，以及基于所述变形元数据来渲染所述AR内容。14.根据权利要求9所述的装置，其中，所述至少一个处理器还被配置为：向服务器发送所述客户端设备的用户的至少一个头部姿态样本，所述至少一个头部姿态样本指示所述用户的定位和移动中的至少一者；以及从所述服务器接收包括与所述一个或多个边界框相关联的所述一个或多个分块的所述图谱，每个边界框具有基于所述用户的所述至少一个头部姿态样本定义的相应大小。15.根据权利要求9所述的装置，其中，所述至少一个处理器还被配置为：确定所述AR内容的所述帧与先前帧之间的分块对应关系；基于所确定的分块...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：