本公开描述了片上系统(SOC)集成电路之间表面纹理数据的有效传送。一种示例系统包括第一集成电路和通过通信接口通信耦合到第一集成电路的至少一个第二集成电路。第一集成电路在确定要由第二SoC集成电路渲染以供显示的帧的表面纹理数据要被更新时，(a)使用通信接口在一个或更多个更新分组中将表面纹理数据传输到第二集成电路，以及(b)使用通信接口将指示已经更新了帧的表面纹理数据的命令传输到第二集成电路。第二集成电路在接收到该命令时，(a)设置指向显示缓冲器中存储该帧的表面纹理数据的位置的指针，以及(b)渲染该帧的表面纹理数据以在显示设备上显示。面纹理数据以在显示设备上显示。面纹理数据以在显示设备上显示。
【技术实现步骤摘要】
【国外来华专利技术】使用多表面显示协议传送表面数据的人工现实系统
[0001]本申请要求2019年11月4日提交的美国临时专利申请第62/930,499号和2020年1月14日提交的美国非临时专利申请第16/742,744号的权益，这两个申请的全部内容通过引用并入本文。
[0002]本公开总体上涉及人工现实系统，例如增强现实、混合现实和/或虚拟现实系统。
[0003]背景
[0004]人工现实系统正变得越来越普遍，应用于许多领域，例如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实、增强现实、混合现实、混杂现实(hybrid reality)、或其某种组合和/或衍生物。
[0005]典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可合并头戴式显示器(HMD)，该HMD由用户佩戴并且被配置为向用户输出人工现实内容。人工现实内容可以完全包括由系统生成的内容，或者可以包括与捕获的内容(例如，真实世界视频和/或图像)相结合的生成的内容。在操作期间，用户通常与人工现实系统交互以选择内容、启动应用、配置系统，并且通常体验人工现实环境。
[0006]概述
[0007]总的来说，本专利技术描述了人工现实(AR)系统和技术，其使用被设计用于传输视频数据的通信协议来传送非视频表面数据，以便于当在多设备AR系统内创建人工现实(AR)场景时改变表面数据的处理和显示方式。示例多设备AR系统包括其中外围设备在与一个或更多个头戴式显示器(HMD)配对时作为协同处理AR设备操作的系统。例如，如本文进一步描述的，外围设备和每个HMD可以各自包括一个或更多个片上系统(SoC)集成电路(本文中称为“SoC”或“SoC集成电路”)，这些集成电路被共同配置以提供人工现实应用执行环境。
[0008]包括头戴式显示器(HMD)的人工现实(AR)系统的各种示例，在低功率模式下，使用视频数据通信协议将原始表面(或纹理)数据从AR中央处理片上系统(SoC)集成电路中的存储器传送至显示器SoC集成电路上的显示缓冲器，如下所述。
[0009]通常，显示缓冲器由主处理电路控制，显示器从该缓冲器接收待显示的视频数据。因此，显示器需要不断地从缓冲器刷新，因为显示器不在存储器中存储任何视频数据。这需要在活跃的高功率传输模式(有时被称为“视频模式”)下使用视频数据通信协议进行频繁通信。
[0010]如下所述，AR系统利用了并非所有要显示的表面都在每个视频帧中更新的事实。要显示的一些表面纹理是动画的，并且经常改变。例如，与玩家化身相关联的表面纹理可以具有随着每个视频帧而改变的动画。然而，一些要显示的表面纹理是静态的，不经常改变。例如，与海报或其他装饰相关联的表面纹理在AR场景期间可能不会改变。本公开以两种方式利用了这一点。
[0011]首先，显示缓冲器位于显示器SoC集成电路内，而不是AR中央处理SoC集成电路内。这个显示缓冲器是一个双缓冲器。当前AR场景的各种表面纹理存储在显示缓冲器内的特定位置。与表面相关联的纹理指针指向存储器中与第一缓冲器中的纹理相关联的位置或者存储器中与第二缓冲器中的纹理相关联的位置。可以更新存储器中未被指向的位置。纹理指针在纹理更新后切换，以便更新的纹理将出现在下一个视频帧中。
[0012]其次，AR中央处理SoC集成电路不向显示器SoC集成电路发送特定表面纹理的更新，除非该表面纹理将在下一个视频帧中更新。由于要传输的数据的减少，AR中央处理SoC集成电路使用在传输之间可以被设置为空闲的一种传输模式(有时被称为“命令模式”)以节省功率。在命令模式下，视频数据通信接口的有效载荷相对较小。为了克服这一挑战，AR中央处理SoC集成电路将待传输的表面纹理分解成分组(packet)，并将这些更小的分组发送到显示器SoC集成电路。显示器SoC集成电路将分组重组为表面纹理，将表面纹理放置在显示缓冲器中的适当位置，并切换相关联的纹理指针。
[0013]AR中央处理SoC集成电路传输设置帧(setup frame)，该设置帧定义AR场景中的表面参数。随后根据这些参数更新表面。另外，AR中央处理SoC集成电路维护一个主VSYNC定时器。在每个新帧的开始，AR中央处理SoC集成电路向每个显示器SoC集成电路发送VSYNC更新命令。显示器SoC集成电路使用VSYNC更新命令来调整其内部VSYNC定时器。然后，AR中央处理SoC集成电路发送包含待更新表面的纹理数据的分组。AR中央处理SoC集成电路在一帧的纹理的最后一个分组之后发送DONE命令。每个显示器SoC集成电路在接收到DONE命令后，在下一帧(存储在二级缓冲器中)上更新其用于该表面的基础纹理指针。
[0014]由于显示缓冲器由显示器SoC集成电路控制，因此需要从AR中央处理SoC集成电路传输的纹理数据较少。结果，显示视频帧将使用更少的功率。
[0015]在第一方面，人工现实系统包括第一集成电路和通过通信接口通信地耦合到第一集成电路的至少一个第二集成电路。第一集成电路包括至少一个处理器，该至少一个处理器被配置为：在确定待由第二SoC集成电路渲染以供显示的帧的表面纹理数据要被更新时，使用通信接口在一个或更多个更新分组中将该表面纹理数据发送到第二集成电路；以及使用该通信接口向第二集成电路发送指示已经更新了帧的表面纹理数据的命令。第二集成电路包括至少一个显示缓冲器和至少一个处理器，该至少一个处理器被配置为在接收到命令时，设置指向显示缓冲器中存储该帧的表面纹理数据的位置的指针，并且渲染该帧的表面纹理数据以在显示设备上显示。
[0016]可以有至少两个分组，每个分组可以包括携带表面纹理数据的打包的像素有效载荷的不同部分。
[0017]第一集成电路可以被配置为通过将填充字节插入到加密数据中来生成打包的像素有效载荷，加密数据可以包括加密报头、加密纹理有效载荷和加密尾部。
[0018]第一集成电路可以被配置为通过加密显示报头和待显示纹理的压缩纹理数据来生成加密纹理有效载荷，显示报头可以指定显示缓冲器中的位置。
[0019]显示缓冲器可以是双缓冲器，其中表面纹理数据可以与显示缓冲器内第一存储器位置处的第一缓冲器和显示缓冲器内第二存储器位置处的第二缓冲器相关联。
[0020]分组可以包括表面纹理数据的一部分和存储器命令。
[0021]第一集成电路可以仅在第一集成电路接收到表面纹理数据的更新时发送表面纹
理数据。
[0022]第一集成电路可以向第二集成电路发送定义表面纹理数据的特征的纹理设置分组。
[0023]表面纹理数据的特征可以包括显示缓冲器中用于存储表面纹理数据的位置。
[0024]在第二方面，一种用于渲染人工现实场景的方法包括由第一集成电路确定是否要更新待渲染以供显示的多个表面纹理中的一个。该方法还包括，在确定多个表面纹理本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种人工现实系统，包括：第一集成电路；和至少一个第二集成电路，所述第二集成电路通过通信接口通信地耦合到所述第一集成电路；其中所述第一集成电路包括至少一个处理器，所述至少一个处理器被配置为在确定要由所述第二SoC集成电路渲染以供显示的帧的表面纹理数据要被更新时：使用所述通信接口在一个或更多个更新分组中将所述表面纹理数据发送到所述第二集成电路；和使用所述通信接口向所述第二集成电路发送指示已经更新了所述帧的表面纹理数据的命令；其中所述第二集成电路包括至少一个显示缓冲器和至少一个处理器，所述第二集成电路的所述至少一个处理器被配置为：在接收到所述命令时，设置指向所述显示缓冲器中存储所述帧的表面纹理数据的位置的指针；和渲染所述帧的表面纹理数据以在显示设备上显示。2.根据权利要求1所述的人工现实系统，其中，有至少两个分组，每个分组包括携带所述表面纹理数据的打包的像素有效载荷的不同部分。3.根据权利要求2所述的人工现实系统，其中，所述第一集成电路被配置为通过将填充字节插入加密数据来生成所述打包的像素有效载荷，所述加密数据包括加密报头、加密纹理有效载荷和加密尾部。4.根据权利要求3所述的人工现实系统，其中，所述第一集成电路被配置为通过加密指定所述显示缓冲器中的位置的显示报头和要显示的纹理的压缩纹理数据来生成所述加密纹理有效载荷。5.根据权利要求1所述的人工现实系统，其中，所述显示缓冲器是双缓冲器，其中所述表面纹理数据与所述显示缓冲器内第一存储器位置处的第一缓冲器和所述显示缓冲器内第二存储器位置处的第二缓冲器相关联。6.根据权利要求1所述的人工现实系统，其中，所述分组包括所述表面纹理数据的一部分和存储器命令。7.根据权利要求1所述的人工现实系统，其中，所述第一集成电路用于：仅当所述第一集成电路接收到对所述表面纹理数据的更新时，才发送所述表面纹理数据；和/或向所述第二集成电路发送定义所述表面纹理数据的特征的纹理设置分组。8....
【专利技术属性】
技术研发人员：玉真秀夫，阿洛克，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。