使用超帧传送表面数据的人工现实系统技术方案

本公开描述了片上系统(SOC)集成电路之间表面纹理数据的有效传送。示例系统包括第一集成电路和通过视频通信接口通信耦合到第一集成电路的第二集成电路。第一集成电路在视频通信接口的视频帧中生成超帧，用于传输到第二集成电路。超帧包括多个子帧有效载荷和相应的子帧报头，子帧有效载荷携带要在帧中更新的表面纹理数据，子帧报头包括子帧有效载荷的参数。第二集成电路包括直接存取存储器(DMA)控制器。DMA在接收到超帧时，基于包括在相应的一个子帧报头中的参数，将每个子帧有效载荷内的表面纹理数据直接写入存储器中的分配位置。面纹理数据直接写入存储器中的分配位置。面纹理数据直接写入存储器中的分配位置。

【技术实现步骤摘要】
【国外来华专利技术】使用超帧传送表面数据的人工现实系统


[0001]本公开总体上涉及人工现实系统，例如增强现实、混合现实和/或虚拟现实系统。
[0002]背景
[0003]人工现实系统正变得越来越普遍，应用于许多领域，例如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实、增强现实、混合现实、混杂现实(hybrid reality)、或其某种组合和/或衍生物。
[0004]典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可合并头戴式显示器(HMD)，该HMD由用户佩戴并且被配置为向用户输出人工现实内容。人工现实内容可以完全包括由系统生成的内容，或者可以包括与捕获的内容(例如，真实世界视频和/或图像)相结合的生成的内容。在操作期间，用户通常与人工现实系统交互以选择内容、启动应用、配置系统，并且通常体验人工现实环境。
[0005]概述
[0006]总的来说，本公开描述了人工现实(AR)系统和技术，其使用被设计用于传输视频数据的通信协议，以传送非视频表面数据，用于在多设备AR系统内渲染(render)和显示人工现实(AR)内容。示例多设备AR系统包括其中外围设备在与一个或更多个头戴式显示器(HMD)配对时作为协同处理AR设备操作的系统。例如，如本文进一步描述的，外围设备和每个HMD可以各自包括一个或更多个片上系统(SoC)集成电路(本文中称为“SoC”或“SoC集成电路”)，它们被共同配置成提供人工现实应用执行环境。
[0007]本文所述的人工现实(AR)系统的各种示例使用视频数据通信协议，经由直接存储器存取(DMA)控制器将原始表面(或纹理)数据从应用处理器传送至储存器。典型地，视频数据通信协议携带用于直接驱动显示器的视频像素数据。在本公开中，视频数据通信协议在AR系统的外围设备内被利用来携带原始表面数据，以便能够稍后渲染AR场景，用于在AR系统的头戴式显示器(HMD)上显示。
[0008]在传统显示图形处理中(例如，在所有非AR系统中)，所有表面在应用处理器中合成，以形成输出显示帧，然后将输出显示帧传输至一个或更多个显示器。对于AR系统，各表面由应用处理器生成，合成在图形流水线的最后阶段中执行，要求各表面在整个系统上传输。合成图像(例如，经由AR协同处理SoC集成电路)被传输到一个或更多个显示器。然而，在分布式系统中，执行视频处理的SoC集成电路和控制图像合成和显示的SoC集成电路可能跨一个或更多个设备分离。另外，随着AR场景变得更加复杂，通信带宽限制可能会阻止大量数据以为用户创建流畅的视觉体验所必需的速率(例如，每秒60次)从应用单元可靠地传送到显示器。
[0009]当构建要显示的AR内容时，应用可能具有频繁变化的动画图像和不频繁变化的静态图像的组合。例如，玩家化身可以改变以对应于用户的移动，并且商店标志可以在场景持续期间不改变。如下所述，应用SoC集成电路使用视频数据通信协议来传输该通信协议没有
被设计来承载的数据。应用SoC集成电路利用了这样的事实，即并非AR场景中所有感兴趣的表面都需要随着每一帧而改变，并且由于HMD的移动而对非更新表面进行的修改(例如，旋转、平移、缩放等)可以在稍后阶段执行(例如，通过HMD上的显示驱动器等执行)。应用单元使用通用通信协议(例如，PCIe等)来传输定义要显示的表面的设置帧(setup frame)，并使用视频数据传输协议(例如，MIPI DSI等)来发送仅包括将在下一个显示周期中更新的表面的数据的原始表面数据。
[0010]应用SoC集成电路生成包括子帧报头和相应子帧的超帧。子帧包括要更新的每个表面的原始表面数据。报头和子帧被格式化以适合视频数据传输协议的消息结构。对于要包括的每个表面，应用SoC电路生成子帧报头，该子帧报头指定相应的子帧在视频数据传输协议的消息结构中的位置。这些报头被放置在超帧的开头处的定义位置，使得AR协同处理SoC集成电路(例如，经由DMA控制器)能够从这些报头中检索子帧特征，并且随后使用子帧特征将每个子帧的相应原始表面数据写入存储器中。
[0011]与使用通用通信协议发送表面更新相比，使用视频数据传输协议发送表面更新具有几个优点：(a)视频数据通信协议可在传输之间进入空闲模式，以节省电能；(b)视频数据通信协议通常在其结构和时序(timing)方面被更严格地定义；以及(c)通用通信协议可以通过改变传送数据的时序来管理其带宽，即使表面更新需要以固定的周期传送(例如，一秒60次)。
[0012]如本文所用，表面是具有指定宽度和高度的图形纹理，并分配有句柄标识符(ID)。可以通过将表面作为子帧包含在超帧内来更新表面。表面更新不需要在每个超帧中都发生。如本文所用，子帧是被分配了句柄ID的图形表面的一帧。子帧的纹理元素(texels)被封装在超帧内。“纹理元素”是纹理数据的单位，而“像素”是用于输出到显示器的最终合成帧的图像数据的单位。子帧数据的纹理元素可以存储在被定义为使用像素数据结构的视频帧中。如本文所用，超帧是视频通信接口视频帧，其被用作多个子帧报头和相应的子帧原始纹理数据有效载荷的容器。
[0013]根据本专利技术的第一方面，提供了一种人工现实系统，包括第一集成电路；以及通过视频通信接口通信耦合到第一集成电路的第二集成电路；其中第一集成电路包括至少一个处理器，该处理器被配置为：在视频通信接口的视频帧中生成超帧，以传输到第二集成电路，其中该超帧包括多个子帧有效载荷和相应的子帧报头，该多个子帧有效载荷携带要在帧中更新的表面纹理数据，该子帧报头包括子帧有效载荷的参数；其中第二集成电路包括直接存取存储器(DMA)控制器，该控制器被配置为：在接收到超帧时，基于包括在子帧报头中的相应一个子帧报头中的参数，将每个子帧有效载荷内的表面纹理数据直接写入存储器中的分配位置；并且将表面纹理数据从存储器传输到显示设备以进行渲染以供显示。
[0014]第一集成电路可以被配置为：识别要显示的帧内的表面；和/或对于要由显示器显示的每一帧，将表面的一部分分类为动态表面，并生成具有仅动态表面的表面纹理数据的子帧有效载荷。
[0015]超帧可以包括位于超帧的开头的超帧报头。超帧报头可以包括子帧报头。
[0016]超帧报头可以包括由第二集成电路使用以确定超帧是否有效的多个有效性字段。
[0017]超帧报头可以指定第一子帧有效载荷在超帧内的位置。
[0018]子帧报头可指定相应表面纹理数据的输入像素格式和/或相应表面纹理数据的输
出像素格式。
[0019]第二集成电路可以被配置为，当输入像素格式和输出像素格式不匹配时，在将表面纹理数据存储到存储器中之前，将表面纹理数据从第一像素格式转换成第二像素格式。
[0020]子帧报头可指定下一子帧有效载荷在超帧内的位置。
[0021]第一集成电路可配置为本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工现实系统，包括：第一集成电路；和第二集成电路，其通过视频通信接口通信地耦合到所述第一集成电路；其中所述第一集成电路包括至少一个处理器，所述至少一个处理器被配置为：在所述视频通信接口的视频帧中生成超帧以传输到所述第二集成电路，其中所述超帧包括多个子帧有效载荷和相应的子帧报头，所述子帧有效载荷携带要在所述帧中更新的表面纹理数据，所述子帧报头包括所述子帧有效载荷的参数；其中所述第二集成电路包括直接存取存储器(DMA)控制器，所述直接存取存储器控制器被配置为：在接收到所述超帧时，基于包括在所述子帧报头中的相应一个子帧报头中的参数，将每个子帧有效载荷内的表面纹理数据直接写入存储器中的分配位置；和将所述表面纹理数据从所述存储器传输到显示设备以进行渲染以供显示。2.根据权利要求1所述的人工现实系统，其中，所述第一集成电路被配置为：识别要显示的所述帧内的表面；和对于要由所述显示器显示的每一帧，将所述表面的一部分分类为动态表面，并且生成具有仅仅所述动态表面的表面纹理数据的子帧有效载荷。3.根据权利要求1或权利要求2所述的人工现实系统，其中，所述超帧包括位于所述超帧的开头的超帧报头，所述超帧报头包括所述子帧报头；优选地，其中所述超帧报头包括由所述第二集成电路使用以确定所述超帧是否有效的多个有效性字段。4.根据权利要求3所述的人工现实系统，其中，所述超帧报头指定第一子帧有效载荷在所述超帧内的位置。5.根据任一前述权利要求所述的人工现实系统，其中，所述子帧报头指定相应表面纹理数据的输入像素格式和所述相应表面纹理数据的输出像素格式；优选地，其中所述第二集成电路被配置为当所述输入像素格式和所述输出像素格式不匹配时，在将所述表面纹理数据存储到所述存储器中之前，将所述表面纹理数据从所述第一像素格式转换成所述第二像素格式。6.根据任一前述权利要求所述的人工现实系统，其中，所述子帧报头指定下一子帧有效载荷在所述超帧内的位置。7.根据任一前述权利要求所述的人工现实系统，其中，所述第一集成电路被配置为使用所述视频通信接口的在传输期间不改变所述视频帧的模式来传输所述超帧。8.根据任一前述权利要求所述的人工现实系统，其中，所述第二集成电路的DMA控制器被配置为在接收到所述超帧时，将所述超帧的所述子帧报头写入状态和控制寄存器中。9.一种方法，包括：由人工现实(AR)系统的第一集成电路在视频通信接口的视频帧中生成超帧以传输到所述AR系统的第二集成电路，其中所述超帧包括多个子帧有效载荷和相应的子帧报头，所述...

【专利技术属性】
技术研发人员：史蒂夫，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：