无线可编程媒体处理系统技术方案

本公开的实施例涉及无线可编程媒体处理系统。在该媒体处理系统中，计算设备中的处理单元基于用于计算设备上运行的应用的图形内容生成待显示的帧。此后，待显示的帧被划分成多组块，这些组块被压缩。经过压缩的图形块通过无线链路从处理单元被发送给图形显示设备。以此方式，待显示的帧的生成和压缩可以均在计算设备的同一处理单元中被完成，避免了数据复制，简化了处理操作，从而显著提高了数据处理速度和效率。

Wireless Programmable Media Processing System

An embodiment of the present disclosure relates to a wireless programmable media processing system. In the media processing system, the processing unit in the computing device generates frames to be displayed based on the graphical content of the application running on the computing device. Thereafter, the frames to be displayed are divided into multiple blocks, which are compressed. Compressed graphics blocks are sent from processing units to graphics display devices via wireless links. In this way, the generation and compression of frames to be displayed can be accomplished in the same processing unit of the computing device, avoiding data duplication and simplifying the processing operation, thus significantly improving the speed and efficiency of data processing.

【技术实现步骤摘要】
无线可编程媒体处理系统
技术介绍
虚拟现实(VR)可以模拟真实世界的图像、声音、触感等等，为用户创建身临其境般的虚拟环境。本文中的VR可以包括增强现实(AR)。VR系统通常由诸如个人计算机(PC)的计算设备和诸如头盔式显示器(HMD)的图形显示设备组成。借助于计算设备以高帧速率和高视觉品质对丰富图形内容进行渲染，图形显示设备可以为用户提供高质量的VR体验。传统上，计算设备和图像显示设备通常通过线缆连接。例如，图形显示设备可以经由高清多媒体接口(HDMI)线连接到计算设备，以便从计算设备接收图形内容。图形显示设备还可以经由通用串行总线(USB)线将诸如传感器数据等数据送到计算设备。然而，这些线缆一方面限制了用户的移动，另一方面可能会给用户造成危害，例如可能会将用户绊倒，或者缠住用户脖子。
技术实现思路
本公开的实施例不同于简单地在计算设备和图形显示设备之间提供无线传输接口的传统无线媒体处理系统，提出了一种新的图形处理流程，以提高无线媒体处理系统在处理效率和延迟方面的性能。根据本公开的实施例，在计算设备中的处理单元处，基于用于运行于计算设备上的应用的图形内容生成了待显示的帧。待显示的帧被分成多组块，这些组块被压缩。继而，经压缩的多组块通过无线链路被发送给图形显示设备。以此方式，与图形内容有关的渲染和压缩都在计算设备中的同一处理单元处执行，这大大简化了计算设备侧的处理流程，从而提高了效率。提供
技术实现思路
部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1示出了根据本公开的某些实施例的示例无线可编程媒体处理系统的架构；图2示出了根据本公开的某些其他实施例的示例无线可编程媒体处理系统的架构；图3示出了根据本公开的某些实施例的方法的流程图；以及图4示出了根据本公开的某些其他实施例的方法的流程图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在此使用的术语“媒体处理系统”是指具有高清或者超高清媒体传输能力的任意适当系统。媒体处理系统的示例包括但不限于，VR系统和AR系统。为讨论方便，在某些实施例中将以VR系统作为媒体处理系统的示例进行描述。在此使用的术语“计算设备”是指具有计算能力的任意适当设备。计算设备可以支持任意适当应用(例如，VR或AR应用)，并且可以对用于该应用的图形内容进行处理，以用于在图形显示设备上显示。计算设备的示例包括但不限于，大型主机、服务器、个人计算机(PC)、桌上型计算机、膝上型计算机、笔记本计算机、平板计算机、上网本、个人数字助理(PDA)、移动电话、或者智能电话等等。为讨论方便，在某些实施例中将以PC作为计算设备的示例进行描述。在此使用的术语“图形显示设备”是指具有图形显示能力的任意适当设备。图形显示设备可以对经计算设备处理的图形信息进行显示，以便为用户提供VR体验。图形显示设备的示例包括但不限于，桌上型计算机、膝上型计算机、笔记本计算机、平板计算机、上网本、PDA、移动电话、智能手机、智能眼镜、智能手表、个人通信系统(PCS)设备、音频/视频播放器、数码相机/摄像机、个人导航设备、定位设备、电子书设备、游戏设备、或头盔式显示器(HMD)等等。为讨论方便，在某些实施例中将以HMD作为图形显示设备的示例进行描述。在此使用的术语“处理单元”可以是能够根据程序代码指令执行各种处理的任意适当物理或虚拟的处理器。处理单元可以包括一个或多个核。在包括多个核的情况下，多个核可以并行地操作，从而提高处理单元的处理效率。处理单元的示例包括但不限于，中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)、等等。为讨论方便，在某些实施例中将以GPU作为处理单元的示例进行描述。在此使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。如上所述，VR系统中的计算设备和图像显示设备传统上通过线缆连接，这限制了用户的活动，并且可能会给用户造成危害。已经开始探索使用无线传输代替基于线缆的有线传输，以实现高质量的无线VR系统。例如，已经提出了专用WirelessHD标准，该标准支持60GHz频率以上的无线高清视频传输。基于WirelessHD标准，在计算设备和图像显示设备上实现了60GHz频率以上的无线HDMI接口。还提出了使用无线保真(Wi-Fi)来代替计算设备和图像显示设备之间的USB线。这样，线缆从VR系统中被移除，因而避免了有线传输方式会产生的上述问题。然而，专利技术人注意到，这种HDMI接口目前仅仅能够支持帧率为90Hz的2160×1200像素的图形内容，无法满足高质量VR应用对于系统性能的要求。另外，这种无线VR系统的图形显示设备仅具有显示功能而不具有可编程性，因而可扩展性和灵活性较差，而且不可能利用各种基于软件编程的技术来实现性能的改进。为此，在本公开的实施例的一个方面，专利技术人经过研究，发现和提出了一种无线可编程媒体处理系统。根据在此提出的媒体处理系统，特别地，在图形显示设备侧增加了可编程设备，以使得图形显示设备具有可编程性。图1示出了根据本公开的某些实施例的示例无线可编程媒体处理系统100。在此示例中，媒体处理系统100被实施为VR系统。但是应当理解，这仅仅是出于说明目的无意于以任何方式限制本公开的范围。如图所示，在系统100中设置了可编程设备105，它与图形显示设备110(在此示例中为HMD)耦合，以便为图形显示设备110提供可编程性。可编程设备105可以实现为任意适当形式。作为示例，可编程设备105可以包括便携并且低功耗的智能电话级别的片上系统(SoC)。根据本公开的实施例，可编程设备105可以包括任意适当组件，这方面的具体示例将在后文参考图2进行描述。图形显示设备110与可编程设备105之间的耦合可以任意适当方式来实现。作为示例，可编程设备105可以通过HDMI线115和USB线120与图形显示设备110相连，以便经由HDMI线115向图形显示设备110发送要显示的与应用(例如，VR应用)有关的帧，并且经由USB线120从图形显示设备105接收诸如传感器数据等数据。应当理解，其他耦合方式也是可行的。在系统100中，可编程设备105与计算设备125之间使用无线链路来进行数据传输。例如，可编程设备105可以经由无线链路从计算设备125接收用于特定应用的图形内容，并且将来自图形显示设备110本文档来自技高网...

【技术保护点】
1.一种用于媒体处理系统的计算设备，包括：第一处理单元；以及存储器，耦合至所述第一处理单元并且存储有指令，所述指令在由所述第一处理单元执行时执行图形内容的压缩处理，包括动作：基于用于所述计算设备上运行的应用的图形内容生成待显示的帧；将所述待显示的帧分成多组块；对所述多组块进行压缩；以及通过无线链路向所述媒体处理系统中的图形显示设备发送经压缩的所述多组块。

【技术特征摘要】
1.一种用于媒体处理系统的计算设备，包括：第一处理单元；以及存储器，耦合至所述第一处理单元并且存储有指令，所述指令在由所述第一处理单元执行时执行图形内容的压缩处理，包括动作：基于用于所述计算设备上运行的应用的图形内容生成待显示的帧；将所述待显示的帧分成多组块；对所述多组块进行压缩；以及通过无线链路向所述媒体处理系统中的图形显示设备发送经压缩的所述多组块。2.根据权利要求1所述的计算设备，其中所述第一处理单元包括多个核，生成所述待显示的帧包括使用所述多个核中的第一组核来基于所述图形内容生成所述待显示的帧，以及对所述多组块进行压缩包括使用所述多个核中的第二组核对所述多组块进行压缩，所述第二组核不同于所述第一组核。3.根据权利要求2所述的计算设备，其中所述图形内容是第一图形内容并且所述帧是第一帧，所述动作还包括：与使用所述第二组核对所述多组块进行压缩并发地，使用所述第一组核来基于用于所述应用的第二图形内容生成待显示的第二帧，所述第二图形内容不同于所述第一图形内容，所述第二帧不同于所述第一帧。4.根据权利要求1所述的计算设备，其中向所述图形显示设备发送经压缩的所述多组块包括：与对所述多组块的压缩并发地，通过所述无线链路向所述图形显示设备发送经压缩的所述多组块。5.根据权利要求4所述的计算设备，其中所述第一处理单元执行多个线程，对所述多组块进行压缩包括使用所述多个线程中的第一线程，对所述多组块中的第一组块进行压缩，以及发送经压缩的所述多组块包括使用所述多个线程中的第二线程来通过所述无线链路向所述图形显示设备发送经压缩的所述第一组块，所述第二线程不同于所述第一线程。6.根据权利要求5所述的计算设备，所述动作还包括：与使用所述第二线程发送经压缩的所述第一组块并发地，使用所述第一线程对所述多组块中的第二组块进行压缩，所述第二组块不同于所述第一组块。7.根据权利要求1所述的计算设备，其中所述第一处理单元与所述计算设备中的第一无线网络接口单元耦合，以及发送经压缩的所述多组块包括通过所述无线链路来经由所述第一无线网络接口单元向所述图形显示设备发送经压缩的所述多组块。8.根据权利要求1所述的计算设备，其中所述第一处理单元包括图形处理单元、现场可编程门阵列和专用集成电路中的至少一个。9.一种媒体处理系统中的可编程设备，所述可编程设备与图形显示设备耦合并且包括：第二处理单元；以及存储器，耦合至所述第二处理单元并且存储有指令，所述指令在由所述第二处理单元执行时执行图形内容的解压缩处理，包括动作：通过无线链路从计算设备接收经压缩的多组块，所述经压缩的多组块基于用于所述计算设备上运行的应用的图形内容被生成；对接收到的所述多组块进行解压缩；以及基于经解压缩的所述多组块生成待显示的帧以用于在所述图形显示设备上显示。10.根据权利...

【专利技术属性】
技术研发人员：刘云新，张健松，张霖涛，T·莫斯希布罗达，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US