带集成NIC和共享帧缓冲器访问以实现低时延的GPU制造技术

本公开涉及带集成NIC和共享帧缓冲器访问以实现低时延的GPU。用于带有集成网络接口控制器NIC和共享帧缓冲器访问的云游戏图形处理单元GPU的方法和装置。GPU包括提供对集成编码器/解码器的共享访问的帧缓冲器。GPU还包括与集成编码器/解码器相耦合的集成NIC和与帧缓冲器相耦合的视频输出。GPU被配置为处理传出和传入的游戏图像内容，该内容被使用视频编解码器或使用游戏瓦片编码器和解码器进行编码和解码。缓冲在帧缓冲器中的视频帧被集成编码器编码并且被直接转发到NIC以被打包且利用媒体流传输协议来进行流传输。传入的流媒体内容被NIC解包且被集成解码器解码，解码器将解码后的内容写入到帧缓冲器，以便再生成。以便再生成。以便再生成。

【技术实现步骤摘要】
带集成NIC和共享帧缓冲器访问以实现低时延的GPU


[0001]本公开涉及带有集成的NIC和共享帧缓冲器访问以实现更低时延的云游戏GPU。

技术介绍

[0002]云游戏是一种类型的在线游戏，其中，视频游戏在数据中心(又称为“云”)中的远程服务器上被执行，并且经由用于渲染视频内容和向(一个或多个)远程服务器提供玩家输入的本地客户端软件，作为视频内容被流传输到玩家的设备。这与传统的游戏手段形成了对比，在传统游戏手段中，游戏在用户的视频游戏机、个人计算机或移动设备上本地运行。
[0003]时延是成功的云游戏以及交互式家庭流传输(例如，一台PC(personal computer，个人计算机)用于渲染，但在另一个房间中的平板设备上播放)的最重要标准之一。现今使用的一种方法是渲染视频内容，并且准备好经编码的图像数据，来使用带有图形处理单元(Graphic Processing Unit，GPU)的分立图形卡进行流传输，然后使用平台的中央处理单元(Central Processing Unit，CPU)和网卡将图像数据通过网络流传输到玩家的设备。然而，这导致了一个瓶颈，因为GPU渲染和/或编码的数据必须首先被拷贝到主PC或设备存储器，然后才被传送到网卡，以便图像数据被发送出去。

技术实现思路

[0004]根据本公开的一方面，提供了一种装置，包括：图形处理单元(GPU)，包括：一个或多个帧缓冲器；与至少一个帧缓冲器相耦合的集成编码器/解码器，包括用于对图像数据和视频内容中的至少一者进行编码和解码的嵌入式逻辑；以及与所述集成编码器/解码器相耦合的集成网络接口控制器(NIC)。
[0005]根据本公开的一方面，提供了一种在图形卡上实现的方法，所述图形卡包括带有集成网络接口控制器(NIC)的图形处理单元(GPU)，所述方法包括：生成视频帧内容并且将所述视频帧内容缓冲在所述GPU上的一个或多个帧缓冲器中；进行以下操作之一：利用集成在所述GPU上的视频编解码器对所述视频帧内容进行编码以生成编码视频内容；并且利用所述集成NIC对所述编码视频内容进行打包以生成封包流并且将所述封包流向外传输到与所述集成NIC上的输出端口操作性耦合的网络；或者利用集成在所述GPU上的图像瓦片编码器对视频帧内容的瓦片进行编码以生成编码视频瓦片；并且利用所述集成NIC对所述编码视频瓦片进行打包以生成封包流并且将所述封包流向外传输到与所述集成NIC上的输出端口操作性耦合的网络。
[0006]根据本公开的一方面，提供了一种云游戏服务器，包括：第一板，具有多个扩展插槽或连接器；中央处理单元(CPU)，安装到所述第一板或者安装到第二板，所述第二板安装在扩展插槽中或者耦合到所述第一板上的配接连接器；主存储器，包括与所述CPU通信耦合的一个或多个存储器设备；a)安装在各个扩展插槽中的一个或多个网络适配器卡；或者b)一个或多个网络接口控制器(NIC)芯片，安装到所述第一板或第二板；以及多个图形卡，安装在各个扩展插槽中或者耦合到所述第一板上的各个配接连接器，每个图形卡包括：图形
处理单元(GPU)，包括：一个或多个帧缓冲器；与至少一个帧缓冲器相耦合的集成编码器/解码器，包括用于对图像数据和视频内容中的至少一者进行编码和解码的嵌入式逻辑；以及与所述集成编码器/解码器相耦合的集成网络接口控制器(NIC)；图形存储器，其与所述GPU相耦合或者被集成在所述GPU上；至少一个网络端口，其与所述集成NIC相耦合；以及输入/输出(I/O)接口，其与所述GPU相耦合。
附图说明
[0007]随着通过在结合附图进行理解的同时参考接下来的详细描述而更好地理解本专利技术的上述方面和许多附带的优点，这些方面和优点将变得更容易明白，在附图中，除非另有指明，否则相似的标号在各种视图中始终指代相似的部分。
[0008]图1是根据一个实施例的图形卡的示意图，该图形卡包括带有集成视频编解码器和集成NIC的GPU；
[0009]图1a是根据一个实施例的图形卡的示意图，该图形卡包括带有直接耦合到NIC的集成视频编解码器的GPU；
[0010]图1b是根据一个实施例的图形卡的示意图，该图形卡包括组合在多芯片模块上的带有集成视频编解码器的GPU和NIC；
[0011]图1c是根据一个实施例的图形卡的示意图，该图形卡包括带有集成瓦片编码器/解码器和集成NIC的GPU；
[0012]图2是根据一个实施例图示出将图1的图形卡用于游戏服务器和游戏客户端设备中的示意图；
[0013]图2a是根据一个实施例图示出将图1a的图形卡用于游戏服务器和游戏客户端设备中的示意图；
[0014]图3是根据一个实施例图示出将图1的图形卡用于游戏服务器中并且图示出包括GPU的游戏膝上型客户端的示意图，该GPU带有集成网络接口，用于直接与WiFi芯片通信；
[0015]图4是图示出由I帧、P帧和B帧构成的示范性帧编码和显示方案的图；
[0016]图5是根据一个实施例图示出游戏服务器200和桌面型游戏客户端202之间的端到端图像数据流的示意图；
[0017]图6是根据一个实施例图示出被执行来促进图5的端到端图像数据流方案的操作的流程图；
[0018]图7a是根据一个实施例图示出使用带有集成瓦片编码器的GPU对游戏瓦片进行生成、编码和流传输的图；
[0019]图7b是根据一个实施例图示出对在游戏客户端处接收到的游戏瓦片的流的处理的图，其中包括使用带有集成瓦片解码器的GPU进行的瓦片解码和再生成；
[0020]图8是根据一个实施例的游戏服务器的示意图，该游戏服务器包括安装在主板的扩展插槽中的多个图形卡和一个或多个网卡；
[0021]图8a是根据一个实施例的游戏服务器的示意图，该游戏服务器包括安装在主板的扩展插槽中的多个图形卡，在该主板上安装有NIC芯片；
[0022]图8b是根据一个实施例的游戏服务器的示意图，该游戏服务器包括安装在背板、中板或底板的插槽或配接连接器中的多个图形卡和刀片服务器；并且
[0023]图9是根据一个实施例的集成NIC的示意图。
具体实施方式
[0024]本文描述了用于云游戏GPU的方法和装置的实施例，云游戏GPU带有集成的网络接口控制器(NIC)和共享帧缓冲器访问，以实现更低的时延。在以下描述中，记载了许多具体细节以帮助透彻理解本专利技术的实施例。然而，相关领域的技术人员将会认识到，没有这些具体细节中的一个或多个，或者利用其他方法、组件、材料等等，也可实现本专利技术。在其他情况中，没有示出或详细描述公知的结构、材料或操作，以避免模糊本专利技术的各方面。
[0025]本说明书中各处提及“一个实施例”或“一实施例”的意思是联系该实施例描述的特定特征、结构或特性被包括在本专利技术的至少一个实施例中。从而，短语“在一个实施例中”或“在一实施例中”在本说明书各处的出现不一定全都指的是同一实施例。此外，特定的特征、结构或特性在一个或多个实施例中可按任何适当的方式被组合。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：图形处理单元(GPU)，包括：一个或多个帧缓冲器；与至少一个帧缓冲器相耦合的集成编码器/解码器，包括用于对图像数据和视频内容中的至少一者进行编码和解码的嵌入式逻辑；以及与所述集成编码器/解码器相耦合的集成网络接口控制器(NIC)。2.如权利要求1所述的装置，其中，所述装置包括图形卡，所述图形卡具有输入/输出(I/O)接口，其中，所述集成NIC包括与所述图形卡上的所述I/O接口相耦合的接口，并且其中，所述NIC被配置为从所述I/O接口接收要通过网络传输的数据并且把从网络接收的数据转发到所述I/O接口。3.如权利要求1或2所述的装置，其中，所述集成NIC包括用于实现开放系统互连(OSI)模型的至少第3层和第4层的嵌入式逻辑。4.如前述权利要求中的任一项所述的装置，其中，所述集成NIC包括用于实现OSI模型的第3
‑
7层的嵌入式逻辑。5.如前述权利要求中的任一项所述的装置，其中，所述集成编码器/解码器包括视频编解码器。6.如权利要求5所述的装置，其中，所述GPU被配置为：生成视频游戏帧内容并且将所述视频游戏帧内容缓冲在所述一个或多个帧缓冲器中；利用所述视频编解码器对所述视频游戏帧内容进行编码以生成编码视频游戏内容；并且利用所述集成NIC对所述编码视频内容进行打包以生成封包流并且将所述封包流向外传输到网络。7.如权利要求5或6所述的装置，其中，所述GPU包括视频输出，并且所述装置包括图形卡，所述图形卡进一步包括：图形存储器，其与所述GPU相耦合或者被集成在所述GPU上；网络端口，其与所述集成NIC相耦合；输入/输出(I/O)接口，其与所述GPU相耦合；以及与所述GPU上的所述视频输出相耦合的视频端口；其中，所述图形卡被配置为：从与所述网络端口相耦合的网络接收包括流媒体内容的封包流；利用所述集成NIC对所述封包流进行解包以提取编码视频内容；进行以下操作之一：a)将解包的编码视频内容写入到所述视频编解码器可访问的缓冲器；或者b)经由所述视频编解码器读取缓冲在所述集成NIC上的解包的编码视频内容；利用所述视频编解码器对所述编码视频内容进行解码以再生成视频游戏帧内容；将再生成的视频游戏帧内容缓冲在至少一个帧缓冲器中；并且经由所述视频端口输出包括视频游戏帧的显示内容。8.如前述权利要求中的任一项所述的装置，其中，所述集成编码器/解码器是图像瓦片编码器和解码器。
9.如权利要求8所述的装置，其中，所述GPU被配置为：生成视频游戏帧内容并且将所述视频游戏帧内容缓冲在所述一个或多个帧缓冲器中；利用所述图像瓦片编码器对视频游戏帧内容的瓦片进行编码以生成编码视频游戏瓦片；并且利用所述集成NIC对所述编码视频游戏瓦片进行打包以生成封包流并且将所述封包流向外传输到与所述图形卡上的以太网端口相耦合的网络。10.如权利要求8或9所述的装置，其中，所述GPU包括视频输出，并且所述装置包括图形卡，所述图形卡进一步包括：图形存储器，其与所述GPU相耦合或者被集成在所述GPU上；网络端口，其与所述集成NIC相耦合；输入/输出(I/O)接口，其与所述GPU相耦合；以及与所述GPU上的所述视频输出相耦合的视频端口；其中，所述图形卡被配置为：从与所述图形卡上的以太网端口相耦合的网络接收包括流传输的视频游戏瓦片的封包流；利用所述集成NIC对所述封包流进行解包以提取编码视频游戏瓦片；进行以下操作之一：a)将解包的编码视频游戏瓦片写入到所述图像瓦片解码器可访问的缓冲器；或者b)经由所述图像瓦片解码器读取缓冲在所述集成NIC上的解包的编码图像瓦片；利用所述图像瓦片解码器对所述编码图像瓦片进行解码以再生成游戏图像瓦片；将再生成的游戏图像瓦片排列在帧缓冲器中以生成视频游戏帧；并且经由所述视频端口输出包括视频游戏帧的显示内容。11.一种在图形卡上实现的方法，所述图形卡包括带有集成网络接口控制器(NIC)的图形处理单元(GPU)，所述方法包括：生成视频帧内容并且将所述视频帧内容缓冲在所述GPU上的一个或多个帧缓冲器中；进行以下操作之一：利用集成在所述GPU上的视频编解码器对所述视频帧内容进行编码以生成编码视频内容；并且利用所述集成NIC对所述编码视频内容进行打包以生成封包流并且将所述封包流向外传输到与所述集成NIC上的输出端口操作性耦合的网络；或者利用集成在所述GPU上的图像瓦片编码器对视频帧内容的瓦片进行编码以生成编码视频瓦片；并且利用所述集成N...

【专利技术属性】
技术研发人员：丹尼尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：