渲染方法、装置、设备和存储介质制造方法及图纸

根据本公开的实施例，提供了渲染方法、装置、设备和存储介质。在该方法中，终端设备渲染待呈现内容的第一部分以生成第一图像帧。第一部分中的至少第一组分能够被切换为在云端渲染。终端设备从远程设备接收第二图像帧。第二图像帧是通过在云端渲染内容的第二部分而生成的。第二部分中的至少第二组分能够被切换为在本地渲染。终端设备基于第一图像帧与第二图像帧来生成合成图像帧以用于呈现。由此，可以同时发挥终端算力与云端算力，使向用户呈现的画质提升。画质提升。画质提升。

【技术实现步骤摘要】
渲染方法、装置、设备和存储介质


[0001]本公开的示例实施例总体涉及计算机领域，特别地涉及渲染方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]随着终端用户网络接入质量的改善、云计算服务提供商在中心及边缘部署的算力提升、以及网络系统架构的日渐成熟稳定，结合了实时通信技术和高质量图形图像渲染算法的实时云渲染技术应运而生，例如，云游戏，云X现实(XR)，诸如增强现实(AR)、虚拟现实(VR)、混合现实(MR)，等等。实时云渲染应用的一个特点是用户本地可以只配置必要的输入输出设备，而无需高性能图形处理器(GPU)等昂贵的计算设备，即可实时响应于用户交互操作而进行高质量音视频渲染处理。实时云渲染应用对于网络传输与延迟具有一定的要求。然而，在实际中，网络传输与网络延迟状况往往不可控。

技术实现思路

[0003]在本公开的第一方面，提供了一种渲染方法。该方法包括渲染待呈现内容的第一部分以生成第一图像帧，第一部分中的至少第一组分能够被切换为在云端渲染；从远程设备接收第二图像帧，第二图像帧是通过在云端渲染内容的第二部分而生成的，第二部分中的至少第二组分能够被切换为在本地渲染；以及基于第一图像帧与第二图像帧来生成合成图像帧以用于呈现。
[0004]在本公开的第二方面，提供了一种渲染方法。该方法包括确定待呈现内容的第一部分和第二部分，第一部分能够在终端设备处被渲染并且至少包括能够被切换为在云端渲染的第一组分，第二部分能够在云端被渲染并且至少包括能够被切换为在终端设备处渲染的第二组分；通过使内容的第二部分在云端被渲染来生成第二图像帧；以及向终端设备发送第二图像帧。
[0005]在本公开的第三方面，提供了一种渲染装置。该装置包括第一渲染模块，被配置为渲染待呈现内容的第一部分以生成第一图像帧，第一部分中的至少第一组分能够被切换为在云端渲染；接收模块，被配置为从远程设备接收第二图像帧，第二图像帧是通过在云端渲染内容的第二部分而生成的，第二部分中的至少第二组分能够被切换为在本地渲染；以及合成模块，被配置为基于第一图像帧与第二图像帧来生成合成图像帧以用于呈现。
[0006]在本公开的第四方面，提供了一种渲染装置。该装置包括分组模块，被配置为确定待呈现内容的第一部分和第二部分，第一部分能够在终端设备处被渲染并且至少包括能够被切换为在云端渲染的第一组分，第二部分能够在云端被渲染并且至少包括能够被切换为在终端设备处渲染的第二组分；第二渲染模块，被配置为通过使内容的第二部分在云端被渲染来生成第二图像帧；以及发送模块，被配置为向终端设备发送第二图像帧。
[0007]在本公开的第五方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处
理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一或第二方面的方法。
[0008]在本公开的第六方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一或第二方面的方法。
[0009]应当理解，此部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
[0010]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0011]图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
[0012]图2示出了根据本公开的一些实施例的示例渲染过程；
[0013]图3示出了根据本公开的一些实施例的示例渲染方法；
[0014]图4示出了根据本公开的一些其他实施例的示例渲染方法；
[0015]图5示出了根据本公开的一些实施例的执行渲染过程的示例架构；
[0016]图6A至图6F示出了根据本公开的一些实施例的通过终端和云端协作渲染生成的示例图像帧；
[0017]图7示出根据本公开的一些实施例的渲染装置的框图；
[0018]图8示出根据本公开的一些其他实施例的渲染装置的框图；以及
[0019]图9示出了能够实施本公开的多个实施例的设备的框图。
具体实施方式
[0020]下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0021]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
[0022]可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。
[0023]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0024]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存
储介质等软件或硬件提供个人信息。
[0025]作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
[0026]可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
[0027]实时云渲染技术可以将实时通信技术和高质量图形图像渲染算法相结合，提供实时且高质量的音视频渲染处理。基于Web的实时云渲染日渐发展起来。这是一种轻量级实时音视频解决方案。该方案对于终端的软件要求不高，仅需要Web浏览器，而不需要额外安装客户端软件，可以借用云端强大的实时音视频算力来实时渲染。
[0028]与此同时，随着终端设备的更新换代，终端算力也不断提升。很多终端设备，诸如手机、平板、VR一体机、游戏本等等，已经具备独立GPU以及高性能的搭载芯片，可以支持软件图形库和图形硬件架构接口，从而可以满足各种终端游戏的性能需求。
[0029]终端3A(例如，高成本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种渲染方法，包括：渲染待呈现内容的第一部分以生成第一图像帧，所述第一部分中的至少第一组分能够被切换为在云端渲染；从远程设备接收第二图像帧，所述第二图像帧是通过在所述云端渲染所述内容的第二部分而生成的，所述第二部分中的至少第二组分能够被切换为在本地渲染；以及基于所述第一图像帧与所述第二图像帧来生成合成图像帧以用于呈现。2.根据权利要求1所述的方法，还包括：从所述远程设备接收所述内容的所述第一部分。3.根据权利要求1所述的方法，还包括：更新所述第一部分中包含的组分；对更新后的第一部分进行渲染，以生成第三图像帧；从所述远程设备接收第四图像帧，所述第四图像帧是通过在所述云端渲染与所述第一部分相关联地被更新的第二部分而生成；以及基于所述第三图像帧与所述第四图像帧生成更新后的合成图像帧。4.根据权利要求3所述的方法，其中更新所述第一部分中包含的所述组分包括：从所述远程设备接收更新所述第一部分中包含的所述组分的指示；以及响应于接收到所述指示，执行所述更新。5.根据权利要求4所述的方法，其中接收所述指示包括：接收更新后的所述第一部分中的各组分的标识。6.根据权利要求3所述的方法，还包括：向所述远程设备发送与所述第一部分相关联地更新所述第二部分中包含的组分的指示。7.根据权利要求4至6中的任一项所述的方法，其中所述指示表明以下至少一项：至少所述第一组分被切换为在所述云端渲染；至少所述第二组分被切换为在本地渲染。8.一种渲染方法，包括：确定待呈现内容的第一部分和第二部分，所述第一部分能够在终端设备处被渲染并且至少包括能够被切换为在云端渲染的第一组分，所述第二部分能够在所述云端被渲染并且至少包括能够被切换为在所述终端设备处渲染的第二组分；通过使所述内容的所述第二部分在所述云端被渲染来生成第二图像帧；以及向所述终端设备发送所述第二图像帧。9.根据权利要求8所述的方法，还包括：向所述终端设备发送所述内容的所述第一部分。10.根据权利要求8所述的方法，还包括：更新所述第二部分中包含的组分；对更新后的所述第二部分进行渲染，...

【专利技术属性】
技术研发人员：王帅，王剑，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：