GUI渲染显示的方法、终端、服务器、电子设备及存储介质技术

本申请实施例提供了一种GUI渲染显示的方法、终端、服务器、电子设备以及存储介质，涉及软件技术领域。该方法包括：接收终端发送的交互操作信息，根据交互操作信息更新每一帧帧图像的渲染指令和对应屏幕更新周期的时间戳，服务器和终端分别单独根据渲染指令对待渲染的帧图像进行渲染，得到已渲染的帧图像，服务器将已渲染的帧图像发送至终端，终端接收服务器发送的已渲染的帧图像，结合终端已渲染的帧图像，共同用于系统GUI的显示。本申请实施例能够将终端和服务器处理帧图像的能力进行隔离，互不影响，充分发挥各自的能力，并且依据时间戳信息进行同步，避免出现时序差错，不仅可以提高图像处理速率，还能够充分利用终端和服务器的硬件资源，提升整体效率，提高用户体验。

【技术实现步骤摘要】
GUI渲染显示的方法、终端、服务器、电子设备及存储介质
本申请涉及软件
，具体而言，本申请涉及一种GUI渲染显示的方法、终端、服务器、电子设备及存储介质。
技术介绍
随着云技术、虚拟化和互联网技术的发展，以云桌面为代表的虚拟化桌面得到广泛应用。云桌面(虚拟桌面)基础架构(VDI，VirtualDesktopInfrastructure)一般是通过数据中心的服务器运行操作系统，将用户的桌面进行虚拟化。用户通过来自客户端设备(客户机或是家用PC)的客户计算协议与虚拟桌面进行连接，用户访问他们的桌面就像是访问传统的本地安装桌面一样。随着硬件技术发展及VR、AR云渲染、云游戏的广泛应用，用户终端硬件性能得到普遍提升，终端如何参与端、云GUI(采用图形方式显示的计算机操作用户界面)协同渲染，实现充分发挥云端和终端的硬件性，提供高性能端、云GUI协同渲染显示能力，成为一个需要解决的问题。目前，为了提供高性能端、云GUI协同渲染显示主要采用的方法有如：云端进行渲染，直接将结果映射给虚拟机，然后通过客户端直接显示；这种方式需要云端采用高性能处理装置，并且容易加重云端负荷，影响处理速率，另一种采用端、云分布式参与整个GUI渲染流程，然后通过客户端显示，这种方式主要是使端、云共同渲染处理同一图像，虽然提高了图像处理速率，但是使端、云交互时，容易相互影响，不能够充分发挥端、云的硬件能力，还会影响用户体验。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的GUI渲染显示方法、终端、服务器、电子设备及存储介质。第一方面，提供了一种GUI渲染显示的方法，应用于服务器，该方法包括：接收终端发送的交互操作信息；根据交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳，并构成渲染指令序列；时间戳用于表示帧图像对应屏幕刷新周期的发起时间；获取终端和服务器处理帧图像的图形处理能力数据，以从渲染指令序列中确定第一渲染指令和第二渲染指令，第一渲染指令为由服务器执行的渲染指令，第二渲染指令为由终端执行的渲染指令；将第二渲染指令、第二渲染指令对应的待渲染帧图像和第二渲染指令对应的时间戳发送至终端，以使得终端根据第二渲染指令渲染第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像；根据第一渲染指令渲染第一渲染指令对应的帧图像，获得渲染后的第一帧图像，向终端发送渲染后的第一帧图像和对应的时间戳，以使得终端根据渲染后的第一帧图像和第二帧图像以及渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果。进一步地，根据交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳，包括：根据终端发送的交互操作信息，更新并处理待渲染的帧图像和待渲染的帧图像中的渲染节点；对待渲染的帧图像，根据待渲染的帧图像和待渲染的帧图像中的渲染节点，确定待渲染帧图像对应的渲染指令，并将待渲染的帧图像所对应屏幕更新周期的发起时间作为对应待渲染的帧图像的时间戳。进一步地，向终端发送渲染后的第一帧图像和对应的时间戳，之后还包括：根据渲染后的第一帧图像对应的时间戳，对渲染后的第一帧图像进行标识，将标识后的第一帧图像发送至终端。第二方面，提供了一种GUI渲染显示的方法，应用于终端，方法包括：将交互操作信息发送至服务器，以使得服务器根据交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳以及由服务器渲染后的第一帧图像，将第二渲染指令、第二渲染指令对应的待渲染帧图像和第二渲染指令对应的时间戳发送至终端；接收服务器发送的第二渲染指令、第二渲染指令对应的待渲染帧图像和第二渲染指令对应的时间戳，根据第二渲染指令渲染第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像；接收服务器发送的渲染后的第一帧图像和对应的时间戳，结合渲染后的第一帧图像和第二帧图像以及渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果。进一步地，根据第二渲染指令渲染第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像，之后还包括：根据渲染后的第二帧图像对应的时间戳，对渲染后的第二帧图像进行标识，得到标识后的第二帧图像。进一步地，结合渲染后的第一帧图像和第二帧图像以及渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果，包括：对第一帧图像和第二帧图像，确定第一帧图像和第二帧图像中待显示的帧图像；获取当前时刻，根据待显示的帧图像对应的时间戳和当前时刻，确定待显示的帧图像的时间间隔；若待显示的帧图像的时间间隔小于或等于预设阈值，则保留待显示的帧图像，并将待显示的帧图像作为待显示的GUI渲染结果；若待显示的帧图像的时间间隔大于预设阈值，则清除待显示的帧图像。第三方面，提供了一种服务器，包括：第一接收模块，用于接收终端发送的交互操作信息；第一处理模块，用于根据交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳，并构成渲染指令序列；时间戳用于表示帧图像的渲染指令所对应屏幕更新周期的发起时间；第二处理模块，用于获取终端和服务器处理帧图像的图形处理能力数据，以从渲染指令序列中确定第一渲染指令和第二渲染指令，第一渲染指令为由服务器执行的渲染指令，第二渲染指令为由终端指向的渲染指令；第二发送模块，用于将第二渲染指令、第二渲染指令对应的待渲染帧图像和第二渲染指令对应的时间戳发送至终端，以使得终端根据第二渲染指令渲染第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像；第三处理模块，用于根据第一渲染指令渲染第一渲染指令对应的帧图像，获得渲染后的第一帧图像，向终端发送渲染后的第一帧图像和对应的时间戳，以使得终端根据渲染后的第一帧图像和第二帧图像以及渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果。第四方面，提供了一种终端，包括：第一发送模块，用于将交互操作信息发送至服务器，以使得服务器根据交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳以及由服务器渲染后的第一帧图像，将第二渲染指令、第二渲染指令对应的待渲染帧图像和第二渲染指令对应的时间戳发送至终端；第二接收模块，用于接收服务器发送的第二渲染指令、第二渲染指令对应的待渲染帧图像和第二渲染指令对应的时间戳，根据第二渲染指令渲染第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像；第三接收模块，用于接收服务器发送的渲染后的第一帧图像和对应的时间戳，结合渲染后的第一帧图像和第二帧图像以及渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果。第五方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面或者第二方面所提供的方法的步骤。第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面本文档来自技高网...

【技术保护点】
1.一种GUI渲染显示的方法，应用于服务器，其特征在于，包括：/n接收终端发送的交互操作信息；/n根据所述交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳，并构成渲染指令序列；所述时间戳用于表示所述帧图像的渲染指令所对应屏幕更新周期的发起时间；/n获取终端和服务器处理帧图像的图形处理能力数据，以从所述渲染指令序列中确定第一渲染指令和第二渲染指令，所述第一渲染指令为由所述服务器执行的渲染指令，所述第二渲染指令为由所述终端执行的渲染指令；/n将所述第二渲染指令、所述第二渲染指令对应的待渲染帧图像和所述第二渲染指令对应的时间戳发送至所述终端，以使得所述终端根据所述第二渲染指令渲染所述第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像；/n根据所述第一渲染指令渲染所述第一渲染指令对应的帧图像，获得渲染后的第一帧图像，向所述终端发送所述渲染后的第一帧图像和对应的时间戳，以使得所述终端根据所述渲染后的第一帧图像和第二帧图像以及所述渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果。/n

【技术特征摘要】
1.一种GUI渲染显示的方法，应用于服务器，其特征在于，包括：
接收终端发送的交互操作信息；
根据所述交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳，并构成渲染指令序列；所述时间戳用于表示所述帧图像的渲染指令所对应屏幕更新周期的发起时间；
获取终端和服务器处理帧图像的图形处理能力数据，以从所述渲染指令序列中确定第一渲染指令和第二渲染指令，所述第一渲染指令为由所述服务器执行的渲染指令，所述第二渲染指令为由所述终端执行的渲染指令；
将所述第二渲染指令、所述第二渲染指令对应的待渲染帧图像和所述第二渲染指令对应的时间戳发送至所述终端，以使得所述终端根据所述第二渲染指令渲染所述第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像；
根据所述第一渲染指令渲染所述第一渲染指令对应的帧图像，获得渲染后的第一帧图像，向所述终端发送所述渲染后的第一帧图像和对应的时间戳，以使得所述终端根据所述渲染后的第一帧图像和第二帧图像以及所述渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果。


2.根据权利要求1所述的GUI渲染显示的方法，其特征在于，所述根据所述交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳，包括：
根据终端发送的交互操作信息，更新并处理待渲染的帧图像和所述待渲染的帧图像中的渲染节点；
对所述待渲染的帧图像，根据所述待渲染的帧图像和所述待渲染的帧图像中的渲染节点，确定所述待渲染帧图像对应的渲染指令，并将所述待渲染的帧图像所对应屏幕更新周期的发起时间，作为对应所述待渲染的帧图像的时间戳。


3.根据权利要求1所述的GUI渲染显示的方法，其特征在于，所述向所述终端发送所述渲染后的第一帧图像和对应的时间戳，之后还包括：
根据所述渲染后的第一帧图像对应的时间戳，对所述渲染后的第一帧图像进行标识，将标识后的第一帧图像发送至所述终端。


4.一种GUI渲染显示的方法，应用于终端，其特征在于，包括：
将交互操作信息发送至服务器，以使得服务器根据所述交互操作信息，更新待渲染的每帧帧图像对应的渲染指令和时间戳以及由所述服务器渲染后的第一帧图像，将所述第二渲染指令、所述第二渲染指令对应的待渲染帧图像和所述第二渲染指令对应的时间戳发送至所述终端；
接收服务器发送的所述第二渲染指令、所述第二渲染指令对应的待渲染帧图像和所述第二渲染指令对应的时间戳，根据所述第二渲染指令渲染所述第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像；
接收服务器发送的所述渲染后的第一帧图像和对应的时间戳，结合所述渲染后的第一帧图像和第二帧图像以及所述渲染后的第一帧图像和第二帧图像对应的时间戳，确定待显示的GUI渲染结果。


5.根据权利要求4所述的GUI渲染显示的方法，其特征在于，所述根据所述第二渲染指令渲染所述第二渲染指令对应的待渲染帧图像，获得渲染后的第二帧图像，之后还包括：
根据所述渲染后的第二帧图像对应的时间戳，对所述渲染后的第二帧图像进行标识，得到标识后的第二帧图像。


6.根据权利要求4所述的...

【专利技术属性】
技术研发人员：奚智，姜哲，邹仕洪，张广伟，黄浩东，
申请(专利权)人：北京元心科技有限公司，
类型：发明
国别省市：北京;11