提升云游戏流畅度的方法及系统技术方案

本发明专利技术提供一种提升云游戏流畅度的方法，属于图像处理技术领域，包括接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成游戏画面，用于客户端显示。本发明专利技术通过超分辨率方法降低服务器端的游戏画面分辨率，降低服务器端GPU的渲染量，减少由于GPU负载过重产生的卡顿现象；通过超分辨率方法降低服务器端的游戏画面分辨率，减少需要传输至客户端的数据量，减少由于网络传输导致的云游戏卡顿与延时现象；能够降低服务器端的游戏画面分辨率，降低了服务器端的GPU性能需求，渲染游戏时可换用廉价的低性能GPU，从而降低云游戏服务器设备成本。服务器设备成本。服务器设备成本。

【技术实现步骤摘要】
提升云游戏流畅度的方法及系统


[0001]本专利技术涉及图像处理
，具体涉及一种提升云游戏流畅度的方法及系统。

技术介绍

[0002]云游戏是以云计算为基础的游戏方式。在云游戏的运行模式下，所有游戏均在服务器端运行，并将渲染完毕的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压与显示能力即可。
[0003]图像超分辨率重建技术是利用LR(低分辨率)图像恢复对应的HR(高分辨率)图像从而提高图像分辨率的技术。超分辨率重建技术可以分为两种，一种是非深度学习方法，即传统超分辨率方法实现图像重建，另一种是深度学习方法，即利用卷积神经网络实现图像特征提取、映射和重建工作。
[0004]视频由连续的图像组成，视频超分辨率重建技术是指从相应的低分辨率视频版本生成对应的高分辨率视频版本的技术。帧率是指视频或游戏画面每秒钟刷新图像的帧数，测量单位为FPS(每秒显示帧数)。帧率越高，视频与游戏画面就会越流畅。为了保证用户的良好游戏体验，通常游戏画面帧率不会低于30FPS，最佳游玩帧率为60FPS或120FPS。
[0005]目前云游戏实现的方式为：在服务器端进行游戏画面渲染并将其编码成视频流，将视频流传输至客户端，客户端对视频流进行解码与显示。
[0006]为了让用户获得高质量的游玩体验，云游戏会使用较高的画面帧率与分辨率。通常云游戏的画面帧率不会低于30FPS，画面分辨率不会低于1920
×
1080。高帧率与高分辨率会产生大量需要传输的视频流数据，这对服务器端与客户端之间的网络传输速率提出了非常高的要求，如果服务器端与客户端之间的网络速率达不到要求，云游戏便会出现卡顿与延时，从而严重影响游玩体验。
[0007]此外，如果服务器端与客户端的网络状况不稳定，网络传输速率忽快忽慢，云游戏也会发生卡顿现象。在游戏画面渲染与编码的过程中，为了提升编码效率，通常会直接使用GPU(图形处理器)进行编码。然而游戏画面渲染也会使用GPU，因此，若游戏渲染量过大，会造成GPU负载过重，进而导致GPU编码时间变长，会造成云游戏卡顿。

技术实现思路

[0008]本专利技术的目的在于提供一种提升云游戏流畅度的方法及系统。以解决上述
技术介绍
中存在的至少一项技术问题。
[0009]为了实现上述目的，本专利技术采取了如下技术方案：
[0010]一方面，本专利技术提供一种提升云游戏流畅度的方法，包括：
[0011]接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面，在客户端进行显示。
[0012]优选的，使用插值上采样算法对解码后的视频画面进行上采样，生成上采样游戏
画面。
[0013]优选的，对上采样游戏画面进行锐化处理后，用于客户端显示。
[0014]优选的，所述插值上采样算法的上采样倍率为客户端需要显示的画面分辨率尺寸与服务器端渲染的游戏画面尺寸的比值。
[0015]优选的，所述插值上采样算法为Lanczos插值、最邻近插值、双线性二次插值或双三次插值。
[0016]优选的，使用超分辨率模型对解码后的视频画面进行上采样，生成超分辨率游戏画面，将所述超分辨率游戏画面用于客户端显示。
[0017]优选的，超分辨率模型的训练包括：
[0018]使用同一个控制器控制两组组云游戏服务器，分别使用不同的分辨率渲染游戏画面；其中，较高分辨率渲染的游戏画面的分辨率尺寸为客户端所显示的游戏画面的分辨率尺寸，较低分辨率渲染的游戏画面的分辨率尺寸为服务器端所渲染的游戏画面尺寸；
[0019]将所述较高分辨率渲染的游戏画面、较低分辨率渲染的游戏画面分别编码为高分辨率视频流和低分辨率视频流；
[0020]将所述高分辨率视频流和低分辨率视频流分别解码为高分辨率视频和低分辨率频流；
[0021]将所述高分辨率视频和低分辨率频流分别转化为高分辨率图像序列和低分辨率图像序列；
[0022]高分辨率图像序列和低分辨率图像序列构成超分辨率数据集；
[0023]将超分辨率数据集裁剪为有重叠的、统一大小的图像块；
[0024]确定需要使用的网络结构与损失函数，使用裁剪得到的图像块并进行训练，最终生成超分辨率模型。
[0025]第二方面，本专利技术提供一种提升云游戏流畅度的系统，包括：
[0026]接收模块，用于接收服务器端使用低分辨率渲染的游戏画面视频流；解码模块，用于对视频流进行解码获得视频画面；采样模块，用于对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面；显示模块，用于将生成的超分辨率游戏画面在客户端显示。
[0027]第三方面，本专利技术提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的提升云游戏流畅度的方法。
[0028]第四方面，本专利技术提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的提升云游戏流畅度的方法的指令。
[0029]本专利技术有益效果：通过超分辨率方法降低服务器端的游戏画面分辨率，降低服务器端GPU的渲染量，减少由于GPU负载过重产生的卡顿现象；通过超分辨率方法降低服务器端的游戏画面分辨率，减少需要传输至客户端的数据量，减少由于网络传输导致的云游戏卡顿与延时现象；能够降低服务器端的游戏画面分辨率，降低了服务器端的GPU性能需求，渲染一些游戏时不再需要高性能GPU，可换用一些更为廉价的低性能GPU，从而降低云游戏服务器设备成本。
[0030]本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0031]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本专利技术实施例1所述的提升云游戏流畅度的方法流程示意图；
[0033]图2为本专利技术实施例3所述的提升云游戏流畅度的方法流程示意图；
[0034]图3为本专利技术实施例3所述的以1080P分辨率运行游戏的视频录制截图；
[0035]图4为本专利技术实施例3所述的以720P分辨率运行游戏的视频录制截图；
[0036]图5为本专利技术实施例3所述的上采样后的游戏画面示意图；
[0037]图6为本专利技术实施例3所述的对上采样后的游戏画面进行锐化处理后的游戏画面示意图；
[0038]图7为本专利技术实施例3所述的客户端最终显示的游戏画面的画面细节示意图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升云游戏流畅度的方法，其特征在于，包括：接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成超分辨率上采样游戏画面，在客户端进行显示。2.根据权利要求1所述的提升云游戏流畅度的方法，其特征在于，使用插值上采样算法对解码后的视频画面进行上采样，生成上采样游戏画面。3.根据权利要求2所述的提升云游戏流畅度的方法，其特征在于，对上采样游戏画面进行锐化处理后，用于客户端显示。4.根据权利要求2所述的提升云游戏流畅度的方法，其特征在于，所述插值上采样算法的上采样倍率为客户端需要显示的画面分辨率尺寸与服务器端渲染的游戏画面尺寸的比值。5.根据权利要求2
‑
4任一项所述的提升云游戏流畅度的方法，其特征在于，所述插值上采样算法为Lanczos插值、最邻近插值、双线性二次插值或双三次插值。6.根据权利要求1所述的提升云游戏流畅度的方法，其特征在于，使用超分辨率模型对解码后的视频画面进行上采样，生成超分辨率游戏画面，将所述超分辨率游戏画面用于客户端显示。7.根据权利要求6所述的提升云游戏流畅度的方法，其特征在于，超分辨率模型的训练包括：使用同一个控制器控制两组组云游戏服务器，分别使用不同的分辨率渲染游戏画面；其中，较高分辨率渲染的游戏画面的分辨率尺寸为客户端所显示的游戏画面的分辨率尺寸，较低分辨率渲染的游戏画面的分辨率尺寸为服务器端所渲染的游戏画面...

【专利技术属性】
技术研发人员：乔建苹，马文齐，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：