视频帧播放方法、装置、设备以及存储介质制造方法及图纸

本申请公开了一种视频帧播放方法、装置、设备以及存储介质，能够应用在云游戏、人工智能等领域。通过本申请实施例提供的技术方案，获取到云游戏服务器发送的多个第一视频帧之后，基于多个第一视频帧的分辨率进行判断，当该分辨率符合分辨率条件时，对多个第一视频帧进行图像处理，图像处理的目的是提高第一视频帧的分辨率，得到多个第二视频帧，多个第二视频帧也就具有更高的分辨率，从而在保证云游戏流畅度的前提下，提高了云游戏的显示效果。提高了云游戏的显示效果。提高了云游戏的显示效果。

【技术实现步骤摘要】
视频帧播放方法、装置、设备以及存储介质


[0001]本申请涉及云游戏领域，特别涉及一种视频帧播放方法、装置、设备以及存储介质。

技术介绍

[0002]随着云计算技术的成熟，用户可以通过云计算来实现终端难以完成的任务。例如，在云游戏的领域，终端无需执行渲染操作，云游戏服务器能够基于终端发送的控制信息对游戏场景进行渲染，得到视频帧。云游戏服务器将该视频帧发送给终端，终端显示该视频帧即可。
[0003]相关技术中，当终端所处的网络状态不佳时，云游戏服务器会降低视频帧的分辨率以保证云游戏的流畅程度，但是降低视频帧的分辨率会导致云游戏的显示效果变差。

技术实现思路

[0004]本申请实施例提供了一种视频帧播放方法、装置、设备以及存储介质，可以在保证云游戏的流畅程度的前提下，提高云游戏的显示效果。所述技术方案如下：
[0005]一方面，提供了一种视频帧播放方法，所述方法包括：
[0006]获取多个第一视频帧，所述多个第一视频帧是云游戏服务器以目标虚拟场景中被控虚拟对象的视角，对所述目标虚拟场景进行渲染得到的视频帧；
[0007]在所述多个第一视频帧的分辨率符合分辨率条件的情况下，对所述多个第一视频帧进行图像处理，得到多个第二视频帧，各个所述第二视频帧的分辨率高于对应的第一视频帧的分辨率；
[0008]播放所述多个第二视频帧。
[0009]一方面，提供了一种视频帧播放装置，所述装置包括：
[0010]视频帧获取模块，用于获取多个第一视频帧，所述多个第一视频帧是云游戏服务器以目标虚拟场景中被控虚拟对象的视角，对所述目标虚拟场景进行渲染得到的视频帧；
[0011]图像处理模块，用于在所述多个第一视频帧的分辨率符合分辨率条件的情况下，对所述多个第一视频帧进行图像处理，得到多个第二视频帧，各个所述第二视频帧的分辨率高于对应的第一视频帧的分辨率；
[0012]播放模块，用于播放所述多个第二视频帧。
[0013]在一种可能的实施方式中，所述图像处理模块，用于在所述多个第一视频帧的分辨率符合分辨率条件的情况下，在各个所述第一视频帧中每两个像素点之间插入参考像素点，得到各个所述第一视频帧对应的第二视频帧，所述参考像素点是基于所述每两个像素点生成的。
[0014]在一种可能的实施方式中，所述图像处理模块，用于执行下述任一项：
[0015]采用最临近插值法在各个所述第一视频帧中每两个像素点之间插入所述参考像素点；
[0016]采用双线性插值法在各个所述第一视频帧中每两个像素点之间插入所述参考像素点；
[0017]采用均值插值法在各个所述第一视频帧中每两个像素点之间插入所述参考像素点。
[0018]在一种可能的实施方式中，所述图像处理模块，用于在所述多个第一视频帧的分辨率符合分辨率条件的情况下，将所述多个第一视频帧输入超分模型，由所述超分模型对所述多个第一视频帧进行上采样，得到所述多个第二视频帧。
[0019]在一种可能的实施方式中，所述图像处理模块，用于对于所述多个第一视频帧中的任一第一视频帧，通过所述超分模型对所述第一视频帧进行特征提取，得到所述第一视频帧的第一视频帧特征；对所述第一视频帧特征进行非线性映射，得到所述第一视频帧的第二视频帧特征；对所述第二视频帧特征进行重构，得到所述第一视频帧对应的第二视频帧。
[0020]在一种可能的实施方式中，所述装置还包括：
[0021]插帧模块，用于在所述多个第二视频帧的帧率符合帧率条件的情况下，在所述多个第二视频帧中进行插帧，得到插帧后的所述多个第二视频帧；
[0022]所述播放模块，还用于播放所述插帧后的所述多个第二视频帧。
[0023]在一种可能的实施方式中，所述插帧模块用于在所述多个第二视频帧的帧率小于或等于帧率阈值的情况下，在所述多个第二视频帧中每两个第二视频帧之间插入参考视频帧，得到所述插帧后的所述多个第二视频帧。
[0024]在一种可能的实施方式中，所述装置还包括参考帧确定模块，用于执行下述任一项：
[0025]将所述每两个第二视频帧中任一第二视频帧确定为所述参考视频帧；
[0026]将所述每两个第二视频帧的平均视频帧确定为所述参考视频帧，所述平均视频帧中像素点的像素值为所述每两个第二视频帧中对应像素点的像素值的平均值；
[0027]将所述第二视频帧序列输入插帧模型，由所述插帧模型基于所述每两个第二视频帧进行处理，得到所述参考视频帧。
[0028]在一种可能的实施方式中，所述参考帧确定模块用于通过所述插帧模型，获取第三视频帧到第四视频帧的后向光流，所述第三视频帧为所述每两个第二视频帧中前一个第二视频帧，所述第四视频帧为所述每两个第二视频帧中后一个第二视频帧；获取所述第四视频帧到所述第三视频帧的前向光流；基于所述后向光流和所述前向光流，生成所述参考视频帧。
[0029]在一种可能的实施方式中，所述参考帧确定模块用于通过所述插帧模型，获取第三视频帧中多个图像块在第四视频帧中的运动矢量，所述第三视频帧为所述每两个第二视频帧中前一个第二视频帧，所述第四视频帧为所述每两个第二视频帧中后一个第二视频帧；基于所述运动矢量，生成所述参考视频帧。
[0030]在一种可能的实施方式中，所述装置还包括：
[0031]发送模块，用于向所述云游戏服务器发送网络延迟信息，以使所述云游戏服务器基于所述网络延迟信息生成所述多个第一视频帧。
[0032]一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个
或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述计算机程序由所述一个或多个处理器加载并执行以实现所述视频帧播放方法。
[0033]一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现所述视频帧播放方法。
[0034]一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括程序代码，该程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该程序代码，处理器执行该程序代码，使得该计算机设备执行上述视频帧播放方法。
[0035]通过本申请实施例提供的技术方案，获取到云游戏服务器发送的多个第一视频帧之后，基于多个第一视频帧的分辨率进行判断，当该分辨率符合分辨率条件时，对多个第一视频帧进行图像处理，图像处理的目的是提高第一视频帧的分辨率，得到多个第二视频帧，多个第二视频帧也就具有更高的分辨率，从而在保证云游戏流畅度的前提下，提高了云游戏的显示效果。
附图说明
[0036]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧播放方法，其特征在于，所述方法包括：获取多个第一视频帧，所述多个第一视频帧是云游戏服务器以目标虚拟场景中被控虚拟对象的视角，对所述目标虚拟场景进行渲染得到的视频帧；在所述多个第一视频帧的分辨率符合分辨率条件的情况下，对所述多个第一视频帧进行图像处理，得到多个第二视频帧，各个所述第二视频帧的分辨率高于对应的第一视频帧的分辨率；播放所述多个第二视频帧。2.根据权利要求1所述的方法，其特征在于，所述在所述多个第一视频帧的分辨率符合分辨率条件的情况下，对所述多个第一视频帧进行图像处理，得到多个第二视频帧包括：在所述多个第一视频帧的分辨率符合分辨率条件的情况下，在各个所述第一视频帧中每两个像素点之间插入参考像素点，得到各个所述第一视频帧对应的第二视频帧，所述参考像素点是基于所述每两个像素点生成的。3.根据权利要求2所述的方法，其特征在于，所述在各个所述第一视频帧中每两个像素点之间插入参考像素点下述任一项：采用最临近插值法在各个所述第一视频帧中每两个像素点之间插入所述参考像素点；采用双线性插值法在各个所述第一视频帧中每两个像素点之间插入所述参考像素点；采用均值插值法在各个所述第一视频帧中每两个像素点之间插入所述参考像素点。4.根据权利要求1所述的方法，其特征在于，所述在所述多个第一视频帧的分辨率符合分辨率条件的情况下，对所述多个第一视频帧进行图像处理，得到多个第二视频帧包括：在所述多个第一视频帧的分辨率符合分辨率条件的情况下，将所述多个第一视频帧输入超分模型，由所述超分模型对所述多个第一视频帧进行上采样，得到所述多个第二视频帧。5.根据权利要求4所述的方法，其特征在于，所述由所述超分模型对所述多个第一视频帧进行上采样，得到所述多个第二视频帧包括：对于所述多个第一视频帧中的任一第一视频帧，通过所述超分模型对所述第一视频帧进行特征提取，得到所述第一视频帧的第一视频帧特征；对所述第一视频帧特征进行非线性映射，得到所述第一视频帧的第二视频帧特征；对所述第二视频帧特征进行重构，得到所述第一视频帧对应的第二视频帧。6.根据权利要求1所述的方法，其特征在于，所述在所述多个第一视频帧的分辨率符合分辨率条件的情况下，对所述多个第一视频帧进行图像处理，得到多个第二视频帧之后，所述方法还包括：在所述多个第二视频帧的帧率符合帧率条件的情况下，在所述多个第二视频帧中进行插帧，得到插帧后的所述多个第二视频帧；所述播放所述多个第二视频帧包括：播放所述插帧后的所述多个第二视频帧。7.根据权利要求6所述的方法，其特征在于，所述在所述多个第二视频帧的帧率符合帧率条件的情况下，在所述多个第二视频帧中进行插帧，得到插帧后的所述多个第二视频帧包括：在所述多个第二视频帧的帧率小于或等于帧率阈值的情况下，在所述多个第二视频帧
中每两个第二视频帧之间插入参考视...

【专利技术属性】
技术研发人员：李志成，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：