图像的渲染方法、装置、电子设备及计算机可读介质制造方法及图纸

本公开涉及一种图像的渲染方法、装置、电子设备及计算机可读介质，属于云计算技术领域。该方法包括：在客户端，接收云端发送的视频流并进行视频解码；获取图像序列的丢失帧数并恢复第一分辨率第一帧率的图像序列的帧率；通过深度学习算法模型增大第一分辨率第二帧率的图像序列中图像的分辨率。在云端，获取待渲染的图像数据渲染得到第一分辨率第二帧率的图像序列；根据预先设定的第一帧率确定图像序列的丢失帧数，并降低图像序列的帧率；将第一分辨率第一帧率的图像序列进行视频编码形成视频流并传送至客户端。本公开通过在云端渲染低分辨率图像，并利用帧间信息简化视频流，减少视频流的大小，可以有效降低渲染计算量，提高图像的渲染速度。

Image rendering methods, devices, electronic devices and computer-readable media

【技术实现步骤摘要】
图像的渲染方法、装置、电子设备及计算机可读介质
本公开涉及云计算
，具体而言，涉及一种图像的渲染方法、图像的渲染装置、电子设备及计算机可读介质。
技术介绍
随着云端服务器性能的不断提升和网络传输速度快速提高，云计算、云渲染技术变得越来越普遍。人们把越来越多的数据放在云端，同时把越来越复杂的计算功能也放在云端。虽然当前云计算的能力越来越强，但在实时应用方面还存在不足，主要原因是网络传输速度和带宽不能与数据规模相匹配。尤其是在三维模拟仿真、三维游戏等需要大规模数据实时渲染的应用领域，无线传输速度和带宽不足容易引起画面的延迟卡顿，而对于实时性要求很高的应用来说，这样的延迟是不能够接受的。因此，基于云计算的大规模数据实时渲染与浏览还没有取得很好的突破，需要找到一种方法能够有效克服在有限带宽和传输速度的条件下，显示画面延迟卡顿的问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种图像的渲染方法、图像的渲染装置、电子设备及计算机可读介质，进而至少在一定程度上克服在大规模图像数据渲染时，由于传统图像渲染方法的限制而导致的图像数据渲染计算量大，运算速度慢，影响交互流畅感等问题。根据本公开的第一个方面，提供一种图像的渲染方法，包括：接收云端发送的视频流并对所述视频流进行视频解码，得到第一分辨率第一帧率的图像序列；获取所述第一分辨率第一帧率的图像序列的丢失帧数，并根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列；其中，所述第二帧率大于所述第一帧率；通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列；其中，所述第二分辨率大于所述第一分辨率。在本公开的一种示例性实施例中，所述根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列包括：根据所述丢失帧数确定所述第一分辨率第一帧率的图像序列中任意连续两帧之间所要恢复的恢复图像；根据所述第一分辨率第一帧率的图像序列中任意两帧的连续图像上匹配点的匹配坐标，确定所述恢复图像中与所述匹配坐标对应的恢复坐标；根据所述匹配点的颜色信息对所述恢复图像上对应的恢复坐标进行颜色填充，得到所述恢复图像；将所述恢复图像插入所述第一分辨率第一帧率的图像序列中，得到所述第一分辨率第二帧率的图像序列。在本公开的一种示例性实施例中，所述通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列包括：将所述第一分辨率第二帧率的图像序列中的第一分辨率图像分别输入所述预先训练的深度学习算法模型，得到第二分辨率图像；根据所述第二分辨率图像得到所述第二分辨率第二帧率的图像序列。在本公开的一种示例性实施例中，所述深度学习算法模型的训练过程包括：对图像数据样本在云端进行渲染，得到第三分辨率的图像样本和第一分辨率的图像样本；其中，所述第三分辨率大于或等于所述第二分辨率；以所述第一分辨率的图像样本为输入数据，以所述第三分辨率的图像样本为输出目标，训练所述深度学习算法模型。根据本公开的第二个方面，提供一种图像的渲染方法，包括：从云端获取待渲染的图像数据，并根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列；根据预先设定的第一帧率确定图像序列的丢失帧数，并根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列；其中，所述第一帧率小于所述第二帧率；将所述第一分辨率第一帧率的图像序列进行视频编码形成视频流，并将所述视频流传送至客户端，以使所述客户端再次渲染得到第二分辨率第二帧率的图像序列；其中，所述第二分辨率大于所述第一分辨率。在本公开的一种示例性实施例中，所述根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列包括：根据预先设定的第一分辨率确定所述图像数据的渲染速度；根据所述待渲染的图像数据和所述图像数据的渲染速度，在云端渲染得到第一分辨率第二帧率的图像序列。在本公开的一种示例性实施例中，所述根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列包括：根据所述丢失帧数得到所述第一分辨率第二帧率的图像序列中需要保留的图像；根据所述第一分辨率第二帧率的图像序列中需要保留的图像得到第一分辨率第一帧率的图像序列。根据本公开的第三方面，提供一种图像的渲染装置，包括：视频解码模块，用于接收云端发送的视频流并对所述视频流进行视频解码，得到第一分辨率第一帧率的图像序列；高帧率重建模块，用于获取所述第一分辨率第一帧率的图像序列的丢失帧数，并根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列；高分辨率重建模块，用于通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列。根据本公开的第四方面，提供一种图像的渲染装置，包括：低分辨率渲染模块，用于从云端获取待渲染的图像数据，并根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列；低帧率渲染模块，用于根据预先设定的第一帧率确定图像序列的丢失帧数，并根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列；视频编码模块，用于将所述第一分辨率第一帧率的图像序列进行视频编码形成视频流，并将所述视频流传送至客户端，以使所述客户端再次渲染得到第二分辨率第二帧率的图像序列。根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像的渲染方法。根据本公开的第六方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的图像的渲染方法。本公开示例性实施例可以具有以下有益效果：本公开示例实施方式的图像的渲染方法中，通过在云端渲染低分辨率的图像，并利用帧间信息简化视频流的方法，一方面，在大规模模型数据加载的情况下可以有效降低渲染计算量，提高图像的渲染速度，提升交互的流畅感，解决了显示画面延迟卡顿的问题；另一方面，通过帧间信息简化视频流的方法减少了视频流的大小，在有限带宽和传输速度条件下降低了对客户端的依赖性，不需要高配置的显示设备，降低了成本。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。<本文档来自技高网...

【技术保护点】
1.一种图像的渲染方法，其特征在于，包括：/n接收云端发送的视频流并对所述视频流进行视频解码，得到第一分辨率第一帧率的图像序列；/n获取所述第一分辨率第一帧率的图像序列的丢失帧数，并根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列；其中，所述第二帧率大于所述第一帧率；/n通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列；其中，所述第二分辨率大于所述第一分辨率。/n

【技术特征摘要】
1.一种图像的渲染方法，其特征在于，包括：
接收云端发送的视频流并对所述视频流进行视频解码，得到第一分辨率第一帧率的图像序列；
获取所述第一分辨率第一帧率的图像序列的丢失帧数，并根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列；其中，所述第二帧率大于所述第一帧率；
通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列；其中，所述第二分辨率大于所述第一分辨率。


2.根据权利要求1所述的图像的渲染方法，其特征在于，所述根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列包括：
根据所述丢失帧数确定所述第一分辨率第一帧率的图像序列中任意连续两帧之间所要恢复的恢复图像；
根据所述第一分辨率第一帧率的图像序列中任意两帧的连续图像上匹配点的匹配坐标，确定所述恢复图像中与所述匹配坐标对应的恢复坐标；
根据所述匹配点的颜色信息对所述恢复图像上对应的恢复坐标进行颜色填充，得到所述恢复图像；
将所述恢复图像插入所述第一分辨率第一帧率的图像序列中，得到所述第一分辨率第二帧率的图像序列。


3.根据权利要求1所述的图像的渲染方法，其特征在于，所述通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列包括：
将所述第一分辨率第二帧率的图像序列中的第一分辨率图像分别输入所述预先训练的深度学习算法模型，得到第二分辨率图像；
根据所述第二分辨率图像得到所述第二分辨率第二帧率的图像序列。


4.根据权利要求3所述的图像的渲染方法，其特征在于，所述深度学习算法模型的训练过程包括：
对图像数据样本在云端进行渲染，得到第三分辨率的图像样本和第一分辨率的图像样本；其中，所述第三分辨率大于或等于所述第二分辨率；
以所述第一分辨率的图像样本为输入数据，以所述第三分辨率的图像样本为输出目标，训练所述深度学习算法模型。


5.一种图像的渲染方法，其特征在于，包括：
从云端获取待渲染的图像数据，并根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列；
根据预先设定的第一帧率确定图像序列的丢失帧数，并根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列；其中，所述第一帧率小于所述第二帧率；
将所述第一分辨率第一帧率的图像序列进行视频编码形成视...

【专利技术属性】
技术研发人员：刘贵芹，
申请(专利权)人：北京铂石空间科技有限公司，
类型：发明
国别省市：北京;11