图像渲染的方法和装置制造方法及图纸

本申请提供了一种图像渲染的方法和装置，可以实现在低采样值的条件下获得高分辨率、高帧率的渲染图像。该方法包括：获取第一图像、第二图像和第三图像等连续的三帧图像；根据第一图像更新第二图像的光照图，得到第二图像更新后的光照图；将第二图像更新后的光照图输入超分去噪网络，得到第二图像的超分去噪图像；根据第二图像更新第三图像的光照图，得到第三图像更新后的光照图；将第三图像更新后的光照图输入超分去噪网络，得到第三图像的超分去噪图像；根据第二图像的超分去噪图像和第三图像的超分去噪图像获取目标时刻的初始插帧图像，目标时刻为第二图像和第三图像之间的时刻；将初始插帧图像输入双向插帧网络，得到目标时刻的插帧图像。

【技术实现步骤摘要】
图像渲染的方法和装置
本申请涉及图像处理
，并且更具体地，涉及一种图像渲染的方法和装置。
技术介绍
光线追踪是现代电影、游戏等领域用于产生或增强特殊视觉效果的技术，其通过追踪从摄像机发出的每条光线来实现如环境光遮蔽、间接反射、漫射等全局光照，能在渲染框架上保证图像与现实的无缝衔接。目前主流的光线追踪技术主要分为三种模式，包括离线模式、交互模式、实时模式。其中离线模式的渲染效果最佳但耗时较长，交互模式在渲染效果和时间上做了平衡，而实时模式牺牲了部分渲染效果以满足实时性的要求。电影的呈现方式在其非互动性，所以制作时可以通过大量服务器离线渲染即可，而游戏需要实时的人机交互，因此游戏厂商只能通过实时渲染的方式来对每一帧画面进行计算，实时计算则带来庞大的计算量。在光线追踪领域，对每个像素点的光线采样值直接影响了渲染的效果，高采样值意味着庞大的计算量，而低采样值在保证实时渲染的前提下，引入了很多的噪点，使得渲染的图片质量下降。现有技术中，基于Optix的路径追踪算法，在SponzaGlossy场景下每像素采样数(sampleperpi本文档来自技高网...

【技术保护点】
1.一种图像渲染的方法，其特征在于，包括：/n获取第一图像、第二图像和第三图像，所述第一图像、所述第二图像和所述第三图像为连续的三帧图像；/n根据所述第一图像更新所述第二图像的光照图，以得到所述第二图像更新后的光照图；/n将所述第二图像更新后的光照图输入超分去噪网络，以得到所述第二图像的超分去噪图像；/n根据所述第二图像更新所述第三图像的光照图，以得到所述第三图像更新后的光照图；/n将所述第三图像更新后的光照图输入超分去噪网络，以得到所述第三图像的超分去噪图像；/n根据所述第二图像的超分去噪图像和所述第三图像的超分去噪图像获取目标时刻的初始插帧图像，所述目标时刻为所述第二图像和所述第三图像之间...

【技术特征摘要】
1.一种图像渲染的方法，其特征在于，包括：
获取第一图像、第二图像和第三图像，所述第一图像、所述第二图像和所述第三图像为连续的三帧图像；
根据所述第一图像更新所述第二图像的光照图，以得到所述第二图像更新后的光照图；
将所述第二图像更新后的光照图输入超分去噪网络，以得到所述第二图像的超分去噪图像；
根据所述第二图像更新所述第三图像的光照图，以得到所述第三图像更新后的光照图；
将所述第三图像更新后的光照图输入超分去噪网络，以得到所述第三图像的超分去噪图像；
根据所述第二图像的超分去噪图像和所述第三图像的超分去噪图像获取目标时刻的初始插帧图像，所述目标时刻为所述第二图像和所述第三图像之间的时刻；
将所述初始插帧图像输入双向插帧网络，以得到所述目标时刻的插帧图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像更新所述第二图像的光照图，以得到所述第二图像更新后的光照图，包括：
获取所述第二图像的光照图，所述第二图像的光照图包括多个像素点的颜色值，所述第二图像的光照图为直接光照图或间接光照图；
获取第一像素点在所述第一图像中对应的第二像素点，所述第一像素点为所述多个像素点中的任一个；
根据所述第一像素点的颜色值与所述第二像素点的颜色值，更新所述第一像素点的颜色值，以得到更新后的光照图。


3.根据权利要求2所述的方法，其特征在于，当所述第二像素点的位置不在所述第一图像的网格节点上时，所述方法还包括：
获取与所述第二像素点距离最近的四个像素点的颜色值，所述四个像素点在所述第一图像的网格节点上；
根据所述四个像素点的颜色值获取所述第二像素点的颜色值。


4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一像素点的颜色值与所述第二像素点的颜色值，更新所述第一像素点的颜色值之前，所述方法还包括：
确定所述第一像素点和所述第二像素点符合一致性，所述确定所述第一像素点和所述第二像素点符合一致性包括：
获取所述第一像素点的深度值、所述第一像素点的法向量值、所述第一像素点的面片ID和所述第二像素点的深度值、所述第二像素点的法向量值、所述第二像素点的面片ID，
所述第一像素点的深度值与所述第二像素点的深度值的差的平方小于第一阈值，
所述第一像素点的法向量值与所述第二像素点的法向量值的差的平方小于第二阈值，
所述第一像素点的面片ID与所述第二像素点的面片ID相等。


5.根据权利要求2至4中任一项所述的方法，其特征在于，所述根据所述第一像素点的颜色值与所述第二像素点的颜色值，更新所述第一像素点的颜色值，包括：
所述第一像素点更新后的颜色值为将所述第一像素点的颜色值乘以第一系数与将所述第二像素点的颜色值乘以第二系数之和。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述将所述第二图像更新后的光照图输入超分去噪网络，还包括：
获取所述第二图像的深度图、所述第二图像的法向量图；
将所述第二图像的深度图、所述第二图像的法向量图、所述第二图像更新后的光照图融合，以得到第一融合结果；
将所述第一融合结果输入超分去噪网络。


7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述第二图像的超分去噪图像和所述第三图像的超分去噪图像获取目标时刻的初始插帧图像，包括：
获取所述第三图像到所述第二图像的运动矢量；
根据所述第三图像到所述第二图像的运动矢量确定所述目标时刻的初始插帧图像到所述第二图像的第一运动矢量，和所述目标时刻的初始插帧图像到所述第三图像的第二运动矢量；
根据所述第二图像的超分去噪图像、所述第三图像的超分去噪图像、所述第一运动矢量和所述第二运动矢量获取所述目标时刻的初始插帧图像。


8.根据权利要求1至7中任一项所述的方法，其特征在于，所述将所述初始插帧图像输入双向插帧网络，还包括：
获取所述第二图像的深度图、所述第二图像的法向量图、所述第三图像的深度图、所述第三图像的法向量图；
将第二图像的深度图、所述第二图像的法向量图、所述第三图像的深度图、所述第三图像的法向量图与所述初始插帧图像融合，以得到第二融合结果；
将所述第二融合结果输入双向插帧网络。


9.根据权利要求1至8中任一项所述的方法，其特征在于，所述超分去噪网络为预先训练的神经网络模型，所述超分去噪网络的训练包括：
获取多组超分去噪原始训练数据，所述多组超分去噪原始训练数据中的每组超分去噪原始训练数据包括连续两帧图像和所述连续两帧图像中后一帧图像对应的标准图像；
判断所述连续两帧图像的像素点符合一致性；
获取所述连续两帧图像中后一帧图像的深度图、所述后一帧图像的法向量图和所述后一帧图像的光照图，所述后一帧图像的光照图为直接光照图或间接光照图；
根据所述连续两帧图像更新所述后一帧图像的像素点的颜色值，以得到所述后一帧图像更新后的光照图；
将所述后一帧图像的深度图、所述后一帧图像法向量图和所述后一帧图像更新后的光照图融合，以得到更新后的图像；
根据所述更新后的图像与所述标准图像，对所述超分去噪网络进行训练。


10.根据权利要求1至9中任一项所述的方法，其特征在于，所述双向插帧网络为预先训练的神经网络模型，所述双向插帧网络的训练包括：
获取多组双向插帧原始训练数据，所述多组双向插帧原始训练数据中每组双向插帧原始训练数据包括第四图像、第五图像、第六图像，所述第四图像、第五图像、第六图像为连续的三帧图像；
根据第四图像和第六图像获取所述第四图像和所述第六图像中间时刻的插帧图像；
根据所述中间时刻的插帧图像和所述第五图像，对所述双向插帧网络进行训练。


11.一种图像渲染的装置，其特征在于，包括：
获取模块，用于获取第一图像、第二图像和第三图像，所述第一图像、第二图像和第三图像为连续的三帧图像；
处理模块，用于根据所述第一图像更新所述第二图像的光照图，以得到所述第二图像更新后的光照图；
所述处理模块还用于将所述第二图像更新后的光照图输入超分去噪网络，以得到所述第二图像的超分去噪图像；...

【专利技术属性】
技术研发人员：李超，陈濛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44