渲染图像超分辨率纹理增强方法、装置、设备及存储介质制造方法及图纸

本申请提供一种渲染图像超分辨率纹理增强方法、装置、设备及存储介质，其中，渲染图像超分辨率纹理增强方法包括步骤：生成目标场景的第一分辨率的渲染效果图；生成所述目标场景的第二分辨率的无光照纹理图、第二分辨率的无光照带凹凸纹理的法线图、第二分辨率的渲染效果图，所述第二分辨率大于所述第一分辨率；根据预设数据组合算法将所述第二分辨率的无光照纹理图、所述第二分辨率的无光照带凹凸纹理的法线图合成一合成图；根据超分辨率重建算法和所述合成图将所述目标场景的第一分辨率的渲染效果图重建为第二分辨率的渲染效果图。本申请能够在保证将低分辨率的图像渲染成高分辨率的图像的同时，降低渲染耗时及计算量。降低渲染耗时及计算量。降低渲染耗时及计算量。

【技术实现步骤摘要】
渲染图像超分辨率纹理增强方法、装置、设备及存储介质


[0001]本申请涉及图像渲染领域，具体而言，涉及一种渲染图像超分辨率纹理增强方法、装置、设备及存储介质。

技术介绍

[0002]渲染是把模型图转成效果图的技术，通过专业的渲染引擎可以渲染出效果逼真的效果图，但是现有的渲染技术耗时长，比如基于光线追踪的蒙特卡洛方法，通过概率统计的方式近似渲染方程，根据光源属性，计算每个像素点的光线采样，完成渲染，时间很长，导致服务器成本高一直是需要优化的问题，尤其，渲染图分辨率越高，耗时就越长。

技术实现思路

[0003]本申请实施例的目的在于提供一种渲染图像超分辨率纹理增强方法、装置、设备及存储介质，用以在保证将低分辨率的图像渲染成高分辨率的图像的同时，降低渲染耗时和计算量。
[0004]为此，本申请第一方面公开一种渲染图像超分辨率纹理增强方法，所述方法包括：
[0005]生成目标场景的第一分辨率的渲染效果图；
[0006]生成所述目标场景的第二分辨率的无光照纹理图、第二分辨率的无光照带凹凸纹理的法线图、第二分辨率的渲染效果图，所述第二分辨率大于所述第一分辨率；
[0007]根据预设数据组合算法将所述第二分辨率的无光照纹理图、所述第二分辨率的无光照带凹凸纹理的法线图合成一合成图；
[0008]基于第二分辨率的渲染效果图，根据超分辨率重建算法和所述合成图将所述目标场景的第一分辨率的渲染效果图重建为所述目标场景在所述第二分辨率下的重建渲染效果图。
[0009]在本申请第一方面中，通过生成所述目标场景的第二分辨率的无光照纹理图、第二分辨率的无光照带凹凸纹理的法线图，进而能够基于生成所述目标场景的第二分辨率的无光照纹理图、第二分辨率的无光照带凹凸纹理的法线图将目标场景的第一分辨率的渲染效果图重建为第二分辨率的渲染效果图，其中，由于无光照纹理图保留纹理信息，而无光照带凹凸纹理的法线图能够保留图像中的反射信息及折射信息，这样一来就能够给超分辨率重建算法提供必要的参考信息，从而实现将所述目标场景的第一分辨率的渲染效果图重建为第二分辨率的渲染效果图。进一步地，通过将无光照带凹凸纹理的法线图和无光照纹理图合成，能够在提供反射信息、折射信息、纹理信息的前提下，减小超分辨率重建算法的输入信息大小，从而减少计算量。再一方面，由于本申请的带凹凸纹理的法线图和纹理图都是在无光照条件下生成的，因此与现有技术基于有光照实现渲染相比，能够进一步降低计算量、降低渲染耗时。
[0010]在本申请第一方面中，作为一种可选的实施方式，所述根据超分辨率重建算法和所述合成图将所述目标场景的第一分辨率的渲染效果图重建为所述目标场景在所述第二
分辨率下的渲染效果图，包括：
[0011]将所述合成图、所述目标场景的第一分辨率的渲染效果图作为对抗网络的输入，以使得所述对抗网络输出所述重建渲染效果图。
[0012]在本可选的实施方式中，通过对抗网络，能够输出第二分辨率的渲染效果图，即重建渲染效果图。
[0013]在本申请第一方面中，作为一种可选的实施方式，所述对抗网络包括生成器和鉴别器，所述生成器包括第一卷积网络和第二卷积网络，所述第一卷积网络用于提取所述目标场景的第一分辨率、合成图的渲染图的图像特征，所述第二卷积网络用于根据所述图像特征输出候选分辨率的渲染效果图；
[0014]所述鉴别器用于将所述候选分辨率的渲染效果图与第二分辨率的渲染效果图进行迭代比较计算，使得生成器学习第一分辨率与第二分辨率之间的重建映射关系。
[0015]在本可选的实施方式中，通过鉴别器和生成器能够将所述目标场景的第一分辨率的渲染效果图重建为所述第二分辨率的渲染效果图。
[0016]在本申请第一方面中，作为一种可选的实施方式，所述生成目标场景的第一分辨率的渲染效果图，包括：
[0017]根据光线追踪算法对目标场景进行渲染并得到所述目标场景的第一分辨率的渲染效果图。
[0018]在本可选的实施方式中，根据光线追踪算法能够本对目标场景进行渲染，进而得到所述目标场景的第一分辨率的渲染效果图。
[0019]在本申请第一方面中，作为一种可选的实施方式，所述根据预设数据组合算法将所述第二分辨率的无光照纹理图、所述第二分辨率的无光照带凹凸纹理的法线图合成一合成图，包括：
[0020]将所述第二分辨率的无光照纹理图与所述第二分辨率的无光照带凹凸纹理的法线图进行做差运算，并得到第一运算结果；
[0021]根据所述第一运算结果的绝对值得到所述合成图。
[0022]在本可选的实施方式中，通过将第二分辨率的无光照纹理图与第二分辨率的无光照带凹凸纹理的法线图进行做差运算，进而能够得到第一运算结果，进而能够根据第一运算结果的绝对值得到合成图。
[0023]本申请第二方面公开一种渲染图像超分辨率纹理增强装置，所述装置包括：
[0024]第一生成模块，用于生成目标场景的第一分辨率的渲染效果图；
[0025]第二生成模块，用于生成所述目标场景的第二分辨率的无光照纹理图、第二分辨率的无光照带凹凸纹理的法线图、第二分辨率的渲染效果图，所述第二分辨率大于所述第一分辨率；
[0026]图案合成模块，用于根据预设数据组合算法将所述第二分辨率的无光照纹理图、所述第二分辨率的无光照带凹凸纹理的法线图合成一合成图；
[0027]重建模块，用于基于第二分辨率的渲染效果图，根据超分辨率重建算法和所述合成图将所述目标场景的第一分辨率的渲染效果图重建为所述目标场景在所述第二分辨率下的重建渲染效果图。
[0028]本申请第二方面的装置通过执行渲染图像超分辨率纹理增强方法，能够通过生成
所述目标场景的第二分辨率的无光照纹理图、第二分辨率的无光照带凹凸纹理的法线图，将目标场景的第一分辨率的渲染效果图重建为第二分辨率的渲染效果图，其中，由于无光照纹理图保留纹理信息，而无光照带凹凸纹理的法线图能够保留图像中的反射信息及折射信息，这样一来就能够给超分辨率重建算法提供必要的参考信息，从而实现将所述目标场景的第一分辨率的渲染效果图重建为第二分辨率的渲染效果图。进一步地，通过将无光照带凹凸纹理的法线图和无光照纹理图合成，能够在提供反射信息、折射信息、纹理信息的前提下，减小超分辨率重建算法的输入信息大小，从而减少计算量。再一方面，由于本申请的带凹凸纹理的法线图和纹理图都是在无光照条件下生成的，因此与现有技术基于有光照实现渲染相比，能够进一步降低计算量、降低渲染耗时。
[0029]在本申请第二方面中，作为一种可选的实施方式，所述重建模块执行基于第二分辨率的渲染效果图，根据超分辨率重建算法和所述合成图将所述目标场景的第一分辨率的渲染效果图重建为所述目标场景在所述第二分辨率下的渲染效果图，包括：
[0030]将所述合成图、所述目标场景的第一分辨率的渲染效果图作为对抗网络的输入，以使得所述对抗网络输出所述第二分辨率的渲染效果图。
[0031]在本可选的实施方式中，通过对抗网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种渲染图像超分辨率纹理增强方法，其特征在于，所述方法包括：生成目标场景的第一分辨率的渲染效果图；生成所述目标场景的第二分辨率的无光照纹理图、第二分辨率的无光照带凹凸纹理的法线图、第二分辨率的渲染效果图，所述第二分辨率大于所述第一分辨率；根据预设数据组合算法将所述第二分辨率的无光照纹理图、所述第二分辨率的无光照带凹凸纹理的法线图合成一合成图；基于所述第二分辨率的渲染效果图，根据超分辨率重建算法和所述合成图将所述目标场景的第一分辨率的渲染效果图重建为所述目标场景在所述第二分辨率下的重建渲染效果图。2.如权利要求1所述的方法，其特征在于，所述基于所述第二分辨率的渲染效果图，根据超分辨率重建算法和所述合成图将所述目标场景的第一分辨率的渲染效果图重建为所述目标场景在所述第二分辨率下的重建渲染效果图，包括：将所述合成图、所述目标场景的第一分辨率的渲染效果图作为对抗网络的输入，以使得所述对抗网络输出所述重建渲染效果图。3.如权利要求2所述的方法，其特征在于，所述对抗网络包括生成器和鉴别器，所述生成器包括第一卷积网络和第二卷积网络，所述第一卷积网络用于提取所述目标场景的第一分辨率的渲染效果图、所述合成图的图像特征，所述第二卷积网络用于根据所述图像特征输出候选分辨率的渲染效果图；所述鉴别器用于将所述候选分辨率的渲染效果图与所述第二分辨率的渲染效果图进行迭代比较计算，使得所述生成器学习第一分辨率与第二分辨率之间的重建映射关系。4.如权利要求2所述的方法，其特征在于，所述生成目标场景的第一分辨率的渲染效果图，包括：根据光线追踪算法对目标场景进行渲染并得到所述目标场景的第一分辨率的渲染效果图。5.如权利要求2所述的方法，其特征在于，所述根据预设数据组合算法将所述第二分辨率的无光照纹理图、所述第二分辨率的无光照带凹凸纹理的法线图合成一合成图，包括：将所述第二分辨率的无光照纹理图与所述第二分辨率的无光照带凹凸纹理的法线图进行做差运算，并得到第一运算结果；根据所述第一运算结果的绝对值得到所述合成图。6.一种渲染图像超分辨率纹理增...

【专利技术属性】
技术研发人员：卢燕青，
申请(专利权)人：广东三维家信息科技有限公司，
类型：发明
国别省市：